SRE. Рецепты выживания в продакшене для инженера по надежности

Ручное управление – медленнее, но с вашим интеллектом и системой принятия решений.

Итак, к вам нагрянули пользователи. Причина вам неизвестна. Сколько это будет длиться – неизвестно. Нужно делать сразу всё: деградировать и масштабировать одновременно!

Деградация – это не "отвечаю через раз", это "отвечаю всегда, но не полной функциональность".

Желательно иметь несколько уровней деградации:

– всё плоховатенько – будем отключать эти малозаметные блоки, типа “сопутствующие товары” и “такие же как вы покупают”

– всё становится хуже – будем отключать функциональность по нарастающей важности, например “дата доставки” или “превью при наведении”

– все совсем плохо – отдаём статику типа “вот наши лучшие товары, на сайте технические работы”

Согласуйте со своим продакт-оунером сценарий деградации, напишите немного кода и сделайте выключатели, которые будете активировать по заранее согласованной с продакт-оунером последовательности.

Он тоже хочет, чтобы сайт работал, пусть не в полную силу.

Деньги: заранее оцените ваши возможности по быстрому масштабированию сервиса в случае необходимости. Любое железо стоит деньги. Согласуйте это количество денег с тем, кто отвечает за финансы. А-то может легко получиться так, что вы очень элегантно обработаете рекламную акцию, получите заказы, но все заработанные деньги уйдут на оплату облачных квот.

16. Кэши и заглушки

Это продолжение темы про деградацию. Если у вас есть всякие реал-тайм данные, которые вы готовите на каждый запрос пользователя, имейте в виду: тот сервис, откуда вы их реал-тайм берете, обязательно перестанет работать.

Если хотите жить красиво – имейте какой-то универсальный дефолтный вариант ответа. Если вы для каждого пользователя показываете "Такие же как вы покупали вот это", то в случае поломки начните показывать "Топ-5 покупок в нашем магазине". Это точно лучше, чем не показывать ничего.

Этот же способ можно использовать для режима осознанной деградации: если сервису тяжеловато, то переключитесь на показ данных из кешей в тех местах, где он уместен.

Состав этих кешей и заглушек необходимо согласовать с продакт-оунером.

17. Fallback или "последний шанс"

Теперь представим себе ситуацию, что вы уже отмасштабировали всё, что могли, выключили всю функциональность, которую в принципе можно было выключить, и это всё равно не помогает. Здесь появляется Тыква!

Тыква – это народное название для страницы последней надежды (fallback).