SRE. Рецепты выживания в продакшене для инженера по надежности

В вопросах надёжности нет места таким явлением, как “мне кажется”, “мне так сказали”, “ну скорее всего это так”… Важны только факты.

И даже то, что я тут пишу, тоже проверяйте.

22. Стандартизируйте процессы

Если есть какой-то рискованный процесс, производимый вручную, лучше если он всегда будет проходить по одинаковой схеме, последствия и риски которой вам известны.

Представим себе, что у вас есть многошаговая процедура по перезагрузке нескольких компонентов в системе. По каким-то личным причинам эту процедуру вы проводите вручную.

Запишите себе эту конкретную последовательность действий по выполнению процедуры. Не нужно каждый раз пытаться оптимизировать процесс, меняя последовательность, пропуская шаги и добавляя новую энтропию в систему.

Пытаться в каждом случае придумать новый порядок действий, чтобы минимально затронуть ваш хрупкий продакшен, сделать это быстрее, вы рискуете сломать вообще всё, потому что каждый раз сценарий будет новым, с неизвестным вам поведением.

Пусть это будет отработанный сценарий, которым вы хорошо владеете и который с высокой вероятностью даст необходимый результат.

23. Инструкции для «Людочки»

Инструкция для аварийных ситуаций и регламентных работ должна быть такая, чтобы не задействовать мозг человека вообще. Как говорил когда-то один из моих боссов: "Я позвоню нашей Люде и она по твоей инструкции должна суметь это сделать". Люда работала у нас на ресепшене. (Сложно сказать, откуда у неё возьмется доступ в продакшен, но идея отражена верно).

Со временем “я позвоню Люде” заменилось на “представь, что ты на шашлыках в лесу”.

Плохими я называю инструкции, которые:

– допускают неоднозначность трактовок

– содержат слова "если"

– содержат в принципе много слов

– изобилуют терминами

– содержат намёки, типа, это и так очевидно

– … ещё много прочих пунктов

Идеальная инструкция – это набор команд, которые надо скопировать и куда-то вставить, и ссылок, по которым нужно перейти, чтобы открылась конкретная страница.

Кстати, если ваша инструкция достигла этой стадии, пора задуматься о механизации.

24. Не пытайтесь самостоятельно защититься от DDoS и готовьтесь к нему заранее

DDoS рано или поздно приходит ко всему, что заслуживает внимания. Лучше думать про него несколько заранее. Если вы планируете защищаться от DDoS с помощью файлика заблокированных ip – вы не планируете от него защищаться.