SRE. Рецепты выживания в продакшене для инженера по надежности

Оглавление

Группа авторов. SRE. Рецепты выживания в продакшене для инженера по надежности

Что внутри

1. Сервис без вмешательства не переживает отключение части свитчей в дата-центре – это плохой сервис

2. Если какую-то процедуру делать страшно – делай ее чаще

3. Если мониторинг не пишет о проблемах – проверь, возможно он не работает вообще

4. Регулярно проверяй все редко используемые аварийные средства доступа

5. Ходить на чужие разборы полезно

6. Если результаты нагрузочного тестирования всегда одинаковые – это плохо

Отрывок из книги

Пришли к нам как-то сетевые инженеры из дата-центра и говорят: "нам нужно провести работы, для этого мы выключим пару свитчей, запланируйте у себя мероприятия". Обычно в таких ситуациях мы начинали какой-то трафик куда-то переключать, чтобы точно все хорошо прошло, а тут пообсуждали с коллегами и решили, что это неправильная ситуация и лучше мы посмотрим на последствия, а потом что-то улучшим. Всю систему оставили работать в обычном режиме, подготовились к "чему угодно" и стали наблюдать. Все прошло хорошо. С тех пор мы договорились, что на такие работы ничего сами трогать не будем, потому что система должна суметь сама.

Деньги: если система сама не сумела, то нужно оценить масштаб последствий для бизнеса, оценить варианты улучшения системы и принять решение об инвестициях в улучшение системы. Допустимо оставить как есть, если улучшения будут стоить неоправданно дорого.

.....

Как стоило бы сделать:

– начинать нагрузку трафиком с нулевого значения, но это сильно замедляет процесс релиза

.....