SLI, SLO и бюджеты ошибок
Цель уровня услуги превращает «достаточно надёжно» в число, которое видят пользователи, продуктовые команды и команды эксплуатации, а бюджет ошибок, остающийся после неё, превращает это число в общее расходуемое решение о риске вместо спора о вине.
Обзор и мотивация
У каждой услуги уже есть некоторый уровень надёжности, измерял его кто-либо или нет. Если никто его не называет, пользователи предполагают один уровень, продуктовая команда другой, а команда эксплуатации защищает третий. Разницу обнаруживают во время сбоя. Эта тема охватывает три связанные идеи, которые инженерия надёжности сайтов (SRE) использует, чтобы закрыть этот разрыв: индикатор уровня услуги, цель уровня услуги и бюджет ошибок.
Индикатор уровня услуги (SLI) есть измерение одной стороны услуги так, как её переживают пользователи. Типичные стороны: удался ли запрос, сколько он занял, были ли возвращённые данные свежими и были ли они верными. Хороший SLI выражается как отношение: число хороших событий, делённое на число допустимых событий, за определённое окно. Цель уровня услуги (SLO) есть целевое значение этого отношения за период, например «99,9 % допустимых запросов оформления заказа успешны за скользящие 28 дней». Бюджет ошибок есть то, чему позволено пойти не так по цели: 100 % минус SLO. При 99,9 % бюджет составляет 0,1 % допустимых событий.
Бюджет ошибок меняет разговор. Если услуга израсходовала мало бюджета, у команды есть место, чтобы выпускать быстрее, пробовать рискованные изменения и ставить эксперименты. Если бюджет почти исчерпан, та же команда замедляет работу над функциями и тратит усилия на надёжность, пока бюджет не восстановится. Решение идёт от числа, согласованного заранее, поэтому оно не зависит от того, кто старше или убедительнее на совещании.
Скорость сгорания (burn rate) есть то, как быстро тратится бюджет, относительно темпа, который израсходовал бы ровно весь бюджет к концу окна. Скорость сгорания 1 означает, что бюджет закончится ровно в конце окна. Скорость сгорания 10 означает, что он закончится за десятую часть окна. Скорость сгорания есть мост от SLO к оповещениям, потому что она говорит, насколько срочна проблема в терминах того, чего она стоит цели.
Здесь встречаются взгляды Agile и ITIL, и они используют разные слова для связанных идей. В ITIL 4 управление уровнями услуг есть практика, которая задаёт, измеряет и сообщает уровни услуг, а соглашение об уровне услуг (SLA) есть документированное соглашение между поставщиком и клиентом (см. тему 5.1, Метрики SLA, OLA и XLA). SLO есть внутренняя цель, обычно строже SLA и принадлежащая команде, эксплуатирующей услугу. SLA несёт последствия, такие как кредиты или штрафы. SLO несёт правило решения. Команды Agile, владеющие своими услугами («вы строите, вы и эксплуатируете»), используют SLO, чтобы сделать цену надёжности видимой в том же бэклоге, что и функции. Команды, следующие практике ITIL, могут относиться к SLI как к измеримой форме того, что клиенты говорят, что им нужно, а к SLO как к рабочей цели, хранящей SLA в безопасности.
Доступность есть самый знакомый SLI и подробно рассматривается в другом месте (см. тему 5.3, Метрики доступности). Задержка, правильность, свежесть и пропускная способность тоже кандидаты. Мастерство состоит в выборе индикаторов по тому, что важно пользователям, а не по тому, что легко собрать. Использование ЦП на сервере легко собрать, и оно мало говорит о том, мог ли клиент оплатить. Доля платёжных запросов, завершающихся в течение двух секунд, говорит очень много. Для задержки сообщайте перцентили, а не средние, потому что среднее прячет медленный хвост, который замечают пользователи (см. тему 1.6, Статистическая грамотность для метрик услуг, и тему 5.4, Метрики ёмкости и производительности).
Ключевые принципы
- Начинайте с пользователя, а не с сервера. Выбирайте индикаторы, описывающие опыт, который человек узнал бы, например «мой платёж прошёл», и работайте назад к тому, что измерять.
- Цель ниже 100 % есть решение, а не признание. Идеальная надёжность недостижима и недоступна по цене, и пользователи обычно не отличают разницу за некоторой точкой. Бюджет делает этот компромисс явным.
- Задавайте цель вместе с теми, кто от неё зависит. SLO есть договорённое соглашение между продуктом, эксплуатацией и клиентами, а не число, выбранное одной командой.
- Согласуйте последствия, пока бюджет не кончился. Политика бюджета ошибок, написанная в спокойную неделю, соблюдается в напряжённую. Политика, придуманная во время сбоя, вызывает споры.
- Оповещайте по сгоранию, а не по каждому всплеску. Вызывайте человека, только когда бюджет расходуется достаточно быстро, чтобы угрожать цели, а более медленное сгорание направляйте в заявки.
- SLO описывают услуги, никогда людей. Бюджет принадлежит услуге и её команде. Это никогда не балл для инженера.
Определения метрик
Метрики ниже описывают систему SLO для услуги. Первые четыре суть ядро практики, а последние две описывают, насколько здорова сама практика. Каждые часы и граница указаны в столбце формул. «Допустимые события» суть события, которые считаются для SLI после исключений, согласованных в документе SLO, например запросы из собственных нагрузочных тестов команды исключаются.
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Выполнение SLI | Доля допустимых событий, бывших хорошими, для одного индикатора одной услуги | хорошие события / допустимые события, за окно от начала до конца отчётного периода; события, исключённые документом SLO (нагрузочные тесты, заранее объявленное плановое обслуживание, если так говорит SLO), убираются и из числителя, и из знаменателя | процент | Телеметрия балансировщика нагрузки, приложения или синтетической пробы; платформа мониторинга или наблюдаемости | Управление уровнями услуг; мониторинг и управление событиями | Определение готовности для эксплуатационной пригодности; обзор здоровья услуги заинтересованными сторонами | Непрерывно, сообщается ежедневно и по окну |
| Соблюдение SLO | Уложился ли SLI в цель за окно SLO и за сколько недавних окон | окна, в которых выполнение SLI было на цели или выше / оценённые окна, за последние 12 месяцев; окно, ещё открытое, исключается | процент окон | История выполнения SLI | Управление уровнями услуг; непрерывное улучшение | Цель команды или рабочее соглашение о надёжности | Раз в месяц, с квартальным трендом |
| Остаток бюджета ошибок | Часть бюджета, ещё не израсходованная в текущем окне | 1 минус (плохие события к настоящему моменту / допустимые плохие события за всё окно), где допустимые плохие события = (1 минус SLO) × ожидаемые допустимые события за всё окно; часы запускаются в начале окна и останавливаются в конце окна | процент бюджета | Выполнение SLI и прогноз объёма | Управление уровнями услуг; управление рисками | Проверка готовности к релизу; вход в плановую работу | Ежедневно, пересматривается раз в неделю |
| Скорость сгорания | Скорость, с которой тратится бюджет, относительно ровного темпа расхода | (плохие события / допустимые события за период ретроспективы) / (1 минус SLO); период ретроспективы указывается, например 1 час или 6 часов | отношение (1 означает ровно по бюджету) | Телеметрия SLI с мелким разрешением по времени | Мониторинг и управление событиями; управление инцидентами | Правила оповещения дежурных; триггер роя | Непрерывно, вычисляется в правилах оповещений |
| Соблюдение политики бюджета | Как часто было применено согласованное последствие, когда достигнут триггер политики бюджета ошибок | триггеры в периоде, где действие по политике предпринято в согласованное время / триггеры, достигнутые в периоде; триггеры, формально снятые с записанной причиной, считаются отдельно, а не убираются | процент | Документ политики, журнал решений и история бэклога | Управление уровнями услуг; управление изменениями | Рабочее соглашение; доведение до конца действий ретроспективы | Раз в квартал |
| Охват SLO | Доля критических путей пользователей или услуг в области, у которых есть действующая SLO и работающий SLI | услуги или пути в области, имеющие хотя бы одну SLO, чьи данные SLI поступили за последние 7 дней / услуги или пути в области; «в области» перечислено в каталоге услуг | процент | Каталог услуг, реестр SLO и настройка мониторинга | Управление каталогом услуг; управление уровнями услуг | Список владения услугами команды | Раз в квартал |
Период ретроспективы скорости сгорания и окно SLO суть выборы. Скользящее окно в 28 дней охватывает целые недели. Укажите выбор в документе SLO и держите его стабильным, иначе тренд будет вводить в заблуждение.
Рекомендации
Выбирайте индикаторы по тому, что важно пользователям
1. Начните с критических путей пользователей. Перечислите от трёх до шести вещей, которые пользователь должен мочь сделать, чтобы услугой стоило пользоваться, например войти, найти, оплатить и скачать выписку. Запишите каждую как предложение со стороны пользователя. Затем выберите SLI, показывающий, было ли это предложение верным. Это держит SLO немногочисленными и предотвращает каталог технических датчиков, которых никто не читает.
2. Выражайте каждый SLI как хорошие события над допустимыми. Отношение легко объяснить, легко агрегировать и легко превратить в бюджет. Определите «хорошо» порогом, который пользователи приняли бы, и определите «допустимо» так, чтобы трафик, который вы не можете разумно обслужить, например запросы, заблокированные за злоупотребление, исключался документированным способом. Запишите оба определения в документ SLO, потому что знаменатель есть место, где прячется большая часть разногласий.
3. Измеряйте как можно ближе к пользователю, насколько практично. Доля успеха на стороне сервера может быть идеальной, пока проблема сети или клиента делает услугу непригодной. Измеряйте на балансировщике нагрузки или на краю и добавляйте синтетическую пробу или измерение на стороне клиента для самых важных путей. У каждой точки измерения есть цена и слепое пятно, поэтому записывайте, какую использует каждый SLI (см. тему 1.5, Источники данных и инструментирование).
4. Используйте перцентили для задержки, с порогом. «95 % поисковых запросов завершаются менее чем за 800 миллисекунд» есть SLI. «Средняя задержка» не есть, потому что несколько быстрых запросов могут компенсировать много медленных. Где помогает, используйте два порога, такие как медиана и 99-й перцентиль, поскольку медленный хвост определяет, как услуга ощущается (см. тему 5.4, Метрики ёмкости и производительности).
Задавайте цели, которые люди могут защитить
5. Задайте первую SLO по текущей результативности и потребности пользователей, затем ужесточайте. Измеряйте SLI несколько недель, спросите пользователей и персонал поддержки, какой уровень они замечают, и задайте цель, которую услуга может выполнить сегодня с некоторым запасом. Цель, заданная намного выше текущей результативности, есть постоянное нарушение, и люди перестают на неё смотреть. Цель, заданная намного ниже того, что получают пользователи, позволяет качеству деградировать незамеченным. Пересмотрите её через квартал.
6. Держите SLO строже SLA и держите их раздельно. Если соглашение с клиентом обещает 99,5 %, цель команды может быть 99,9 %, так что бюджет исчерпывается раньше, чем пересечена договорная линия. Не делайте SLO и SLA одним числом и не сообщайте одно как другое. Соглашение есть коммерческий и юридический документ, а цель есть инженерное правило решения (см. тему 5.1, Метрики SLA, OLA и XLA).
7. Учитывайте зависимости. Услуга не может быть надёжнее того, от чего зависит, если только не деградирует изящно. Перечислите ключевые зависимости, включая поставщиков, и спросите, что их фактическая результативность подразумевает для вашей цели.
Управляйте бюджетом как инструментом решений
8. Напишите политику бюджета ошибок, пока она не понадобилась. Политика говорит, что происходит на определённых уровнях расхода. Простая версия имеет три шага: нормальная работа, пока бюджет остаётся, дополнительный пересмотр рискованных изменений и приоритет работы над надёжностью, когда израсходована заявленная доля, и пауза в несущественных релизах функций, когда бюджет исчерпан, пока он не восстановится. Назовите, кто может предоставить исключение и как оно записывается. Руководителям продукта и эксплуатации следует подписать её обоим, чтобы политика применялась к обеим сторонам одинаково.
9. Тратьте бюджет намеренно. Бюджет, которого никогда не касаются, говорит, что цель слишком строга или команда слишком осторожна. Используйте свободный бюджет для экспериментов, более быстрого ритма релизов, канареечных развёртываний и переключателей функций, позволяющих проверять в продуктиве с ограниченным охватом, и используйте канареечные релизы, чтобы ловить проблемы, пока затронута лишь малая доля пользователей. Относитесь к постоянно нетронутому бюджету как к побуждению спросить, соответствует ли цель тому, что нужно пользователям (см. тему 4.5, Метрики релизов и развёртывания).
10. Оповещайте по нескольким скоростям сгорания. Быстрое сгорание, например темп, достаточно высокий, чтобы израсходовать большую долю бюджета за час, вызывает человека. Медленное сгорание, например умеренный темп, который всё равно исчерпает бюджет за дни, создаёт заявку на рабочие часы. Использование двух или более окон ретроспективы ловит и внезапные сбои, и медленные утечки и сокращает вызовы по коротким всплескам, стоящим мало бюджета. Глава The Site Reliability Workbook об оповещении по SLO объясняет образец, а пороги следует настраивать под вашу услугу, а не копировать (см. тему 5.5, Метрики мониторинга и качества оповещений).
11. Связывайте инциденты, проблемы и обучение с бюджетом. После инцидента записывайте, сколько бюджета он израсходовал, рядом с его длительностью и воздействием. Используйте это число, чтобы приоритизировать запись о проблеме и последующие действия (см. тему 4.1, Метрики управления проблемами, и тему 4.2, Метрики разборов и обучения). Цена в бюджете также даёт пересмотрам крупных инцидентов общую единицу для сравнения очень разных сбоев (см. тему 3.4, Метрики крупных инцидентов).
Держите практику честной и живой
12. Пересматривайте SLO относительно реальности каждый квартал. Сравнивайте SLO с обращениями в поддержку, жалобами и результатами удовлетворённости. Если пользователи недовольны, пока SLO зелёная, SLI неверен или цель слишком мягка. Если SLO красная, а никто не жалуется, цель может быть слишком строга. Записывайте каждое изменение и причину и показывайте изменение на графике тренда (см. тему 6.2, Соглашения об уровне опыта).
Векторы манипуляции и ограждения
| Метрика | Как её искажают | Парная метрика или практика-ограждение |
|---|---|---|
| Выполнение SLI | Сужать «допустимые» события, пока сбои не выпадут, например исключать повторённые запросы или целые классы ошибок; измерять только самый здоровый компонент; пробовать только из выгодного места | Публиковать определение SLI и исключения в документе SLO с журналом изменений; сравнивать SLI с обращениями в поддержку и жалобами пользователей; регулярный пересмотр исключённых событий и их объёма |
| Соблюдение SLO | Задавать цель настолько низко, чтобы всегда проходить; менять длину окна после плохого периода; переопределять нарушение как период обслуживания | Цель задана с участием пользователей и пересматривается по графику; окно зафиксировано в документе; число исключений и внеплановых изменений окна сообщается рядом с соблюдением |
| Остаток бюджета ошибок | Переклассифицировать плохие события как исключённые; завышать ожидаемый объём, чтобы допустимое число плохих выглядело больше; сбрасывать окно рано | Допустимые плохие события вычисляются по фактическому объёму на конец окна; объём исключённых событий показывается рядом с бюджетом; даты окна фиксируются заранее |
| Скорость сгорания | Настраивать пороги оповещений так, чтобы сгорание никогда не срабатывало; использовать ретроспективу настолько длинную, что быстрые сгорания усредняются | Проверка охвата оповещениями по прошлым инцидентам («вызвало бы это правило?»); доля применимых оповещений и число пропущенных обнаружений (см. тему 5.5, Метрики мониторинга и качества оповещений) |
| Соблюдение политики бюджета | Регулярно давать исключения; писать политику с триггерами, которых никогда не достичь; засчитывать символическую заявку о надёжности как действие по политике | Исключения считаются и пересматриваются отдельно; доля исключений в периоде; завершённая работа над надёжностью (см. тему 4.1, Метрики управления проблемами) |
| Охват SLO | Добавлять тривиальную SLO к каждой услуге, чтобы поднять процент; засчитывать путь охваченным, когда данные не поступают | Проверка свежести данных SLI (данные поступили за последние 7 дней); пересмотр того, покрывает ли SLO критический путь, а не второстепенную конечную точку |
Здоровое чтение показывает SLI, следующий за тем, о чём сообщают пользователи, цель, которую иногда пропускают, а иногда с запасом выполняют, и бюджет, расходуемый намеренно. Политика применяется, когда достигнут её триггер, исключения редки и записаны, а каждое изменение определения видно на графике. Услуга, всегда имеющая 100 % остатка бюджета, или та, что всегда нарушена, заслуживает разговора о цели, а не похвалы или вины. Помните, что любая отдельная цифра есть побуждение к вопросу (см. тему 1.2, Закон Гудхарта и психология метрик).
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| SLI путей пользователей | Соответствуют тому, что чувствуют пользователи; немногочисленны; легко объяснить не-инженерам | Нужны усилия, чтобы инструментировать сквозь; могут пропускать внутренние неисправности, ещё не дошедшие до пользователей |
| SLI компонентов или ресурсов (ЦП, память, глубина очереди) | Дёшевы в сборе; полезны для диагностики и ёмкости | Плохие заместители опыта пользователей; порождают много неважных оповещений |
| Скользящее окно | Гладкое; нет обрыва в конце месяца; всегда актуально | Труднее объяснить руководителям, чем календарный месяц; плохой день остаётся на всё окно |
| Оповещение по скорости сгорания | Вызывает, когда цель действительно под угрозой; меньше ложных тревог | Сложнее настраивать и проверять; пороги нужно настраивать по услуге |
Выбирайте мало SLI, задавайте их вместе с пользователями и позвольте бюджету решать темп изменений. Верная строгость есть самая мягкая цель, которая всё ещё удерживает пользователей довольными, поскольку каждая лишняя девятка стоит дороже предыдущей.
Вопросы для обсуждения в команде
1. Что пользователь этой услуги должен мочь сделать и как мы узнали бы, если бы не мог? Попросите каждого записать три самые важные вещи, которые пользователь делает с услугой, не глядя ни на какую панель. Сравните списки и отметьте различия между продуктом, эксплуатацией и поддержкой. Затем спросите, у какого из этих путей сейчас есть SLI. Ведущему стоит искать важные пути без измерения и измерения, не описывающие ни один путь.
2. Если бы наша SLO была 99,9 % и мы её выполнили, были бы пользователи довольны и откуда мы знаем? Положите текущую SLO рядом с обращениями в поддержку, жалобами и результатами удовлетворённости за последний квартал. Спросите, согласуются ли они. Если SLO зелёная, а пользователи недовольны, SLI или цель нуждаются в работе. Если пользователи довольны, а SLO красная, цель может быть строже, чем кому-либо нужно. Договоритесь об одном действии, чтобы свести цель и опыт вместе.
3. Что мы действительно делали бы иначе, если бы бюджет ошибок кончился? Прочитайте текущую политику бюджета ошибок вслух или составьте её вместе, если её нет. Спросите, кто прекратил бы что и у кого есть полномочия дать исключение. Ведущему стоит добиваться конкретных действий, таких как пауза в несущественных релизах и перевод названных людей на работу над надёжностью, а не общих намерений. Политика, в соблюдение которой никто не верит, хуже отсутствия политики.
4. Когда мы в последний раз рискнули, потому что у нас был свободный бюджет? Обсудите, пользуется ли команда своим бюджетом или только охраняет его. Посмотрите на последний квартал: был ли период, когда бюджет был почти нетронут, пока релизы были медленными? Спросите, что команда попробовала бы, если бы знала, что безопасно. Этот вопрос выводит на свет чрезмерную осторожность, и ответ часто указывает на канареечный релиз, переключатель или более быстрый конвейер, которые позволили бы команде хорошо использовать бюджет.
5. Какие из наших оповещений сработали бы вовремя для нашего последнего плохого инцидента и какие сработали бы впустую? Возьмите последний значительный инцидент и воспроизведите историю оповещений относительно него. Посчитайте пришедшие вызовы, через сколько после начала воздействия, и сколько вызовов пришло по событиям, стоившим почти ноль бюджета. Обсудите, справились бы лучше оповещения по скорости сгорания. Цель есть короткий список изменений оповещений, каждое с владельцем, а не разговор об обвинении того, кто был на дежурстве.
6. Кто владеет каждой SLO и когда мы в последний раз намеренно изменили одну? Перечислите SLO и запишите владельца рядом с каждой, как команду или роль. Спросите, когда каждая была пересмотрена в последний раз и что изменилось. SLO, которой никто не касался год, есть знак, что она больше не информирует решения. Договоритесь о дате пересмотра для каждой и о том, кто вправе вывести SLO, переставшую быть полезной.
Четыре точки зрения
Продуктовые команды и команды поставки
Команды поставки получают ясное правило, как быстро двигаться. Когда бюджет остаётся, они могут выпускать чаще и пробовать более смелые изменения. Когда он мал, они ставят работу над надёжностью в бэклог без долгих переговоров. Им следует помогать выбирать индикаторы, потому что они знают, какие пути важны, и инструментировать новые функции с учётом SLI с самого начала (см. тему 2.8, Метрики DORA). Бюджет есть ресурс команды для планирования, никогда число, которое надо прятать.
Команды услуг и эксплуатации
Команды эксплуатации используют SLO, чтобы решать, что заслуживает вызова, а что может подождать до утра. Оповещение по скорости сгорания сокращает шум и привязывает работу дежурных к тому, что чувствуют пользователи (см. тему 5.7, Рутинная работа и метрики дежурств). Они держат определения SLI честными, поддерживают телеметрию за ними и записывают цену в бюджете в записях об инцидентах и проблемах.
Руководство и управление
Руководителям следует задавать три вопроса: какова цель, сколько бюджета осталось и что мы будем делать, если он кончится? Они подписывают политику бюджета ошибок и поддерживают команду, когда политика велит замедлиться. Они избегают превращения соблюдения SLO в показатель премий, который приглашает сужать определения и ставить мягкие цели.
Клиенты и пользователи
Клиентам выгодно, когда цель отражает то, что им нужно, и когда они могут видеть, как услуга работает относительно неё. С ними следует консультироваться при постановке цели, потому что их терпимость к медлительности или простою различается по задаче и времени суток. Показатели опыта, такие как удовлетворённость и усилие, проверяют, улавливает ли SLO то, что они чувствуют (см. тему 6.1, Метрики удовлетворённости клиентов).
На практике: пример из управления услугами
Интернет-магазин среднего размера имеет команду оформления заказа, платформенную команду и службу поддержки. Услуга оформления заказа критична для бизнеса. Все числа в этом примере иллюстративны.
Команда определяет один SLI для пути «оплатить заказ»: доля допустимых платёжных запросов, возвращающих успех в течение 2 секунд, измеряемая на балансировщике нагрузки. Допустимые запросы исключают собственные нагрузочные тесты команды и запросы, которые сервис борьбы с мошенничеством отклоняет по замыслу. SLO составляет 99,9 % за скользящие 28 дней. Окно несёт ожидаемые 12 000 000 допустимых запросов, так что бюджет составляет 12 000 плохих запросов (0,1 %). Политика бюджета ошибок, подписанная руководителем продукта и руководителем платформы, имеет три уровня: при 50 % израсходованного бюджета рискованным изменениям нужен второй проверяющий и канареечное развёртывание; при 75 % работа над надёжностью получает приоритет в следующем разговоре о планировании; при 100 % несущественные релизы функций приостанавливаются, пока бюджет не восстановится.
На 10-й день окна команда видит 7800 плохих запросов из примерно 4 285 714 ожидаемых к настоящему моменту, что даёт выполнение SLI около 99,82 %, 65 % израсходованного бюджета и окно, прошедшее лишь на 36 %. Скорость сгорания за период около 1,8, так что при таком темпе бюджет кончится около 15-го дня. Плохое развёртывание дало 5000 сбоев. Запись об инциденте показывает, что сбой длился 22 минуты, пересмотр крупного инцидента определяет отсутствующую проверку в конвейере, а цена инцидента в бюджете записана в запись о проблеме (см. тему 4.1, Метрики управления проблемами).
Команда следует политике. Действие второго уровня применяется сразу, так что рискованным изменениям нужно канареечное развёртывание, а совещание по планированию переносит проверку конвейера на вершину очереди работ. Владелец продукта принимает паузу в несрочной функции акций. К 28-му дню бюджет израсходован на 94 %, и команда заканчивает окно в пределах цели.
Риск манипуляции проявляется на пересмотре. Другая команда, ведущая службу поиска магазина, сообщила 99,95 % за квартал, пока служба поддержки записывала рост обращений «поиск не работает». Расследуя, платформенная команда нашла, что команда поиска переопределила «допустимое», исключив запросы, повторённые в пределах 5 секунд, что убрало много реальных сбоев. Пересмотр восстановил исходное определение, пересчитал квартал и добавил два ограждения: любое изменение определения записывается в документ SLO с причиной, а выполнение SLI сравнивается с обращениями в поддержку каждый месяц. Никто не лгал, поскольку изменение было сделано, чтобы сократить шум, поэтому исправлением стало более ясное определение, а не выговор.
Agile, ИИ, автоматизация и аналитика
Agile
Бюджет ошибок превращает надёжность в общее решение с продуктовыми заинтересованными сторонами и подходит непрерывной поставке, показывая, сколько риска может потратить команда. Пересматривайте цели в регулярном ритме. Осторожность в том, что SLO, о которой никто не договорился с пользователями, есть догадка.
ИИ
Функциям ИИ нужны собственные индикаторы, такие как правильность и задержка, а не только доступность, и цель должна говорить, как считается неверный ответ. Парьте доступность ИИ с индикатором качества, измеряемым выборкой. Осторожность в том, что услуга, отвечающая быстро неверным ответом, может выполнить SLO по доступности, подводя пользователей.
Автоматизация
Вычисляйте индикаторы и скорость сгорания автоматически по телеметрии и оповещайте по скорости сгорания, а не по каждому всплеску. Измеряйте само оповещение по пропущенным и ложным оповещениям. Осторожность в том, что автоматические заморозки бюджета могут стопорить полезную работу; поэтому держите решение человека в политике.
Аналитика
Выбирайте индикаторы, которые чувствуют пользователи, и показывайте окно и число событий за каждым. Решение, которое это информирует, состоит в том, когда замедлять изменения или вкладываться в надёжность. Осторожность в том, что короткое окно даёт изменчивый бюджет; поэтому указывайте окно.
Отраслевой взгляд
Стартап. Начните с одной SLO для самого важного пути, измеряемой на краю, с простой политикой, умещающейся на странице. Не стройте платформу для десятков SLO. Бюджет помогает малой команде меньше спорить, выпускать ли в пятницу.
Малый бизнес. Малый бизнес часто полагается на размещённые инструменты и поставщиков, поэтому SLI может идти из данных о статусе поставщика или простой внешней пробы. Читайте уровни услуг поставщика письменно и сверяйте их со своими потребностями.
Крупная компания. Много услуг, команд и поставщиков повышают ставки на последовательность. Обеспечьте общий шаблон для документов SLO, общий реестр и стандартный способ вычисления выполнения и бюджета, чтобы руководители могли сравнивать и сводить, не споря об определениях. Держите SLO во владении команды услуги, а реестр курируйте централизованно.
Государство и публичный сектор. Услуги часто должны выполнять законодательные или опубликованные цели, а сбой может освещаться публично. Держите договорное или законодательное обязательство отдельно от внутренней цели и следите, чтобы внутренняя SLO была строже. Документируйте определение SLI, исключения и происхождение данных для аудита и планируйте доступность и пользователей, не могущих выбрать другого поставщика (см. тему 8.5, Регулируемая и государственная отчётность).
Бизнес-обоснование: мотивы, ROI и TCO
Мотив состоит в меньшем числе споров и лучших решениях о надёжности. Без цели работа над надёжностью конкурирует с функциями силой голоса того, кто громче спорит. С целью и бюджетом компромисс виден и согласован заранее, а пользователи получают услугу такой надёжности, какая им нужна, без того чтобы команда платила за надёжность сверх этой точки.
У цены четыре части. Первая: проектирование, то есть семинары по выбору путей, индикаторов и целей и по написанию политики. Вторая: инструментирование, то есть телеметрия в нужном месте, пробы и конвейер, превращающий события в выполнение и бюджет (см. тему 1.5, Источники данных и инструментирование). Третья: эксплуатация, то есть правила оповещений, панель, квартальный пересмотр и время на поддержание определений актуальными. Четвёртая: альтернативная стоимость, когда политика приостанавливает работу над функциями, а это цена соблюдения соглашения и причина согласовать его до прихода давления.
Отдача проявляется в закономерностях, которые команда может отслеживать сама: меньше вызовов, не требовавших действия, более короткие споры о том, выпускать ли, работа над надёжностью, запланированная до того, как бюджет кончится, а не после крупного инцидента, и меньше сюрпризов для клиентов. Описывайте выгоду, сравнивая собственные цифры команды до и после, такие как вызовы за ротацию и доля бюджета, израсходованная крупнейшим инцидентом.
Антипаттерны и ловушки
- Слишком много SLO. Десятки целей размывают внимание, и никто не может сказать, какая важна. Начните с критических путей пользователей и выведите остальное.
- SLO равна SLA. Сообщение одного числа как обоих убирает запас безопасности и смешивает инженерное правило с коммерческим обещанием. Держите цель строже соглашения.
- Политика, которая никогда не применяется. Если бюджет кончается, а ничего не меняется, практика теряет доверие. Добейтесь, чтобы руководители подписали политику, и записывайте каждое исключение с причиной.
- Использование бюджета как системы показателей для людей. Ранжирование инженеров или дежурных по израсходованному бюджету заставляет людей прятать инциденты и сужать определения. Приписывайте бюджет услуге и обсуждайте причины на уровне системы (см. тему 1.2, Закон Гудхарта и психология метрик).
- Оповещение по каждому провалу. Вызовы по сырым симптомам создают усталость от оповещений и приучают людей игнорировать вызовы. Вызывайте по скорости сгорания, а медленные сгорания направляйте в заявки.
- Задали и забыли. SLO, которую никто не пересматривает, дрейфует от того, что нужно пользователям. Запланируйте квартальный пересмотр и записывайте, что изменилось и почему.
Модель зрелости
| Измерение | 1 Инициирование | 2 Развитие | 3 Стандартизация | 4 Управление | 5 Оркестрация |
|---|---|---|---|---|---|
| Индикаторы и цели | Надёжность описывается словами; сообщается время работы серверов | Некоторые команды определяют SLI; цели различаются и редко пересматриваются | У критических путей пользователей есть документированные SLI и SLO в общем шаблоне | SLO отслеживаются во времени, сверяются с обратной связью пользователей и ужесточаются или смягчаются по свидетельствам | SLO согласованы с клиентами и поставщиками и выровнены с зависимыми услугами и контрактами |
| Бюджет ошибок и политика | Нет бюджета; надёжность против функций решается спором | Бюджет вычисляется для нескольких услуг; согласованных последствий нет | Письменная политика, подписанная продуктом и эксплуатацией, с определёнными триггерами | Соблюдение политики измеряется, исключения пересматриваются, бюджет информирует планирование релизов | Решения по бюджету координируются между командами, делящими зависимости; политика пересматривается по мере изменения условий |
| Оповещение и реагирование | Пороговые оповещения по сырым ресурсам; много вызовов | Некоторые оповещения по скорости сгорания; пороги скопированы из примеров | Оповещения по скорости сгорания с несколькими окнами для ключевых SLO, с заявками для медленного сгорания | Качество оповещений измеряется и настраивается по прошлым инцидентам | Оповещение выровнено по цепочкам услуг, улучшение управляется совместными пересмотрами |
Контрольный список
- Критические пути пользователей услуги перечислены, каждый записан со стороны пользователя.
- Каждый SLI определён как хорошие события над допустимыми, с записанными исключениями.
- SLI задержки используют перцентили и заявленный порог, а не средние.
- Каждая SLO указывает свою цель, окно и где измеряется SLI.
- SLO строже любого SLA, и они сообщаются раздельно.
- Существует политика бюджета ошибок, подписанная руководителями продукта и эксплуатации, называющая, кто может давать исключения.
- Оповещения по скорости сгорания используют не менее двух периодов ретроспективы, а медленные сгорания создают заявки, а не вызовы.
- Каждая запись об инциденте показывает бюджет, который он израсходовал.
- Выполнение SLI сравнивается с обращениями в поддержку и результатами удовлетворённости каждый месяц.
- У каждой SLO есть владелец (команда или роль) и дата пересмотра, а изменения записываются с причинами.
- Ни один результат SLO не используется для ранжирования или награждения отдельных людей.
Промпты для ИИ
Составьте кандидатов в SLI по путям пользователей.
I run [service name], used by [type of users] to do [list of critical user
journeys]. We can measure at [list of measurement points, for example load
balancer, application logs, synthetic probe]. For each journey, propose one or two
candidate SLIs written as good events over valid events, with a suggested
definition of "good," "valid," and exclusions. Note the strengths and blind spots
of each measurement point. Do not invent target values or benchmarks; ask me what
users tolerate. List your assumptions.
Составьте черновик политики бюджета ошибок.
Help me draft an error budget policy for [service name] with an SLO of [target]
over [window]. Stakeholders are [product role] and [operations role]. Propose
trigger levels, the action at each, who may grant an exception and how it is
recorded, and how the policy is reviewed. Keep it to one page and flag decisions
that need a human sponsor. Do not invent thresholds from other organizations;
present options and trade-offs. List your assumptions.
Проверьте SLO на риск манипуляции.
Here is our SLO document for [service name]: [paste SLI definition, exclusions,
target, window, and change log]. Identify ways the SLI could be narrowed, the
window or target changed, or events excluded in a way that would make results look
better than the user experience. For each risk, suggest a guardrail metric or
practice. Do not assume intent. List your assumptions and the questions I should
answer.
Навыки ИИ
- Service Management Metrics skill: используйте, чтобы найти связанные темы, такие как доступность, качество оповещений и крупные инциденты, и ограждение, которое должно стоять рядом с каждым показателем SLO.
- Service Management Metrics maintainer skill: используйте, чтобы проверить, что правки этой темы сохраняют каждую метрику в таблице манипуляций и каждую перекрёстную ссылку с названием.
Главные выводы
- Выбирайте несколько SLI по тому, что делают пользователи, и выражайте каждый как хорошие события над допустимыми.
- SLO ниже 100 % есть решение о риске, а бюджет ошибок есть место, которое это решение оставляет для изменений.
- Напишите политику бюджета ошибок заранее, подпишите её на уровне руководства и записывайте каждое исключение.
- Оповещайте по скорости сгорания с более чем одним окном ретроспективы, чтобы вызовы отражали реальный риск для цели.
- Охраняйте определения: записывайте каждое изменение и сравнивайте результаты SLI с тем, о чём сообщают пользователи.
- Приписывайте бюджет услугам и командам, никогда отдельным людям, и пересматривайте каждую SLO не реже раза в квартал.
Источники и дополнительное чтение
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Jones, C., Wilkes, J., Murphy, N., and Smith, C., "Service Level Objectives," chapter 4 in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/service-level-objectives/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, https://sre.google/workbook/table-of-contents/
- "Implementing SLOs," chapter 2 in The Site Reliability Workbook, O'Reilly Media, 2018, https://sre.google/workbook/implementing-slos/
- "Alerting on SLOs," chapter 5 in The Site Reliability Workbook, O'Reilly Media, 2018, https://sre.google/workbook/alerting-on-slos/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Инженерия надёжности сайтов.
- Wikipedia, Индикатор уровня услуги.
- Wikipedia, Цель уровня услуги.
- Wikipedia, Соглашение об уровне услуг.
- Wikipedia, Доступность.
- Wikipedia, Перцентиль.
- Wikipedia, Переключатель функций.
- Wikipedia, Канареечный релиз.