Введение в часть 5: Метрики уровня услуг, доступности и надёжности
Метрики уровня услуг, доступности и надёжности описывают, на что пользователи могут рассчитывать от услуги, чтобы команды обещали только то, что могут поставить, рано замечали, что дрейфуют от обещания, и тратили усилия там, где пользователи это почувствуют.
Части 2-4 смотрели на то, как движется работа: как быстро течёт поток, как обрабатываются инциденты и как безопасно делаются изменения. Эта часть обращается к результату, который пользователи действительно переживают. Услуга, часто выпускающая изменения и быстро решающая инциденты, всё же может быть медленной, недоступной в неподходящие моменты или непредсказуемой. Пользователи судят об услуге по тому, работает ли она, когда им нужна, а не по тому, как организуется команда.
Здесь встречаются две традиции. Практика ITIL давно использует соглашения об уровне услуг, цели и отчётность, чтобы задавать ожидания между поставщиком и его клиентами. Практика инженерии надёжности сайтов, изложенная в книгах Google Site Reliability Engineering, использует индикаторы уровня услуги, цели и бюджеты ошибок, чтобы превратить надёжность в явный инженерный компромисс с темпом изменений. Они совместимы. Обе начинают с того, что важно пользователям, обе выражают это как измеримую цель, и обеим нужен честный отчёт о том, как часто цель выполнялась.
Через всю часть проходит повторяющийся риск. Число надёжности легко заставить выглядеть хорошо: выбрав удобный индикатор, исключив неудобные периоды или измеряя компонент, а не путь пользователя. По этой причине каждая тема здесь называет часы и границы своих показателей, читает время и задержку как распределения с перцентилями (см. тему 1.6, Статистическая грамотность для метрик услуг) и парит каждый показатель с ограждением (см. тему 1.2, Закон Гудхарта и психология метрик). Каждая метрика описывает услугу, команду или систему. Ни одна не ранжирует отдельного человека, а показатели дежурств в особенности существуют, чтобы защищать людей, а не оценивать их.
Четыре линзы применяются к надёжности особым образом. Непрерывная поставка и бюджеты ошибок делают риск общим, расходуемым решением. Компоненты ИИ могут отказывать мягко, быстрыми или неверными, а не недоступными, поэтому доступности путей ИИ нужен рядом показатель качества. Автоматизация поставляет телеметрию и оповещения и сама должна измеряться по пропущенным и ложным оповещениям. Аналитика должна показывать окно и число событий за каждой цифрой.
Темы этой части
- 5.1 Метрики SLA, OLA и XLA: показатели соглашения об уровне услуг, соглашения об операционном уровне и соглашения об уровне опыта, а также как отчётность-арбуз прячет неприятности за зелёными панелями и как этого избежать.
- 5.2 SLI, SLO и бюджеты ошибок: индикаторы и цели уровня услуги, политика бюджета ошибок, скорость сгорания и выбор индикаторов по тому, что важно пользователям.
- 5.3 Метрики доступности: расчёт времени работы и простоя, доступность с весами пользователей, плановые и внеплановые простои и арифметика девяток.
- 5.4 Метрики ёмкости и производительности: загрузка, насыщение, перцентили задержки, запас и прогнозирование спроса.
- 5.5 Метрики мониторинга и качества оповещений: объём оповещений, доля применимых оповещений, ложные срабатывания, охват обнаружением и усталость от оповещений.
- 5.6 Метрики непрерывности услуг: цели времени и точки восстановления, достигнутые в испытаниях, частота испытаний, находки учений и актуальность планов.
- 5.7 Рутинная работа и метрики дежурств: вызовы за смену, нагрузка вне рабочих часов, доля рутинной работы во времени и показатели устойчивой ротации.
Как эти темы связаны между собой
Первые три темы образуют ядро части, потому что определяют обещание и то, как оно измеряется. Тема 5.1 (см. тему 5.1, Метрики SLA, OLA и XLA) охватывает соглашения между поставщиками, внутренними командами и клиентами и практики отчётности, делающие эти соглашения честными или вводящими в заблуждение. Тема 5.2 (см. тему 5.2, SLI, SLO и бюджеты ошибок) поставляет инженерный аналог: индикаторы, взятые из опыта пользователей, цели, заданные относительно них, и бюджет ошибок, делающий видимым оставшееся место для риска. Тема 5.3 (см. тему 5.3, Метрики доступности) фиксирует арифметику, на которую опираются обе, включая то, что считается простоем и какие пользователи затронуты.
Ёмкость и производительность стоят близко за доступностью. Услуга, технически работающая, но насыщенная или медленная, подводит своих пользователей так, как простая цифра времени работы пропускает. Тема 5.4 (см. тему 5.4, Метрики ёмкости и производительности) поставляет перцентили задержки и показатели запаса, дополняющие доступность, а её прогнозы спроса дают раннее предупреждение, прежде чем цели окажутся под угрозой.
Обнаружение и восстановление определяют, какую часть сбоя переживают пользователи. Тема 5.5 (см. тему 5.5, Метрики мониторинга и качества оповещений) спрашивает, узнаёт ли команда о проблемах быстро и по сигналам, стоящим того, чтобы по ним действовать, что напрямую связано со временем обнаружения и восстановления из части 3. Тема 5.6 (см. тему 5.6, Метрики непрерывности услуг) спрашивает, может ли команда восстановиться в заявленных пределах, когда идёт не так что-то более крупное, и проверяет это утверждение, а не предполагает его.
Тема 5.7 (см. тему 5.7, Рутинная работа и метрики дежурств) служит человеческим ограждением для остального. Жёсткие цели, шумные оповещения и частые инциденты все ложатся на людей, носящих пейджер. Вызовы за смену и доля рутинной работы выявляют, когда надёжность покупается неустойчивым усилием, и связываются обратно с показателями внеплановой работы из части 2. Качество оповещений из темы 5.5 и нагрузку дежурств из темы 5.7 следует читать парой, поскольку плохие оповещения часто есть причина тяжёлых ротаций.
Наконец, бюджет ошибок в теме 5.2 связывает эту часть с изменениями в части 4. Когда бюджет здоров, команда может выпускать свободнее. Когда он израсходован, изменения и работу над надёжностью следует переуравновесить. Часть 6 затем проверяет, оставило ли выполнение целей этой части пользователей в лучшем положении, а это вопрос, на который зелёный отчёт один ответить не может.