Обзор и мотивация

Доступность есть самое цитируемое число в управлении услугами и одно из наименее точно определённых. Утверждение вроде «услуга была доступна на 99,9 % в прошлом месяце» звучит точно, но прячет как минимум четыре решения: что считалось услугой, что считалось «доступным», какие часы входили в область и какие простои были исключены. Две команды могут отчитаться по одной услуге за один месяц и опубликовать цифры, различающиеся на порядок, и ни одна не ошибётся в арифметике.

Эта тема делает эти решения явными. Она охватывает расчёт времени работы и простоя, доступность с весами пользователей, плановый и внеплановый простой и арифметику девяток. Она опирается на индикаторы уровня услуги (SLI), цели уровня услуги (SLO) и бюджеты ошибок (см. тему 5.2, SLI, SLO и бюджеты ошибок) и на договорный взгляд на уровни услуг (см. тему 5.1, Метрики SLA, OLA и XLA). Эти темы говорят, как выбрать цель. Эта говорит, как вычислить число, с которым цель сравнивается.

Термины, используемые в этой теме

  • Доступность есть способность услуги делать то, что нужно пользователям, когда им нужно, обычно выражаемая в процентах за период. Общее понятие описано в статье о высокой доступности.
  • Простой есть период, когда услуга недоступна. Эта тема использует сбой (outage) для одного непрерывного эпизода простоя и деградацию для периода, когда услуга работает, но ниже согласованного качества.
  • Время работы есть дополнение простоя в окне измерения. Доступность по времени есть время работы, делённое на общее время в области.
  • Доступность по запросам есть доля допустимых запросов, закончившихся успешно, так что сбой, затрагивающий 5 % запросов в течение часа, считается как 5 % трафика часа, а не как полный час простоя.
  • Доступность с весами пользователей расширяет взгляд по запросам, взвешивая сбои числом или важностью затронутых пользователей, например подсчётом неудавшихся сеансов или путей вместо сырых запросов.
  • Соглашение об уровне услуг (SLA) есть обязательство перед клиентом, а цель уровня услуги (SLO) есть внутренняя цель для индикатора. Статьи о соглашении об уровне услуг и цели уровня услуги дают общие определения.
  • Плановый простой есть сбой, объявленный заранее и одобренный через управление изменениями (change enablement). Внеплановый простой есть всё остальное. Граница между ними есть одна из самых оспариваемых линий в отчётности о доступности.
  • Среднее время между отказами (MTBF) есть среднее время работы между сбоями, а среднее время восстановления есть среднее время на восстановление. Оба суть средние, поэтому эта книга читает их как распределения (см. тему 1.6, Статистическая грамотность для метрик услуг).
  • Синтетический мониторинг использует скриптовые пробы, ведущие себя как пользователь и сообщающие об успехе или неудаче. Мониторинг реальных пользователей записывает опыт настоящих пользователей, когда они пользуются услугой.
  • ITIL есть самая известная рамка управления ИТ-услугами. В ITIL 4 практика управления доступностью занимается обеспечением того, чтобы услуги давали согласованные уровни доступности, и тесно работает с мониторингом и управлением событиями, управлением инцидентами и управлением непрерывностью услуг.

Почему одного числа никогда не достаточно

Десять сбоев по четыре минуты и один сбой в сорок минут дают одинаковую сумму простоя, но ощущаются пользователями по-разному и требуют разных ответов. Первая картина указывает на хрупкую услугу. Вторая указывает на медленное обнаружение или восстановление. По этой причине метрики здесь идут небольшим набором, у каждой есть ограждение, чтобы команда могла обсуждать доступность честно, не соревнуясь за наибольшее число девяток.

Чем различаются взгляды ITIL и Agile

В ITIL доступность есть управляемый атрибут услуги, согласованный с клиентом и отчитываемый управлением уровнями услуг относительно заявленной цели, с ясными часами услуги и исключениями, такими как плановое обслуживание.

В практике Agile и инженерии надёжности сайтов (SRE) доступность есть один SLI среди нескольких, сравниваемый с SLO. Книга Google Site Reliability Engineering говорит, что доступность по времени подходит отдельной системе, а доля успешных запросов подходит распределённым услугам, всегда частично работающим. Она также говорит, что 100 % почти никогда не верная цель, потому что цена каждой лишней девятки круто растёт.

Используйте дисциплину ITIL согласованной области, часов и исключений, чтобы определить знаменатель. Используйте дисциплину SRE индикаторов, ориентированных на пользователя, и бюджетов ошибок, чтобы определить числитель и решить, что делать с результатом.

Ключевые принципы

  • Определяйте «доступно» со стороны пользователя. Услуга, отвечающая на проверки здоровья, пока пользователи не могут войти, недоступна для людей, которые важны.
  • Запишите знаменатель. Укажите границу услуги, часы в области, часовой пояс и окно измерения, прежде чем что-либо вычислять.
  • Считайте плановые и внеплановые простои отдельно. Сообщайте оба вместе и никогда не позволяйте одному прятаться внутри другого.
  • Предпочитайте измерения по запросам и с весами пользователей для распределённых услуг. Частичный сбой не есть ни полное время работы, ни полный простой.
  • Переводите девятки в минуты. Цель понята, только когда люди могут сказать, сколько минут сбоя в месяц она допускает.
  • Выбирайте число девяток, которое нужно пользователям. Сверх этой точки каждая лишняя девятка стоит больше, чем возвращает.
  • Описывайте услуги, никогда людей. Доступность принадлежит услуге и командам, которые её эксплуатируют, и никогда не оценка отдельного человека.

Определения метрик

Каждая строка указывает свои часы и границы. Используется календарное время, если строка не говорит иначе. Где мера использует распределение, сообщайте медиану и 95-й перцентиль и называйте окно.

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность
Доступность по времени Доля времени в области, в которой услуга отвечала письменному определению «работает» (минуты в области в окне минус минуты внепланового простоя) / минуты в области в окне. Часы запускаются при первой неудавшейся пробе, позже подтверждённой как воздействие на пользователей, или при подтверждённом начале воздействия, записанном в пересмотре инцидента; останавливаются, когда услуга снова отвечает определению. Плановый простой внутри согласованных часов услуги показывается отдельно, а время вне согласованных часов услуги исключается из знаменателя процент Результаты синтетического мониторинга; запись об инциденте с метками начала воздействия и восстановления Управление доступностью; управление уровнями услуг SLI по времени для отдельной системы (см. тему 5.2, SLI, SLO и бюджеты ошибок) Раз в месяц
Доступность по запросам Доля допустимых запросов, закончившихся успешно успешные допустимые запросы / все допустимые запросы в окне. Допустимые запросы исключают искажённые запросы и клиентские ошибки, вызванные вызывающей стороной; сбои, вызванные услугой, включая тайм-ауты, считаются неудачами. Сообщается по услуге и по пути пользователя процент Логи и метрики балансировщика нагрузки, шлюза или приложения Управление доступностью; мониторинг и управление событиями SLI доли успеха с SLO и бюджетом ошибок (см. тему 5.2, SLI, SLO и бюджеты ошибок) Ежедневный тренд, месячный отчёт
Доступность с весами пользователей Доступность, взвешенная затронутыми пользователями или путями, так что сбой в пик считается больше ночного 1 минус (неудавшиеся сеансы пользователей или неудавшиеся пути / все сеансы пользователей или пути) в окне. Сеанс считается неудавшимся, если не удался определённый критический шаг; частичный успех сообщается как отдельная доля деградации, а не вливается процент Мониторинг реальных пользователей; логи сеансов приложения; события аналитики Управление доступностью; управление уровнями услуг SLI на основе путей и показатели опыта из темы 6.2 (см. тему 6.2, Соглашения об уровне опыта) Раз в месяц
Внеплановый простой Минуты, в которые услуга была недоступна без заранее одобренного уведомления Сумма длительностей сбоев в окне, от подтверждённого начала воздействия до подтверждённого восстановления, для сбоев, не объявленных и не одобренных через управление изменениями до их начала. Пересекающиеся сбои одной услуги сливаются, а не суммируются. Сообщается как общие минуты, число сбоев, медиана и 95-й перцентиль длительности сбоя минуты Запись об инциденте с метками начала воздействия и восстановления Управление инцидентами; управление доступностью Время восстановления, читаемое как распределение (см. тему 3.3, Время реагирования на инциденты и их устранения) Раз в месяц
Доля планового простоя Доля всего простоя, объявленная и одобренная заранее минуты планового простоя / (минуты планового плюс внепланового простоя) в окне. Сбой считается плановым, только если он был одобрен записью об изменении до начала и его время начала и конца было сообщено пользователям; превышение одобренного окна переклассифицируется как внеплановое с момента окончания окна процент Запись об изменении с одобренным окном; запись об инциденте; история страницы статуса Управление изменениями (change enablement); управление доступностью Практики релизов и обслуживания, предпочитающие развёртывание без простоя (см. тему 4.3, Метрики управления изменениями) Раз в месяц
Частота сбоев и интервалы между ними Как часто начинаются сбои и как долго услуга работает между ними Число сбоев, начавшихся в окне; и для каждой пары последовательных сбоев минуты работы между восстановлением первого и началом второго, сводимые как медиана и 5-й перцентиль. Не сообщается как единое среднее, если интервалов меньше десяти число; минуты Запись об инциденте; история мониторинга Управление инцидентами; управление проблемами Сигнал стабильности рядом с долей сбоев изменений (см. тему 4.4, Сбои изменений и переделки) Раз в месяц
Доля деградации Время, в которое услуга работала, но ниже согласованного качества Минуты, в которые индикатор задержки, ошибок или правильности нарушил свой порог, исключая минуты, уже посчитанные как простой / минуты в области. Порог указывается по услуге, например в SLO процент Мониторинг и измерения SLI Управление доступностью; управление ёмкостью и производительностью SLI задержки (см. тему 5.4, Метрики ёмкости и производительности) Раз в месяц
Охват измерения Какую часть пользовательского поведения услуги измерение доступности действительно наблюдает Критические пути пользователей с активной пробой или измерением реальных пользователей / критические пути пользователей, перечисленные в определении услуги процент Определение услуги; настройка мониторинга Мониторинг и управление событиями; управление доступностью Охват наблюдаемости и качество оповещений (см. тему 5.5, Метрики мониторинга и качества оповещений) Раз в квартал

Две заметки о данных. Проба, проверяющая каждые пять минут, не может разрешить двухминутный сбой, поэтому записывайте интервал проб рядом с цифрой и используйте поле начала воздействия в записи об инциденте (см. тему 1.5, Источники данных и инструментирование). Всякий раз, когда меняется определение «работает», отмечайте это на графике тренда.

Рекомендации

Определите измерение

1. Напишите определение услуги раньше процента. Перечислите границу услуги, критические пути пользователей, часы в области, часовой пояс и окно (обычно календарный месяц). Скажите, какие зависимости считаются: если платёжный провайдер падает и пользователи не могут платить, это ваш сбой? Запишите ответ в реестр метрик (см. тему 1.4, Управление метриками и ответственность за них). Большая часть споров о доступности есть споры об этой странице, и урегулировать их заранее много дешевле, чем после сбоя.

2. Определяйте «работает» как результат для пользователя, а не как состояние сервера. Проверка здоровья, возвращающая успех при сломанном входе, измеряет не то. Выберите небольшое число критических путей, например «найти и просмотреть товар», «войти» или «подать заявление», и определите успех для каждого в терминах, которые пользователи узнали бы. Пробуйте путь сквозь, а медленный ответ сверх согласованного порога считайте деградацией, а не «работает».

3. Используйте измерения по запросам для распределённых услуг и по времени там, где услуга действительно включена или выключена. Глобальная услуга редко падает целиком, поэтому подсчёт минут полного отказа игнорирует большую часть реальных сбоев. Сообщайте оба, когда можете, и скажите, какой главный и почему.

4. Добавьте веса пользователей там, где нагрузка неравномерна. Десятиминутный сбой в 4 часа ночи и сбой в начале торгового дня имеют одинаковую длительность и очень разную цену. Взвешивайте по сеансам или транзакциям в минуту сбоя или сообщайте минуты сбоя в часы пик отдельной цифрой.

5. Измеряйте снаружи области сбоя. Проба внутри той же сети или региона, что и услуга, падает вместе с ней или продолжает сообщать об успехе, пока путь пользователей сломан. Запускайте синтетические пробы минимум из двух независимых мест и сверяйте их с данными реальных пользователей.

Честно относитесь к плановым и внеплановым простоям

6. Сообщайте плановый и внеплановый простой рядом. Многие соглашения исключают плановое обслуживание, и это разумно. Пользователи всё равно переживают его как простой, поэтому показывайте исключённые минуты и долю планового рядом с главной цифрой (см. тему 4.3, Метрики управления изменениями).

7. Сделайте плановую метку трудной для получения. Определите плановый как одобренный записью об изменении до начала сбоя, с временем начала и конца, заранее сообщённым пользователям. Сбой, объявленный после начала, внеплановый. Превышение одобренного окна внеплановое с момента окончания окна. Эти три правила не дают метке стать способом переименовывать сбои.

8. Работайте над сокращением планового простоя. Скользящие развёртывания, переключатели функций, миграции схемы без блокировок и сине-зелёные релизы позволяют командам менять услугу, не останавливая её. Отслеживайте минуты планового простоя как тренд и спрашивайте, что нужно, чтобы свести их к нулю.

Хорошо читайте числа

9. Переводите девятки в минуты и показывайте их. Таблица ниже даёт арифметику для 30-дневного месяца (43 200 минут) и 365-дневного года (525 600 минут). Размещайте допустимые минуты на панели рядом с целью и показывайте использованные к настоящему моменту минуты окна. Люди принимают лучшие решения о «43 минутах в месяц», чем о «трёх девятках».

Цель по доступности Допустимый простой в 30-дневном месяце Допустимый простой в 365-дневном году
99 % 432 минуты (7,2 часа) 5256 минут (87,6 часа)
99,5 % 216 минут (3,6 часа) 2628 минут (43,8 часа)
99,9 % 43,2 минуты 525,6 минуты (8,76 часа)
99,95 % 21,6 минуты 262,8 минуты (4,38 часа)
99,99 % 4,32 минуты 52,56 минуты
99,999 % около 26 секунд около 5,26 минуты

Значения предполагают, что часы идут всё окно. Если вы измеряете только согласованные часы услуги, допустимые минуты сокращаются пропорционально, и вам следует это сказать.

10. Уважайте цену каждой лишней девятки и пределы своих зависимостей. Книга SRE отмечает, что цена надёжности круто растёт с каждой дополнительной девяткой и что цель должна отражать то, что нужно пользователям и за что готов платить бизнес. Услуга редко может быть доступнее зависимостей, нужных ей последовательно. Если три существенных компонента каждый достигают 99,9 % и запросу нужны все три, лучшая ожидаемая доступность комбинации примерно 99,7 %, потому что вероятности отказов складываются, когда компоненты независимы. Выполните умножение, прежде чем обещать цифру.

11. Смотрите на интервалы и форму, а не только на итог. Частые короткие сбои требуют иного ответа, чем один редкий длинный сбой. Связывайте длинные сбои с обнаружением и восстановлением (см. тему 3.3, Время реагирования на инциденты и их устранения) и со взглядом на крупные инциденты (см. тему 3.4, Метрики крупных инцидентов).

12. Замкните петлю с бюджетом ошибок и записью о проблеме. Цель по доступности полезна, когда меняет действия команды. Когда месячный бюджет допустимого простоя почти израсходован, замедляйте рискованные изменения и переносите усилия на работу над надёжностью, как описано в политике бюджета ошибок (см. тему 5.2, SLI, SLO и бюджеты ошибок). Когда повторяется одна причина, откройте запись о проблеме и ведите её до исправления (см. тему 4.1, Метрики управления проблемами).

Векторы манипуляции и ограждения

Метрика Как её искажают Парная метрика или практика-ограждение
Доступность по времени Пробовать тривиальную страницу, остающуюся доступной, пока настоящий путь падает; удлинять интервал проб, чтобы короткие сбои проваливались между проверками; сокращать часы в области; считать сбои деградацией Доступность с весами пользователей и мониторинг реальных пользователей; интервал проб указан рядом с цифрой; выборка инцидентов сверяется с записью мониторинга
Доступность по запросам Включать лёгкие запросы (проверки здоровья, кэшированные ресурсы) в знаменатель, чтобы разбавить сбои; классифицировать серверные ошибки как клиентские; исключать повторы, которые пользователи переживали как неудачи Доля успеха по критическому пути, а не по запросу; пересмотр списка исключений; сравнение с инцидентами, о которых сообщили пользователи
Доступность с весами пользователей Выбирать веса так, чтобы сбои в пик весили мало; определять «успешный» сеанс так слабо, что сломанные шаги всё равно проходят Публиковать правило весов и список путей; сравнивать с объёмом жалоб и обращений в поддержку во время сбоев
Внеплановый простой Переклассифицировать сбои как плановые постфактум; откладывать подтверждённое начало воздействия; делить один сбой на два, чтобы он выглядел короче Доля планового простоя с правилом, что сбой, объявленный после начала, внеплановый; сравнение начала воздействия с данными мониторинга
Доля планового простоя Оформлять изменения как одобренные окна, чтобы превышения и сбои считались плановыми; раздувать долю планового, планируя ненужное обслуживание Минуты превышения переклассифицируются как внеплановые; доля сбоев изменений и доля срочных изменений (см. тему 4.4, Сбои изменений и переделки)
Частота сбоев и интервалы между ними Сливать инциденты или открывать новый только после долгой паузы, чтобы держать счёт низким; подавлять оповещения, чтобы короткие сбои не записывались Выборка оповещений и инцидентов против сырых событий мониторинга; охват мониторингом и качество оповещений (см. тему 5.5, Метрики мониторинга и качества оповещений)
Доля деградации Задавать порог настолько мягким, что медленная работа его никогда не нарушает; объявлять деградированное время как работающее Перцентили задержки и сообщения пользователей о медлительности пересматриваются рядом с цифрой (см. тему 5.4, Метрики ёмкости и производительности)
Охват измерения Перечислять только пути, которые легко пробовать, чтобы охват читался как 100 %; считать путь охваченным пробой, которая никогда не запускается Список путей согласован с владельцем услуги и пользователями; история запусков проб проверяется выборкой каждый квартал

Здоровое чтение показывает цифры, двигающиеся по причинам, которые команда может объяснить, с видимыми плановым и внеплановым простоем и цифрой с весами пользователей, близкой к главной. Относитесь с подозрением к идеальному месяцу, сопровождаемому жалобами. Редкий честный провал показывает, что система записи работает.

Компромиссы: плюсы и минусы

Подход Сильная сторона Слабая сторона
Доступность по времени Проста, широко понятна, легко сравнивается с контрактами Рассматривает частичный сбой как всё или ничего; игнорирует когда и кого
Доступность по запросам Отражает частичный сбой; масштабируется на распределённые услуги Зависит от здравого определения допустимого запроса; может разбавляться лёгким трафиком
Доступность с весами пользователей Близка к тому, что пережили пользователи; показывает цену сбоя в часы пик Нужны данные сеансов или путей; труднее объяснить
Исключение планового простоя Соответствует многим соглашениям; награждает заблаговременное уведомление Может прятать реальное воздействие; приглашает переименовывать
Умеренные цели с бюджетами ошибок Уравновешивает надёжность и скорость поставки Нужна дисциплина действовать, когда бюджет израсходован

Ответ прост: выберите простейшую меру, подходящую услуге, добавьте веса пользователей там, где нагрузка неравномерна, и будьте явны в каждом исключении. Чуть менее изящная мера, понятная всем, приносит больше пользы, чем изощрённая, которой никто не доверяет.

Вопросы для обсуждения в команде

1. Что значит «доступно» для нашей самой важной услуги и согласился бы пользователь? Попросите каждого описать одним предложением, что пользователь должен мочь сделать, чтобы услуга считалась работающей. Сравните ответы с письменным определением и с пробой, питающей панель. Ведущему стоит прислушиваться к пробелам, например когда вход, поиск или оплата работают в пробе, но не работают на практике. Закончите, договорившись, какие пути пользователей должно называть определение.

2. Какие сбои прошлого квартала наш расчёт исключил бы и было ли это справедливо? Перечислите сбои и отметьте каждый как плановый, внеплановый или исключённый. Спросите, кто принимал каждое решение и когда. Ведущему стоит записывать случаи, где пользователи не согласились бы с меткой, и использовать их, чтобы ужесточить правила.

3. Сколько минут простоя допускает наша цель и сколько мы использовали в этом окне? Переведите цель в минуты на месяц и год на доске. Сравните с использованными к настоящему моменту минутами. Спросите, что команда делала бы иначе, если бы осталось всего 20 % бюджета. Это делает абстрактную цель конкретной и связывает число с политикой бюджета ошибок.

4. Где наше измерение может пропустить сбой, который почувствовали бы пользователи? Пройдитесь по местам проб, интервалу, охваченным путям и зависимостям. Спросите, какой сбой прошёл бы мимо каждой пробы и всё же сломал услугу для пользователей. Договоритесь добавить одну новую пробу или одно измерение реальных пользователей.

5. Не планируем ли мы сбои, которых можно избежать? Посмотрите на плановый простой за шесть месяцев и спросите, что вызвало каждый сбой. Некоторые неизбежны, например требование поставщика. Другие вытекают из подхода к релизам или миграциям, который можно изменить. Спросите, что нужно, чтобы убрать крупнейший источник, и кто владеет этой работой.

6. Если главное число выглядит идеально, что заставило бы нас усомниться? Назовите сигналы, которые противоречили бы панели: объём жалоб, обращения в поддержку или воспоминания дежурной команды. Проверьте, есть ли такие сейчас. Договоритесь о одном сравнении для панели.

Четыре точки зрения

Продуктовые команды и команды поставки

Команды поставки влияют на доступность каждый раз, когда меняют услугу. Они могут проектировать развёртывание без простоя, использовать переключатели функций для ограничения радиуса поражения и относиться к бюджету ошибок как к входу в решения о релизах, читая доступность рядом с показателями развёртываний (см. тему 2.8, Метрики DORA).

Команды услуг и эксплуатации

Команды эксплуатации владеют пробами, записями об инцидентах и ротациями, производящими данные. Им следует поддерживать определение и список исключений актуальными, честно записывать начало воздействия и пересматривать мониторинг относительно реальных инцидентов. Доступность принадлежит услуге и её ротации, никогда одному инженеру на дежурстве (см. тему 5.7, Рутинная работа и метрики дежурств).

Руководство и управление

Руководители задают стимулы, определяющие, откровенны ли данные о доступности. Пересмотр, спрашивающий «почему вы потеряли девятку?», учит команды прятать сбои в исключениях. Спрашивайте, чему научилась команда и какие вложения сократили бы сбои, и не требуйте больше девяток, чем заметят пользователи (см. тему 8.4, Метрики поставщиков и контрактов, об обязательствах поставщиков).

Клиенты и пользователи

Пользователи судят о доступности по тому, смогли ли они сделать то, ради чего пришли. Они переносят объявленное окно обслуживания намного лучше сюрприза. Дайте им страницу статуса с честным временем начала и конца и читайте их отзывы рядом с числами (см. тему 6.2, Соглашения об уровне опыта).

На практике: пример из управления услугами

Интернет-магазин среднего размера ведёт витрину, услугу оформления заказа и услугу отслеживания заказов. Числа в этом примере иллюстративны.

Команда оформления заказа сообщает 99,95 % доступности по времени за месяц, что допускает 21,6 минуты внепланового простоя, и панель показывает 99,96 %. Руководитель службы поддержки клиентов встревожена, потому что обращения в поддержку о неудавшихся платежах выросли в тот же месяц. Руководитель просит команду пересмотреть измерение.

Команда находит три проблемы. Проба проверяет страницу «оформление заказа доступно» раз в пять минут, а не весь путь платежа. Данные по запросам показывают, что в течение двух вечеров тайм-аут платёжного провайдера вызвал сбой примерно 4 % платёжных попыток на примерно 50 минут каждый раз, и проба этого не заметила, потому что сама страница загружалась. И миграция базы данных, превысившая одобренное окно на 18 минут, была записана целиком как плановое обслуживание.

Команда вносит четыре изменения. Она добавляет синтетическую пробу для всего пути платежа из двух мест с интервалом в одну минуту. Она добавляет цифры по запросам и с весами пользователей, используя сеансы, дошедшие до шага оплаты. Она переклассифицирует минуты превышения как внеплановые. И она добавляет долю планового простоя и охват измерения в отчёт.

На исправленной основе месяц показывает доступность по времени 99,93 %, по запросам 99,90 % и с весами пользователей 99,84 %, потому что сбои пришлись на вечерний пик. Все три не дотягивают до цели 99,95 %, что неприятно. Команда и руководитель поддержки соглашаются, что прежнее число было слишком щедрым. Они вписывают исправленное определение в реестр метрик и вводят в действие политику бюджета ошибок: в следующем месяце рискованные изменения оформления заказа ждут, пока бюджет не восстановится, а команда открывает запись о проблеме по тайм-аутам платёжного провайдера (см. тему 4.1, Метрики управления проблемами).

Риск манипуляции, который они поймали, есть переименование. Менеджер предложил назвать превышение «продлённым обслуживанием», чтобы защитить цель. Доля планового простоя с её правилом, что превышения становятся внеплановыми, сделала переклассификацию видимой, и команда сохранила честную цифру.

Agile, ИИ, автоматизация и аналитика

Agile

Определяйте доступность со стороны пользователя и пересматривайте определение с заинтересованными сторонами, когда услуга меняется. Осторожность в том, что высокое число девяток на компоненте мало говорит о пути, по которому идёт пользователь.

ИИ

Компоненты ИИ могут отказывать мягко, быть медленными, неверными или недоступными лишь для части входов, что простое время работы пропускает. Добавьте взгляд с поправкой на качество, например долю запросов с верным и своевременным ответом, и парьте его с проблемами, о которых сообщили пользователи. Осторожность в том, что засчитывание деградировавшего ответа ИИ как «работает» льстит числу.

Автоматизация

Собирайте исходы запросов из реального трафика и синтетических проб автоматически и измеряйте пробы по охвату. Осторожность в том, что проба, проверяющая страницу здоровья, может сказать «работает», пока пользователи не могут войти.

Аналитика

Сообщайте доступность по времени и по запросам вместе с долей деградации и указывайте окно измерения. Решение, которое это информирует, состоит в том, где работа над надёжностью поможет пользователям. Осторожность в том, что редкие сбои делают годовые проценты нестабильными; поэтому показывайте события, а не только проценты.

Отраслевой взгляд

Стартап. У малой команды часто одна услуга и мало мониторинга. Начните с одной пробы самого важного пути и определения «работает» в один абзац. Выберите скромную цель, переведите её в минуты и избегайте обещаний девяток, которые команда пока не может измерить.

Малый бизнес. Услуга часто есть размещённые инструменты плюс несколько своих систем, и доступность зависит от поставщиков. Записывайте сбои поставщиков по тому, как они затрагивают ваших пользователей, сравнивайте с тем, что сообщает поставщик, и держите набор в две-три цифры.

Крупная компания. Много услуг, много команд и много поставщиков умножают используемые определения. Опубликуйте одно стандартное определение доступности с коротким списком допустимых вариаций, держите реестр метрик актуальным и добейтесь, чтобы правила планового и внепланового были едины в командах, прежде чем сравнивать их. Предпочитайте отчётность на уровне услуг командным таблицам лидеров, поскольку услуги различаются нагрузкой и критичностью.

Государство и публичный сектор. У публичных услуг часто есть законодательные часы услуги, опубликованные обязательства и контракты с формальными кредитами. Сообщайте относительно них как написано, показывайте рядом взгляд с весами пользователей и будьте открыты об исключениях (см. тему 8.5, Регулируемая и государственная отчётность).

Бизнес-обоснование: мотивы, ROI и TCO

Основные затраты: время на написание определения услуги и реестра, мониторинг, пробующий критические пути снаружи области сбоя, и усилия по объединению данных об инцидентах, изменениях и мониторинге, чтобы можно было разделить плановый и внеплановый простой. Мониторинг реальных пользователей добавляет расходы на инструменты и хранение. У большинства организаций часть данных уже есть, поэтому первое вложение обычно идёт в определения.

Отдача приходит от лучших решений и меньшего числа споров. Команды, измеряющие со стороны пользователя, находят сбои, которые проверки здоровья пропускают, соглашениями проще управлять с одним определением, а цену лишней девятки можно сопоставить с её ценностью для пользователей. Описывайте выгоду как закономерность, например меньше сюрпризов на пересмотрах соглашений, и измеряйте собственные базовые уровни, например разрыв между главной цифрой и цифрой с весами пользователей. Не заимствуйте цифры у других организаций.

Антипаттерны и ловушки

  • Цитирование девяток без минут. Цель, которую никто не может перевести в допустимый простой, не может направлять решения. Показывайте допустимые и использованные минуты рядом с каждой целью.
  • Измерение сервера вместо пути. Зелёная проверка здоровья может стоять рядом со сломанным входом. Пробуйте критические пути сквозь и сравнивайте с данными реальных пользователей.
  • Позволять плановой метке поглощать сбои. Плановая категория, которую легко получить, опустошает внеплановую цифру. Требуйте одобрения до сбоя, сообщайте о нём и переклассифицируйте превышения.
  • Усреднение по услугам и часам. Смешанная цифра прячет критическую услугу и загруженный час. Сообщайте по услугам и добавьте взгляд с весами пользователей.
  • Обещание большего числа девяток, чем допускают зависимости. Компоненты последовательно не могут превзойти свою совместную доступность. Умножайте, прежде чем обещать, и просите у поставщиков их измеренные цифры.
  • Относиться к 100 % как к цели. Цена круто растёт, а изменения замедляются. Выбирайте цель по потребности пользователей и используйте бюджет ошибок.
  • Ранжирование команд или людей по девяткам. Услуги различаются нагрузкой и критичностью, а таблица лидеров учит команды прятать сбои. Показывайте каждой услуге её собственный тренд и сравнивайте с её собственной целью.

Модель зрелости

Измерение 1 Инициирование 2 Развитие 3 Стандартизация 4 Управление 5 Оркестрация
Определение и часы «Работает» означает то, что показывает инструмент мониторинга; времена сбоев оцениваются потом Записано для некоторых услуг; времена проб и инцидентов расходятся Одно письменное определение на услугу с путями, часами, исключениями и правилами часов Определения пересматриваются в ритме; изменения записываются и отмечаются на графиках Определения согласованы с поставщиками и клиентами и пересматриваются, когда перестают информировать решения
Качество измерения Ручные отчёты или одна проверка здоровья Пробы для некоторых услуг; данные по запросам в некоторых логах Пробы снаружи по критическим путям плюс цифры по запросам из стандартного источника Цифры с весами пользователей из данных реальных пользователей; охват отслеживается и проверяется выборкой Измерения разделяются между командами и поставщиками и сверяются автоматически
Обращение с плановым и внеплановым Различия нет; обслуживание считается как придётся Плановая метка используется некоторыми командами, правила различаются Одно правило: одобрено до сбоя и сообщено, превышения переклассифицируются Доля планового отслеживается во времени с целью сокращения Изменения без простоя по умолчанию, а плановый простой редок и согласуется
Использование в решениях Сообщается после жалобы Ежемесячный пересмотр эксплуатацией Цели показаны в минутах Политика бюджета ошибок меняет работу, с финансированием Доступность, стоимость и опыт уравновешиваются совместно

Контрольный список

  • У каждой услуги есть письменное определение «доступно», называющее её критические пути пользователей.
  • Окно измерения, часы в области и часовой пояс указаны для каждой цифры.
  • Список исключений записан, пересматривается и показан рядом с главной цифрой.
  • Плановый простой требует одобренного изменения и заблаговременного уведомления; превышения считаются внеплановыми.
  • Пробы идут снаружи области сбоя, с заявленным интервалом, по критическим путям.
  • Цифра по запросам или с весами пользователей стоит рядом с цифрой по времени.
  • Каждая цель показана как допустимые и использованные минуты в текущем окне.
  • Сообщаются число сбоев и перцентили длительности, а не только итог.
  • Доступность зависимостей перемножается, прежде чем обещана цель.
  • Изменения определения записываются и отмечаются на графике тренда.
  • Доступность сообщается по услугам и никогда по людям.

Промпты для ИИ

Составьте черновик определения доступности услуги.

I am writing an availability definition for [service name], a [type of service]
used by [user groups]. Its critical user journeys are [list journeys]. Agreed
service hours are [hours and time zone]. Known dependencies are [list]. Our
monitoring consists of [probes, logs, real user data].

Draft a one-page definition covering: what counts as up for each journey, the
measurement window, the in-scope hours, the exclusions, the rule for planned
versus unplanned downtime, the clock start and stop for an outage, and the
metrics to report. Do not invent targets or benchmark values. List your
assumptions and the questions I should answer to finish the definition.

Переведите цель в допустимый простой и проверьте её.

Our target for [service name] is [availability percentage] over [window, for
example a 30-day month]. In-scope time is [hours]. Our essential dependencies
and their stated or measured availability are [list, or "unknown"].

Calculate the downtime this target allows in minutes for the window and for a
year, using the in-scope hours. Then estimate the best combined availability if
the dependencies are needed in series and fail independently, and explain the
formula you used. Flag where my inputs are too uncertain to conclude anything.
Do not supply availability figures for any dependency that I did not give you.
List your assumptions.

Проверьте месяц сбоев на проблемы классификации.

Here are the outage records for [service name] for [month]: [paste records with
impact start, restore time, planned or unplanned label, approval time, and
notes, with personal data removed].

For each outage, check whether the planned or unplanned label follows this
rule: [paste your rule]. Identify records where the impact start looks late,
where one outage appears to be split or merged, and where an overrun should have
been reclassified. Summarize patterns by service and cause, never by person.
Tell me what you could not judge from the data. List your assumptions.

Навыки ИИ

  • Service Management Metrics skill: используйте, чтобы найти связанные темы и парное ограждение для показателя доступности, который вы собираетесь сообщить.
  • Service Management Metrics maintainer skill: используйте, чтобы проверить, что правка этой темы сохраняет каждую метрику в паре с вектором манипуляции и ограждением.

Главные выводы

  • Доступность осмысленна, только когда «работает», граница услуги, часы и исключения записаны со стороны пользователя.
  • Измерения по запросам и с весами пользователей описывают распределённые услуги и неравномерную нагрузку лучше, чем минуты полного отказа.
  • Сообщайте плановый и внеплановый простой вместе и делайте плановую метку трудной для получения.
  • Переводите каждую цель в минуты и перемножайте последовательные зависимости, прежде чем обещать число девяток.
  • Каждая лишняя девятка стоит больше предыдущей, поэтому выбирайте цель по тому, что нужно пользователям, и используйте бюджет ошибок, чтобы действовать по ней.
  • Описывайте услуги и ротации, никогда людей, и проверяйте каждую главную цифру опытом пользователей.

Источники и дополнительное чтение

  1. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, chapter "Embracing Risk", https://sre.google/sre-book/embracing-risk/.
  2. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, chapter "Service Level Objectives", https://sre.google/sre-book/service-level-objectives/.
  3. Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SLOs, O'Reilly Media, 2018, chapter "Implementing SLOs", https://sre.google/workbook/implementing-slos/.
  4. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  5. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  6. Wikipedia, Высокая доступность.
  7. Wikipedia, Простой.
  8. Wikipedia, Соглашение об уровне услуг.
  9. Wikipedia, Цель уровня услуги.
  10. Wikipedia, Среднее время между отказами.
  11. Wikipedia, Среднее время восстановления.
  12. Wikipedia, Синтетический мониторинг.
  13. Wikipedia, Мониторинг реальных пользователей.
  14. Wikipedia, ITIL.