Метрики крупных инцидентов
Измеряйте крупные инциденты как редкие дорогие события, из которых надо учиться, а не как турнирную таблицу: считайте их, честно замеряйте время, оценивайте воздействие на клиентов, проверяйте, что людей известили, и доказывайте, что последующие действия выполнены.
Обзор и мотивация
Крупный инцидент есть инцидент, достаточно серьёзный, чтобы требовать реакции сверх обычной рутины. ITIL, самая известная рамка управления ИТ-услугами, описывает управление инцидентами как восстановление нормальной работы услуги как можно быстрее и ожидает, что организации будут обрабатывать самые серьёзные инциденты по отдельному, более скоординированному пути. Где организация проводит эту черту, есть её собственное решение. Обычный выбор: инцидент, затрагивающий много пользователей или критическую услугу и требующий совместной работы нескольких команд под одним координатором. Запишите собственное определение, потому что от него зависит каждая метрика этой темы.
Крупных инцидентов немного. Команда может видеть десятки обычных инцидентов в неделю и два-три крупных за квартал. Это меняет то, как вы измеряете. Обычная статистика объёма инцидентов и времени решения (см. тему 3.2, Объём и приоритет инцидентов, и тему 3.3, Время реагирования на инциденты и их устранения) предполагает много событий и награждает средние. При горстке крупных инцидентов за период среднее определяется одной плохой ночью, линия тренда в основном шум, а перцентиль бессмыслен на пяти точках данных (см. тему 1.6, Статистическая грамотность для метрик услуг). Честный подход состоит в том, чтобы показывать каждый крупный инцидент отдельной строкой с собственной хронологией и подводить итоги лишь по более длинным окнам.
Взгляды Agile и ITIL встречаются здесь прямее, чем где-либо ещё в книге. ITIL вносит структуру: объявленный крупный инцидент, названный координатор, определённая коммуникация с затронутыми сторонами и пересмотр потом. Традиции Agile и инженерии надёжности сайтов (SRE) вносят привычки: командир инцидента, ведущий реагирование, безобвинительный разбор того, что случилось, и фокус на обучении, питающий непрерывное улучшение. Книга Google Site Reliability Engineering описывает и схему командования инцидентом, и практику разбора после инцидента (см. источники). Разбор после инцидента (postmortem) в этом смысле есть письменный отчёт об инциденте, его причинах и последующих действиях, и термин здесь употребляется взаимозаменяемо с «пересмотром после инцидента».
Эта тема охватывает пять вопросов. Как часто случаются крупные инциденты? Как долго они длятся и какая часть этого времени уходит до того, как кто-либо объявит их? Сколько пользователей и каких почувствовали их? Услышали ли люди от нас вовремя и в ровном ритме? И случилось ли обещанное продолжение? Связанные темы охватывают то, что стоит вокруг: доступность (см. тему 5.3, Метрики доступности), качество письменного пересмотра (см. тему 4.2, Метрики разборов и обучения), лежащие в основе причины (см. тему 4.1, Метрики управления проблемами) и изменение, которое часто их запускает (см. тему 4.4, Сбои изменений и переделки).
Термины, используемые в этой теме:
- Крупный инцидент: инцидент, отвечающий вашим письменным критериям объявления и запускающий процесс крупного инцидента.
- Объявление: момент, когда кто-то с полномочиями формально вызывает процесс крупного инцидента.
- Время восстановления: время от начала воздействия на клиентов до момента, когда услуга восстановлена для пользователей. Момент восстановления услуги не совпадает с нахождением первопричины.
- Командир инцидента: роль, координирующая реагирование, распределяющая задачи и принимающая решения. Это роль на время инцидента, а не должность.
- Пересмотр после инцидента: структурированное безобвинительное рассмотрение инцидента после восстановления услуги.
- Действие: конкретное, имеющее владельца и дату изменение, следующее из пересмотра.
Ключевые принципы
- Показывайте события, затем подводите итоги. Редкие события заслуживают отдельных хронологий. Сообщайте каждый крупный инцидент отдельно и используйте сводные статистики только по длинному окну, с числом рядом.
- Запускайте часы при воздействии, а не при осведомлённости. Длительность, начинающаяся, когда кто-то заметил, прячет разрыв обнаружения, который часто есть самая большая часть истории.
- Измеряйте опыт пользователя, а не усилие команды. Воздействие на клиентов есть причина существования процесса. Часы усилия исполнителей суть цена, которую надо отслеживать, никогда не оценка.
- Коммуникация есть часть восстановления. Услуга, восстановленная, пока пользователи всё ещё гадают, исправлена лишь наполовину. Относитесь к своевременности обновлений как к показателю реагирования.
- Пересмотр не закончен, пока не закончены действия. Завершённый документ с открытыми действиями ничего не изменил. Измеряйте доведение до конца, а не только существование пересмотра.
- Никогда не ранжируйте людей и никогда не наказывайте за объявление. Если объявление крупного инцидента вредит команде объявляющего в отчёте, будут объявлять меньше, и метрики улучшатся, пока услуга ухудшается.
- Держите критерии объявления стабильными. Сдвиг порога меняет каждую метрику этой темы. Записывайте каждое изменение с причиной и датой.
Определения метрик
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Число крупных инцидентов | Крупные инциденты, объявленные за период, по услуге | Число инцидентов, отвечавших критериям объявления и объявленных в периоде, по времени объявления; инциденты, понижённые в течение первого часа, перечисляются отдельно и исключаются | число за квартал | Записи об инцидентах инструмента ITSM с флагом крупного инцидента | Управление инцидентами | Обзор здоровья команды или услуги | Ежемесячный отчёт, квартальный тренд |
| Длительность крупного инцидента | Время, в течение которого клиенты были затронуты | Время восстановления услуги минус время начала воздействия, на инцидент. Начало воздействия есть самое раннее свидетельство в мониторинге или первое сообщение пользователя, что раньше. Частичное восстановление записывается как отдельное событие, а полное восстановление останавливает часы | минуты, на инцидент | Хронология мониторинга, хронология инцидента в инструменте ITSM | Управление инцидентами; управление уровнями услуг | Время восстановления в показателях поставки (см. тему 2.8, Метрики DORA) | На инцидент; медиана и максимум по длинному окну ежеквартально |
| Время до объявления | Задержка между началом воздействия и объявлением крупного инцидента | Время объявления минус время начала воздействия, на инцидент. Никогда не объявленные инциденты находятся квартальным пересмотром обычных инцидентов с высоким воздействием и включаются со временем объявления «н/д (никогда не объявлен)» | минуты, на инцидент | Хронология мониторинга, след аудита инструмента ITSM | Управление инцидентами; мониторинг и управление событиями | Определение готовности для эскалации в рабочих соглашениях команд | На инцидент |
| Воздействие на клиентов | Сколько пользователей и сколько использования было затронуто | Затронутые пользователи (или неудачные запросы), умноженные на минуты воздействия, на инцидент. Считаются только пользователи, пытавшиеся пользоваться услугой в окне воздействия. Плановое обслуживание исключается | пользователе-минуты или неудачные запросы | Телеметрия услуги, записи обращений в поддержку | Управление уровнями услуг; управление инцидентами | Индикаторы уровня услуги, видимые пользователям (см. тему 5.2, SLI, SLO и бюджеты ошибок) | На инцидент |
| Своевременность коммуникации | Были ли затронутые стороны проинформированы вовремя | Доля крупных инцидентов, где первое уведомление клиентам ушло в пределах цели после объявления, и доля запланированных обновлений, отправленных в пределах согласованного интервала. Часы запускаются при объявлении. Сообщения только для внутреннего пользования исключаются | процент инцидентов; процент обновлений | История страницы статуса, журнал коммуникации в инструменте ITSM | Управление инцидентами; управление уровнями услуг | Коммуникация с заинтересованными сторонами в рабочем соглашении команды | На инцидент; квартальная сводка |
| Своевременность завершения пересмотра | Состоялся ли пересмотр достаточно рано, чтобы быть полезным | Доля крупных инцидентов с опубликованным пересмотром в пределах согласованного числа рабочих дней после восстановления. Часы останавливаются при публикации, а не при первом черновике. Инциденты, ещё внутри окна, исключаются | процент | Репозиторий пересмотров, инструмент ITSM | Непрерывное улучшение; управление проблемами | Последующая работа по улучшению | Раз в квартал |
| Доведение действий до конца | Выполняются ли действия пересмотра | Действия пересмотра, завершённые к сроку / действия пересмотра, срок которых пришёлся на период. Действия, закрытые как «не будем делать», считаются отдельно с причиной, а не прячутся | процент; число просроченных | Трекер задач, связанный с пересмотром | Непрерывное улучшение; управление проблемами | Элементы бэклога из ретроспектив | Раз в месяц |
| Доля повторяющихся крупных инцидентов | Повторение той же причины | Крупные инциденты в периоде, чья записанная причина совпадает с причиной более раннего крупного инцидента за предыдущие двенадцать месяцев / крупные инциденты в периоде. Сопоставление идёт по полю причины, проверяемому вручную | процент, с показанным числом | Записи пересмотров, записи о проблемах | Управление проблемами | Профилактическая работа в бэклоге | Раз в квартал |
Каждой строке нужно письменное правило часов, прежде чем ей доверять. Споры о начале воздействия и времени восстановления обычны, и лучше всего улаживать их заранее (см. тему 1.5, Источники данных и инструментирование).
Рекомендации
Запишите, что делает инцидент крупным
Опубликуйте критерии объявления, которые может применить любой дежурный. Критерии обычно сочетают воздействие (затронутые пользователи, деградировавшая критическая услуга, риск для безопасности или права) с потребностью в координации (требуется более одной команды). Короткий список с примерами лучше длинной матрицы. Укажите, кто может объявлять, и ясно скажите, что объявление в добросовестной уверенности никогда не ошибка, даже если инцидент оказывается мелким.
Записывайте версию критериев в каждую запись об инциденте. Когда порог сдвигается, тренды движутся вместе с ним. Номер версии или дата на каждой записи позволяют сравнивать подобное с подобным и объяснять скачок счёта, пришедший от изменения правила.
Считайте и классифицируйте, не превращая счёт в цель
Сообщайте счёт с контекстом. Показывайте число крупных инцидентов за квартал рядом с услугой, триггером (изменение, ёмкость, зависимость, безопасность, другое) и версией критериев. Счёт без контекста приглашает цели вроде «менее трёх за квартал», которые учат людей не объявлять. Считайте падающий счёт хорошей новостью только когда время до объявления и воздействие на клиентов стабильны.
Разделяйте объявленные, понижённые и пропущенные. Отслеживайте инциденты, которые были объявлены и понижены, потому что они показывают, разумны ли критерии. Каждый квартал просматривайте выборку обычных инцидентов на предмет тех, что следовало объявить. Пропущенные самые информативные.
Замеряйте инцидент со стороны пользователя
Запускайте часы, когда клиенты затронуты. Используйте самое раннее надёжное свидетельство, часто сигнал мониторинга, предшествующий первой заявке. Когда начало неопределённо, записывайте оценку и её источник, а не время, когда кто-то заметил. Разрыв между началом воздействия и объявлением сам по себе показатель и обычно самый дешёвый для улучшения.
Разделите хронологию на фазы. Обнаружение, объявление, диагностика, смягчение и полное восстановление имеют разные причины задержки и разных владельцев. Разбивка по фазам для каждого инцидента показывает, куда ушло время, без нужды в среднем. Восстановление услуги обходным путём и исправление причины суть отдельные события, и второе принадлежит управлению проблемами.
Используйте медиану и худший случай по длинным окнам, с числом. За год данных сообщайте медиану и самую долгую длительность и говорите, из скольких инцидентов они взяты. Избегайте единого среднего времени восстановления для крупных инцидентов. При немногих событиях оно неустойчиво и искажается одним долгим сбоем (см. тему 1.6, Статистическая грамотность для метрик услуг).
Оценивайте воздействие на клиентов в терминах, которые узнали бы пользователи
Предпочитайте воздействие на пользователей воздействию на серверы. Неудачные запросы, затронутые пользователи или затронутые транзакции описывают, что случилось с людьми. Минуты деградированной услуги на компоненте описывают, что случилось с машиной. Где у вас есть индикаторы уровня услуги, используйте их (см. тему 5.2, SLI, SLO и бюджеты ошибок) и связывайте инцидент с картиной доступности (см. тему 5.3, Метрики доступности).
Добавьте в каждую запись заявление о воздействии простым языком. Одно-два предложения, называющие, кто был затронут и чего не мог сделать. Обращения в поддержку, упоминания в социальных сетях и эскалации клиентов суть свидетельства для заявления, а не метрики, которые надо максимизировать.
Измеряйте коммуникацию как часть реагирования
Задайте цели коммуникации по аудитории. Затронутым клиентам, внутренним заинтересованным сторонам и руководителям нужны разные сообщения в разное время. Согласуйте цель для первого уведомления после объявления и ровный ритм обновлений и измеряйте соблюдение по инцидентам. Ритм важнее содержания: обновление со словами «без изменений, следующее обновление через тридцать минут», пришедшее вовремя, строит больше доверия, чем молчание.
Держите реагирование и коммуникацию в разных руках. Руководитель коммуникации освобождает командира инцидента, чтобы тот сосредоточился на диагностике. Небольшая команда может использовать контрольный список и заранее написанный шаблон.
Замкните петлю обучения
Проводите пересмотр скоро и публикуйте его. Память тускнеет, поэтому задайте окно для пересмотра и измеряйте, соблюдено ли оно. Завершение пересмотра важно меньше, чем то, что пересмотр меняет, поэтому парьте его с доведением до конца. Книга Google Site Reliability Engineering обосновывает безобвинительный пересмотр и его запись (см. источники), а тема 4.2 (Метрики разборов и обучения) охватывает качество пересмотра.
Отслеживайте действия до конца и допускайте честное «не будем делать». Помещайте каждое действие в бэклог, который владеющая команда уже использует, с владельцем и датой. Записывайте отклонённые действия с причиной, а не позволяйте им гнить. Пересматривайте просроченные действия на обзоре эксплуатации или услуги и спрашивайте, что их блокирует. Ограничивайте число действий на пересмотр, чтобы оставшиеся были теми, что важны.
Ищите закономерности между инцидентами и отправляйте их в управление проблемами. Повторяющиеся причины, общие триггеры и повторяющиеся пробелы обнаружения суть сигналы, которые одиночные пересмотры пропускают. Подавайте их в процесс проблем и известных ошибок (см. тему 4.1, Метрики управления проблемами) и в планирование команд, владеющих услугами. Относитесь к растущей доле повторов как к побуждению исследовать, а не как к вердикту.
Векторы манипуляции и ограждения
| Метрика | Как её искажают | Парная метрика или практика-ограждение |
|---|---|---|
| Число крупных инцидентов | Повышать порог объявления, держать инциденты на «высоком» приоритете, чтобы они никогда не объявлялись, делить одно событие на несколько записей или сливать несколько в одну | Фиксированные версионированные критерии; квартальная выборка обычных инцидентов с высоким воздействием; воздействие на клиентов и время до объявления отслеживаются рядом со счётом |
| Длительность крупного инцидента | Переносить часы на более позднее начало воздействия, объявлять «восстановлено», пока пользователи ещё получают сбои, или закрывать и открывать новую запись | Начало воздействия берётся из мониторинга; восстановление подтверждается индикатором, видимым пользователям; вновь открытые и связанные записи считаются одним инцидентом |
| Время до объявления | Объявлять рано на всё, чтобы выглядеть быстро, или датировать объявление задним числом началом воздействия | Доля объявленных инцидентов, позже понижённых; след аудита времени объявления; выборка хронологий против сырого мониторинга |
| Воздействие на клиентов | Сужать определение «затронутый», считать только пользователей, подавших заявку, или измерять зависимость, оставшуюся в работе | Воздействие выводится из телеметрии, а также из обращений; заявление о воздействии простым языком, пересматриваемое на пересмотре инцидента |
| Своевременность коммуникации | Публиковать расплывчатое уведомление, чтобы запустить часы, отправлять обновления без содержания или считать внутренние сообщения | Проверка содержания выборки обновлений; обратная связь клиентов о ясности; считаются только уведомления клиентам |
| Своевременность завершения пересмотра | Публиковать тонкий документ, чтобы уложиться в дату, или объявлять пересмотр «ненужным» | Качество пересмотра, прочитанное коллегой по выборке (см. тему 4.2, Метрики разборов и обучения); показывается доля отказов от пересмотра |
| Доведение действий до конца | Писать расплывчатые или тривиальные действия, которые легко закрыть, закрывать действия, не сделав работу, или перемечать как «не будем делать» | Выборка качества действий; закрытые действия сверяются с изменением системы; пересматриваются доля «не будем делать» и причины |
| Доля повторяющихся крупных инцидентов | Записывать каждую причину как новую, выбирая иные формулировки, или приписывать всё «человеческой ошибке» | Короткая таксономия причин с определениями; поля причин проверяет кто-то вне инцидента; «человеческая ошибка» как причина не принимается без объяснения системой |
Здоровое чтение есть умеренный и довольно стабильный счёт объявленных инцидентов, с редким понижением и редким пропущенным, найденным на пересмотре. Время до объявления коротко и падает, воздействие на клиентов на инцидент понятно и падает там, где проведена профилактика, а почти все обновления для клиентов идут по графику. Пересмотры публикуются вовремя, а их действия в основном выполнены, с небольшим честным набором отклонённых действий. Если всё выглядит идеально, спросите, не начали ли критерии дрейфовать или не перестали ли люди объявлять (см. тему 1.2, Закон Гудхарта и психология метрик). Закон, названный по имени Чарльза Гудхарта, легче всего увидеть здесь, потому что цена плохого числа есть сниженная готовность поднимать тревогу.
Компромиссы: плюсы и минусы
| Выбор | Сильная сторона | Слабая сторона |
|---|---|---|
| Показывать каждый инцидент строкой | Сохраняет контекст, избегает вводящих в заблуждение средних на малых счётах | Труднее резюмировать для руководителей; нужен короткий рассказ на инцидент |
| Сообщать число крупных инцидентов | Просто, знакомо, видно руководству | Легко превратить в цель; реагирует на изменения критериев |
| Время от начала воздействия | Отражает опыт пользователя, обнажает разрыв обнаружения | Начало воздействия иногда неопределённо и требует суждения |
| Время от объявления | Легко зафиксировать и сравнивать | Прячет медленное обнаружение и медленное объявление |
| Пользователе-минуты воздействия | Сопоставимы между инцидентами и услугами | Нужна телеметрия; считает всех пользователей и минуты равными |
| Доля завершённых пересмотров | Легко собирать, подталкивает привычку | Награждает документ, а не обучение |
| Доля доведения действий до конца | Связывает пересмотр с изменением | Можно подтасовать тривиальными действиями; нужны владелец и бэклог |
Используйте небольшой набор показателей, охватывающий весь цикл (объявить, восстановить, сообщить, научиться, довести до конца), а не оптимизируйте один. Добавляйте показатели воздействия только когда есть телеметрия. Где телеметрии нет, аккуратное письменное заявление о воздействии служит лучше выдуманного числа.
Вопросы для обсуждения в команде
1. Что именно делает инцидент крупным здесь и согласны ли все дежурные? Определение есть основа каждого другого числа. Попросите троих классифицировать один и тот же недавний инцидент и сравните ответы. Расхождение показывает, где критерии расплывчаты. Ведущему стоит записать примеры для добавления в письменные критерии и договориться, кто может объявлять. Закончите подтверждением, что объявление в добросовестной уверенности всегда допустимо, даже если инцидент позже понижен.
2. В нашем последнем крупном инциденте сколько времени прошло между началом воздействия и объявлением? Восстановите хронологию по мониторингу, а не по памяти. Разрыв часто больше ожидаемого и иногда является самой долгой фазой. Спросите, какой сигнал существовал и кто его видел, и происходил ли разрыв от неясных критериев, отсутствующего оповещения или нежелания объявлять. Выберите одно изменение, которое сократило бы его, и решите, как вы узнаете.
3. Кто был затронут и откуда мы это знаем? Сравните, что команда считала в то время, с тем, что позже показывают телеметрия и обращения в поддержку. Спросите, какие клиенты, если какие-либо, были затронуты сильнее других и были ли они теми, кто важнее всего для бизнеса, или теми, кто меньше всего способен справиться. Обсудите, является ли заявление о воздействии тем, что узнал бы клиент. Договоритесь об одном показателе воздействия, который вы можете надёжно собрать в следующий раз.
4. Услышали ли люди от нас, когда им было нужно, и было ли сообщение полезным? Проверьте первое уведомление и каждое обновление по согласованному ритму. Прочитайте фактические сообщения так, как прочёл бы клиент. Спросите, говорили ли они, что известно, что неизвестно и когда придёт следующее обновление. Обсудите, кто владеет коммуникацией во время инцидента и свободен ли этот человек, чтобы её вести.
5. Что случилось с действиями из наших трёх последних пересмотров? Соберите действия в один список и отметьте каждое как сделанное, в работе, просроченное или отклонённое. Для просроченных спросите, что их блокирует: ёмкость, владение, приоритет или неясный объём. Решите, как просроченные действия будут подниматься на следующем совещании по эксплуатации или планированию.
6. Если бы нас измеряли по числу крупных инцидентов, что бы мы делали иначе и стало бы клиентам лучше? Этот вопрос выводит векторы манипуляции на свет до того, как они случатся. Попросите группу откровенно сказать, что они могли бы изменить: пороги, метки, кто объявляет. Затем спросите, какая цель лучше. Хороший ответ движется к воздействию на клиентов, времени до объявления и доведению до конца, которые труднее подтасовать, не помогая пользователям. Запишите ответ как ограждение.
Четыре точки зрения
Продуктовые команды и команды поставки
Продуктовые команды встречают крупные инциденты как прерывания плановой работы и как обратную связь по своим изменениям. Больше всего им дают ясные числа воздействия, быстрый доступ к хронологиям собственных инцидентов и действия пересмотра, попадающие в их бэклог с местом, чтобы их сделать. Резервируйте ёмкость для последующих действий по инцидентам и относитесь к действиям как к работе с тем же статусом, что и функции. Делитесь категориями причин, чтобы повторяющийся триггер вёл к изменению практики (см. тему 2.9, Операционная и внеплановая работа).
Команды услуг и эксплуатации
Команды эксплуатации ведут реагирование и несут цену ночной работы. Им нужны критерии, которые можно применить в три часа ночи, роли командира и коммуникации, которые можно укомплектовать, и инструменты, фиксирующие хронологию по мере событий, а не по памяти потом. Им следует следить за нагрузкой, которую крупные инциденты кладут на малую группу людей (см. тему 5.7, Рутинная работа и метрики дежурств), и использовать метрики этой темы, чтобы просить профилактическую работу, а не сравнивать исполнителей.
Руководство и управление
Руководители задают климат, решающий, объявляют ли люди быстро и сообщают ли честно. Им следует просить историю каждого крупного инцидента и тренд за год, избегать целей на счёт и спрашивать о воздействии на клиентов, пробелах обнаружения и завершённых действиях. Финансируйте профилактическую работу, которую рекомендуют пересмотры, и пересматривайте её на том же форуме, что и планы поставки. Тогда управление сможет увидеть, превращаются ли уроки в изменение (о способе связать надёжность и инвестиции см. тему 5.2, SLI, SLO и бюджеты ошибок).
Клиенты и пользователи
Клиенты судят крупный инцидент по тому, как долго они были затронуты, сообщили ли им и повторится ли это. Им лучше служат ранние честные уведомления, чем поздние отполированные. Дайте им канал статуса, ритм, на который можно положиться, и ясный рассказ потом о том, что случилось и что изменится. Где применяются контракты, сообщайте в терминах, согласованных в соглашении об уровне услуг (см. тему 5.1, Метрики SLA, OLA и XLA). Об удовлетворённости после инцидента стоит спрашивать (см. тему 6.1, Метрики удовлетворённости клиентов).
На практике: пример из управления услугами
Интернет-магазин среднего размера эксплуатирует витрину, платёжную услугу и услугу управления заказами, каждую во владении продуктовой команды, с общей платформенной командой на дежурстве. Небольшая группа управления услугами ведёт процесс крупных инцидентов. Все числа в этом примере иллюстративны.
За последние два квартала магазин объявил пять крупных инцидентов (иллюстративно). Группа управления услугами показывает каждый как строку с началом воздействия, временем объявления, временем восстановления, оценкой неудачных заказов, временем первого уведомления клиентов и статусом пересмотра. Они замечают, что медианный разрыв между началом воздействия и объявлением составляет 38 минут (иллюстративно), почти столько же, сколько медианное время от объявления до восстановления, 52 минуты (иллюстративно). При пяти инцидентах они считают оба числа грубыми и читают хронологии. В трёх из пяти виднеется оповещение мониторинга, сработавшее рано и провисевшее без подтверждения в общем канале.
Команда решает направлять этот класс оповещений на дежурный пейджер и добавить в критерии строку о том, что устойчивого сигнала о сбое оформления заказа достаточно для объявления, не дожидаясь заявок. Они также задают цель для первого уведомления клиентов в пределах 20 минут после объявления (иллюстративно) и проверяют её на каждом инциденте. Две из пяти её выполнили. Команда развёртывания добавляет шаблон страницы статуса, который руководитель коммуникации может заполнить под давлением.
Во время того же пересмотра они находят риск манипуляции. Руководитель одной продуктовой команды предлагал квартальную цель «не более двух крупных инцидентов». Группа управления услугами указывает, что в предыдущем квартале был один инцидент, остававшийся на высоком приоритете четыре часа, пока клиенты получали сбои при оформлении заказа, и он никогда не был объявлен, потому что команда была близка к лимиту. Они заменяют цель тремя показателями: время до объявления, неудачные заказы на инцидент и доля действий пересмотра, выполненных в срок. Они добавляют ограждение в виде квартальной выборки инцидентов высокого приоритета, читаемой кем-то вне владеющей команды. В следующем квартале счёт объявленных растёт до четырёх (иллюстративно), медианное время до объявления падает, а выборочная проверка не находит пропущенных объявлений.
Agile, ИИ, автоматизация и аналитика
Agile
Проводите безобвинительный пересмотр с заинтересованными сторонами после каждого крупного инцидента и доводите действия до конца в регулярном ритме. Осторожность в том, что цель на меньшее число крупных инцидентов поощряет объявлять меньше; поэтому измеряйте также время до объявления и воздействие на клиентов.
ИИ
ИИ может помогать обнаруживать, резюмировать и сообщать во время крупного инцидента и составлять первую версию пересмотра. Парьте своевременность коммуникации с точностью сообщённого и помечайте, какие части пересмотра составил ИИ, а проверил человек. Осторожность в том, что уверенное резюме инцидента от ИИ может быть неверным; поэтому окончательным отчётом владеет человек.
Автоматизация
Автоматизируйте сбор хронологии из чата, вызовов и мониторинга, чтобы пересмотр начинался с фактов, и измеряйте сами инструменты инцидентов, например сбои вызова. Осторожность в том, что автоматические публикации статуса могут выглядеть как коммуникация, не доходя до людей, которым она нужна.
Аналитика
Крупные инциденты редки, поэтому используйте счёты, хронологии и воздействие на клиентов, а не доли и средние. Решение, которое это информирует, состоит в том, что исправлять и что репетировать. Осторожность в том, что малые числа приглашают чрезмерную интерпретацию; поэтому избегайте утверждений о трендах по горстке событий.
Отраслевой взгляд
Стартап. У стартапа может не быть формального процесса крупных инцидентов, только тот, кто не спит. Начните с одноабзацного определения, названного координатора на каждое событие и общего документа, записывающего хронологию. Считайте инциденты и записывайте воздействие в одном предложении. Пересмотр может быть заметкой на пол-страницы, а продолжение элементом в бэклоге команды.
Малый бизнес. Малый бизнес часто зависит от поставщиков в значительной части своей услуги, поэтому хронология включает ожидание поставщика. Записывайте контакты с поставщиком и времена ответа в хронологию инцидента, потому что они объясняют значительную часть длительности и дают свидетельства для разговоров по контракту. Держите коммуникацию с клиентами простой: один канал, один человек и заявленный интервал обновлений.
Крупная компания. Крупные компании эксплуатируют много услуг и имеют много инцидентов за период, поэтому полезны и счёт по услуге, и сводка. Риски: непоследовательные критерии между подразделениями и процесс, достаточно тяжёлый, чтобы замедлять объявление. Согласуйте определения, держите процесс лёгким первые пятнадцать минут и используйте общий формат записи, чтобы воздействие и коммуникацию можно было сравнивать.
Государство и публичный сектор. У государственных органов часто есть законодательные обязанности, такие как уведомление регулятора или общественности, и более высокая цена сбоя для граждан, у которых нет альтернативы. Добавьте показатели соблюдения обязанностей уведомления и воздействия на уязвимые группы и ведите записи, выдерживающие аудит и запросы общественной информации. Циклы закупок могут задерживать действия, поэтому отслеживайте заблокированные действия и эскалируйте их.
Бизнес-обоснование: мотивы, ROI и TCO
Мотив состоит в том, чтобы сократить цену инцидентов, которые бьют больнее всего: потерянные доходы или услугу, подорванное доверие, выгорание персонала и регуляторный риск. Небольшой последовательный набор показателей крупных инцидентов показывает, откуда эта цена берётся, улучшаются ли обнаружение и коммуникация и достигают ли цели инвестиции в профилактику. Показатели, не показывающие ничего, кроме счёта, толкают цену к сокрытию инцидентов.
Затраты на сбор скромны, если данные уже живут в инструменте ITSM, системе мониторинга и трекере задач. Основные затраты: согласование определений, связывание записи об инциденте с мониторингом и бэклогом действий и время на написание каждого пересмотра. Метрики стоят мало сверх того, чтобы сделать запись последовательной.
Отдача проявляется как более короткое время до объявления, более ясная коммуникация, меньше повторяющихся инцидентов и меньше переделок. Универсальной цифры нет, поэтому оцените свою: возьмите крупные инциденты за прошлый год, вместе с финансами оцените цену часа воздействия для каждой услуги и сравните с ценой последующей работы, которая понадобилась бы, чтобы предотвратить повторяющиеся причины. Совокупная стоимость владения включает время проверяющих, инструменты для хронологий и страниц статуса и ёмкость, отложенную на последующие действия, а именно здесь большинство программ недоинвестирует.
Антипаттерны и ловушки
- Цель на число крупных инцидентов. Она учит людей избегать объявления. Вместо этого отслеживайте время до объявления, воздействие и доведение до конца и выборочно ищите пропущенные объявления.
- Единое среднее время восстановления для крупных инцидентов. При немногих событиях доминирует один долгий сбой. Вместо этого показывайте каждый инцидент, затем медиану и самое долгое за год со счётом.
- Запуск часов при объявлении. Это прячет задержку обнаружения и объявления. Вместо этого запускайте при самом раннем свидетельстве воздействия на клиентов и сообщайте разрыв отдельно.
- Ранжирование исполнителей или команд по показателям инцидентов. Это разрушает откровенность и ломает пересмотр. Вместо этого сообщайте по услуге и системе и держите имена вне данных.
- Отношение к пересмотру как к законченному, когда документ опубликован. Суть в изменении. Вместо этого измеряйте доведение действий до конца и ежемесячно смотрите на просроченные действия.
- Тихие изменения порога. Тренды становятся бессмысленными. Вместо этого версионируйте критерии и отмечайте изменения в отчёте.
- Учёт воздействия только по заявкам. Многие затронутые пользователи никогда не звонят. Вместо этого используйте телеметрию и добавьте заявление о воздействии простым языком.
- Использование метрик для назначения вины. Люди тогда прячут факты. Вместо этого держите пересмотры безобвинительными, фокусируйтесь на условиях и решениях и ищите системные причины.
Модель зрелости
| Измерение | 1 Инициирование | 2 Развитие | 3 Стандартизация | 4 Управление | 5 Оркестрация |
|---|---|---|---|---|---|
| Определение и часы | Крупный значит то, что скажет самый громкий; времена берутся из памяти | У некоторых команд есть критерии, и они записывают времена начала и конца | Одно письменное версионированное определение с правилами часов для начала воздействия, объявления и восстановления | Определение и часы проверяются по мониторингу; изменения записываются с причинами | Критерии и часы согласованы с поставщиками и клиентами и пересматриваются, когда перестают информировать решения |
| Воздействие и коммуникация | Воздействие описывается анекдотами; обновления отправляются, когда кто-то вспомнит | Воздействие оценивается для некоторых инцидентов; некоторые команды используют страницу статуса | Воздействие измеряется по телеметрии для ключевых услуг; цели обновлений заданы и отслеживаются | Воздействие и коммуникация отслеживаются во времени и связываются с обратной связью клиентов | Воздействие разделяется с клиентами и поставщиками в общем формате, с совместными действиями по улучшению |
| Пересмотр и доведение до конца | Пересмотры редки и не записываются; действия забываются | Пересмотры пишут некоторые команды; действия записаны, но не отслеживаются | Каждый крупный инцидент пересматривается вовремя; действия отслеживаются в бэклоге команды | Просроченные действия и повторяющиеся причины пересматриваются по графику, профилактическая работа финансируется | Закономерности разделяются между командами и поставщиками; обучение рутинно меняет проект и планирование |
| Использование в решениях | Числа цитируются постфактум | Счёты показываются руководителям без контекста | Хронологии и тренды показываются командам, владеющим услугами | Метрики парятся с ограждениями и используются для приоритизации работы над надёжностью | Инвестиции в надёжность решаются совместно по свидетельствам воздействия и повторения по услугам |
Контрольный список
- Критерии объявления записаны, версионированы и известны каждому дежурному.
- Объявление в добросовестной уверенности явно безопасно, и цели на счёт не существует.
- Начало воздействия, объявление и время восстановления определены и берутся из мониторинга или следа аудита.
- Каждый крупный инцидент показан отдельной строкой с хронологией по фазам.
- Воздействие на клиентов выводится из телеметрии, где она есть, и описывается заявлением простым языком.
- Цели для первого уведомления и ритма обновлений заданы и проверяются на каждом инциденте.
- Пересмотр публикуется в согласованное окно, а его действия лежат в бэклоге владеющей команды.
- Просроченные действия и повторяющиеся причины пересматриваются по графику.
- Квартальная выборка обычных инцидентов с высоким воздействием проверяет пропущенные объявления.
- У каждой метрики есть названное ограждение, и ни одна метрика не используется для ранжирования людей.
Промпты для ИИ
Составьте черновик критериев объявления для пересмотра.
I am drafting criteria for declaring a major incident in [organization type].
Our services are [list of services] and our teams are [list of teams]. Users
are [description of users]. Propose a short set of declaration criteria with
two or three examples for each, a list of ambiguities a team might argue about,
and questions I should settle with [stakeholders]. Do not invent thresholds or
benchmark values; use [placeholders] where a number is needed. List your
assumptions.
Восстановите и раскритикуйте хронологию инцидента.
Here is the timeline of a major incident: [paste timeline with timestamps and
sources]. Identify the impact start, the declaration, mitigation, and full
restoration, and say which timestamps are uncertain and why. Split the duration
into phases and note where the largest delays occurred. Suggest questions to ask
the responders and monitoring evidence to look for. Do not invent facts that are
not in the timeline. List your assumptions.
Проверьте набор действий после инцидентов.
Below are the actions from [number] post-incident reviews for [service]:
[paste actions with owner, due date, and status]. Group them by theme, flag any
that are vague, trivial, or unowned, and identify patterns that suggest a
problem record or a backlog item for [owning team]. Do not rank individuals or
teams by performance. Do not invent causes. List your assumptions and the
information you would need to improve the analysis.
Проверьте предлагаемую метрику на манипуляцию.
We plan to track [metric name], defined as [definition] and measured from
[data source]. Describe how this metric could be gamed by [role], what honest
behavior it might discourage, and which paired guardrail metric or practice
would catch each case. Keep the suggestions practical for a team of
[team size]. Do not invent benchmark values or sources. List your assumptions.
Навыки ИИ
- Service Management Metrics skill: используйте, чтобы найти связанные темы и ограждение, которое должно стоять рядом с каждой метрикой крупных инцидентов.
- Service Management Metrics maintainer skill: используйте, чтобы проверить, что изменённая версия этой темы по-прежнему следует шаблону и соглашениям.
Главные выводы
- Крупные инциденты редки, поэтому показывайте каждый с его хронологией и подводите итоги только по длинным окнам, с числом рядом с цифрой.
- Запускайте часы при воздействии на клиентов и сообщайте разрыв до объявления как отдельный показатель.
- Измеряйте воздействие в терминах пользователей и использования и добавляйте заявление простым языком для того, что числа упускают.
- Относитесь к своевременности коммуникации как к части реагирования, с целями по аудитории и ровным ритмом обновлений.
- Пересмотр закончен, когда закончены его действия, поэтому отслеживайте доведение до конца и повторяющиеся причины.
- Никогда не ставьте цель на счёт, никогда не ранжируйте людей и держите объявление безопасным.
Источники и дополнительное чтение
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Lunney, L., and Lueder, S., "Postmortem Culture: Learning from Failure," in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/postmortem-culture/
- Beyer, B., et al. (eds.), "Managing Incidents," in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/managing-incidents/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- AXELOS (now PeopleCert), ITIL Foundation: ITIL 4 Edition, TSO, 2019.
- Wikipedia, ITIL.
- Wikipedia, Управление инцидентами (ITSM).
- Wikipedia, Перцентиль.
- Wikipedia, Гибкая разработка программного обеспечения.
- Wikipedia, Инженерия надёжности сайтов.
- Wikipedia, Командир инцидента.
- Wikipedia, Документация разбора после инцидента.
- Wikipedia, Анализ первопричин.
- Wikipedia, Закон Гудхарта.