Метрики разборов и обучения
Пересмотр, который написан, подшит и забыт, никого ничему не научил; поэтому измеряйте, проводятся ли пересмотры, хороши ли они, завершаются ли их действия и перестают ли возвращаться те же причины, и держите всю практику безобвинительной, чтобы люди продолжали говорить правду.
Обзор и мотивация
Каждая услуга иногда отказывает. Команду, которая постоянно становится лучше, от команды, повторяющей свою худшую неделю, отличает то, что происходит в дни после сбоя. Разбор после инцидента (postmortem) есть письменный отчёт об инциденте или почти-инциденте: что случилось, как это было обнаружено и обработано, какие условия сделали это возможным и что команда изменит. ITIL называет эту деятельность пересмотром после инцидента, и эта тема употребляет оба названия взаимозаменяемо. Регулярная рефлексия команды есть близкий родственник, смотрящий на обычную работу, а не на сбой.
Эта тема охватывает показатели, говорящие, работает ли этот контур обучения. Она задаёт четыре вопроса. Проводятся ли пересмотры, которые должны проводиться? Достаточно ли они хороши, чтобы найти что-то реальное? Завершаются ли действия, которые они порождают? И возвращается ли та же причина, несмотря ни на что? Пятый вопрос проходит под остальными: достаточно ли безопасно людям, чтобы описывать то, что случилось на самом деле?
Тема стоит между двумя соседями и избегает повторения их. Метрики крупных инцидентов (см. тему 3.4, Метрики крупных инцидентов) измеряют своевременность пересмотра и доведение его действий до конца для объявленных крупных инцидентов и являются домом для этих двух показателей в той узкой обстановке. Метрики управления проблемами (см. тему 4.1, Метрики управления проблемами) владеют записью о проблеме, известной ошибкой и временем до постоянного исправления. Эта тема расширяет взгляд на инциденты любой серьёзности, почти-инциденты и ретроспективы команд и владеет качеством самого обучения: охватом, глубиной, закрытием действий по всем источникам, повторением причин и безобвинительными сигналами, поддерживающими честность данных.
Термины, используемые в этой теме
- Разбор или пересмотр после инцидента: структурированное безобвинительное рассмотрение инцидента после восстановления услуги, заканчивающееся письменной записью.
- Почти-инцидент (near miss): событие, которое могло вызвать инцидент или вред, но не вызвало, например неудачное развёртывание, пойманное в тестовой среде, или оповещение, сработавшее за минуты до того, как пользователи заметили.
- Действие: конкретное изменение с названной владеющей командой, датой и способом определить, когда оно сделано.
- Способствующий фактор: условие, сделавшее инцидент возможным или хуже. У большинства инцидентов их несколько. Единая «первопричина» часто есть упрощение, а анализ первопричин лучше всего рассматривать как поиск условий, а не виновного.
- Класс причины: устойчивая метка из короткого согласованного списка (например, «предел ёмкости», «дрейф конфигурации», «отсутствует мониторинг», «неясное владение»), используемая для обнаружения повторения. Она описывает условие системы, никогда человека.
- Безобвинительность: стиль пересмотра, спрашивающий, как система позволила разумному человеку действовать так, как он действовал, и не спрашивающий, кого наказать. Это практика, связанная с идеей справедливой культуры, где честные ошибки рассматриваются как обучение, а безрассудные действия по-прежнему рассматриваются отдельно.
- Information Technology Infrastructure Library (ITIL): широко используемая рамка управления ИТ-услугами (ITSM). Эта тема ссылается на практики, как они описаны в ITIL 4 (2019), а книга в целом датирована октябрём 2026 года. См. ITIL.
Чем различаются взгляды Agile и ITIL
ITIL вносит структуру. В ITIL 4 управление инцидентами восстанавливает услугу, управление проблемами снижает вероятность и воздействие инцидентов, находя причины и управляя ими, а непрерывное улучшение превращает усвоенное в финансируемое изменение. Пересмотр есть шарнир между первыми двумя и третьим. ITIL склонно спрашивать, проведён ли пересмотр, открыта ли запись о проблеме там, где она оправдана, и зарегистрировано ли улучшение.
Традиции Agile и инженерии надёжности сайтов (SRE) вносят привычки. Пересмотры безобвинительны, коротки, пишутся для читателей за пределами команды и широко распространяются. Регулярная рефлексия команды, привычка непрерывного улучшения, спрашивает, что менять дальше, а предпочтение Agile малой, частой корректировки заменяет единую крупную программу улучшения. Книга Google Site Reliability Engineering посвящает главу культуре разборов и утверждает, что процесс пересмотра так же хорош, как культура вокруг него.
Вместе два взгляда сильны. ITIL даёт правила охвата и место, где живёт действие. Привычки Agile и SRE дают честность и скорость. Измеряемые вместе, они показывают, замыкается ли контур.
Ключевые принципы
- Обучение есть продукт, а не документ. Пересмотр удался, когда что-то меняется в системе, процессе или общем понимании. Считайте изменение, а не бумажную работу.
- Безобвинительность есть предпосылка хороших данных. Если люди боятся обвинений, хронология будет тонкой, способствующие факторы аккуратными, а тот же инцидент вернётся. Защитите откровенность, прежде чем измерять что-либо ещё.
- Измеряйте доведение до конца и повторение, а не объём. Число пересмотров мало что говорит. Доля завершённых действий и доля причин, остающихся ушедшими, говорят очень много.
- Держите показатели на уровне команды и системы. Пересмотр о условиях. Никогда не считайте пересмотры, действия или ошибки на человека и никогда не используйте эти числа в разговорах об оценке результативности.
- Соразмеряйте пересмотр. Не каждое событие заслуживает длинного документа. Задавайте триггеры по воздействию и ценности обучения и позвольте малому событию получить короткий пересмотр.
- Позвольте действиям честно конкурировать. Действие есть работа. Оно принадлежит тому же бэклогу, что и другая работа, ранжируется против неё и может быть отклонено с записанной причиной.
- Читайте пересмотры. Числа локализуют проблему. Человек, читающий выборку, говорит, хороши ли пересмотры.
Определения метрик
Метрики ниже описывают контур обучения для услуги или группы команд. Каждая указывает, что считается, где часы запускаются и останавливаются и что исключено. Показатели времени следует показывать как медиану и высокий перцентиль (например, 85-й) с возрастом самого старого открытого элемента, а не как среднее (см. тему 1.6, Статистическая грамотность для метрик услуг).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Охват пересмотрами | Доля подходящих событий, получивших завершённый пересмотр | Подходящие события с опубликованным пересмотром в согласованном окне / подходящие события, закрытые в периоде. Подходящие события суть те, что отвечают письменным триггерам. События внутри окна, ещё открытые на конец периода, исключаются. | процент | Записи об инцидентах инструмента ITSM, объединённые с репозиторием пересмотров | Управление инцидентами; управление проблемами | Регулярная рефлексия команды; рабочие соглашения команд | Раз в месяц |
| Оценка качества пересмотра | Отвечает ли опубликованный пересмотр короткому письменному стандарту | Пересмотры в выборке, отвечающие хотя бы [согласованному числу] пунктов контрольного списка / пересмотры в выборке. Выборка есть фиксированное число пересмотров, случайно берущихся каждый квартал, оцениваемых кем-то вне владеющей команды. | процент | Квартальная выборка репозитория пересмотров с листом оценки | Непрерывное улучшение; управление проблемами | Определение готовности для пересмотра | Раз в квартал |
| Доля закрытия действий | Доля действий пересмотра, завершённых к сроку | Действия, завершённые или формально отклонённые (с причиной) к сроку / действия, срок которых пришёлся на период. Часы запускаются, когда пересмотр опубликован, и останавливаются, когда владеющая команда помечает действие сделанным и проверяющий подтверждает. Действия, закрытые как «не будем делать», считаются отдельно и сообщаются. | процент | Бэклог команды или реестр улучшений ITSM, связанный с пересмотром | Непрерывное улучшение; управление проблемами | Бэклог команды; действия по улучшению | Раз в месяц |
| Возраст открытых действий | Возраст действий пересмотра, ещё открытых | Для каждого открытого действия сегодня минус дата публикации его пересмотра. Сообщайте медиану, 85-й перцентиль и самое старое. | дни | Бэклог команды или реестр улучшений | Непрерывное улучшение | Возраст рабочего элемента; стареющая работа в процессе | Раз в месяц |
| Доля повторения причин | Доля событий, чей класс причины совпадает с более ранним событием для той же услуги | События в периоде, чей основной класс причины совпадает с пересмотром, закрытым за предыдущие двенадцать месяцев для той же услуги / события с записанным классом причины в периоде. События без записанного класса причины исключаются и считаются отдельно. | процент | Поле класса причины репозитория пересмотров, объединённое с записями об инцидентах | Управление проблемами; управление инцидентами | Анализ ушедших дефектов; темы ретроспектив | Раз в квартал |
| Доля сообщений о почти-инцидентах | Объём почти-инцидентов и слабых сигналов, о которых люди выбирают сообщать | Почти-инциденты, записанные в периоде / активные услуги, показанные как тренд по услуге и никогда по человеку. Доля призвана расти рано в здоровой программе, а затем выравниваться. | число на услугу | Журнал почти-инцидентов или помеченное поле в трекере задач | Управление инцидентами; управление рисками | Проверка здоровья команды; доска препятствий | Раз в месяц |
| Охват обучения | Как далеко пересмотр доходит за пределы команды, которая его написала | Пересмотры, представленные или обсуждённые вне владеющей команды (общий форум, межкомандная сессия или документированное прочтение зависимой командой) в течение [согласованного числа] дней после публикации / пересмотры, опубликованные в периоде | процент | Записи форума или совещаний и репозиторий пересмотров | Непрерывное улучшение; управление знаниями | Обзор заинтересованными сторонами; сообщества практики | Раз в квартал |
| Перенос действий ретроспективы | Доля действий ретроспективы команды, завершённых к следующей ретроспективе | Действия ретроспективы, завершённые до следующей ретроспективы / действия ретроспективы, согласованные на предыдущей. Действия, сознательно отброшенные с причиной, убираются из обоих счётов. | процент | Заметки или доска ретроспективы, хранимые в бэклоге команды | Непрерывное улучшение | Регулярная рефлексия команды | За период пересмотра, просматривается раз в квартал |
| Пульс «безопасно говорить» | Верят ли люди, что могут описывать ошибки без обвинения | Доля ответов на уровне [согласованного уровня] или выше на коротком наборе анонимных вопросов (например, «я могу описать ошибку в пересмотре, не опасаясь обвинения») / полученные ответы. Пульс сообщается только для групп, достаточно крупных, чтобы защитить анонимность. | процент | Анонимный пульсовый опрос | Непрерывное улучшение; организационные изменения | Проверка здоровья команды; проверка психологической безопасности | Раз в квартал |
Пересмотр «опубликован», когда он виден предполагаемым читателям, а не сохранён как черновик. Класс причины записывается группой пересмотра по самому пересмотру из короткого согласованного списка, никогда тем, кто закрыл заявку.
Рекомендации
Решите, что заслуживает пересмотра
1. Запишите триггеры и опубликуйте их. Правило вроде «каждый крупный инцидент, каждый инцидент двух высших уровней серьёзности, любое событие с потерей данных клиентов и любой почти-инцидент, который команда считает поучительным» убирает споры и делает охват измеримым. Без письменных триггеров пересмотры следуют настроению и загрузке, и цифра охвата ничего не значит.
2. Соразмеряйте пересмотр событию. Малое событие может получить пересмотр на полстраницы, написанный за тридцать минут, тогда как крупный инцидент может заслуживать полной хронологии и фасилитированной сессии. Лёгкий путь держит охват высоким, не превращая практику в бремя.
Судите о качестве чтением
3. Выбирайте и читайте пересмотры каждый квартал. Возьмите небольшую случайную выборку и пусть кто-то вне владеющей команды прочитает каждый по короткому контрольному списку. Полезные пункты включают хронологию, показывающую решения и информацию, имевшуюся при их принятии, более одного способствующего фактора, описание того, что прошло хорошо, действия с владельцами и датами и язык, описывающий систему, а не человека. Сообщайте долю, отвечающую стандарту, и возвращайте находки авторам как наставничество.
4. Учите навыку пересмотра. Ретроспективное искажение делает события очевидными постфактум и подталкивает авторов к «кто-то должен был заметить». Просите ведущих восстанавливать, что люди знали в каждый момент, и используйте пять «почему» как побуждение к вопросам, а не как рецепт единственного ответа.
Добивайтесь завершения действий
5. Помещайте действия в настоящий бэклог. Действие, живущее только в документе пересмотра, невидимо для планирования. Создайте рабочий элемент в трекере владеющей команды, свяжите его с пересмотром и позвольте ему конкурировать за ёмкость, как любой другой работе. Сообщайте закрытие по команде и услуге, чтобы заблокированное действие стало видимым тем, кто может его разблокировать.
6. Допускайте честное «не будем делать» и записывайте почему. Некоторые действия оказываются слишком дорогими или уже неактуальными. Закрытие их с заявленной причиной здоровее, чем оставлять открытыми год или помечать сделанными, не сделав. Сообщайте долю отклонённых, потому что очень высокая доля говорит, что процесс пересмотра предлагает действия, которые никто не профинансирует.
7. Отслеживайте возраст открытых действий, а также долю закрытия. 85-й перцентиль возраста открытых действий и самое старое открытое действие показывают, что застряло. Пересматривайте самые старые на совещании, рассматривающем надёжность услуги.
Следите за повторами
8. Ведите короткий список классов причин и помечайте каждый пересмотр. Списка из восьми-пятнадцати классов достаточно. Пересматривайте список, когда заметная доля событий попадает в класс «другое». Метки позволяют отвечать на вопрос «видели ли мы это раньше?» данными и питают управление проблемами закономерностями, которых не показывает ни один отдельный пересмотр (см. тему 4.1, Метрики управления проблемами, и тему 4.6, Технический долг и известные ошибки).
9. Относитесь к повторению как к сигналу о действии, а не о людях. Когда класс причины возвращается, спросите, были ли ранние действия завершены, были ли они правильными действиями и не слишком ли широк класс. Повторение после закрытия всех действий означает, что действия не сработали, а это полезная новость.
Защитите честность
10. Держите пересмотры безобвинительными и сделайте это видимым. Заявите в шаблоне, что пересмотр описывает условия и решения и не приписывает вину, и пусть руководители благодарят авторов за откровенность. Психологическая безопасность в исследовании Эми Эдмондсон рабочих команд есть разделяемая вера, что в команде безопасно идти на межличностный риск (см. тему 9.2, Метрики удовлетворённости и благополучия).
11. Награждайте сообщения о почти-инцидентах и читайте растущий счёт сначала как хорошую новость. Команда, начавшая сообщать о почти-инцидентах, увидит рост счёта, потому что события всегда происходили. Скажите это заранее, отслеживайте долю почти-инцидентов, давших изменение, и публикуйте истории с согласия команды.
Векторы манипуляции и ограждения
| Метрика | Как её искажают | Парная метрика или практика-ограждение |
|---|---|---|
| Охват пересмотрами | Сужать триггеры; понижать серьёзность, чтобы события выпадали из них; подавать однострочный «пересмотр», чтобы поставить галочку | Оценка качества пересмотра; сравнение числа инцидентов по серьёзности с воздействием по сообщениям клиентов; аудит понижений |
| Оценка качества пересмотра | Писать под контрольный список шаблонным текстом; оценивать силами владеющей команды; предсказуемая выборка | Внешний оценщик; случайная выборка; чтение двух пересмотров вслух каждый квартал; отслеживание того, завершаются ли действия из высоко оценённых пересмотров |
| Доля закрытия действий | Ставить сроки далеко; дробить действия на тривиальные части; закрывать действия без проверки; объявлять «не будем делать», чтобы очистить список | Возраст открытых действий; доля отклонённых с причинами; подтверждение проверяющим, что изменение работает; доля повторения причин |
| Возраст открытых действий | Закрывать и вновь открывать или пересоздавать действие, чтобы сбросить его возраст; переносить действия в отдельный список «идей» | Связывать новые действия с исходным пересмотром и сохранять первую дату; число действий, перенесённых в идеи |
| Доля повторения причин | Записывать расплывчатые или вечно меняющиеся классы причин, чтобы ничто не совпадало; использовать широкий класс «другое»; связывать повтор с другим классом | Доля событий в «другом»; периодическое перечитывание пересмотров по классам; пересмотр самого списка классов |
| Доля сообщений о почти-инцидентах | Просить сообщать, чтобы выполнить число; записывать тривиальные события; либо, в другую сторону, читать число как провал и подавлять сообщения | Доля почти-инцидентов, давших изменение; нет целей на счёт; обратная связь из пульса «безопасно говорить» |
| Охват обучения | Добавлять имена в список рассылки; выступать на плохо посещаемых сессиях; считать ссылку прочтением | Посещаемость или фактические заметки обсуждения; спрашивать зависимые команды, что они изменили после последнего пересмотра |
| Перенос действий ретроспективы | Соглашаться только на тривиальные действия, которые легко закончить; пропускать ретроспективу; помечать элементы завершёнными | Воздействие действий по оценке команды; доля проведённых ретроспектив; появляется ли одна и та же тема несколько недель |
| Пульс «безопасно говорить» | Давить на отвечающих; опрашивать только уверенных; сообщать среднее, прячущее группу с низкой оценкой | Доля ответивших и состав ответивших; минимальный размер группы; открытые комментарии читаются целиком; меняется ли язык пересмотров |
Здоровое чтение показывает пересмотры для важных событий, стандарт качества, которому отвечает большинство, действия, которые завершаются или честно отклоняются, горстку старых действий, которые руководители могут назвать, классы причин, падающие по частоте после того, как ими занялись, и счёт почти-инцидентов, который вырос, а затем выровнялся. Пульс остаётся стабильным или улучшается, когда случается трудный инцидент. Образец, слишком чистый, сам по себе знак читать выборку.
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| Пересматривать каждый инцидент | Полный охват; нет споров о триггерах | Тяжело; пересмотры становятся поверхностными; команды начинают возмущаться процессом |
| Пересмотр по письменным триггерам | Фокусирует усилие на воздействии и ценности обучения | Триггеры требуют поддержки; пограничные события проскальзывают |
| Пометка классов причин | Находит закономерности между пересмотрами | Классы суть упрощение; реальные причины часто бывают несколькими сразу |
| Анонимный пульс о безопасности | Честный сигнал по чувствительному вопросу | Грубый; в малых командах люди могут быть опознаны; усталость от опросов |
Ответ в прозе: держать контур коротким, а числа немногочисленными: письменные триггеры, малая выборка качества, один трекер действий и список классов причин, с добавлением пульса безопасности, когда команда доверяет остальному. Ни один показатель здесь не доказывает, что обучение произошло. Вместе они показывают, присутствуют ли условия для него.
Вопросы для обсуждения в команде
1. Какие из наших пяти последних инцидентов получили пересмотр и изменил ли кто-нибудь что-либо в результате? Начните со списка инцидентов, а не с папки пересмотров, чтобы отсутствующие пересмотры стали видимыми. Для каждого пересмотра спросите, что отличается в системе или процессе сегодня. Если ответ «ничего», спросите, зачем пересмотр был проведён и кто его читал. Ведущему стоит записывать ответы без суждения, потому что они показывают, порождает ли практика изменение или бумажную работу.
2. Что затруднило бы кому-то говорить правду на пересмотре здесь? Просите конкретные примеры: реакцию руководителя, оценку результативности, эскалацию клиента, тон письма. Предложите людям сначала написать ответы анонимно. Ищите условия, которые можно изменить, такие как кто присутствует, кто читает и что руководители говорят вслух. Этот разговор защищает каждое другое число темы.
3. Какие действия открыты дольше всего и что их останавливает? Покажите пять самых старых. Для каждого спросите, верно ли ещё действие, есть ли у владельца ёмкость и следует ли его сделать, перенести или отклонить. Держите фокус на системе работы, а не на владельце. Договоритесь о решении по каждому до конца сессии.
4. Когда вернулась проблема того же рода и что это говорит о прежнем исправлении? Используйте метки классов причин, чтобы найти повтор, и прочитайте более ранний пересмотр и его действия. Спросите, были ли действия завершены, обращались ли они к способствующим факторам и не слишком ли широко проведён класс. Цель есть лучшее действие, а не объяснение.
5. Сообщаем ли мы о почти-инцидентах и что происходит, когда кто-то сообщает? Попросите недавний пример и проследите, что за ним последовало. Если ничего, спросите, зачем людям сообщать снова. Если счёт низок, спросите, чего люди боятся. Ведущему стоит объяснить, что рост счёта ожидаем поначалу, и договориться, как команда ответит на следующее сообщение, чтобы сообщение ощущалось стоящим.
6. Как мы узнали бы, что пересмотр был хорош, если бы не могли смотреть ни на какие числа? Это просит команду описать качество собственными словами. Обычные ответы: «кто-то вне команды чему-то научился», «исправление удержалось» и «автор не боялся». Превратите ответы в контрольный список для квартальной выборки и вернитесь к нему через два квартала.
Четыре точки зрения
Продуктовые команды и команды поставки
Команды поставки пишут много пересмотров и несут большую часть действий, поэтому первыми чувствуют цену неуклюжего процесса. Им полезны короткие шаблоны, ясное правило триггеров и видимая связь между действием и элементом бэклога команды. Регулярная рефлексия команды заслуживает той же дисциплины доведения до конца, что и пересмотр инцидента, а команда, завершающая действия своей ретроспективы, практикует ту же привычку в меньшем масштабе. Остерегайтесь вытеснения действий давлением функций и выносите этот компромисс владельцу продукта открыто (см. тему 2.5, Метрики прогнозирования и планирования поставки).
Команды услуг и эксплуатации
Команды эксплуатации хранят свидетельства (хронологии, оповещения, журналы чатов) и лучше всего расположены, чтобы последовательно помечать классы причин и замечать повтор раньше, чем он станет сбоем. Им нужно защищённое время для письма, поскольку пересмотры, написанные в конце долгой смены, тонки. Связывайте каждый пересмотр с любой записью о проблеме, которую он питает (см. тему 3.3, Время реагирования на инциденты и их устранения).
Руководство и управление
Руководители задают тон каждого пересмотра тем, что спрашивают потом. «Кто это сделал?» кончает честные пересмотры, а «чему мы научились и что меняем?» их приглашает. Органам управления следует ожидать охват, качество, возраст действий и повторение на пересмотре надёжности, финансировать действия, требующие инвестиций, и никогда не сравнивать команды по числу инцидентов или пересмотров.
Клиенты и пользователи
Клиенты редко видят пересмотр, но чувствуют его результат: тот же сбой, перестающий возвращаться, и честный рассказ, когда он возвращается. Где позволяют контракты, публикуйте резюме простым языком после значительного инцидента (см. тему 3.4, Метрики крупных инцидентов). Повторное обращение по тому же вопросу есть сигнал со стороны клиента, что обучение не дошло (см. тему 6.1, Метрики удовлетворённости клиентов).
На практике: пример из управления услугами
Интернет-магазин среднего размера эксплуатирует клиентскую витрину, платёжную услугу и внутреннюю платформу запасов. Пять продуктовых команд строят и эксплуатируют эти услуги, а небольшая группа управления услугами поддерживает процесс инцидентов и проблем. Числа в этом примере иллюстративны.
За один квартал у магазина 41 инцидент двух высших уровней серьёзности. Письменные триггеры делают все подходящими для пересмотра, и 36 пересмотров опубликованы в течение десяти рабочих дней, так что охват пересмотрами составляет около 88 %. Руководство довольно. Группа управления услугами берёт случайную выборку из восьми пересмотров, просит команду из другой продуктовой области оценить их и обнаруживает, что только три отвечают согласованному стандарту. Общий пробел в том, что хронология перечисляет, что случилось, но не что люди знали, когда принимали каждое решение, а раздел способствующих факторов называет единую причину.
Та же выборка показывает, что из 74 действий со сроком в квартале 51 завершено к сроку, то есть доля закрытия около 69 %. Самое старое открытое действие, 210 дней, есть порог оповещения о ёмкости на платёжной базе данных, отложенный шесть недель подряд. Пометка причин показывает «предел ёмкости» в 9 из 36 пересмотров, 4 из них для платёжной услуги. Анонимный пульс, на который ответили 58 из 70 приглашённых, ниже в группе дежурных, где несколько комментариев говорят, что старшие менеджеры задают пристрастные вопросы о названных людях.
Команда принимает три решения. Во-первых, они проводят короткую сессию со старшими менеджерами, присутствующими на пересмотрах, и договариваются о правиле: вопросы в комнате о условиях и решениях, а любое продолжение о человеке идёт через руководителя команды. Во-вторых, они ставят самое старое действие о ёмкости на вершину следующего раунда планирования платёжной команды, ранжируемое владельцем продукта против работы над функциями, и сообщают итог на пересмотре надёжности. В-третьих, они добавляют в шаблон пересмотра два пункта контрольного списка (что люди знали при каждом решении и хотя бы два способствующих фактора) и проводят сессию наставничества для авторов на одном обезличенном пересмотре.
Риск манипуляции появляется в следующем квартале. Охват пересмотрами растёт до 97 %, но доля пересмотров короче 300 слов удваивается, а несколько команд понизили инциденты с серьёзности два до три чуть ниже триггера. Выборка качества и аудит смен серьёзности это ловят. Группа спрашивает, почему случились понижения, узнаёт, что команды чувствовали пересмотр как наказание, и ослабляет ожидание длины для малых событий, сохраняя триггер серьёзности два.
Agile, ИИ, автоматизация и аналитика
Agile
Пересмотры лучше всего работают как регулярная привычка с заинтересованными сторонами, где действия идут в тот же бэклог, что и другая работа. Осторожность в том, что цель по числу пересмотров порождает пересмотры, написанные по шаблону без обучения.
ИИ
ИИ может составлять хронологии и резюме для пересмотра, что повышает охват и скорость. Парьте охват пересмотрами с проверкой качества человеком и с долей повторения причин и помечайте разделы, составленные ИИ. Осторожность в том, что ИИ может сглаживать неопределённость или приписывать вину в формулировках; поэтому безобвинительным окончательным отчётом владеет человек.
Автоматизация
Автоматизируйте сбор хронологии и напоминания о действиях и измеряйте, сколько напоминаний ведёт к закрытию. Осторожность в том, что автоматическое подгонение без согласия владельца становится шумом.
Аналитика
Отслеживайте возраст действий и повторение по длинному окну, со счётами. Решение, которое это информирует, состоит в том, какое обучение действительно меняет систему. Осторожность в том, что доли повторения медленны и малы по выборке; поэтому избегайте краткосрочных выводов.
Отраслевой взгляд
Стартап. Малая команда может учиться быстро, потому что все присутствовали на инциденте. Риск в том, что ничего не записано и урок уходит со следующим наёмным человеком. Держите одностраничный шаблон, проводите пересмотр для всего, что будит кого-то ночью, и отслеживайте только закрытие действий и повторяющиеся причины. Защищайте откровенность, пусть основатели читают пересмотры без комментариев о людях.
Малый бизнес. Человек, исправивший проблему, часто единственный, кто её понимает. Используйте краткий шаблон и пересматривайте самое старое открытое действие ежемесячно.
Крупная компания. Стандартизируйте шаблон, триггер и список классов причин и позвольте командам настраивать глубину. Обеспечьте место с поиском для пересмотров, межкомандный форум и внешнего оценщика. Остерегайтесь турнирных таблиц команд по числу инцидентов или пересмотров, поскольку они наказывают прозрачность.
Государство и публичный сектор. Пересмотры могут сталкиваться с законодательными обязанностями, аудитом или запросами о свободе информации, что делает авторов осторожными. Отделяйте обучающий пересмотр от любого формального отчёта для надзора и записывайте заблокированные действия с их зависимостью (см. тему 8.5, Регулируемая и государственная отчётность).
Бизнес-обоснование: мотивы, ROI и TCO
Цена этой практики в основном время. Авторы тратят часы на каждый пересмотр, а многие люди час на сессию. Квартальная выборка качества занимает несколько часов внешнего читателя. Пометка причин и отслеживание действий требуют немного инструментов, которыми могут быть электронная таблица и поле в существующих инструментах заявок и бэклога. Есть большая, менее видимая цена в поведении руководства, потому что программа проваливается, если руководители плохо реагируют на откровенные пересмотры.
Отдача идёт от причин, переставших повторяться, и от инцидентов, ставших короче, потому что команда видела нечто подобное. Меньше повторных инцидентов высвобождает ёмкость инженерии и эксплуатации, сокращает эскалации и снижает цену нарушения для клиентов. Общая библиотека пересмотров сокращает кривую обучения новых сотрудников и снижает зависимость от немногих опытных людей. Не цитируйте процент из другой организации. Измерьте собственную базовую линию повторения причин, возраста открытых действий и повторных обращений до начала и сравните через два-три квартала.
Честный предел в том, что обучение трудно атрибутировать: падение повторения может идти от лучшего пересмотра, не связанного изменения архитектуры или везения. Более широкое рассмотрение см. в теме 7.7, Возврат инвестиций и бизнес-обоснование.
Антипаттерны и ловушки
- Театр пересмотров. Пересмотры удовлетворяют правило, и никто их не читает. Вместо этого выбирайте и читайте пересмотры и судите о них по изменению, которое они породили.
- Поиск первопричины как человека. Пересмотр называет индивидуальную ошибку и останавливается. Вместо этого спросите, что сделало ошибку вероятной, и перечислите несколько способствующих факторов.
- Инфляция действий. Пересмотры порождают длинные списки, которые команда не может профинансировать. Вместо этого ограничивайте каждый пересмотр несколькими ранжированными действиями и отклоняйте остальные с причиной.
- Действия вне бэклога. Они живут в документе и никогда не планируются. Вместо этого создавайте рабочие элементы в трекере владеющей команды и связывайте их с пересмотром.
- Закрытие без проверки. Действие помечено сделанным, а причина возвращается. Вместо этого пусть проверяющий подтвердит, что изменение работает, и следите за классом причины на повторение.
- Использование счётов для сравнения команд. Команда с большим числом пересмотров или почти-инцидентов выглядит хуже. Вместо этого читайте высокий счёт как открытость и сравнивайте каждую команду с её собственной историей.
- Наказание вестника. Руководитель допрашивает человека после откровенного пересмотра. Вместо этого договоритесь о норме, как руководители реагируют, и проверяйте пульс после трудных инцидентов.
- Отношение к метрикам как к доказательству обучения. Чистая панель принимается за свидетельство, что организация учится. Вместо этого продолжайте читать выборку пересмотров и спрашивать людей, которые их написали.
Модель зрелости
| Измерение | 1 Инициирование | 2 Развитие | 3 Стандартизация | 4 Управление | 5 Оркестрация |
|---|---|---|---|---|---|
| Триггеры и охват | Пересмотры зависят от того, кто доступен и насколько плохо ощущалось | Некоторые команды проводят пересмотры для серьёзных инцидентов | Письменные триггеры и общий шаблон; охват считается по серьёзности | Охват отслеживается и проверяется на понижения; лёгкий и полный пути | Триггеры адаптируются с клиентами и поставщиками; общие пересмотры для совместных инцидентов |
| Качество и честность | Пересмотры называют человека или единую причину | Некоторые команды пишут безобвинительные пересмотры | Стандарт контрольного списка; ожидается безобвинительный язык | Внешняя квартальная выборка; пульс пересматривается; наставничество для авторов | Пересмотры пишутся совместно с поставщиками и пользователями; чтение между командами рутинно |
| Действия и повторение | Действия живут в документах и редко завершаются | Действия отслеживают некоторые команды; закрытие различается | Действия в настоящем бэклоге с владельцами, датами и честным отклонением | Закрытие, возраст и повторение причин пересматриваются, с финансируемым улучшением | Действия между командами и поставщиками координируются; классы причин пересматриваются по мере сдвига закономерностей |
| Распространение и обучение | Уроки остаются в команде | Пересмотры публикуются для команды | Пересмотры доступны для поиска и разделяются на регулярном форуме | Охват измеряется; зависимые команды сообщают о сделанных изменениях | Обучение течёт в проектирование, ввод в работу и контракты с поставщиками |
Контрольный список
- Письменные триггеры говорят, какие события получают пересмотр, включая почти-инциденты высокой ценности для обучения.
- Существует короткий шаблон с лёгким путём для малых событий.
- Пересмотры безобвинительны по шаблону и по поведению руководства.
- Каждое действие есть рабочий элемент в бэклоге владеющей команды, с владельцем и датой.
- Действия могут быть отклонены, а причина записывается и сообщается.
- Существует короткий список классов причин, и каждый пересмотр помечен.
- Внешний читатель оценивает случайную выборку пересмотров каждый квартал.
- Самые старые открытые действия пересматриваются вместе с надёжностью услуги.
- Возраст открытых действий сообщается как медиана, высокий перцентиль и самое старое.
- Существует маршрут для почти-инцидентов, и команда знает, что происходит после сообщения.
- Ни одна метрика этой темы не сообщается и не используется по человеку.
- Пульс «безопасно говорить» проводится только для групп, достаточно крупных, чтобы защитить анонимность.
Промпты для ИИ
Проверьте черновик разбора на качество.
Here is a draft postmortem for [incident description] on [service]. Check it
against this standard: [paste your review checklist]. For each item, say whether
the draft meets it, quote the lines that support your judgment, and point to
language that assigns fault to a person instead of describing conditions. Do not
add facts that are not in the text. List your assumptions and anything you could
not judge from what I provided.
[paste the draft, with personal data removed]
Предложите классы причин по прошлым пересмотрам.
Below are summaries of [number] past reviews for [service or group of services].
Propose a short list of cause classes, between [minimum] and [maximum], that
describe system conditions and never people. For each class give a one-line
definition, the reviews that fit it, and reviews that are ambiguous. Do not
invent causes that are not supported by the text. List your assumptions and the
reviews you could not classify.
[paste summaries]
Проанализируйте открытые действия на закономерности застоя.
Here is an export of review actions for [team or service]: owner team, created
date, due date, status, and a one-line description. Report the median, the 85th
percentile, and the maximum age of open actions, then group the oldest actions
by likely reason for stalling (for example unclear scope, dependency on another
team, no capacity, or low value). Report patterns by team and service, never by
person. Do not guess at reasons that the data does not support. List your
assumptions and the extra fields that would help.
[paste export with personal data removed]
Навыки ИИ
- Service Management Metrics skill: используйте, чтобы найти подходящую тему, определения и парное ограждение для метрики пересмотра или обучения, о которой вы собираетесь сообщать.
- Service Management Metrics maintainer skill: используйте, чтобы проверить, что пересмотренная метрика обучения по-прежнему несёт свои часы, вектор манипуляции и ограждение.
Главные выводы
- Пересмотр стоит того, что он меняет, поэтому измеряйте охват, качество, закрытие действий и повторение причин и читайте выборку самих пересмотров.
- Безобвинительность есть предпосылка честных данных, и руководители защищают её тем, как реагируют на откровенный пересмотр.
- Помещайте действия в настоящий бэклог, ограничивайте их число, допускайте честное отклонение и следите за возрастом самых старых.
- Помечайте пересмотры коротким списком классов причин, чтобы повторяющиеся причины стали видимыми и питали управление проблемами.
- Читайте растущий счёт почти-инцидентов как знак открытости на раннем этапе и никогда не ранжируйте людей или команды по объёму пересмотров.
- Парьте каждое число здесь с ограждением, потому что сам контур обучения есть цель, которую можно подтасовать.
Источники и дополнительное чтение
- Lunney, L., and Lueder, S., "Postmortem Culture: Learning from Failure," in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/postmortem-culture/
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Edmondson, A., "Psychological Safety and Learning Behavior in Work Teams," Administrative Science Quarterly, 44(2), 1999.
- Dekker, S., The Field Guide to Understanding 'Human Error', Ashgate, 2006.
- Reason, J., Human Error, Cambridge University Press, 1990.
- Derby, E., and Larsen, D., Agile Retrospectives: Making Good Teams Great, Pragmatic Bookshelf, 2006.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- AXELOS (now PeopleCert), ITIL Foundation: ITIL 4 Edition, TSO, 2019.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Документация разбора после инцидента.
- Wikipedia, Анализ первопричин.
- Wikipedia, Справедливая культура.
- Wikipedia, ITIL.
- Wikipedia, Инженерия надёжности сайтов.
- Wikipedia, Гибкая разработка программного обеспечения.
- Wikipedia, Ретроспективное искажение.
- Wikipedia, Пять «почему».
- Wikipedia, Психологическая безопасность.