Введение в часть 4: Метрики проблем, изменений и релизов
Метрики проблем, изменений и релизов показывают, делает ли то, как команда меняет свои услуги и учится на сбоях, их одновременно более быстрыми в улучшении и более устойчивыми в эксплуатации.
Каждое изменение живой услуги есть ставка. Оно может доставить ценность раньше, а может сломать то, на что полагаются пользователи. Часть 3 измерила, насколько хорошо работают поддержка и восстановление, когда что-то идёт не так (см. тему 3.0, Введение в часть 3: Метрики службы поддержки, инцидентов и запросов). Эта часть смотрит на другую сторону той же монеты: как изменения входят в среду, как часто они создают неприятности и насколько хорошо организация учится, чтобы те же неприятности не возвращались.
Непрерывная поставка и ITIL подходят к этой почве с разных сторон. Практика Agile отдаёт предпочтение непрерывной поставке программного обеспечения малыми изменениями и считает быструю обратную связь мерой безопасности. Практики ITIL, такие как управление проблемами, управление изменениями и управление релизами, существуют, чтобы защищать стабильность и находить и убирать причины инцидентов. Метрики этой части позволяют проверить оба взгляда по одним и тем же свидетельствам. Если частые изменения безопасны, это покажут показатели сбоев и переделок. Если контроль замедляет поставку, не сокращая риск, это покажут вместо этого показатели согласования и времени выполнения.
Две предосторожности проходят через всю часть. Скорость и стабильность следует читать вместе, потому что число, улучшающее одно и тихо вредящее другому, есть плохая сделка. Показатели времени также следует читать как распределения с перцентилями, как изложено в части 1 (см. тему 1.6, Статистическая грамотность для метрик услуг). Каждая метрика здесь описывает команду, услугу или систему. Ни одна не ранжирует отдельного человека, и ни одна не есть цель, которую надо двигать в изоляции (см. тему 1.2, Закон Гудхарта и психология метрик).
Четыре линзы формируют эту часть. Непрерывная поставка делает малые частые изменения нормой, поэтому показатели изменений и релизов описывают вместе поток и безопасность. Изменениям с помощью ИИ и оценкам риска, порождённым ИИ, нужно собственное парное качество. Конвейеры автоматизируют свидетельства и согласования, поэтому автоматизацию надо измерять по её сбоям. Аналитика связывает изменения, инциденты и проблемы и говорит, сколько случаев стоит за каждой долей.
Темы этой части
- 4.1 Метрики управления проблемами: открытые и закрытые проблемы, повторное использование известных ошибок, повторение и время до постоянного исправления.
- 4.2 Метрики разборов и обучения: завершение пересмотров, закрытие действий, повторение причин и сигналы безобвинительного обучения.
- 4.3 Метрики управления изменениями: объём изменений по типам, время согласования, доля стандартных изменений и автоматизация согласования.
- 4.4 Сбои изменений и переделки: доля сбоев изменений, доля экстренных изменений, доли откатов и срочных исправлений и последовательные определения сбоя.
- 4.5 Метрики релизов и развёртывания: частота развёртываний, частота релизов, использование переключателей функций, время выполнения релиза и отделение развёртывания от релиза.
- 4.6 Технический долг и известные ошибки: бэклог известных ошибок, запас долга и проценты по нему и приоритизация исправлений против работы над функциями.
Как эти темы связаны между собой
Часть делится на две половины, зависящие друг от друга. Темы 4.1 и 4.2 об обучении: как инциденты прослеживаются до причин и как пересмотры превращаются в исправления, которые доводятся до конца. Темы 4.3, 4.4 и 4.5 об изменениях: как они согласуются, как часто дают сбой и как доходят до пользователей. Тема 4.6 соединяет половины, потому что долг и известные ошибки, которые вскрывает обучение, суть те же элементы, что конкурируют с новыми функциями за время команды.
Самая важная пара лежит между скоростью и сбоем. Частота развёртываний и релизов в теме 4.5 (см. тему 4.5, Метрики релизов и развёртывания) описывает, как часто изменения доходят до продуктива, а исследовательская программа DORA парит такие показатели пропускной способности с показателями стабильности (см. тему 2.8, Метрики DORA). Тема 4.4 (см. тему 4.4, Сбои изменений и переделки) поставляет эту сторону стабильности. Команда, развёртывающая чаще, пока её доли сбоев и переделок остаются ровными или падают, улучшается. Команда, чья частота растёт вместе с откатами и срочными исправлениями, переносит цену в другое место.
Управление изменениями стоит между ними. Тема 4.3 (см. тему 4.3, Метрики управления изменениями) измеряет сторону контроля: сколько занимает согласование, какая часть изменений заранее разрешена как стандартные и какая часть согласования автоматизирована. Время согласования есть цена контроля, а доля сбоев изменений из темы 4.4 есть свидетельство того, работает ли этот контроль. Читаемые вместе, они показывают, покупает ли тяжёлый шаг согласования безопасность или лишь добавляет задержку и удержал ли более лёгкий, автоматизированный контроль сбои стабильными.
Темы обучения охраняют остальные. Управление проблемами в теме 4.1 (см. тему 4.1, Метрики управления проблемами) измеряет повторение и время до постоянного исправления, что есть долгосрочная проверка того, убирает ли обработка инцидентов из части 3 причины или лишь восстанавливает услугу. Тема 4.2 (см. тему 4.2, Метрики разборов и обучения) проверяет, что пересмотры действительно проводятся и их действия закрываются, поскольку завершённый пересмотр без доведения до конца ничего не меняет. Подсчёт пересмотров или закрытых проблем легко подтасовать, поэтому эти счёты следует читать рядом с повторением тех же причин, которое труднее подделать.
Наконец, тема 4.6 (см. тему 4.6, Технический долг и известные ошибки) объясняет, почему другие показатели дрейфуют. Неустранённые известные ошибки и накопленный долг повышают шанс сбоя и цену каждого последующего изменения. Чтение бэклога известных ошибок рядом с долей сбоев изменений показывает, когда откладывание исправлений начало замедлять поставку.
Последующие части опираются на эти показатели. Цели уровня услуги и бюджеты ошибок в части 5 дают предел надёжности, относительно которого можно судить о темпе изменений, а часть 11 показывает, как вводить эти показатели, не порождая страха.