Обзор и мотивация

Каждое изменение живой услуги несёт некоторый шанс ухудшить положение. Практические вопросы: как часто это случается, сколько внеплановой работы это создаёт и как быстро команда восстанавливается. Эта тема охватывает показатели, отвечающие на них: долю изменений, дающих сбой, долю нуждающихся в экстренном пути, доли откатов и срочных исправлений и переделки, следующие за плохим изменением. Она также охватывает самую непарадную часть предмета, то есть согласование того, что вообще считается сбоем.

Сначала несколько терминов. В ITIL 4 практика, называемая управлением изменениями (change enablement), охватывает добавление, модификацию или удаление чего-либо, что может повлиять на услугу. Поэтому изменение шире развёртывания кода: оно включает правку конфигурации, продление сертификата, правило межсетевого экрана или миграцию базы данных. Стандартное изменение заранее разрешено и низкорисково, обычное изменение проходит оценку, а экстренное изменение делается срочно, обычно чтобы восстановить услугу или закрыть серьёзную уязвимость. Развёртывание есть действие по помещению версии программного обеспечения в среду, тогда как релиз делает возможность доступной пользователям. Команды, использующие переключатель функции, могут развёртывать код, не выпуская его (см. тему 4.5, Метрики релизов и развёртывания).

Сбой изменения есть изменение, ведущее к деградации услуги или требующее исправления. Исправление принимает несколько форм. Откат возвращает систему в прежнее состояние. Срочное исправление (hotfix) есть срочный патч, применяемый вне обычного ритма релизов. Исправление вперёд (roll-forward) выпускает новое изменение поверх сломанного. Переделка есть внеплановое усилие, потраченное на переделку или починку того, что должно было быть закончено. В обстановке непрерывной поставки, где малые изменения часто текут в продуктив, эти показатели суть главное свидетельство того, не стоит ли скорость стабильности.

Две традиции смотрят на одно событие по-разному. Взгляд ITIL организован вокруг записи об изменении: было ли изменение санкционировано, удалось ли оно и записан ли результат? Изменение, удавшееся на бумаге, может всё же вызвать инцидент через час. Взгляд Agile организован вокруг рабочего элемента и развёртывания: удержалось ли определение готовности команды и вызвало ли изменение внеплановую работу вскоре? Ни один взгляд не полон один. Исследование за программой DORA рассматривает долю сбоев изменений и долю переделок развёртываний как два показателя «нестабильности» рядом с показателями пропускной способности (см. тему 2.8, Метрики DORA, определяющую их на уровне программы). Эта тема идёт глубже в механику: как определить сбой, как привязать инциденты к изменениям, как считается экстренная работа и как числа подтасовываются.

Предупреждение применимо с самого начала. Эти показатели описывают команду, услугу или конвейер. Они никогда не описывают человека. Доля сбоев изменений, приписанная отдельному инженеру, учит людей избегать рискованной и ценной работы, делить изменения, пока счёты не станут выглядеть хорошо, и переставать сообщать о проблемах (см. тему 1.2, Закон Гудхарта и психология метрик). Закон Гудхарта бьёт здесь сильно, потому что «меньше сбоев» легко достичь, записывая меньше сбоев.

Время инцидентов принадлежит теме 3.3, Время реагирования на инциденты и их устранения, худшие инциденты теме 3.4, Метрики крупных инцидентов, поток согласования и долю стандартных изменений теме 4.3, Метрики управления изменениями, первопричины теме 4.1, Метрики управления проблемами, а письменный пересмотр теме 4.2, Метрики разборов и обучения.

Ключевые принципы

  • Сбою нужно одно письменное определение. Команды, решающие от случая к случаю, производят числа, которые нельзя отслеживать во времени или сравнивать, а спор об определении заменяет спор о работе.
  • Сбой должен прослеживаться до своего изменения. Без записанной связи между инцидентом, откатом или срочным исправлением и изменением, которое его вызвало, доля сбоев есть догадка.
  • Считайте каждый путь исправления. Откат, срочное исправление, исправление вперёд и ручной обходной путь суть четыре пути к одному и тому же событию. Показатель, считающий один из них, награждает команды за выбор другого.
  • Читайте сбой рядом со скоростью и восстановлением. Долю сбоев изменений в изоляции можно улучшить, меняя реже, что редко является целью. Парьте её со временем выполнения, частотой развёртываний и временем восстановления.
  • Малым выборкам нужны счёты, а не только проценты. Команда с восемью изменениями за месяц и одним сбоем имеет долю сбоев 12,5 %, которая почти ничего не говорит, поэтому показывайте счёты и используйте более длинное окно (см. тему 1.6, Статистическая грамотность для метрик услуг).
  • Экстренное есть сигнал, а не грех. Стабильная объяснённая доля экстренных изменений нормальна. Растущая доля обычно указывает на проблемы качества выше по течению, планирования или обнаружения.

Определения метрик

Показатели сбоев и переделок зависят от объединения записи об изменении, журнала развёртываний и инструмента инцидентов. Каждое определение ниже указывает, что считается, что исключено и где часы запускаются и останавливаются. Командам следует копировать определения в свой реестр метрик и корректировать их с заявленной причиной.

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность
Доля сбоев изменений Доля изменений в продуктив, вызывающих деградацию услуги или требующих исправления изменения, потребовавшие отката, срочного исправления, исправления вперёд или связанного инцидента в окне сбоя / все изменения в продуктив, завершённые в периоде; окно запускается при завершении изменения и останавливается через фиксированное число дней (например, 7), записанное в реестре метрик; изменения, ещё внутри окна, сообщаются отдельно и исключаются из доли, пока окно не закроется процент Записи об изменениях или журнал развёртываний, объединённые с инструментом инцидентов и списком срочных исправлений Управление изменениями; управление инцидентами Определение готовности; ушедшие дефекты Раз в месяц, по скользящему окну 90 дней
Доля экстренных изменений Доля изменений, сделанных экстренным путём изменения, записанные как экстренные / все изменения, завершённые в периоде; экстренное означает, что обычная оценка была обойдена или сокращена по срочности, а заранее разрешённые стандартные изменения исключаются из обоих счётов процент Поле типа в записи об изменении Управление изменениями Внеплановая работа и класс обслуживания «срочный» Раз в месяц
Доля откатов Доля изменений, обращённых к предыдущей версии изменения, отменённые после попадания в продуктив / все изменения в продуктив за период; откат, сделанный до того, как изменение дошло до каких-либо пользователей (например, канареечный релиз, остановленный на первом шаге), считается отдельно процент Журнал развёртываний и инструмент релизов Управление релизами; управление развёртыванием Практики конвейера и релизов Раз в месяц
Доля срочных исправлений Доля изменений, являющихся срочными патчами, применяемыми вне обычного потока релизов изменения, помеченные или выделенные в ветку как срочные исправления / все изменения в продуктив за период; знаменатель включает сами срочные исправления процент Ветки или метки системы контроля версий и журнал развёртываний Управление изменениями; управление инцидентами Внеплановая работа; срочные задачи Раз в месяц
Доля переделок развёртываний Доля развёртываний, являвшихся внеплановыми исправлениями проблемы более раннего развёртывания развёртывания в продуктив, исправляющие дефект или сбой недавнего более раннего развёртывания в том же окне сбоя / все развёртывания в продуктив за период; плановая последующая работа из дорожной карты исключается процент Журнал развёртываний со связью или меткой «исправляет» и трекер работ Управление изменениями; непрерывное улучшение Переделки; ушедшие дефекты; спрос от сбоев Раз в месяц
Доля связей изменения с инцидентом Доля решённых инцидентов, записывающих, вызвало ли их изменение, и какое инциденты с заполненным полем «вызвано изменением» (да или нет, плюс идентификатор изменения при «да») / инциденты, решённые в периоде; часы останавливаются, когда инцидент закрыт процент Инструмент инцидентов и записи об изменениях Управление инцидентами; управление изменениями Пересмотр после инцидента; определение готовности Раз в месяц
Согласие по определению сбоя Согласие двух проверяющих о том, дало ли сбой изменение из выборки выборочные изменения, где два независимых проверяющих приходят к одному вердикту о сбое по письменному определению / выборочные изменения; выборка не менее 20 изменений, случайно берущихся каждый квартал процент Лист пересмотра выборки, хранимый вместе с реестром метрик Непрерывное улучшение; измерение и отчётность Ретроспектива Раз в квартал

Две заметки к таблице. Доля сбоев и доля переделок пересекаются, но различаются: сбой, отменённый без нового развёртывания, считается в доле сбоев, но не в доле переделок. И единица есть изменение или развёртывание, а не инцидент, потому что одно изменение может вызвать три инцидента, а один инцидент может прийти от трёх изменений.

Рекомендации

Запишите определение сбоя до сбора данных

Договоритесь, что значит «неудачное», и поместите это в реестр метрик. Рабочее определение таково: изменение дало сбой, если в заявленном окне после завершения оно было откатано, потребовало срочного исправления или исправления вперёд либо было связано с инцидентом заявленной серьёзности или выше. Укажите окно (7 дней обычны, а верное значение зависит от того, как быстро ваши услуги показывают проблемы), порог серьёзности инцидента и кто решает в спорном случае. Запишите хотя бы пять разобранных примеров, включая неловкие, такие как изменение, ухудшившее производительность без какого-либо сбоя. Пересматривайте определение ежегодно и записывайте изменения с причинами, чтобы линию тренда можно было пересчитать, если правило сдвигается.

Связывайте сбои с изменениями в записи об инциденте

Добавьте в запись об инциденте обязательное поле: вызвано изменением, да или нет, и идентификатор изменения при «да». Поле должно заполняться во время разрешения и проверяться на пересмотре после инцидента (см. тему 4.2, Метрики разборов и обучения). Отслеживайте долю связей как собственную метрику. Если лишь половина инцидентов несёт поле, доля сбоев занижает истину на неизвестную величину, и об этом следует сказать рядом с числом. Автоматизируйте первую догадку там, где можете, например перечислением изменений, завершённых по затронутой услуге в часы до начала инцидента, и пусть человек подтверждает.

Считайте все пути исправления, а не один

Определяйте единый сбой по нескольким сигналам. Берите откаты из инструмента развёртывания, срочные исправления из системы контроля версий или журнала релизов, исправления вперёд из связи «исправляет», а инциденты из инструмента инцидентов, затем дедуплицируйте по изменению. Команда, считающая только откаты, увидит исчезновение сбоев в день, когда перейдёт на исправление вперёд. Держите и каждый путь как отдельную разбивку, потому что состав рассказывает историю: много срочных исправлений и мало откатов говорят, что откат труден, а это стоит исправить само по себе.

Относитесь к доле экстренных изменений как к вопросу, а не к баллу

Пересматривайте экстренные изменения как группу, а не как цель. Каждый квартал читайте их все и сортируйте причины: восстановление услуги, закрытие уязвимости, поздний запрос бизнеса, пропущенный шаг планирования или путь согласования, слишком медленный для обычной работы. Последние две суть проблемы системы, которые следует исправлять улучшением стандартного пути, чтобы людям не приходилось его обходить (см. тему 4.3, Метрики управления изменениями). Нулевая доля подозрительна, потому что настоящие аварии случаются. Доля, устойчиво растущая, заслуживает записи о проблеме (см. тему 4.1, Метрики управления проблемами).

Измеряйте переделки как спрос от сбоев

Отслеживайте переделки как работу, порождённую более ранним сбоем. Идея спроса от сбоев (failure demand) идёт из проектирования услуг: спрос, существующий потому, что что-то не было сделано правильно с первого раза. В терминах поставки считайте развёртывания и рабочие элементы, единственная цель которых исправить недавнее изменение. Это прямо связано с разделением планового и внепланового (см. тему 2.9, Операционная и внеплановая работа). Используйте долю ёмкости, потраченную на переделки, как начало разговора с владельцем продукта, потому что она превращает абстрактную долю в компромисс о том, над чем работать дальше.

Сообщайте доли со счётами, распределениями и окном

Показывайте счёты рядом с процентами и используйте скользящее окно. Месячная доля сбоев для команды, развёртывающей десять раз, шумна. Используйте скользящее окно 90 дней, показывайте число изменений и сбоев за долей и давайте грубую оценку неопределённости (см. тему 1.6, Статистическая грамотность для метрик услуг). Для восстановления показывайте медиану и 85-й перцентиль времени от сбоя до восстановления, а не среднее. Когда у услуги очень мало изменений, рассказывайте историю списком реальных сбоев вместо доли.

Парьте сбой со скоростью, чтобы улучшение не пряталось ни в одном

Всегда показывайте долю сбоев изменений рядом со временем выполнения и частотой развёртываний. Если доля сбоев падает, пока частота развёртываний тоже резко падает, а время выполнения растёт, команда может копить партии, что повышает риск каждого. Если скорость растёт, а доля сбоев держится ровно, система становится лучше в изменениях. Пара есть главная защита от манипуляции и от удобной веры, что меньше развёртываний значит безопаснее (см. тему 2.8, Метрики DORA).

Используйте числа, чтобы улучшать само изменение

Превращайте данные о сбоях в инженерные эксперименты. Посмотрите на общие черты неудачных изменений: размер, время суток, тип, число вовлечённых людей, касались ли они общих компонентов и было ли тестовое покрытие тонким. Затем попробуйте один малый обратимый эксперимент, такой как меньшие партии, автоматизированное регрессионное тестирование для рискованной области, канареечный релиз для следующего рискованного изменения или переключатель функции, отделяющий развёртывание от релиза. Измерьте снова после полного окна. Цель в лучшем изменении, а улучшенная метрика лишь свидетельство.

Пересматривайте показатели вместе на безобвинительном форуме

Проводите ежемесячный пересмотр неудачных изменений с людьми, которые их делали. В повестке три пункта: счёты и тренд, два-три неудачных изменения, выбранных для изучения, и одно действие по улучшению с владельцем. Используйте практику безобвинительного пересмотра, чтобы люди описывали, что знали в то время. Публикуйте заметки пересмотра вместе с показателями. Если люди колеблются сообщать о сбоях из-за того, как используются числа, исправьте это раньше всего остального (см. тему 11.3, Внедрение метрик без создания страха).

Векторы манипуляции и ограждения

Метрика Как её искажают Парная метрика или практика-ограждение
Доля сбоев изменений Сужать окно сбоя; не связывать инциденты с изменениями; классифицировать плохое изменение как «запрос на обслуживание» или «обслуживание»; исправлять вперёд и называть это новым изменением; собирать много правок в одно изменение, чтобы один сбой покрывал их Доля связей изменения с инцидентом; квартальный выборочный аудит против списка инцидентов; согласие по определению сбоя; рядом время выполнения и частота развёртываний
Доля экстренных изменений Пускать срочную работу по стандартному пути с ложной оценкой риска; пускать обычную работу как экстренную, чтобы избежать согласования; делить экстренное на несколько обычных изменений Квартальное чтение всех экстренных изменений; причины сортируются и пересматриваются; доля стандартных изменений и время согласования (см. тему 4.3, Метрики управления изменениями)
Доля откатов Исправлять вперёд, чтобы не записывать откат; держать сломанную версию в работе; удерживать изменения от продуктива, чтобы нечего было откатывать Рядом доля срочных исправлений и доля переделок; распределение времени восстановления; выборка инцидентов против журнала развёртываний
Доля срочных исправлений Не помечать срочные исправления; пропускать их через обычную ветку; называть срочное исправление «небольшим улучшением» Доля переделок развёртываний; аудит веток и меток; доля внеплановой работы (см. тему 2.9, Операционная и внеплановая работа)
Доля переделок развёртываний Не связывать исправления с исходным развёртыванием; помечать исправление как «плановое»; собирать исправление вместе с новыми функциями Обязательная связь «исправляет» на исправляющих развёртываниях; выборочный пересмотр развёртываний, помеченных плановыми; рядом доля сбоев изменений
Доля связей изменения с инцидентом Заполнять поле «нет», не проверив; оставлять поле по умолчанию «нет»; закрывать инциденты оптом, чтобы поднять процент Выборочная проверка ответов «нет» на пересмотре после инцидента; нет значения по умолчанию; комментарии проверяющих по выборке
Согласие по определению сбоя Выбирать лёгкие примеры для выборки; проверяющие, являющиеся измеряемыми людьми; ослаблять определение, чтобы все соглашались Случайная выборка, берущаяся кем-то вне команды; намеренно включать пограничные случаи; публиковать расхождения и исправлять определение

Здоровое чтение выглядит так: доля сбоев лежит в диапазоне, который команда понимает и объясняет, доля связей достаточно высока, чтобы доле сбоев можно было доверять, экстренных изменений мало, и они объяснены, а откаты и срочные исправления коротки и отрепетированы. О сбоях сообщают быстро и обсуждают без обвинений. Неестественно низкая доля сбоев при низкой доле связей, падающей частоте развёртываний и растущих размерах партий есть предупреждение, а не успех. Относитесь к любому внезапному улучшению как к побуждению сначала проверить прибор (см. тему 1.5, Источники данных и инструментирование).

Компромиссы: плюсы и минусы

Подход Сильная сторона Слабая сторона
Строгое автоматическое определение сбоя Последовательно, дёшево повторять, легко отслеживать во времени Упускает тонкую деградацию; может считать безобидные откаты сбоями
Оценка суждением каждого изменения Улавливает контекст и серьёзность Медленно, субъективно, открыто давлению и дрейфу
Длинное окно сбоя (недели) Ловит отложенные сбои Размывает причину и следствие; о недавних изменениях пока нельзя сообщать
Подсчёт всех путей исправления Трудно подтасовать переключением пути Нужны несколько источников данных, соединённых с осторожностью

Используйте автоматическое определение как основу, добавьте выборочный пересмотр человеком и улучшайте связь между изменениями и инцидентами, прежде чем строить что-либо ещё.

Вопросы для обсуждения в команде

1. Что именно считается здесь неудачным изменением и могли бы двое из нас разойтись во мнении об одном изменении? Возьмите пять недавних изменений и попросите каждого проголосовать, дали ли они сбой. Сравните голоса и причины. Расхождения показывают, где письменное определение тонко. Договоритесь о правиле для неловких случаев, таких как падение производительности без сбоя, и запишите его с примером.

2. Как мы знаем, какие инциденты были вызваны изменением? Спросите, как связь записывается сегодня и кто её заполняет. Просмотрите десять недавних инцидентов и посмотрите, у скольких есть прикреплённое изменение и у скольких должно быть. Обсудите, необязательно ли поле, по умолчанию ли оно «нет» и кто его проверяет. Ведущему стоит добиваться конкретного улучшения записи, такого как обязательное поле без значения по умолчанию.

3. Какими путями исправления мы пользуемся и все ли они считаются? Перечислите откат, срочное исправление, исправление вперёд, ручной обходной путь и выключение переключателя функции. Для каждого спросите, где записывается событие и питает ли оно долю сбоев. Заметьте пути, не оставляющие следа. Обсуждение часто выявляет, что излюбленный командой путь есть тот, который метрика не может увидеть.

4. Когда было наше последнее экстренное изменение и можно ли было его избежать? Пройдите по последним трём-четырём. Спросите, что сделало каждое срочным, что было известно раньше и как выглядел бы лучший стандартный путь. Отделите настоящие аварии от поздних открытий и медленных согласований. Договоритесь об одном исправлении обычного пути, убирающем повторяющуюся причину экстренного.

5. Какая часть нашей недели уходит на исправление недавних изменений? Оцените долю ёмкости, потраченную на переделки за последние четыре недели, по трекеру, а не по памяти. Сравните оценку с трекером. Поговорите о том, что число стоит в плановой работе и как владелец продукта использовал бы его. Выберите один образец сбоя и один эксперимент, чтобы его сократить.

6. Если бы наша доля сбоев упала вдвое в следующем квартале, поверили бы мы? Представьте заголовок и спросите, что ещё должно быть верно: стабильная доля связей, ровная частота развёртываний, быстрое восстановление и никаких новых категорий «обслуживания». Обсудите, какие из этих проверок команда уже делает, а каких не хватает. Договоритесь, как внезапное улучшение будет исследоваться, прежде чем его праздновать.

Четыре точки зрения

Продуктовые команды и команды поставки

Команды поставки владеют изменениями, поэтому они владеют определением сбоя и исправлениями. Начинайте с работы: смотрите на неудачные изменения на пересмотре, находите общие черты и пробуйте меньшие партии, лучшие тесты или переключатели. Отслеживайте переделки как часть доски, чтобы внеплановые исправления были видны рядом с плановой работой. Держите числа для собственного обучения команды и сопротивляйтесь передаче данных уровня отдельных людей. Если метрика показывается руководителям, команда должна уметь объяснить каждое изменение в ней.

Команды услуг и эксплуатации

Команды эксплуатации видят последствия изменений в очереди инцидентов и лучше всего расположены поддерживать связь между инцидентами и изменениями. Они могут добавить обязательное поле, проверять его на шаге разрешения и возвращать результаты команде поставки без обвинений. Эксплуатация также владеет экстренным путём и должна пересматривать его использование. Делитесь сведениями о путях восстановления и репетируйте откаты вместе с командами поставки, поскольку лучший способ сократить цену сбоя есть общая привычка делать изменения обратимыми (см. тему 3.3, Время реагирования на инциденты и их устранения).

Руководство и управление

Руководителям следует просить тренды по услугам, оба вида показателей нестабильности вместе со скоростью и эксперименты по улучшению за ними. Избегайте фиксированных целей вроде «доля сбоев ниже 5 %», которые приглашают переопределение, и избегайте использования цифр в индивидуальных оценках. Органы управления могут использовать данные как свидетельство того, безопасен ли более лёгкий путь согласования, проверяя, что сбои и восстановление остались стабильными, когда контроли ослаблялись. Растущий тренд экстренных изменений есть сигнал смотреть на проект планирования и согласования, а не винить дежурных инженеров.

Клиенты и пользователи

Клиентов не заботит доля сбоев. Их заботит, ломается ли услуга после обновления и как быстро она возвращается. Данные о сбоях поддерживают честную коммуникацию: заблаговременное уведомление о рискованных изменениях, ясные сообщения о статусе, когда изменение создаёт неприятности, и видимое обязательство учиться. Там, где пользователи зависят от услуги в критических задачах, заранее договаривайтесь с ними об окнах обслуживания и ожиданиях по откатам (см. тему 3.4, Метрики крупных инцидентов).

На практике: пример из управления услугами

ИТ-отдел регионального поставщика медицинских услуг эксплуатирует услугу записи пациентов. Продуктовая команда из семи человек выпускает изменения несколько раз в неделю, а команда эксплуатации из пяти человек обрабатывает инциденты и процесс изменений. Все числа в этом примере иллюстративны.

За квартал ежемесячный отчёт показывает долю сбоев изменений 4 %, вниз с 11 % квартал назад. Директор по информационным технологиям доволен. Руководитель платформы не убеждён, потому что дежурная команда говорит, что их ночи не улучшились. Руководитель платформы просит команду провести выборочный аудит из реестра метрик.

Аудит берёт 30 изменений случайно, и двое проверяющих применяют письменное определение. Они согласны по 24 из 30 вердиктов, так что согласие по определению сбоя составляет 80 % (иллюстративно). Затем они сравнивают выборку со списком инцидентов. Из 22 инцидентов, решённых за квартал, только 9 несут поле «вызвано изменением», то есть доля связей 41 %. Читая остальные 13 вручную, проверяющие находят 5, начавшихся в течение дня после изменения. Исправленный счёт повышает долю сбоев примерно до 9 %, а аудит находит, почему число выглядело хорошо: новая привычка развёртывать исправления под ярлыком «обслуживание», который отчёт исключал и из знаменателя, и из числителя.

Риск манипуляции лежит в ярлыке, и никто не планировал этого. Команде говорили, что сбои вызывают беспокойство, и «обслуживание» избегало разговора. Команда принимает три решения. Поле «вызвано изменением» становится обязательным без значения по умолчанию, а пересмотр после инцидента его проверяет. Ярлык «обслуживание» выводится, а исправляющие развёртывания должны нести связь с изменением, которое они исправляют, что питает долю переделок. Определение сбоя переписывается с шестью разобранными примерами, включая регрессию медленного запроса, никогда не вызывавшую сбоя.

Следующий квартал показывает пересчитанную долю сбоев 8 % и долю связей 90 % (иллюстративно). Отчёт руководства теперь показывает счёты, долю связей и долю переделок рядом со временем выполнения, а директор по информационным технологиям перестаёт цитировать единый процент.

Agile, ИИ, автоматизация и аналитика

Agile

Частые малые изменения делают сбои дешевле и проще для прослеживания, и команда регулярно пересматривает их с заинтересованными сторонами. Осторожность в том, что если за сбои наказывают, люди перестают их заявлять.

ИИ

Изменения с помощью ИИ могут повышать объём и переделки, выглядя быстрыми. Сообщайте неудачные изменения и переделки для работы с помощью ИИ по тому же определению, что и для другой работы, и помечайте их в данных. Осторожность в том, что сравнение работы с помощью ИИ и остальной требует внимания, потому что изменения могут различаться по виду.

Автоматизация

Связывайте изменения, развёртывания и инциденты автоматически по идентификаторам и измеряйте долю связей. Автоматический откат следует измерять по успеху и по побочным эффектам. Осторожность в том, что сломанные связи заставляют долю сбоев выглядеть лучше, чем она есть.

Аналитика

Указывайте определение сбоя один раз и выборочно проверяйте связи вручную. Решение, которое это информирует, состоит в том, где практика изменений нуждается в усилении. Осторожность в том, что доли по малому числу изменений сильно раскачиваются; поэтому показывайте счёты.

Отраслевой взгляд

Стартап. Изменения малы и часты, и команда часто знает каждый сбой наизусть. Держите определение в одном абзаце, помечайте откаты и срочные исправления в инструменте развёртывания и пересматривайте сбои на еженедельной ретроспективе. Доля сбоев на 20 изменениях шумна, поэтому используйте список сбоев как главное свидетельство. Риск в неформальности: без письменного определения доля сдвигается с тем, кто считает.

Малый бизнес. Одни и те же люди развёртывают, эксплуатируют и поддерживают, поэтому переделки напрямую конкурируют с плановой работой. Записывайте сбои в любом инструменте, который у вас уже есть, добавьте обязательное поле в запись об инциденте и пересматривайте экстренные изменения каждый квартал. Избегайте тяжёлого согласования только ради улучшения чисел. Общий контрольный список отката стоит больше, чем совет по изменениям.

Крупная компания. Много команд, поставщиков и инструментов значит много определений. Стандартизируйте определение сбоя и поле связи между командами, публикуйте его в каталоге метрик и вычисляйте доли по услугам, прежде чем сводить. Используйте выборочные аудиты, чтобы находить расхождения, и относитесь к записям об изменениях каждого поставщика как к ещё одному источнику со своим качеством (см. тему 1.5, Источники данных и инструментирование). Следите, чтобы сводки никогда не превращались в турнирные таблицы команд.

Государство и публичный сектор. Записи об изменениях служат аудиту и подотчётности, а откаты могут ограничиваться законом, закупками или общими платформами. Ведите формальную запись и добавляйте связь о сбое как её часть. Объясняйте числа надзорным органам аккуратно, со счётами и контекстом, потому что один сбой в критической услуге может привлечь внимание несоразмерно. Используйте данные, чтобы обосновывать более лёгкие пути для низкорисковых изменений, со свидетельством, что сбои и восстановление остались стабильными.

Бизнес-обоснование: мотивы, ROI и TCO

Мотив есть цена неудачного изменения: работа с инцидентами, переделки, задержанные пункты дорожной карты и потеря доверия пользователей. Многие организации не могут сказать, какая часть их усилия идёт на починку недавних изменений, и показатель переделок даёт первый честный ответ. Есть также косвенная выгода. Команды, способные показать, что изменение безопасно, могут защитить более лёгкое согласование, сокращающее время выполнения. Исследование DORA сообщает об ассоциации между тяжёлым внешним согласованием и более слабой результативностью поставки (см. тему 4.3, Метрики управления изменениями), и данные о сбоях суть способ, которым команда проверяет это утверждение на собственной истории.

Цена сбора скромна, если основа есть: обязательное поле в записи об инциденте, помеченные исправляющие развёртывания, объединение трёх источников данных и ежемесячный пересмотр. Большая цена есть внимание, потому что кто-то должен владеть определением, проводить аудиты и действовать по находкам. Избегайте покупки инструмента, пока определение и связь не работают вручную.

Отдача проявляется как меньше повторных сбоев, более короткое восстановление, меньше внеплановой работы и лучшие разговоры с управлением. Не обещайте процент. Вместо этого оцените собственную базовую линию: посчитайте часы, потраченные на переделки и реагирование на инциденты, связанные с изменениями, за квартал, оцените их по вашей обычной внутренней ставке и сравните после улучшений. Укажите допущения и сообщайте результат как диапазон, а не единую цифру. Сравнивайте его с ценой программы и ценой одного серьёзного сбоя в критической услуге.

Антипаттерны и ловушки

  • Цель на долю сбоев. Она приглашает переопределение и скрытые сбои. Вместо этого ставьте цель на обучение, такую как завершение каждого пересмотра и закрытие каждого корректирующего действия, и следите за долей на предмет трендов.
  • Ранжирование команд или людей по сбоям. Оно разрушает отчётность и наказывает команды, берущиеся за рискованную ценную работу. Сравнивайте команду с её собственным прошлым и обсуждайте контекст.
  • Подсчёт сбоями только инцидентов. Сбои, пойманные рано и откатанные, исчезают. Включайте каждый путь исправления и используйте инциденты как один сигнал из нескольких.
  • Отношение к экстренным изменениям как к плохим. Давление ведёт к замаскированным аварийным изменениям. Пересматривайте их на причины и исправляйте обычный путь.
  • Позволять связи с инцидентом по умолчанию быть «нет». По умолчанию получается льстивое и неверное число. Сделайте поле обязательным и выборочно проверяйте.
  • Сообщение доли без счётов. Малые выборки раскачиваются. Показывайте счёты и скользящее окно.

Модель зрелости

Измерение 1 Инициирование 2 Развитие 3 Стандартизация 4 Управление 5 Оркестрация
Определение сбоя Решается от случая к случаю тем, кого спросили Некоторые команды записывают определение; команды различаются Одно письменное определение с разобранными примерами и заявленным окном Определение проверяется выборочными аудитами, согласие измеряется Определение пересматривается с поставщиками и клиентами, когда перестаёт информировать решения
Связывание изменений и инцидентов Связь помнят люди, если вообще Необязательное поле используют некоторые команды Обязательное поле без значения по умолчанию, проверяемое на пересмотре после инцидента Доля связей отслеживается и пересматривается, пробелы устраняются Связи разделяются между командами и поставщиками через согласованные интерфейсы
Исправление и обработка экстренных случаев Откаты и срочные исправления обрабатываются ситуативно и не записываются Откаты и срочные исправления помечают некоторые команды Все пути исправления записаны; проверка на экстренность записана Экстренные изменения пересматриваются каждый квартал; откаты репетируются Пути восстановления проектируются в услуги и совместно проверяются между командами
Использование в улучшении Числа цитируются в отчётах без продолжения Сбои обсуждаются после крупных инцидентов Ежемесячный безобвинительный пересмотр неудачных изменений с действиями Сбои и переделки парятся со скоростью; эксперименты планируются и финансируются Улучшение рутинно и разделяется между командами, обучение публикуется

Контрольный список

  • Существует письменное определение сбоя изменения с заявленным окном и хотя бы пятью разобранными примерами.
  • Единица подсчёта (изменение, развёртывание или релиз) названа в реестре метрик.
  • В записи об инциденте есть обязательное поле «вызвано изменением» без значения по умолчанию.
  • Откаты, срочные исправления и исправления вперёд помечены в инструментах развёртывания или контроля версий.
  • Исправляющие развёртывания несут связь с изменением, которое они исправляют.
  • У экстренного изменения есть короткая письменная проверка, и каждое экстренное изменение пересматривается в течение установленного числа дней.
  • Доли показываются со счётами и скользящим окном, никогда как голый процент.
  • Доля сбоев изменений всегда показывается рядом со временем выполнения, частотой развёртываний и временем восстановления.
  • Квартальный выборочный аудит проверяет вердикты о сбоях и связь с инцидентами.
  • Проводится ежемесячный безобвинительный пересмотр неудачных изменений, у каждого действия есть владелец.
  • Ни одна метрика этой темы не используется для ранжирования или оценки отдельных людей.

Промпты для ИИ

Составьте черновик письменного определения сбоя изменения.

We operate [service or product type] with [team size] people and release
[frequency, for example several times a week]. Our tools are [change tool,
deployment tool, incident tool]. Draft a one-page definition of "failed change"
that states the unit (change, deployment, or release), the failure window, the
remediation routes that count (rollback, hotfix, roll-forward fix, linked
incident), and the exclusions. Include [number] worked examples, including
borderline cases. Do not invent benchmark values or thresholds; ask me for any
you need. List your assumptions.

Спроектируйте связь изменения с инцидентом.

Here is our incident record template: [fields]. Here is our change record
template: [fields]. Suggest how to record which change caused which incident,
including a required field, allowed values, who completes it, and how a review
should check it. Propose a way to suggest candidate changes automatically from
[available data, for example deploy times and service names]. Do not guess how our
tools are configured. List your assumptions and the questions I should answer.

Проанализируйте список неудачных изменений на закономерности.

Below are [number] failed changes from [period], with these fields: [list fields,
for example size, type, day and time, service, remediation route, time to
restore]. Find patterns and possible contributing factors, and suggest up to
[number] small, reversible experiments to reduce failures. Keep the analysis at
the level of teams and services, and do not rank individuals. Do not invent
statistics or benchmark values. State how confident each pattern is given the
sample size, and list your assumptions.

Проверьте панель сбоев на риски манипуляции.

Our dashboard shows [list of metrics, for example change fail rate, emergency
share, rollback rate, hotfix rate, rework rate] with these definitions:
[definitions]. For each metric, list plausible ways the number could improve
without the service improving, and a guardrail for each. Suggest two audit checks
a team of [team size] could run each quarter. Do not invent benchmark values or
compliance claims. List your assumptions.

Навыки ИИ

  • Service Management Metrics skill: используйте, чтобы найти, какая тема определяет связанную метрику, такую как время выполнения или длительность инцидента, и ограждение, которое надо поставить рядом с долей сбоев.
  • Service Management Metrics maintainer skill: используйте, чтобы проверить, что новая или изменённая метрика сбоев указывает свои часы, источник и вектор манипуляции.

Главные выводы

  • Доля сбоев изменений так же хороша, как её определение, поэтому запишите определение с окном, разобранными примерами и названной единицей.
  • Связывайте каждый сбой с его изменением обязательным полем в записи об инциденте и измеряйте долю связей.
  • Считайте откаты, срочные исправления, исправления вперёд и связанные инциденты вместе, чтобы команды не могли обойти метрику переключением пути.
  • Читайте долю экстренных изменений и переделки как сигналы о планировании и обычном пути, а не как баллы.
  • Всегда показывайте сбой рядом со скоростью и восстановлением, со счётами и скользящим окном, и никогда не ранжируйте людей.

Источники и дополнительное чтение

  1. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  2. DORA, DORA's software delivery performance metrics, Google Cloud, https://dora.dev/guides/dora-metrics/
  3. Humble, J., and Farley, D., Continuous Delivery: Reliable Software Releases through Build, Test, and Deployment Automation, Addison-Wesley, 2010.
  4. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  5. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  6. Wikipedia, ITIL.
  7. Wikipedia, Переключатель функций.
  8. Wikipedia, Откат (управление данными).
  9. Wikipedia, Срочное исправление.
  10. Wikipedia, Переделка.
  11. Wikipedia, Непрерывная поставка.
  12. Wikipedia, Закон Гудхарта.
  13. Wikipedia, Регрессионное тестирование.
  14. Wikipedia, Канареечный релиз.