Обзор и мотивация

Метрики DORA происходят из исследовательской программы DevOps Research and Assessment (DORA), давнего исследования того, как практики поставки программного обеспечения связаны с результатами команд и организаций. Николь Форсгрен, Джез Хамбл и Джин Ким представили первые находки в книге Accelerate в 2018 году, а программа продолжилась в Google Cloud с ежегодным отчётом. Исследование спрашивало, какие измеримые стороны поставки предсказывают хорошие результаты, и остановилось на небольшом наборе показателей результативности поставки программного обеспечения, которые можно вычислить по конвейеру поставки и записи инцидентов.

По состоянию на октябрь 2026 года сайт DORA описывает пять показателей результативности поставки программного обеспечения, разделённых на две группы. Три описывают пропускную способность, то есть как быстро движутся изменения: время выполнения изменения, частота развёртываний и время восстановления после неудачного развёртывания. Два описывают нестабильность, то есть как часто релиз вызывает неприятности: доля сбоев изменений и доля переделок развёртываний. Более ранние публикации описывали четыре метрики, с «временем восстановления услуги» вместо времени восстановления после неудачного развёртывания и без доли переделок. Определения уточнялись годами, поэтому всегда указывайте, какому изданию руководства вы следуете, и дату последней проверки.

Находка исследования, сделавшая метрики знаменитыми, состоит в том, что скорость и стабильность склонны двигаться вместе между командами. Команды, часто развёртывавшие и имевшие короткое время выполнения, в среднем не платили за это бо́льшим числом сбоев. Это опровергает старое допущение, что движение быстрее означает больше поломок. Это закономерность в данных опросов и конвейеров, а не закон, и она выполняется для команд, вложившихся в такие практики, как непрерывная поставка, малые партии, автоматизированное тестирование и быстрая обратная связь. Метрики суть сигналы этих лежащих в основе способностей. Они не сами способности.

Термины ниже повторяются в этой теме.

  • Развёртывание есть действие по помещению версии программного обеспечения в данную среду. Эта тема подразумевает продуктив, если не сказано иное.
  • Изменение есть набор модификаций программного обеспечения, обычно один или несколько коммитов, поставляемых вместе. В ITIL 4 это слово имеет более широкий смысл, охватывая любое добавление, модификацию или удаление, которое может повлиять на услуги, а практика ITIL, управляющая им, есть управление изменениями.
  • Неудачное развёртывание есть развёртывание, вызывающее деградацию услуги или сбой в продуктиве и требующее исправления, такого как срочное исправление, откат или патч. Ваша команда записывает точное правило, потому что исследование оставляет это на местное определение.
  • Откат есть возврат продуктива к предыдущей заведомо хорошей версии.
  • Перцентиль есть значение, ниже которого попадает заявленная доля наблюдений. 85-й перцентиль времени выполнения есть число, которое побеждают 85 % изменений.

На этой почве встречаются взгляды Agile и ITIL. Команда Agile видит эти числа как обратную связь по своей инженерной практике и рабочим соглашениям. Практик ITIL видит их как свидетельство результата для управления изменениями, управления релизами, управления развёртыванием и управления инцидентами. Напряжение обычно касается контроля. Традиционный совет по согласованию изменений пытается сократить сбои, проверяя каждое изменение перед выпуском. Исследование DORA обнаружило, что сильное внешнее согласование не связано с лучшей стабильностью, а проверка коллегами, автоматизированное тестирование и малые изменения связаны. В ITIL 4 управление изменениями допускает это, разделяя стандартные, обычные и экстренные изменения и позволяя заранее разрешать изменения с низким риском (см. тему 4.3, Метрики управления изменениями).

У метрик также есть пределы, о которых заявляет само исследование, и практический совет этой темы строится на них. Они описывают систему поставки для одного приложения или услуги, они предназначены для разговоров об улучшении и ничего не говорят о том, ценна ли поставляемая работа. Команда может показывать превосходные числа, поставляя не то. По этой причине эта тема стоит рядом с показателями потока (см. тему 2.1, Показатели потока), показателями надёжности услуг (см. тему 5.2, SLI, SLO и бюджеты ошибок) и показателями результата (см. тему 1.3, Результаты важнее выпуска: что выбрать для измерения), а не над ними.

Наконец, метрики приглашают закон Гудхарта в тот момент, когда появляются на панели руководства. Частоту развёртываний легче всего раздуть, а число неудачных развёртываний легче всего спрятать. Поэтому каждая рекомендация ниже парит показатель с проверкой того, как его можно исказить (см. тему 1.2, Закон Гудхарта и психология метрик).

Ключевые принципы

  • Вычисляйте по событиям, а не по памяти. Развёртывания берутся из конвейера, сбои и восстановления из записи инцидентов, а время выполнения из системы контроля версий, объединённой с конвейером (см. тему 1.5, Источники данных и инструментирование).
  • Читайте скорость и стабильность как одну картину. Быстрая команда с растущими сбоями или стабильная команда, выпускающая раз в квартал, говорит вам нечто, чего не показывает ни одна половина.
  • Измеряйте услугу или приложение, а не человека. Единица анализа есть система поставки. Люди не развёртывают поодиночке, и их ранжирование разрушает данные.
  • Сравнивайте команду с её собственным прошлым, а не с другой командой. Контекст резко различается между платёжной услугой, платформой данных и мобильным приложением, и само исследование предостерегает от использования метрик как турнирной таблицы.
  • Используйте распределения для времён. У времени выполнения и времени восстановления длинные хвосты, поэтому сообщайте медиану и высокий перцентиль (см. тему 1.6, Статистическая грамотность для метрик услуг).
  • Относитесь к метрикам как к симптомам. Когда число сдвигается, ищите причину в лежащих под ним способностях, таких как размер партии, автоматизация тестов, практика проверки и архитектура, а затем проведите эксперимент.
  • Записывайте определения. Сбой, развёртывание и «начало работы» суть суждения. Записывайте выбор и держите его стабильным, чтобы тренд что-то значил.

Определения метрик

Пять метрик ниже следуют руководству DORA по состоянию на октябрь 2026 года. Формулы указывают часы и исключения, которые вашей команде следует записать. Там, где исследование оставляет границу открытой, таблица показывает разумное значение по умолчанию, а рекомендации объясняют выбор.

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность
Время выполнения изменения Время, за которое зафиксированное изменение попадает в продуктив Часы запускаются при первом коммите изменения (или при его слиянии в основную ветку, если так сказано в определении) и останавливаются, когда развёртывание в продуктив успешно завершено; сообщайте медиану и 85-й перцентиль изменений, развёрнутых в периоде; никогда не развёрнутые изменения исключаются и сообщаются отдельно как работа в процессе Часы или дни Система контроля версий, объединённая с конвейером развёртывания Управление развёртыванием; управление релизами; управление изменениями Время цикла; время до продуктива Раз в неделю или на релиз, пересматривается раз в месяц
Частота развёртываний Как часто команда развёртывает в продуктив Число успешных развёртываний приложения в продуктив за период / дни в периоде; неудачные или откатанные развёртывания исключаются из счёта успехов; развёртывания в тестовые среды исключаются Развёртываний в день или в неделю Журнал событий конвейера развёртывания Управление развёртыванием; управление релизами Непрерывная поставка; выпуск в конце каждого приращения Раз в неделю
Время восстановления после неудачного развёртывания Сколько времени занимает восстановление, когда развёртывание вызывает сбой в продуктиве Часы запускаются, когда сбой обнаружен или о нём сообщено (по одному и тому же правилу каждый раз), и останавливаются, когда услуга восстановлена для пользователей; сообщайте медиану и 85-й перцентиль для неудачных развёртываний периода; инциденты, не вызванные развёртыванием, исключаются Минуты или часы Запись об инцидентах, объединённая с событиями развёртывания и оповещениями мониторинга Управление инцидентами; управление непрерывностью услуг Время восстановления; работа по восстановлению На каждый сбой, пересматривается раз в месяц
Доля сбоев изменений Доля развёртываний в продуктив, вызывающих сбой, требующий исправления Развёртывания, потребовавшие срочного исправления, отката, патча или реагирования на инцидент / все развёртывания в продуктив за период; правило, связывающее сбой с его развёртыванием, записано и применяется одинаково каждый раз Процент События развёртывания, объединённые с инцидентами, откатами и развёртываниями срочных исправлений Управление изменениями; управление инцидентами Определение готовности; ушедшие дефекты Раз в месяц
Доля переделок развёртываний Доля развёртываний в продуктив, которые были внеплановыми и сделаны для исправления проблемы, видимой пользователям Внеплановые развёртывания в ответ на проблему в продуктиве / все развёртывания в продуктив за период; плановые развёртывания, которые случайно содержат исправление, исключаются; правило «внеплановое» записано Процент Журнал конвейера, помеченный причиной развёртывания, связанный с записями об инцидентах или дефектах Управление изменениями; управление проблемами Внеплановая работа; исправление ошибки, выпущенное вне плана Раз в месяц

Две заметки к таблице. Во-первых, доля сбоев изменений и доля переделок развёртываний пересекаются, но не одно и то же: сбой, который команда замечает и откатывает без нового развёртывания, считается в доле сбоев изменений, но не в доле переделок, тогда как плановое исправление, которое команда назначает, не считается ни там, ни там. Во-вторых, исследование рассматривает развёртывание как единицу и считает по приложению, так что у платформы с пятьюдесятью услугами пятьдесят наборов чисел, а не один.

Рекомендации

Начните с определений и часов

1. Запишите одностраничное определение каждой метрики, прежде чем наносить её на график. Укажите, что считается развёртыванием, какая среда продуктив, где запускаются часы времени выполнения и как сбой связывается с развёртыванием. Поместите страницу в реестр метрик (см. тему 1.4, Управление метриками и ответственность за них). Определение, живущее только в чьей-то голове, начнёт дрейфовать при первой же смене инструмента или команды.

2. Выберите начало времени выполнения и придерживайтесь его. Самые частые выборы: первый коммит изменения, слияние в основную ветку и создание заявки. Первый коммит измеряет систему поставки и игнорирует время, когда работа лежала в бэклоге. Начало с заявки измеряет больше ожидания клиента, но подмешивает расстановку приоритетов (см. тему 2.2, Время выполнения, время цикла и эффективность потока). Используйте одно последовательно и указывайте, какое именно, на каждом графике.

3. Приписывайте сбои по заявленному правилу. Сбой принадлежит развёртыванию, когда, например, инцидент открывается в заявленном окне после развёртывания и его анализ причин указывает на это изменение, либо когда с ним связан откат или срочное исправление. Выберите правило, которое люди могут применять без спора, пересматривайте выборку случаев каждый квартал и держите правило неизменным достаточно долго, чтобы увидеть тренд.

Инструментируйте из конвейера

4. Берите события развёртывания из конвейера, а не из электронной таблицы. Система CI/CD, записывающая каждое развёртывание в продуктив с меткой времени, версией и результатом, даёт вам частоту развёртываний и остановку часов времени выполнения без ручного ввода. Вручную введённые счёты запаздывают и непоследовательны и приглашают проблемы записи задним числом, описанные в теме 1.5, Источники данных и инструментирование. Проект с открытым кодом Four Keys от команды DORA есть один рабочий пример сбора этих событий, хотя подойдёт любой эквивалентный собственный конвейер.

5. Объединяйте запись об инцидентах с развёртываниями. Показателям сбоев и восстановления нужны два источника: журнал развёртываний и инструмент инцидентов. Добавьте в запись об инциденте поле «вызвано развёртыванием» и идентификатор развёртывания, заполняемые при разрешении и проверяемые на пересмотре после инцидента (см. тему 4.2, Метрики разборов и обучения). Без объединения доля сбоев изменений становится догадкой.

6. Помечайте причину каждого развёртывания. Для доли переделок нужно отделять плановые развёртывания от внеплановых исправлений. Достаточно простой метки на запуске конвейера, такой как «плановое изменение» или «исправление проблемы в продуктиве». Держите список меток коротким, чтобы людям не приходилось думать об этом под давлением.

Сообщайте числа честно

7. Сообщайте распределения и счёты, а не одно среднее. Показывайте медиану и 85-й перцентиль для времени выполнения и времени восстановления с числом наблюдений за каждым. Неделя с двумя развёртываниями и одним сбоем имеет долю сбоев 50 %, которая значит очень мало, поэтому показывайте счёты рядом с процентом и предпочитайте более длинное окно для долей (см. тему 1.6, Статистическая грамотность для метрик услуг).

8. Показывайте группы пропускной способности и нестабильности рядом. Поместите три показателя пропускной способности и два показателя нестабильности на один вид, по услуге, с трендом минимум за квартал. Никогда не публикуйте частоту развёртываний без показателей сбоев рядом. Если руководитель просит одно число, объясните, что единого балла DORA нет, и предложите вместо него вид из двух групп.

9. Держите сравнения внутри собственной истории команды. Команда, сдвинувшая медианное время выполнения с девяти дней до пяти, чему-то научилась. Ранжирование её относительно другой команды с иной архитектурой, регуляторной нагрузкой или графиком релизов мало что доказывает и учит обе команды защищать свои числа. Когда нужно свести данные для управления, показывайте разброс по услугам и тренд улучшения, а не турнирную таблицу (см. тему 1.2, Закон Гудхарта и психология метрик).

Улучшайте систему, которую описывают числа

10. Сначала уменьшайте размер партии. Малые изменения сокращают время выполнения, облегчают диагностику сбоев и снижают цену отката. Приёмы включают переключатели функций, работу на основной ветке и разбиение работы так, чтобы каждое приращение могло выйти само (см. тему 2.7, Метрики запросов на слияние и проверки кода). Отслеживайте медианный размер изменений рядом со временем выполнения, чтобы видеть, действительно ли партия уменьшается.

11. Вкладывайтесь в быстрое обнаружение и быстрый возврат. Время восстановления падает, когда команда может увидеть сбой в течение минут и когда может откатить или отключить изменение без новой сборки. Канареечный релиз, переключатель функции и автоматический откат каждый сокращают интервал между сбоем и восстановлением. Измеряйте время от развёртывания до обнаружения отдельно, потому что медленное обнаружение прячется внутри числа времени восстановления (см. тему 3.3, Время реагирования на инциденты и их устранения).

12. Используйте числа, чтобы выбрать способность для улучшения. Выберите одну слабую метрику, спросите, почему она слаба, и выберите практику из списка способностей исследования, которая направлена на причину, такую как автоматизация тестов, слабосвязанная архитектура или лёгкое согласование изменений. Ведите изменение квартал и смотрите на тренд. Свяжите эксперимент с темой ретроспективы, чтобы команда владела улучшением (см. тему 9.5, Метрики непрерывного улучшения).

Векторы манипуляции и ограждения

Метрика Как её искажают Парная метрика или практика-ограждение
Время выполнения изменения Сдвигать начало часов позже, например начиная со слияния вместо первого коммита; рано сливать в долгоживущую ветку; исключать трудные изменения как «не код»; пропускать через конвейер тривиальные изменения, чтобы опустить медиану Перцентиль и возраст работы в процессе; фиксированное письменное начало часов; выборка самых медленных 10 % изменений каждый квартал; распределение размеров изменений
Частота развёртываний Дробить одно изменение на множество тривиальных развёртываний; повторно развёртывать неизменённые сборки; считать развёртывания в промежуточную среду или пустые изменения конфигурации Размер изменения на развёртывание; доля развёртываний, содержащих изменение, видимое пользователю; рядом доля сбоев изменений и доля переделок
Время восстановления после неудачного развёртывания Запускать часы поздно или закрывать инциденты рано; переклассифицировать сбой как новый инцидент после частичного исправления; повышать порог серьёзности для «сбоя» Повторение того же инцидента в заявленном окне; начало часов берётся из оповещений мониторинга; длительность воздействия по сообщениям клиентов
Доля сбоев изменений Не связывать инциденты с развёртываниями; считать только сбои, вызывающие полный отказ; расширять окно так, чтобы сбои выпадали из него; исправлять вперёд и называть это новым изменением Каждый квартал сверять выборку инцидентов с журналом развёртываний; отслеживать долю инцидентов с записанной связью с развёртыванием; доля переделок развёртываний
Доля переделок развёртываний Помечать исправления как плановую работу; включать исправление в плановый релиз; избегать развёртываний исправлений, откладывая исправление Счёты дефектов и ушедших дефектов из трекера; возраст открытых дефектов в продуктиве; аудит меток по выборке развёртываний

Здоровое чтение показывает время выполнения и время восстановления, сокращающиеся или стабильные на низком уровне, частоту развёртываний стабильную или растущую с малыми изменениями и доли сбоев и переделок ровные или падающие, при счётах, достаточно больших, чтобы им доверять. Подозрительные показания включают внезапный скачок частоты развёртываний без изменения в работе, долю сбоев, падающую до нуля за месяц, и время восстановления, падающее, пока жалобы клиентов остаются теми же. Каждое из них требует взгляда на прибор раньше празднования.

Компромиссы: плюсы и минусы

Подход Сильная сторона Слабая сторона
Использовать все пять метрик DORA по услуге Основаны на исследовании, балансируют скорость и стабильность, вычисляются по объективным событиям Нужны конвейер и запись об инцидентах, чисто соединяющиеся; молчат о том, была ли работа ценной
Сообщать только частоту развёртываний и время выполнения Легко собирать из конвейера Награждает одну скорость и приглашает именно ту манипуляцию, которую ловят показатели стабильности
Использовать местные определения по командам Подходит архитектуре и стилю релизов команды Команды нельзя сравнивать, а сводки ненадёжны
Использовать одно определение по организации Последовательная отчётность; простое управление Плохо подходит некоторым системам, таким как мейнфреймы с окнами пакетной обработки или регулируемые релизы
Сравнивать команды с опубликованными полосами результативности Даёт руководителям быстрое ощущение положения Игнорирует контекст, и исследование предостерегает, что полосы не цели для каждой команды
Использовать метрики для самоулучшения команды Строит владение; поддерживает честные данные Даёт меньше утешения руководителям, желающим единого балла

Центральное напряжение лежит между сопоставимостью и честностью. Чем больше число используется для суждения о командах, тем сильнее гнутся данные и тем меньше они помогают команде, которая ими владеет. Используйте метрики сначала для поддержки улучшения, принимайте несовершенную сопоставимость и держите представления уровня руководителей на трендах и разбросе. Где регулируемой отчётности нужно стандартное определение, документируйте его и держите представление улучшения уровня команды отдельно.

Вопросы для обсуждения в команде

1. Какие из наших пяти чисел DORA берутся из событий, а какие из чьих-то воспоминаний? Проследите каждую метрику до её источника. Отметьте места, где человек вводит дату или решает, считать ли что-то сбоем. Ведущему стоит помочь группе ранжировать ручные шаги по тому, насколько они могли бы исказить число, и договориться, какой автоматизировать первым.

2. Где именно запускаются и останавливаются наши часы времени выполнения и все ли согласны? Попросите трёх человек описать начало и конец часов для последнего выпущенного изменения. Сравните ответы. Различия обычно проявляются вокруг первого коммита, слияния, заявки и шага согласования. Договоритесь об одном определении, запишите его и обсудите, какое время ожидания выбранное определение прячет.

3. Что для нас считается неудачным развёртыванием и кто решает? Пройдите по последним пяти инцидентам в продуктиве и спросите, принадлежит ли каждый какому-то развёртыванию. Расхождения показывают, где правило неясно. Обсудите, что происходит со сбоем, исправленным изменением конфигурации, откатом или быстрым патчем, и решите, как записывается каждый из них.

4. Если бы частота развёртываний удвоилась в следующем квартале, что бы мы проверили, прежде чем назвать это хорошей новостью? Предложите группе назвать способы, как число может вырасти, не доставив больше ценности. Посмотрите на размер изменения, долю развёртываний с изменением, видимым пользователю, и доли сбоев и переделок. Ведущему стоит отметить, какие проверки уже есть на панели, а какие нужно добавить.

5. Как эти числа используют люди вне команды? Спросите, кто их видит, в какой форме и что с ними делает. Прислушайтесь к сравнению с другими командами, целям, поставленным извне, и использованию в индивидуальных оценках. Обсудите, что должно измениться в этом использовании, чтобы команда могла доверять собственным данным, и у кого есть полномочия это изменить.

6. Какая одна способность больше всего улучшила бы наше самое слабое число и какой маленький эксперимент можно попробовать? Выберите самую слабую метрику и обсудите её вероятные причины, такие как крупные партии, медленная проверка, нестабильные тесты или ручной шаг релиза. Выберите одну причину и спроектируйте эксперимент на четыре-шесть недель со способом увидеть эффект. Договоритесь о дате пересмотра результата и о том, кто принесёт данные.

Четыре точки зрения

Продуктовые команды и команды поставки

Команды поставки владеют способностями, которые движут этими числами: малые изменения, автоматизированные тесты, быстрый конвейер и привычка проверять работу друг друга. Им следует использовать метрики как зеркало для собственной инженерной практики, ставить собственные цели улучшения и сопротивляться давлению сообщать наверх единое число. Они также решают определения, поэтому несут обязанность держать их честными (см. тему 2.7, Метрики запросов на слияние и проверки кода).

Команды услуг и эксплуатации

Команды эксплуатации хранят запись об инцидентах, от которой зависят показатели сбоев и восстановления. Они помогают команде поставки, помечая инциденты развёртыванием, которое их вызвало, предоставляя мониторинг, быстро обнаруживающий сбои, и участвуя в разборе каждого неудачного развёртывания. Им следует следить, чтобы скорость поставки не покупала нестабильность, которую они поглощают как нагрузку дежурств (см. тему 5.7, Рутинная работа и метрики дежурств), и просить вложений в откат и обнаружение, сокращающих время восстановления.

Руководство и управление

Руководителям стоит просить тренды и разброс по услугам, обе группы метрик вместе и эксперименты по улучшению за ними. Им следует избегать целей, фиксирующих число, вроде «развёртывать ежедневно», и избегать использования метрик в индивидуальных оценках. Органы управления могут использовать числа как свидетельство, что более лёгкий путь согласования изменений безопасен, либо как повод пересмотреть его, показывая, осталась ли стабильность неизменной по мере изменения процесса (см. тему 4.4, Сбои изменений и переделки).

Клиенты и пользователи

Клиентам редко важны счёты развёртываний. Им важно, как быстро исправление или функция доходит до них, как редко релиз ломает что-то, на что они полагаются, и как быстро услуга возвращается, когда ломает. Используйте метрики DORA как внутреннее свидетельство, что эти результаты вероятны, и дополняйте их клиентскими показателями, такими как доступность и удовлетворённость (см. тему 5.3, Метрики доступности, и тему 6.1, Метрики удовлетворённости клиентов).

На практике: пример из управления услугами

Интернет-магазин среднего размера эксплуатирует услугу оформления заказа, принадлежащую одной продуктовой команде, поддерживаемую платформенной командой и службой поддержки. Все числа ниже иллюстративны.

Команда развёртывала в продуктив около двух раз в неделю, с временем выполнения (от первого коммита до продуктива) в медиане 11 дней и 85-м перцентилем 26 дней. За предыдущий квартал за 6 из 24 развёртываний (25 %, иллюстративно) последовал откат или инцидент. Медианное время восстановления для этих сбоев было 3 часа. Совет по согласованию изменений собирается еженедельно и рассматривает каждое изменение услуги оформления заказа.

Команда предлагает план. Она разделит крупные изменения, добавит автоматические проверки в конвейер, поместит новое поведение за переключатели функций и попросит совет заранее разрешать изменения с низким риском, прошедшие проверки, как стандартные изменения. Менеджер по изменениям настороженно относится к этому, поэтому команда соглашается сообщать все пять метрик ежемесячно и остановить эксперимент, если доля сбоев растёт два месяца подряд.

Через квартал числа (иллюстративно) составляют 19 развёртываний в месяц, медиану времени выполнения 3 дня с 85-м перцентилем 8 дней, долю сбоев изменений 8 %, медианное время восстановления 40 минут и долю переделок 5 %. Команда довольна, а региональный менеджер просит сравнить частоту развёртываний команды оформления заказа с другими продуктовыми командами и задать общую цель.

Руководитель команды приносит на пересмотр разбивку переделок и сбоев и замечает риск манипуляции. Частоте развёртываний помогли несколько крошечных развёртываний конфигурации, которые конвейер считает, а медианный размер изменения сокращается быстрее, чем реальная работа. Хуже того, два инцидента прошлого месяца были исправлены изменением конфигурации, которое конвейер записал как обычное развёртывание с пометкой «плановое», так что доля переделок была занижена. Доля сбоев изменений выглядела хорошо отчасти потому, что эти два инцидента не были связаны с исходными развёртываниями.

Решение, записанное в журнале решений, состоит из четырёх частей. Развёртывания только конфигурации считаются отдельно и показываются рядом с основным числом. Метка причины развёртывания проверяется ежемесячно по выборке из 10 развёртываний. Инструмент инцидентов теперь требует идентификатор развёртывания, когда причина есть изменение. И команда отклоняет общую цель по частоте развёртываний, предлагая вместо неё общий вид, показывающий тренд каждой услуги и её долю сбоев. Менеджер по изменениям соглашается сохранить предварительное разрешение для стандартных изменений с пересмотром в конце следующего квартала.

Agile, ИИ, автоматизация и аналитика

Agile

Метрики DORA описывают, как быстро и безопасно изменения попадают в продуктив, а это практическое ядро непрерывной поставки. Хорошая практика состоит в том, чтобы читать показатели скорости и стабильности вместе на регулярном обзоре с заинтересованными сторонами и выбирать одно улучшение. Осторожность в том, что команда может раздуть частоту развёртываний, деля изменения; поэтому следите за размером изменений и переделками.

ИИ

Кодирование с помощью ИИ может повышать объём изменений и ускорять время выполнения, повышая при этом переделки или неудачные изменения. Сообщайте изменения с помощью ИИ и остальные вместе по тем же показателям стабильности и сравнивайте время восстановления после неудачного развёртывания и долю переделок развёртываний до и после внедрения. Осторожность в том, что исследования DORA об ИИ развиваются; поэтому проверьте текущие опубликованные отчёты, прежде чем ссылаться на любую находку.

Автоматизация

Вычисляйте все пять показателей автоматически по событиям конвейера и инцидентов, с ясным правилом, что считается развёртыванием и сбоем. Измеряйте сам конвейер по его собственным сбоям и нестабильности. Осторожность в том, что автоматизация может скрывать ручные шаги вне конвейера, такие как согласование по электронной почте; поэтому один раз картируйте реальный путь.

Аналитика

Сообщайте распределения, а не только средние, и сравнивайте команду с её собственным прошлым, а не с другими командами. Решение, которое это информирует, состоит в том, где система поставки медленна или хрупка. Осторожность в том, что межкомандные турнирные таблицы поощряют манипуляцию, а числа зависят от местных определений развёртывания и сбоя.

Отраслевой взгляд

Стартап. Небольшая команда часто развёртывает много раз в день и имеет скудные записи инцидентов, поэтому частота развёртываний и время выполнения просты, а данные о сбоях фрагментарны. Начните с пометки каждого отката и срочного исправления в конвейере и с простого журнала инцидентов с идентификатором развёртывания. Не позволяйте высокой частоте убедить вас, что со стабильностью всё хорошо, без проверки доли сбоев.

Малый бизнес. Размещённая платформа или внешний разработчик могут развёртывать лишь раз в месяц и с малым набором инструментов. Считайте вручную, что можете, несколько месяцев, просите у поставщика даты развёртываний и инцидентов письменно и сосредоточьтесь на времени выполнения и доле сбоев. Используйте числа, чтобы решить, снизила бы риск непрерывная доставка меньших изменений, а не чтобы гнаться за полосой.

Крупная компания. Много команд, несколько стилей релизов и смесь современных и унаследованных систем затрудняют последовательные определения. Согласуйте общее минимальное определение для каждой метрики, опубликуйте его и позвольте команде добавить более строгие местные с заявленной причиной. Сводите, показывая разброс и тренд по услугам, а не среднее, и держите детали уровня команды видимыми только владеющей команде и поддерживающим её группам.

Государство и публичный сектор. Окна релизов, правила аудита и контракты закупок определяют, что возможно, а некоторые системы эксплуатируют поставщики. Включайте в контракты права на данные поставки и инцидентов, чтобы метрики можно было вычислить. Используйте числа как свидетельство, что программа модернизации сокращает время выполнения, не повышая доли сбоев, и сообщайте все метрики вместе, чтобы результаты не выбирались (см. тему 8.5, Регулируемая и государственная отчётность).

Бизнес-обоснование: мотивы, ROI и TCO

Мотив состоит в том, чтобы сократить время между идеей и её использованием, сохраняя стабильность продуктива. Цена программы имеет три части: инструментирование (события конвейера, метки развёртываний и объединение с инцидентами), рутина пересмотра (ежемесячный взгляд на тренды и квартальная выборка случаев сбоев и переделок) и работа по улучшению, на которую указывают числа, такая как автоматизация тестов или более быстрый конвейер. Первые две скромны. Третья есть место, где лежат реальные расходы, и они тратятся на инженерную способность, а не на измерение.

Отдача приходит от решений, которые числа облегчают. Команда может показать совету по изменениям, что малые изменения безопасны, и так убрать шаг согласования. Платформенная группа может увидеть, какие услуги имеют медленные конвейеры или плохой откат, и направить туда свои вложения. Команда эксплуатации может по данным аргументировать лучший инструмент обнаружения. Описывайте отдачу через закономерности, которые вы можете наблюдать сами, такие как время от коммита до продуктива, доля релизов, которым нужно исправление, и нагрузка дежурств на релиз, до и после изменения. Избегайте цитирования эталонных цифр других организаций как ожидаемой отдачи, поскольку ваш контекст будет другим. Совокупная стоимость владения определяется временем людей, поэтому держите набор метрик небольшим и автоматизируйте его сбор (см. тему 7.7, Возврат инвестиций и бизнес-обоснование).

Антипаттерны и ловушки

  • Отношение к метрикам как к системе оценки результативности отдельных людей. Это ломает основу исследования и портит данные. Сообщайте только на уровне услуги и команды.
  • Постановка целей вроде «развёртывать ежедневно» или «время выполнения менее одного дня». Цель заменяет задачу. Задайте направление улучшения и эксперимент и держите число как сигнал.
  • Ранжирование команд друг относительно друга или относительно опубликованных полос. Контекст различается, и следует манипуляция. Сравнивайте команду с её собственным трендом и используйте полосы только как свободную ориентацию.
  • Сообщение скорости без стабильности. Пара и есть суть. Всегда показывайте группы пропускной способности и нестабильности вместе.
  • Позволять определениям дрейфовать. Сбой, развёртывание и начало времени выполнения тихо меняются вместе с инструментом. Записывайте каждое изменение определения с причиной и отмечайте на графике.
  • Подсчёт развёртываний чего угодно. Отправки конфигурации, релизы в тестовые среды и повторные развёртывания той же сборки раздувают счёт. Определите развёртывание в продуктив и показывайте другие виды отдельно.
  • Игнорирование того, что поставляется. Сильные числа могут скрывать работу, которая не важна. Читайте их рядом с показателями потока и результата (см. тему 2.9, Операционная и внеплановая работа).
  • Погоня за метрикой вместо способности. Время выполнения надёжнее всего падает, когда партии сокращаются, а тесты ускоряются. Улучшайте практику и позвольте числу последовать.

Модель зрелости

Измерение 1 Инициирование 2 Развитие 3 Стандартизация 4 Управление 5 Оркестрация
Определения и часы Каждый по-своему определяет развёртывание и сбой Несколько команд документируют свои определения Одно письменное определение на метрику, с часами и исключениями, в реестре метрик Изменения определений записываются и отмечаются на графиках; выборки проверяются каждый квартал Определения совместно пересматриваются с поставщиками и управлением, когда перестают информировать решения
Сбор данных Счёты собираются вручную из заявок Данные конвейера для некоторых услуг; инциденты связываются вручную Развёртывания, причины и связи с инцидентами собираются автоматически для большинства услуг Качество данных (доля связей, аудит меток) измеряется и отслеживается во времени События разделяются между командами и поставщиками через согласованные интерфейсы
Использование чисел Сообщаются наверх как единый балл Команды иногда смотрят на свои графики Группы пропускной способности и нестабильности пересматриваются вместе ежемесячно владеющей командой Тренды питают финансируемые эксперименты по улучшению с ограждением Разброс и тренды информируют платформенные инвестиции и политику изменений по организации
Ограждения против манипуляции Нет Неформальное осознание Парные ограждения перечислены для каждой метрики Ограждения и выборки пересматриваются, случаи манипуляции записываются Ограждения непрерывно настраиваются по мере изменения команд и инструментов

Контрольный список

  • Пять метрик определены письменно, с часами, исключениями, а также датой и изданием руководства DORA, которому следуют.
  • Развёртывания в продуктив записываются конвейером с меткой времени, версией и результатом.
  • Начало времени выполнения (первый коммит, слияние или другое) заявлено и применяется последовательно.
  • Инциденты несут поле для развёртывания, которое их вызвало, заполняемое при разрешении.
  • Каждое развёртывание несёт метку причины, и выборка проверяется ежемесячно.
  • Времена сообщаются как медиана и высокий перцентиль, со счётами.
  • Показатели пропускной способности и нестабильности показаны вместе для каждой услуги.
  • Размер изменения отслеживается рядом с частотой развёртываний и временем выполнения.
  • Числа не используются в индивидуальных оценках или для ранжирования команд.
  • Названный владелец пересматривает метрики ежемесячно и записывает любое изменение определения.
  • Один эксперимент по улучшению, связанный с самой слабой метрикой, идёт с датой пересмотра.

Промпты для ИИ

Составьте одностраничный набор определений для пяти метрик.

I am defining the DORA software delivery metrics for [service or application
name]. Our tools are [version control host, CI/CD system, incident tool, ITSM
tool]. Our release style is [continuous, weekly, monthly, or other]. For change
lead time, deployment frequency, failed deployment recovery time, change fail
rate, and deployment rework rate, draft a definition with where the clock starts
and stops, what is counted and excluded, the data source, and one risk of
ambiguity. Do not invent benchmark values or claim our practice matches any
published performance band. List your assumptions and the questions I should
answer to finish the definitions.

Проверьте набор метрик на риски манипуляции.

Here is how we currently compute our delivery metrics: [description of each
metric, its data source, and how it is reported]. The audience is [team,
leadership, or governance body]. For each metric, list plausible ways the number
could be inflated, hidden, or distorted without real improvement, and suggest a
paired guardrail metric or practice that would catch it. Do not invent
statistics. List your assumptions and any information you would need to be more
precise.

Проанализируйте выгрузку развёртываний и инцидентов.

I will paste a small export of [number] production deployments and [number]
incidents with these fields: [list fields, for example deployment id, timestamp,
result, reason tag, incident id, opened time, resolved time, deployment link].
Compute the median and 85th percentile of recovery time, the change fail rate,
and the rework rate, showing the counts behind each. Flag records with missing
links or suspicious timestamps. Do not extrapolate beyond the data or compare
the result with outside benchmarks. List your assumptions and the data quality
issues that limit the conclusions.

Спланируйте эксперимент по улучшению.

Our weakest delivery metric is [metric name], currently [value as reported,
with date range and counts]. Likely causes the team has discussed are [list]. Our
constraints are [constraints, for example regulated releases, shared test
environment]. Propose three small experiments of four to six weeks, each with a
hypothesis, a way to observe the effect, a guardrail metric, and a risk. Do not
invent expected improvement figures. List your assumptions and what we should
check before starting.

Навыки ИИ

  • Service Management Metrics skill: используйте, чтобы найти связанные темы об изменениях, релизах и инцидентах и ограждение, которое должно стоять рядом с каждой метрикой DORA.
  • Service Management Metrics maintainer skill: используйте, чтобы проверить, что пересмотренная версия этой темы сохраняет согласованность часов, векторов манипуляции и перекрёстных ссылок.

Главные выводы

  • Метрики DORA суть пять показателей поставки программного обеспечения, три пропускной способности и два нестабильности, и полезнее всего они, когда читаются вместе для одной услуги.
  • Вычисляйте их по событиям конвейера и инцидентов с письменными определениями, потому что сбой и начало времени выполнения суть суждения.
  • Используйте их, чтобы узнавать о системе поставки и сравнивать команду с её собственной историей, никогда чтобы ранжировать людей или команды.
  • Сообщайте медианы, высокие перцентили и счёты и парьте каждую метрику с ограждением, ловящим её искажение.
  • Улучшайте лежащие в основе способности, такие как малые партии, быстрое обнаружение и лёгкий откат, и позвольте числам последовать.
  • Указывайте издание и дату руководства, которому следуете, поскольку определения уточнялись со временем.

Источники и дополнительное чтение

  1. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  2. DORA, DORA's software delivery performance metrics, Google Cloud, https://dora.dev/guides/dora-metrics/
  3. DORA, DORA research program, Google Cloud, https://dora.dev/research/
  4. DORA, Four Keys project, https://github.com/dora-team/fourkeys
  5. Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 2021.
  6. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  7. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  8. Wikipedia, DevOps Research and Assessment.
  9. Wikipedia, Accelerate (book).
  10. Wikipedia, Непрерывная поставка.
  11. Wikipedia, ITIL.
  12. Wikipedia, Закон Гудхарта.
  13. Wikipedia, CI/CD.
  14. Wikipedia, Переключатель функций.
  15. Wikipedia, Откат (управление данными).
  16. Wikipedia, Канареечный релиз.