Метрики релизов и развёртывания
Развёртывание кода и его выпуск пользователям суть разные события с разными рисками, поэтому измеряйте их отдельно, считайте каждое по письменному правилу и читайте вместе частоту, время выполнения, размер партии и гигиену флагов, а не празднуйте любой отдельный счёт.
Обзор и мотивация
Многие команды употребляют слова «развёртывание» и «релиз», как будто они значат одно и то же. Это не так, и эта разница есть самая полезная идея темы. Развёртывание есть действие по помещению версии программного обеспечения в среду, обычно продуктив, как описано в статье о развёртывании программного обеспечения. Релиз есть момент, когда изменение становится доступным своим предполагаемым пользователям, решение, которым призвано управлять управление релизами. Когда они происходят вместе, развёртывание есть релиз, и одно число описывает оба. Когда они разделены, команда может развёртывать часто и тихо, а выпускать намеренно.
Разделение важно, потому что два события несут разные риски. Развёртывание несёт технический риск: новая сборка может не запуститься, сломать зависимость или потребовать отката. Релиз несёт бизнес-риск и риск для пользователей: изменение может запутать клиентов или должно прийти к согласованной дате. Команды, связывающие два события, принимают оба риска сразу, что подталкивает их к большим партиям изменений, выпускаемым редко. Команды, разделяющие их, берут технический риск малыми шагами, а риск для пользователей управляемыми шагами.
Главный инструмент разделения есть переключатель функции, также называемый флагом функции (feature flag): переключатель в конфигурации, включающий или выключающий поведение без нового развёртывания. Связанные приёмы включают канареечный релиз, сначала открывающий изменение малой доле трафика, и сине-зелёное развёртывание, хранящее две продуктивные среды и переключающее трафик между ними. Все они позволяют ответить на два отдельных вопроса: безопасно ли работает новая версия и кто должен увидеть новое поведение и когда.
Термины ниже повторяются в этой теме.
- Релиз есть версия или набор изменений, сделанные доступными пользователям.
- Развёртывание есть перемещение версии в среду. ITIL 4 называет для этого практику, управление развёртыванием.
- Тёмный запуск (dark launch) есть развёртывание, чьё новое поведение выключено для пользователей.
- Прогрессивное развёртывание (progressive rollout) есть релиз, расширяющий охват этапами, например 1 %, 10 %, затем все.
- Партия есть набор изменений, выходящих вместе в одном развёртывании или релизе. Размер партии есть число изменений или количество изменений в ней.
- Время выполнения релиза есть прошедшее время от заявленной начальной точки до момента, когда изменение доступно своим пользователям. Ваша команда записывает начальную точку, потому что в обиходе несколько.
- Перцентиль есть значение, ниже которого падает заявленная доля наблюдений. 85-й перцентиль времени выполнения релиза есть число, которое побеждают 85 % релизов.
Здесь встречаются взгляды Agile и ITIL. Команда Agile, следующая непрерывной поставке, хочет, чтобы каждое изменение можно было выпустить в любое время, и считает релиз бизнес-решением, принимаемым отдельно от технического акта. Практик ITIL видит управление релизами, управление развёртыванием и управление изменениями как практики, планирующие, расписывающие и контролирующие перемещение изменений в живое использование. Два взгляда конфликтуют, когда управление релизами понимается как календарь больших событий. Они сходятся, когда практика понимается как способность выпускать безопасно по требованию, с контролями, встроенными в конвейер и флаги.
Эта тема не повторяет определений пяти показателей результативности поставки из исследовательской программы DORA (см. тему 2.8, Метрики DORA), ни показателей сбоев и переделок после релиза (см. тему 4.4, Сбои изменений и переделки), ни объёма и согласования изменений (см. тему 4.3, Метрики управления изменениями). Она добавляет то, что эти темы оставляют открытым: как считать релизы отдельно от развёртываний, как долго готовое изменение ждёт, прежде чем пользователи его получат, насколько велики партии и поддерживаются ли в порядке флаги, делающие разделение возможным.
Наконец, счёты релизов и развёртываний соблазнительные числа для панели руководства, и закон Гудхарта применяется сразу (см. тему 1.2, Закон Гудхарта и психология метрик). Счёт развёртываний растёт, когда изменения делятся на тривиальные части. Счёт релизов растёт, когда меняется ярлык. Поэтому каждая метрика ниже идёт со способом, как её гнут, и ограждением, ловящим изгиб.
Ключевые принципы
- Развёртывание и релиз суть два события. Измеряйте их отдельно везде, где позволяет архитектура, и прямо говорите, где они всё ещё одно событие.
- Считайте по письменному правилу. Развёртывание засчитывается, когда названная среда получила названную версию с успешным результатом. Релиз засчитывается, когда предполагаемые пользователи могут достичь изменения. Запишите правило один раз и применяйте одинаково каждый раз.
- Описывайте услугу, а не человека. Счёты принадлежат услуге и её команде, никогда отдельному человеку.
- Измеряйте ожидание, а не только работу. Время выполнения релиза часто содержит дни ожидания окна, согласования или решения. Ожидание есть место, где обычно живёт улучшение.
- Малые партии есть рычаг. Частота и размер суть два взгляда на одно. Парьте каждый счёт с показателем того, сколько изменений нёс каждый релиз.
- Флаги суть запас с ценой хранения. Флаг, живущий слишком долго, становится мёртвым кодом и источником сбоев, поэтому отслеживайте возраст флага так же тщательно, как охват флагами.
Определения метрик
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Частота развёртываний | Как часто услуга получает успешное развёртывание в продуктив | Число успешных развёртываний услуги в продуктив за период / дни в периоде; развёртывания в тестовые или промежуточные среды, неудачные или откатанные развёртывания и повторные развёртывания неизменённой сборки исключаются; развёртывания только конфигурации считаются в отдельном ряду | Развёртываний в день или в неделю | Журнал событий конвейера развёртывания | Управление развёртыванием | Непрерывная поставка; выпуск работающего приращения | Раз в неделю |
| Частота релизов | Как часто пользователи получают изменение, которого могут достичь | Число событий релиза за период / дни в периоде; событие релиза есть момент, когда изменение или группа изменений становятся достижимыми для предполагаемых пользователей (флаг, включённый для всех пользователей, последний этап прогрессивного развёртывания или развёртывание изменения без флага); тёмный запуск, развёртывание, остановленное на частичном этапе, и изменение флага, затрагивающее только внутренних пользователей, исключаются | Релизов в неделю или в месяц | Журнал аудита службы флагов, объединённый с журналом конвейера и календарём релизов | Управление релизами | Выпуск в конце каждого приращения; потенциально поставляемое приращение сделано доступным | Раз в неделю, пересмотр раз в месяц |
| Время выполнения релиза | Как долго готовое изменение ждёт, прежде чем пользователи смогут его достичь | Часы запускаются, когда изменение слито в основную линию и прошло автоматические проверки (или, если так записала ваша команда, при первом коммите) и останавливаются, когда изменение выпущено, как определено выше; сообщайте медиану и 85-й перцентиль изменений, выпущенных в периоде; ещё не выпущенные изменения исключаются и сообщаются как возраст ждущей работы | Часы или дни | Система контроля версий, объединённая с конвейером и журналом аудита флагов | Управление релизами; управление развёртыванием | Время выполнения от «готово» до «доставлено»; время до клиента | Раз в неделю, пересмотр раз в месяц |
| Разрыв между развёртыванием и релизом | Как долго развёрнутый код остаётся тёмным, прежде чем пользователи смогут его достичь | Часы запускаются, когда изменение развёрнуто в продуктив, и останавливаются, когда оно выпущено; сообщайте медиану и 85-й перцентиль; изменения, выпущенные в момент развёртывания, имеют разрыв ноль и включаются; изменения, развёрнутые и позже убранные без релиза, исключаются и считаются отдельно | Часы или дни | Журнал конвейера, объединённый с журналом аудита флагов | Управление релизами; управление развёртыванием | Тёмный запуск; отделение развёртывания от релиза | Раз в месяц |
| Размер партии релиза | Сколько изменений выходит вместе в одном релизе | Медиана и 85-й перцентиль числа слитых изменений (запросов на слияние или рабочих элементов) на релиз в периоде; единица изменения записана; каждое изменение считается один раз, в релизе, сделавшем его достижимым | Изменений на релиз | Система контроля версий и трекер задач, объединённые с событием релиза | Управление релизами; управление изменениями | Малые партии; вертикальные срезы работы | На релиз, пересмотр раз в месяц |
| Охват флагами функций | Доля видимых пользователю изменений, выпущенных за флагом | Видимые пользователю изменения, выпущенные в периоде, у которых был флаг на момент релиза / все видимые пользователю изменения, выпущенные в периоде; изменения инфраструктуры и исправления дефектов, которые нельзя поставить за флаг, исключаются, а правило «видимое пользователю» записано | Процент | Служба флагов, объединённая с трекером задач и журналом релизов | Управление релизами; управление изменениями | Прогрессивная поставка; разработка, управляемая экспериментами | Раз в месяц |
| Число устаревших флагов | Сколько флагов пережили свою цель | Число флагов релиза, всё ещё присутствующих в коде или конфигурации спустя заявленное число дней после того, как изменение, которое они охраняют, достигло всех пользователей; постоянные операционные флаги (выключатели аварийной остановки, флаги прав) помечаются и исключаются; предел возраста записан по типу флага | Флаги и медианный возраст флагов релиза в днях | Инвентарь службы флагов, объединённый с поиском по коду | Управление релизами; управление знаниями | Очистка технического долга; критерий готовности «убрать флаг» | Раз в месяц |
Рекомендации
Запишите, что считается развёртыванием, а что релизом
Определите оба события, прежде чем считать любое. Развёртывание засчитывается, когда названная версия достигла названной среды и конвейер сообщил об успехе. Релиз засчитывается, когда предполагаемые пользователи могут достичь изменения, что для изменения за флагом есть момент, когда флаг включён для них, а не момент, когда пришёл код. Укажите исключения в том же предложении: тестовые среды, откаты, повторные развёртывания неизменённой сборки и открытие только для внутренних пользователей.
Сообщайте два ряда рядом
Показывайте частоту развёртываний и частоту релизов на одном графике. Где линии совпадают, услуга всё ещё связывает два события. Где развёртывания идут намного впереди релизов, команда начала их разделять, а расстояние между линиями есть признак способности. Единое объединённое число прячет это и позволяет команде заявлять высокую частоту, которую пользователи никогда не видят.
Измеряйте время выполнения релиза от заявленного начала до пользователя
Выберите начало часов один раз и держите его. Начало с первого коммита показывает весь путь, а начало со слияния в основную линию изолирует конвейер релиза и его согласования. Допустимо любое, если оно указано на графике и никогда не меняется молча. Останавливайте часы на релизе, а не на развёртывании, иначе метрика перестаёт измерять то, чего ждал пользователь.
Отслеживайте размер партии рядом с частотой
Парьте каждую частоту с размером. Команда может поднять число развёртываний, нарезав одно изменение на срезы, не полезные независимо, и счёт растёт, пока реальный поток остаётся тем же. Медиана и 85-й перцентиль размера партии показывают, настоящие ли срезы. Малые партии легче проверять, тестировать и отменять, и именно эту выгоду замещает частота.
Относитесь к этапам прогрессивного развёртывания как к событиям
Записывайте каждый этап развёртывания с меткой времени. Развёртывание от 1 % к 10 % и ко всем даёт три метки времени, и каждая есть шанс остановиться. Фиксируйте этап, долю охвата и результат проверки здоровья, позволившей следующий этап. Это позволяет отличить развёртывание, приостановленное по настоящему сигналу, от застопорившегося.
Ведите инвентарь флагов с владельцем и датой истечения
Давайте каждому флагу релиза владельца, цель и плановую дату удаления при создании. Это могут хранить служба флагов или простой реестр. Пересматривайте реестр ежемесячно и вычисляйте число устаревших флагов. Флаг, оставленный включённым после полного развёртывания, есть мёртвый код, который всё ещё ветвится. Относитесь к удалению как к части готовности изменения.
Помечайте флаги по типу
Отделяйте временные флаги релиза от постоянных операционных флагов. Выключатели аварийной остановки и флаги прав по замыслу постоянны, тогда как флаги релиза следует убирать после полного развёртывания. Смешение типов делает счёт устаревших шумным и приглашает команды удалить переключатель, нужный кому-то во время инцидента. Требуйте тип при создании флага.
Связывайте релизы с записями об инцидентах и изменениях
Записывайте идентификатор релиза на инциденте и изменении. Событие релиза должно прослеживаться из инструмента инцидентов, чтобы причину инцидента можно было связать с выпущенным изменением, развёрнутым ли на прошлой неделе или включённым этим утром. Без связи показатели нестабильности приписывают сбои дате развёртывания и пропускают сбои, вызванные изменением флага. Изменения флагов в продуктиве суть изменения в смысле ITIL и должны быть видимы управлению изменениями, даже когда заранее разрешены как стандартные (см. тему 4.3, Метрики управления изменениями).
Векторы манипуляции и ограждения
| Метрика | Как её искажают | Парная метрика или практика-ограждение |
|---|---|---|
| Частота развёртываний | Делить одно изменение на тривиальные развёртывания; повторно развёртывать неизменённые сборки; считать развёртывания в промежуточную среду; считать развёртывания только конфигурации в основном ряду | Размер партии релиза и доля развёртываний с изменением, видимым пользователю; отдельный ряд конфигурации; рядом доля сбоев изменений |
| Частота релизов | Перемечать развёртывания как релизы; считать релизом флаг, включённый для внутренних сотрудников; выпускать пустые или косметические изменения, чтобы выполнить цель; считать каждый этап развёртывания отдельным релизом | Письменное определение релиза; ежеквартальная выборка релизов, сверяемая с изменениями, видимыми пользователям; размер партии и число изменений для клиентов |
| Время выполнения релиза | Запускать часы позже, например при согласовании вместо слияния; исключать долго ждавшие изменения как «заблокированные»; выпускать сначала тривиальное изменение, чтобы опустить медиану; останавливать часы на развёртывании | 85-й перцентиль и возраст самого старого ждущего изменения; фиксированное письменное начало; ежеквартальный пересмотр самых медленных 10 % изменений |
| Разрыв между развёртыванием и релизом | Включать флаг для символического пользователя, чтобы записать релиз рано; оставлять долго тёмный код вне выборки, называя его «не релизом»; удалять тёмный код, чтобы избежать долгого разрыва | Доля охвата при релизе (порог того, что считается выпущенным); число изменений, развёрнутых и убранных без релиза; число устаревших флагов |
| Размер партии релиза | Делить работу на искусственные запросы на слияние; сливать несвязанные изменения в одно, чтобы снизить число релизов; считать только крупное изменение в связке | Медианный размер изменения в строках или файлах как контекстный показатель; пересмотр выборки релизов на несвязанные связки; частота рядом с размером |
| Охват флагами функций | Добавлять флаги к тривиальным изменениям, чтобы поднять долю; ставить за флаг только безопасные изменения и выпускать рискованные без флага; создавать флаг, который на практике нельзя выключить | Результаты проверки выключения для выборки флагов; число устаревших флагов; причины инцидентов, где флага не было |
| Число устаревших флагов | Перемечать флаги релиза как постоянные, чтобы уйти из счёта устаревших; удалять запись о флаге, оставляя его в коде; продлевать даты истечения без пересмотра | Периодический поиск по коду против реестра; пересмотр каждой смены типа флага; возраст самого старого флага релиза |
Здоровое чтение показывает развёртывания, идущие впереди релизов для услуг, использующих флаги, с умеренным разрывом, малым и стабильным размером партии и 85-м перцентилем времени выполнения не намного выше медианы. Охват флагами высок для рискованных изменений, а число устаревших флагов низко или падает. Чтение, выглядящее слишком хорошо, например высокая частота при растущих размерах партий или ноль устаревших флагов при разбухающем числе постоянных, заслуживает выборочного аудита, прежде чем что-либо праздновать.
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| Развёртывать непрерывно и выпускать по флагу | Малый технический риск на развёртывание; время релиза становится бизнес-выбором; быстрое отключение | Нужны дисциплина и инструменты флагов; добавляет пути кода, которые надо тестировать и убирать |
| Связать развёртывание и релиз | Просто объяснить; одно событие для счёта; нет долга флагов | Каждый релиз несёт и технический риск, и риск для пользователей, что поощряет большие партии, выпускаемые редко |
| Расписание релизных поездов | Предсказуемо для поддержки и регуляторов | Изменения ждут следующего поезда; счёт отражает календарь, а не способность |
| Прогрессивное развёртывание по проценту | Ограничивает эффект плохого релиза; даёт свидетельства на каждом этапе | Нужны хорошая телеметрия и проверка здоровья; смешанные версии могут какое-то время работать бок о бок |
| Считать и развёртывания, и релизы | Показывает отделение и ожидание | Требует объединения журнала аудита флагов или записей релизов с конвейером |
Услуге, которая пока не может отделить развёртывание от релиза, например мобильному приложению, распространяемому через проверку магазина приложений, следует измерять то, что можно: частоту релизов, время выполнения релиза и размер партии, с временем проверки магазина, сообщаемым как отдельное ожидание.
Вопросы для обсуждения в команде
1. Употребляем ли мы слова «развёртывание» и «релиз» для одного события и соответствует ли это тому, что происходит? Попросите троих описать последнее изменение, ушедшее в работу, и отметить, когда пришёл код и когда пользователи впервые смогли им пользоваться. Ведущему стоит помочь группе согласовать одно предложение на каждый термин и решить, какое из двух событий измеряет каждое существующее число на панели.
2. Какое самое долгое время ждало релиза готовое изменение и почему? Возьмите самое старое слитое изменение, которого пользователи всё ещё не могут достичь. Проследите его путь от слияния до сегодняшнего дня и запишите каждое ожидание по пути.
3. Если бы наш счёт развёртываний удвоился, что мы проверили бы, прежде чем назвать это хорошей новостью? Предложите группе назвать способы, как счёт может вырасти без того, чтобы больше ценности доходило до пользователей. Посмотрите на размер партии, долю развёртываний с изменением, видимым пользователю, и числа сбоев и переделок. Ведущему стоит отметить, какие из этих проверок уже есть на панели, а какие надо добавить, прежде чем кто-либо задаст цель.
4. Какие из наших флагов мы боялись бы удалить и что это нам говорит? Пройдите по реестру флагов и выберите три самых старых. Спросите, кто владеет каждым, что он охраняет и что произошло бы при удалении. Страх удаления обычно значит отсутствующий тест, отсутствующего владельца или отсутствующую запись о цели. Договоритесь о дате удаления хотя бы одного и о проверке, которая сделала бы удаление безопасным.
5. Кто решает, когда изменение выпускается, и есть ли у него нужная информация? Где релиз есть бизнес-выбор, принимающему его нужно видеть состояние развёртывания, сигналы здоровья и готовность поддержки. Спросите, где эти факты живут сегодня и как быстро принимающий решение может отменить релиз.
6. Какой релиз за последний квартал прошёл хуже всего и какой показатель предупредил бы нас? Выберите один релиз, вызвавший неприятности, и прочитайте хронологию вместе. Спросите, была ли партия большой, был ли разрыв долгим, были ли у развёртывания этапы и мог ли флаг ограничить ущерб. Выберите один показатель для добавления или один порог для ужесточения в результате.
Четыре точки зрения
Продуктовые команды и команды поставки
Команды поставки используют эти показатели, чтобы видеть, действительно ли их конвейер и флаги дают им контроль над охватом. Самые полезные виды суть разрыв, размер партии и возраст самого старого ждущего изменения, потому что каждый указывает на то, что команда может изменить.
Команды услуг и эксплуатации
Командам эксплуатации и поддержки важно, что меняется в продуктиве и когда. События релиза и изменения флагов должны быть видны им, в идеале с идентификатором релиза на каждом инциденте. Поэтапные развёртывания и быстрое отключение сокращают число инцидентов, требующих полного восстановления, а показатели помогают командам эксплуатации просить контроли, делающие их работу спокойнее.
Руководство и управление
Руководителям следует просить тренды и разброс по каждой услуге и ответ на простой вопрос: сколько времени нужно готовому изменению, чтобы дойти до пользователей, и насколько безопасно. Цель по частоте развёртываний между командами приглашает дробление и перемечивание, поэтому предпочитайте цели по результатам, таким как распределения времени выполнения, и по устранению известных ожиданий. Управление может сократить нагрузку согласований релизов, заранее разрешая низкорисковые изменения за флагом, пока след аудита флагов полон (см. тему 4.3, Метрики управления изменениями).
Клиенты и пользователи
Клиенты видят релизы, а не развёртывания. Им важно, чтобы исправления приходили скоро, чтобы новое поведение их не удивляло и чтобы плохое изменение можно было быстро отменить. Команда, разделяющая два события, может дать клиентам ранний доступ к функции, объявить дату, которую может сдержать, и откатить одну функцию, не потеряв остальные. Парьте эти показатели с клиентскими (см. тему 5.3, Метрики доступности, и тему 6.1, Метрики удовлетворённости клиентов).
На практике: пример из управления услугами
Региональный интернет-магазин эксплуатирует службу поиска товаров, принадлежащую одной продуктовой команде, поддерживаемую платформенной командой и службой поддержки. Услуга развёртывается в продуктив через конвейер, и у неё есть служба флагов, введённая шесть месяцев назад. Все числа ниже иллюстративны.
За последний квартал команда сделала 52 развёртывания в продуктив, около четырёх в неделю. Частота релизов, считаемая как моменты, когда изменение стало достижимым для всех предполагаемых пользователей, составила 11 за тот же квартал, около одного в неделю. Медианное время выполнения релиза, от слияния до релиза, было 9 дней при 85-м перцентиле 21 день. Медианный разрыв между развёртыванием и релизом был 6 дней. Медианный размер партии релиза составил 3 изменения, а 85-й перцентиль 14. Охват флагами видимых пользователю изменений составил 58 %, а 17 флагов релиза были старше 30 дней после полного развёртывания.
Риск манипуляции уже виден. Некоторые развёртывания были только конфигурации, и конвейер считал каждое как развёртывание, поэтому панель теперь показывает отдельный ряд конфигурации, а ежемесячный пересмотр выбирает 10 развёртываний для проверки на видимое пользователю изменение. Региональный менеджер видит счёт развёртываний и просит команду поднять его до цифры другой команды. Руководитель команды сопротивляется цели и приносит на ежемесячный пересмотр весь набор чисел. Пересмотр обнаруживает, что разрыв долог, потому что релизы ждут еженедельного брифинга маркетинга и поддержки, что четыре из 17 устаревших флагов охраняют пути кода, которые никто не тестировал, и что 85-й перцентиль размера партии идёт от немногих релизов, связавших несвязанные изменения перед праздничной заморозкой.
Решение, записанное в журнале решений, имеет четыре части. Поддержка и маркетинг будут участвовать в более коротком брифинге дважды в неделю, чтобы решение о релизе больше не ждало еженедельного слота. Каждый флаг релиза получает владельца и дату удаления, а четыре непротестированных устаревших флага убираются в следующие две недели. Релизам, связывающим несвязанные изменения, нужна заявленная причина в записи релиза. И команда отклоняет общую цель по развёртываниям, предлагая вместо неё общий вид распределения времени выполнения релиза каждой услуги и гигиены флагов. Менеджер по изменениям соглашается считать изменения за флагом, прошедшие проверки конвейера, стандартными изменениями, с пересмотром в следующем квартале. В следующем квартале (иллюстративно) медианное время выполнения релиза падает до 5 дней, число устаревших флагов падает до 6, а доля сбоев изменений остаётся стабильной, так что эксперимент продолжается.
Agile, ИИ, автоматизация и аналитика
Agile
Отделение развёртывания от релиза позволяет команде непрерывно выпускать малые изменения и выпускать пользователям, когда готовы заинтересованные стороны. Регулярно пересматривайте гигиену флагов. Осторожность в том, что подсчёт развёртываний награждает дробление изменений.
ИИ
Кодирование с помощью ИИ может поднять счёты развёртываний и размеры партий. Парьте частоту с восстановлением после неудачного развёртывания и числом устаревших флагов и помечайте изменения с помощью ИИ в данных. Осторожность в том, что больше развёртываний с большим числом переделок не есть прогресс.
Автоматизация
Считайте развёртывания и релизы по событиям конвейера и автоматизируйте напоминания об очистке флагов. Измеряйте сам конвейер по доле его сбоев. Осторожность в том, что ручные релизы вне конвейера исчезают из данных.
Аналитика
Показывайте частоту вместе со временем выполнения и размером партии и разрывом между развёртыванием и релизом. Решение, которое это информирует, состоит в том, где путь к пользователям медленен. Осторожность в том, что определения развёртывания различаются по командам.
Отраслевой взгляд
Стартап. У стартапа часто одна услуга и библиотека флагов в коде, так что развёртывание и релиз можно отделить дёшево. Ведите простой реестр флагов с датами истечения и подождите достаточного объёма, прежде чем доверять перцентилям.
Малый бизнес. Малый бизнес может работать на пакетном или купленном программном обеспечении, где релизом управляет поставщик. Полезные показатели: время между релизом поставщика и принятием его бизнесом и партия изменений, приходящих вместе в основной версии. Записывайте даты релизов поставщика и свои даты развёртывания, чтобы ожидание между ними было видно.
Крупная компания. Крупная компания сталкивается с множеством услуг в разных стилях релизов, центральным процессом изменений и общими средами. Основная работа: согласовать определения развёртывания и релиза между командами и поставщиками и вести сводку, уважающую различия. Используйте разброс и тренды для управления и относитесь к платформе флагов как к общей услуге с владельцем.
Государство и публичный сектор. Релизы часто привязаны к фиксированным датам, законодательству, циклам закупок или воротам гарантий, поэтому частота релизов может быть низкой по веским причинам. Частота развёртываний и разрыв между развёртыванием и релизом всё же могут показать, какая часть риска взята рано, а какая ждёт даты. Сообщайте ожидание внешних ворот отдельно от собственного времени конвейера команды.
Бизнес-обоснование: мотивы, ROI и TCO
Мотив этих показателей в том, чтобы сократить риск и задержку между завершением изменения и доставкой его ценности. Большие партии, выпускаемые редко, несут больше изменений на событие, так что сбой труднее диагностировать и труднее отменить. Отделение развёртывания от релиза даёт команде способ брать технический риск рано и малыми порциями, а риск для пользователей намеренно. Показатели показывают, настоящее ли разделение и где изменения ждут.
Затраты умеренны. Сбор событий развёртывания и релиза требует журнала конвейера и журнала аудита флагов, объединённых с системой контроля версий и трекером задач, а это разовая интеграция с последующей редкой поддержкой (см. тему 1.5, Источники данных и инструментирование). У самой практики флагов есть текущие затраты: платформа или библиотека, реестр, тестирование обоих путей изменения за флагом и очистка истёкших флагов. Главная скрытая цена есть долг флагов, который число устаревших флагов держит видимым.
Отдача следует образцу, который большинство команд может наблюдать в собственных данных. Более короткое время выполнения релиза значит более быстрый контур обратной связи о том, помогает ли изменение пользователям. Меньшие партии значат более лёгкую диагностику и отмену. Более короткий разрыв между развёртыванием и релизом значит меньше времени, когда готовая работа остаётся нереализованной. Не придумывайте цифру ценности. Используйте собственные примеры команды изменений, неделями лежавших тёмными, и тренд её собственных показателей.
Антипаттерны и ловушки
- Постановка цели по частоте развёртываний для каждой команды. Она приглашает дробление и перемечивание. Ставьте цели по результатам, такие как более узкое распределение времени выполнения, и позвольте частоте последовать.
- Отношение к релизному поезду как к доказательству способности. Фиксированный календарь даёт устойчивый счёт и прячет возраст ждущей работы. Отслеживайте возраст самого старого слитого изменения, которого пользователи не могут достичь.
- Подсчёт изменений конфигурации как развёртываний в основном ряду. Это раздувает число. Ведите отдельный ряд и показывайте его рядом с основным.
- Никогда не удалять флаги. Код накапливает мёртвые ветки и непротестированные сочетания. Дайте каждому флагу релиза владельца и дату удаления и считайте удаление частью готовности.
- Изменение флагов в продуктиве без записи. Изменение флага есть изменение поведения продуктива. Отправляйте его в журнал аудита и делайте видимым управлению изменениями.
Модель зрелости
| Измерение | 1 Инициирование | 2 Развитие | 3 Стандартизация | 4 Управление | 5 Оркестрация |
|---|---|---|---|---|---|
| Определения и часы | «Развёртывание» и «релиз» употребляются взаимозаменяемо; каждый считает по-своему | Несколько команд записывают собственные определения | Одно письменное определение развёртывания и релиза с часами и исключениями в реестре метрик | Изменения определений записываются и отмечаются на графиках; выборки проверяются каждый квартал | Определения пересматриваются совместно с поставщиками и управлением, когда перестают информировать решения |
| Отделение развёртывания от релиза | Каждое развёртывание есть релиз | Некоторые команды используют флаги или поэтапные развёртывания для рискованных изменений | Флаги и поэтапные развёртывания стандартный вариант, события релиза записываются | Разрыв, размер партии и этапы развёртывания отслеживаются и пересматриваются | Время релиза координируется между командами и поставщиками для связанных услуг |
| Сбор данных | Счёты собираются вручную из заявок и чата | Данные конвейера для некоторых услуг; релизы записываются вручную | Развёртывания, релизы и изменения флагов собираются автоматически для большинства услуг | Качество данных (доля связей, аудит выборки) измеряется и отслеживается | События разделяются между командами и поставщиками через согласованные интерфейсы |
| Гигиена флагов | Нет инвентаря | Неформальный список у некоторых команд | Реестр с владельцем, типом и датой истечения для каждого флага релиза | Число устаревших флагов отслеживается; удаление есть часть готовности и проверяется | Платформа флагов управляется как общая услуга с автоматическими напоминаниями об истечении |
| Использование чисел | Сообщаются наверх как единый счёт | Команды иногда смотрят на свои графики | Пересматриваются ежемесячно владеющей командой рядом с показателями сбоев и переделок | Тренды питают финансируемое улучшение с ограждением | Разброс и тренды информируют платформенные инвестиции и политику изменений по организации |
Контрольный список
- «Развёртывание» и «релиз» определены письменно, с событиями часов и исключениями для каждого.
- Развёртывания в продуктив фиксируются автоматически из конвейера, тестовые среды исключены.
- События релиза фиксируются из журнала аудита флагов, этапов развёртывания или записей релизов.
- Время выполнения релиза использует заявленное начало часов и сообщает медиану и 85-й перцентиль.
- Разрыв между развёртыванием и релизом и размер партии релиза сообщаются рядом с частотой.
- Развёртывания только конфигурации показаны в отдельном ряду.
- У каждого флага релиза есть владелец, тип и дата истечения в реестре.
- Устаревшие флаги пересматриваются ежемесячно, а их удаление есть часть готовности.
- Идентификаторы релизов появляются на записях об инцидентах и изменениях.
- Выборка развёртываний и релизов проверяется каждый квартал против определений.
- Один эксперимент по улучшению, связанный с самым долгим ожиданием, идёт с датой пересмотра.
Промпты для ИИ
Составьте черновик определений развёртывания и релиза для услуги.
I am defining release and deployment metrics for [service name]. Our tools are
[version control host, CI/CD system, flag service, issue tracker, ITSM tool].
Our release style is [continuous, weekly train, monthly, store-reviewed, or
other]. For deployment frequency, release frequency, release lead time,
deployment-to-release gap, release batch size, feature flag coverage, and stale
flag count, draft a definition that states where the clock starts and stops,
what is counted and excluded, the data source, and one ambiguity to resolve. Do
not invent benchmark values or claim our practice matches any published
performance band. List your assumptions and the questions I should answer to
finish the definitions.
Проверьте набор метрик релизов на риски манипуляции.
Here is how we compute and report our release and deployment metrics:
[description of each metric, its data source, and how it is reported]. The
audience is [team, leadership, or governance body] and the targets, if any,
are [targets or none]. For each metric, list plausible ways the number could
be inflated, hidden, or distorted without real improvement, and suggest a paired
guardrail metric or practice that would catch it. Do not invent statistics. List
your assumptions and any information you would need to be more precise.
Проанализируйте выгрузку развёртываний, релизов и флагов.
I will paste a small export with these fields: [list fields, for example
deployment id, deployment time, result, change ids, flag name, flag on time,
exposure share, release time]. It covers [number] deployments and [number]
flags for [service name] between [start date] and [end date]. Compute the
median and 85th percentile of release lead time and of the deployment-to-release
gap, the batch size distribution, and the list of flags past [age limit] days
since full rollout, showing the counts behind each. Flag records with missing
links or suspicious timestamps. Do not extrapolate beyond the data or compare
the result with outside benchmarks. List your assumptions and the data quality
issues that limit the conclusions.
Спланируйте эксперимент по очистке флагов и сокращению ожидания релиза.
Our longest release wait is [description of the wait, with date range and
counts], and our flag register holds [number] release flags, of which [number]
are past their expiry date. Constraints are [constraints, for example regulated
releases, store review, shared test environment]. Propose three small
experiments of four to six weeks, each with a hypothesis, a way to observe the
effect, a guardrail metric, and a risk. Do not invent expected improvement
figures. List your assumptions and what we should check before starting.
Навыки ИИ
- Service Management Metrics skill: используйте, чтобы найти связанные темы об изменениях, релизах и инцидентах и ограждение, которое должно стоять рядом с каждой метрикой релизов.
- Service Management Metrics maintainer skill: используйте, чтобы проверить, что пересмотренная версия этой темы сохраняет согласованность часов, векторов манипуляции и перекрёстных ссылок.
Главные выводы
- Развёртывание помещает версию в среду, а релиз делает изменение достижимым для пользователей. Измеряйте их отдельно везде, где можете.
- Время выполнения релиза должно заканчиваться на релизе, с заявленным началом, и сообщаться как медиана и 85-й перцентиль.
- Разрыв между развёртыванием и релизом и размер партии показывают, настоящее ли отделение, и ограждают частоту от дробления и перемечивания.
- Флаги функций делают разделение возможным и несут цену, поэтому отслеживайте охват и устаревшие флаги с владельцами и датами истечения.
- Считайте по письменным правилам, связывайте релизы с инцидентами и изменениями и сравнивайте услугу с её собственной историей, а не с другими командами.
Источники и дополнительное чтение
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Humble, J., and Farley, D., Continuous Delivery: Reliable Software Releases through Build, Test, and Deployment Automation, Addison-Wesley, 2010.
- DORA, DORA's software delivery performance metrics, Google Cloud, https://dora.dev/guides/dora-metrics/
- Hodgson, P., "Feature Toggles (aka Feature Flags)," martinfowler.com, 2017, https://martinfowler.com/articles/feature-toggles.html
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Развёртывание программного обеспечения.
- Wikipedia, Управление релизами.
- Wikipedia, Переключатель функций.
- Wikipedia, Канареечный релиз.
- Wikipedia, Сине-зелёное развёртывание.
- Wikipedia, Непрерывная поставка.
- Wikipedia, Закон Гудхарта.