Обзор и мотивация

Запрос на слияние (pull request) есть предложение влить набор изменений из одной ветки репозитория системы контроля версий в другую вместе с обсуждением того, следует ли это сливать. Во многих командах это формальные ворота между «автор думает, что работает» и «команда согласна, что можно выпускать». Обсуждение есть форма проверки кода: человек, не являющийся автором, читает изменение, задаёт вопросы и утверждает его или просит правок. Некоторые платформы называют то же самое запросом на слияние (merge request); эта тема использует «запрос на слияние» для обоих.

Проверку стоит измерять по простой причине. С точки зрения потока в поставке рабочий элемент проводит большую часть жизни в ожидании, а проверка есть одно из ожиданий, целиком лежащих под контролем команды. Для общего узкого места платформы или внешней зависимости нужно, чтобы изменились другие люди. Чтобы запрос на слияние, ждущий два дня первого взгляда, ждал меньше, нужно изменить лишь привычки самой команды. Показатели потока этой книги (см. тему 2.1, Показатели потока, и тему 2.2, Время выполнения, время цикла и эффективность потока) дают общий словарь. Эта тема приближает один этап цикла и даёт ему собственные приборы.

Здесь полезным образом встречаются взгляды Agile и ITIL. С точки зрения Agile проверка есть контур обратной связи и механизм обучения. Она распространяет знание кодовой базы, рано ловит дефекты и обеспечивает соблюдение рабочих соглашений команды и определения готовности. С точки зрения ITIL та же деятельность поддерживает несколько практик. В ITIL 4 практика разработки и управления программным обеспечением охватывает то, как создаётся и проверяется программное обеспечение, управление изменениями охватывает то, как изменения оцениваются и разрешаются, а управление развёртыванием охватывает то, как изменения попадают в живую среду. Запрос на слияние, проверенный коллегой, для многих организаций есть свидетельство того, что стандартное изменение было оценено перед релизом. Отношение к проверке как к измеряемой, улучшаемой деятельности служит обоим взглядам: команда Agile хочет более быстрой обратной связи, а практика ITIL хочет надёжной гарантии, что изменения проверены.

Риск, который надо держать в поле зрения всё время, в том, что скорость проверки и качество проверки легко разделить. Команда может вдвое сократить время до первой проверки, утверждая всё с первого взгляда, и панель покажет триумф, пока кодовая база ухудшается. Закон Гудхарта применяется к этому семейству метрик с необычной силой (см. тему 1.2, Закон Гудхарта и психология метрик), потому что числа дёшево собирать, их видят все и их тривиально легко сдвинуть, не меняя того, что они призваны представлять. Каждая рекомендация ниже написана с оглядкой на это.

Автор открыл запрос на слияние, а проверяющий оценивает его. Раунд проверки есть один цикл «автор отправляет, проверяющий отвечает». Переделка есть изменение, сделанное после комментария проверки или после слияния, чтобы исправить то, что первая версия сделала неверно. Непрерывная интеграция (CI) есть практика частого слияния работы в общую линию и автоматической проверки каждого слияния; см. непрерывная интеграция.

Все метрики этой темы описывают команды и репозитории. Они никогда не ранжируют проверяющих или авторов. Числа проверок на уровне отдельных людей легко извлечь, и их соблазнительно использовать, а это превращает практику сотрудничества в соревнование (см. тему 9.1, Здоровье команды и опыт разработчиков).

Ключевые принципы

  • Ожидание доминирует над проверкой. В большинстве команд самая большая часть времени проверки есть запрос на слияние, лежащий непрочитанным, а не обсуждение, когда проверяющий начал. Измеряйте ожидание раньше обсуждения.
  • Малые изменения проверяются быстрее и лучше. Размер есть один из немногих рычагов, улучшающих и скорость, и тщательность сразу, потому что проверяющий может удержать малое изменение в голове.
  • Скорость без пристального взгляда не улучшение. Каждому показателю скорости в этой теме нужен двойник по качеству, и пара читается вместе.
  • Проверка есть ёмкость команды, а не личная. Нагрузка должна распределяться по команде. Показатель, обнаруживающий концентрацию, указывает на проблему устройства команды, никогда на человека, которого надо хвалить или винить.
  • Распределения лучше средних. У времён проверки длинный хвост застрявших запросов на слияние, поэтому сообщайте медиану и высокий перцентиль (см. тему 1.6, Статистическая грамотность для метрик услуг).
  • Определите часы, затем оставьте их в покое. Укажите, когда часы запускаются и останавливаются, какие события их приостанавливают и какая автоматическая активность исключена, и запишите это там, где живут данные (см. тему 1.5, Источники данных и инструментирование).
  • Метрики проверки служат команде, владеющей работой. Они вход в собственную ретроспективу команды, а не система показателей для кого-то другого.

Определения метрик

Часы ниже предполагают, что платформа контроля версий записывает время событий открытия, запросов на проверку, комментариев, утверждений, отправок и слияний. Черновики, запросы на слияние, открытые ботами, и запросы на слияние, закрытые без слияния, исключены, если строка не говорит иначе. «Рабочие часы» означает заявленные рабочие часы команды, так что запрос на слияние, открытый вечером в пятницу, не накапливает выходные ожидания.

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность
Время до первой проверки Ожидание между готовностью запроса на слияние к проверке и первым содержательным ответом человека Часы запускаются, когда запрос на слияние выходит из статуса черновика или открыт готовым, и останавливаются на первом комментарии проверки, запросе изменений или утверждении кем-то, кроме автора; комментарии ботов и автора и чистые смены меток исключаются. Сообщайте медиану и 85-й перцентиль в рабочих часах рабочие часы История событий платформы контроля версий Разработка и управление программным обеспечением; управление изменениями Рабочее соглашение об отзывчивости проверки; поток работы в процессе Раз в неделю
Время цикла проверки Полное время от готовности к проверке до слияния Часы запускаются, когда запрос на слияние готов к проверке, и останавливаются на слиянии; запросы на слияние, закрытые без слияния, исключаются и считаются отдельно. Сообщайте медиану и 85-й перцентиль в рабочих часах рабочие часы История событий платформы контроля версий Управление развёртыванием; управление изменениями Время цикла этапа проверки на доске команды Раз в неделю
Размер запроса на слияние Объём изменения в запросе на слияние Добавленные строки плюс удалённые строки, исключая сгенерированные файлы, файлы блокировок, сторонний код и чистые переименования, как перечислено в правилах игнорирования репозитория. Сообщайте медиану и 85-й перцентиль на слитый запрос на слияние изменённые строки Статистика различий платформы контроля версий Разработка и управление программным обеспечением Малый размер партии; нарезка историй Раз в неделю
Раунды проверки Число циклов отправки автора и ответа проверяющего до слияния Число различных циклов «запрошены изменения» или «комментарий, затем отправка» на слитый запрос на слияние; первая отправка есть нулевой раунд, а сбои автоматических проверок исключаются. Сообщайте медиану и 85-й перцентиль число События проверки и отправки платформы контроля версий Непрерывное улучшение; разработка и управление программным обеспечением Сигнал переделок на этапе проверки; определение готовности Раз в неделю
Концентрация нагрузки проверки Насколько неравномерно распределена работа по проверке в команде Доля завершённых проверок команды, обработанных двумя самыми загруженными проверяющими за скользящие 4 недели; проверки собственного запроса на слияние и проверки ботов исключаются. Сообщается для команды, никогда по именам процент События проверки платформы контроля версий, агрегированные до команды Непрерывное улучшение; управление знаниями Общее владение кодом; коллективное владение Раз в месяц
Число застоявшихся запросов на слияние Запросы на слияние, открытые дольше согласованного командой предела Запросы на слияние, всё ещё открытые и не черновики, чей возраст с момента готовности к проверке превышает предел команды, считаются на момент снимка; черновики исключаются число Список открытых запросов на слияние платформы контроля версий Управление изменениями; непрерывное улучшение Возраст рабочего элемента; ограничение WIP Раз в неделю
Доля исправлений после слияния Доля слитых запросов на слияние, за которыми вскоре следует исправляющее изменение Слитые запросы на слияние, за которыми в течение 14 дней последовало исправление, откат или срочное исправление, связанные с тем же изменением / слитые запросы на слияние за период; плановая последующая работа, помеченная как таковая, исключается процент История контроля версий, связанные задачи и записи об инцидентах или изменениях Управление изменениями; управление инцидентами Встроенное качество; определение готовности Раз в месяц

Время до первой проверки есть самый большой рычаг и показатель, с которого большинству команд стоит начать. Время цикла проверки есть его итоговый показатель и входит в составляющие более длинных времён выполнения, рассмотренных в теме 2.2. Окно в 14 дней и предел застоя суть примеры; каждая команда выбирает значения, подходящие её ритму релизов, и записывает их. Там, где числа питают более широкую картину поставки, дальше берут своё семейство DORA (см. тему 2.8, Метрики DORA) и показатели сбоев изменений (см. тему 4.4, Сбои изменений и переделки).

Рекомендации

Измеряйте ожидание раньше работы

1. Начните со времени до первой проверки. Это обычно самый большой вклад во время проверки и самый дешёвый для улучшения. Инструментируйте его по истории событий платформы, чтобы никому ничего не приходилось вводить. Сообщайте медиану и высокий перцентиль, потому что медиана в три часа при 95-м перцентиле в четыре дня означает, что некоторые изменения забываются.

2. Исключите ботов и черновики из часов и скажите об этом. Автоматические проверки, боты обновления зависимостей и инструменты форматирования создают комментарии за секунды, и их подсчёт заставляет ожидание выглядеть превосходным. Запускайте часы, когда автор помечает изменение готовым, а не когда ветка впервые отправлена. Публикуйте эти правила рядом с графиком.

3. Используйте рабочие часы и запишите календарь команды. Запрос на слияние, открытый поздно в пятницу, не должен нести выходные ожидания. Команде, разбросанной по часовым поясам, нужно правило, чьи часы считаются, и часто честный ответ состоит в том, что стоимость передачи между поясами и есть то, что стоит увидеть. Укажите выбор и держите его стабильным.

Придайте работе проверяемую форму

4. Держите запросы на слияние малыми и считайте размер привычкой команды. Отслеживайте медиану и 85-й перцентиль размера и смотрите на крупные как на набор, а не как на отдельные провалы. Команды обычно находят, что крупные изменения идут от нескольких причин: работа нарезана недостаточно тонко, смешение рефакторинга с новым поведением или слишком долгое ожидание слияния. Нарезайте работу так, чтобы каждый запрос на слияние делал одну вещь, что также соответствует принципу малой партии за разработкой на основной ветке и частым развёртыванием.

5. Не ставьте жёсткий предел размера как цель. Ограничение вроде «не более 400 строк» приглашает делить изменение на искусственные части, по отдельности нечитаемые или ломающие сборку при слиянии в одиночку. Используйте размер как начало разговора на ретроспективе и дайте команде приёмы нарезки, такие как переключатели функций, подготовительный рефакторинг в собственном запросе на слияние и слияние за флагом.

6. Делайте запрос на проверку явным. Запрос на слияние, не называющий проверяющего, ждёт добровольца, а добровольцев мало. Договоритесь в рабочем соглашении, кого просят, как оповещается команда и каково ожидание ответа. Общий график проверок или ежедневный слот проверки обычно сокращает ожидание больше любой настройки инструмента.

Распределяйте нагрузку и знание

7. Следите за концентрацией нагрузки как за риском уровня команды. Если двое людей обрабатывают большинство проверок, их доступность ограничивает поток команды, а их отсутствие его останавливает. Пересматривайте показатель концентрации ежемесячно и действуйте через устройство команды: ротируйте проверяющего по умолчанию, ставьте новичков в пару с опытными и записывайте области кода, которые может проверять только один человек. Не публикуйте турнирную таблицу по людям.

8. Используйте проверку, чтобы делиться знанием, и защищайте эту цель. Долгосрочная ценность проверки включает обучение, общее владение и последовательный стиль, а также обнаружение дефектов. Парное программирование и групповое программирование переносят часть этого обмена раньше в процесс; там, где пара уже работала над изменением, более лёгкая проверка разумна. Сделайте этот выбор решением команды, записанным в рабочем соглашении, чтобы «в паре, поэтому проверено легко» было видимым правилом, а не оправданием.

Управляйте самой проверкой

9. Пусть автоматизация делает то, что автоматизация делает хорошо. Форматирование, линтинг и базовые проверки принадлежат конвейеру, чтобы внимание людей шло на проект, правильность и риск. Статический анализ программ и автоматические тесты сокращают число тривиальных раундов проверки. Оставшиеся раунды тогда больше говорят о разговоре о проекте и меньше о разногласиях по стилю.

10. Читайте раунды проверки как сигнал о ясности, а не как счёт ошибок. Много раундов может означать, что требование было неясно, автору не хватило контекста, проверяющий просил правок вкуса или изменение было крупным. Ноль раундов на каждом запросе на слияние может означать превосходную работу или то, что никто не смотрел. Выберите горстку запросов на слияние с необычно большим или необычно малым числом раундов и прочитайте их вместе как команда.

Парьте скорость с качеством и держите время видимым

11. Всегда показывайте двойника по качеству рядом со скоростью проверки. Доля исправлений после слияния, инциденты, связанные с недавними изменениями, и доля дефектов, найденных после релиза, суть естественные партнёры (см. тему 4.4, Сбои изменений и переделки). Если время проверки улучшается, а доля исправлений ухудшается, команда обменяла гарантию на скорость, и исправлением служит разговор, а не цель. Показывайте обоих на одном графике.

12. Связывайте проверку с картиной потока и с внеплановой работой. Более быстрая проверка помогает, только если следующий этап не просто ставит работу в очередь (см. тему 2.3, Работа в процессе и теория очередей). Срочные запросы на проверку, прерывающие плановую работу, имеют собственную цену (см. тему 2.9, Операционная и внеплановая работа).

Векторы манипуляции и ограждения

Метрика Как её искажают Парная метрика или практика-ограждение
Время до первой проверки Писать быстрое «выглядит хорошо» или смайлик как первый ответ; назначать бота или дружелюбного проверяющего; помечать запрос на слияние готовым лишь после того, как кто-то заранее согласился посмотреть Доля исправлений после слияния; выборка утверждений без комментариев; требовать в рабочем соглашении, чтобы первые ответы были содержательными
Время цикла проверки Сливать, не дожидаясь проверки; делить изменение на крошечные части, чтобы проходило быстрее; закрывать и вновь открывать запрос на слияние, чтобы сбросить часы Число закрытых и вновь открытых запросов на слияние; раунды проверки; доля исправлений после слияния; правила защищённых веток, требующие утверждения
Размер запроса на слияние Исключать файлы из счёта; делить одно изменение на части, не понятные по отдельности; раздувать размер сгенерированным кодом Пересматривать правила игнорирования каждый квартал; проверять, что разделённые части собираются и проходят тесты в одиночку; читать выборку самых малых и самых больших
Раунды проверки Утверждать с первого прохода, чтобы держать счёт низким; переносить обсуждение в чат, чтобы оно не оставляло следа; авторы отправляют много правок одним коммитом, чтобы спрятать раунды Доля исправлений после слияния; выборка запросов на слияние с нулём раундов; держать обсуждение в запросе на слияние
Концентрация нагрузки проверки Делить проверки на много малых утверждений, чтобы распределить счёт; назначать проверки тем, у кого есть свободное время, но нет знаний Проверять знание проверяющего для рискованных областей; следить за долей исправлений после слияния по областям; держать показатель на уровне команды
Число застоявшихся запросов на слияние Закрывать застоявшиеся запросы на слияние без слияния; превращать их в черновики, чтобы спрятать; поднимать предел застоя Число запросов на слияние, закрытых неслитыми; число долго живущих черновиков; пересматривать предел с командой каждый квартал
Доля исправлений после слияния Записывать исправления под новым рабочим элементом без связи; помечать исправляющую работу как плановое продолжение; избегать показателя, откладывая исправление за пределы окна Сравнивать с данными об инцидентах и сбоях изменений; выборка последующих элементов; аудит используемых меток

Здоровое чтение спокойно. Время до первой проверки коротко, и хвост тоже короток, так что ни один запрос на слияние не ждёт днями. Размер лежит в диапазоне, который команде легко читать, с несколькими крупными изменениями, которые команда может объяснить. Раундов проверки мало, но не ноль, концентрация нагрузки умеренна, число застоявшихся мало, а доля исправлений после слияния стабильна. Когда одно число резко улучшается, кто-то должен проверить, что его парное ограждение не сдвинулось не в ту сторону.

Компромиссы: плюсы и минусы

Подход Сильная сторона Слабая сторона
Быстрая проверка со строгими ожиданиями ответа Короткие контуры обратной связи; меньше потери контекста для автора; меньше работы в процессе Давление утверждать быстро; прерывает сосредоточенную работу
Медленная, тщательная проверка Внимательное чтение проекта и риска; более сильная передача знаний Более долгое время цикла; копятся крупные партии; авторы переходят дальше и теряют контекст
Малые запросы на слияние Легче читать и откатывать; более гладкий поток Больше накладных расходов на изменение; может дробить функцию на запутанные шаги
Крупные запросы на слияние Меньше передач; вся функция видна сразу Проверки становятся поверхностными; труднее откатывать; долгие ожидания
Обязательное утверждение от названного владельца Ясная подотчётность за рискованные области; поддерживает разрешение изменений Создаёт узкое место и единую точку отказа
Автоматические проверки перед проверкой человеком Освобождают людей для проекта и риска; последовательны Могут создавать ложную уверенность; требуют поддержки

Ни одна политика не побеждает единолично. Цель в том, чтобы сократить ожидание, сохранив пристальный взгляд, и обычный путь идёт через меньшие изменения, ясные ожидания от проверки, сильную автоматизацию рутинных проверок и соглашение команды о том, как выглядит хорошая проверка. Метрики проверки полезнее всего как вопросы для ретроспективы и менее всего как цели.

Вопросы для обсуждения в команде

1. Где запрос на слияние проводит большую часть жизни: в ожидании или в проверке? Попросите команду угадать до просмотра данных, затем покажите разделение между временем до первой проверки и оставшимся временем до слияния. Большинство групп удивляются, сколько приходится на ожидание. Ведущему стоит отметить, какие догадки были неверны, и спросить, что каждая неверная догадка говорит о том, как команда переживает проверку. Закончите одним изменением, атакующим самое большое ожидание.

2. Как выглядит хорошая проверка в этой команде и как отличил бы посторонний? Перечислите поведение, которое ценит команда, например вопросы о проекте, проверка тестов и объяснение причины запроса. Затем спросите, какие из них оставляют видимый след в запросе на слияние. Обсудите, как отличить содержательный первый ответ от формального, не контролируя отдельных людей. Договоритесь о коротком письменном описании для рабочего соглашения.

3. Насколько большое для нас слишком большое и что делать, когда работа действительно велика? Посмотрите на распределение размеров и выберите несколько самых крупных запросов на слияние. Спросите, почему каждый был крупным и можно ли было его нарезать. Обсудите приёмы вроде переключателей функций, подготовительного рефакторинга и слияния за флагом. Ведущему стоит сопротивляться установке числового предела и вместо этого договориться о привычке, которую команда попробует месяц.

4. Кто проверяет наш самый рискованный код и что происходит, когда его нет? Сопоставьте области кода с людьми, которые могут хорошо их проверять. Посмотрите на концентрацию нагрузки и на области с единственным квалифицированным проверяющим. Обсудите, как вырастить второго проверяющего в каждой через парную работу или ротацию назначений. Держите разговор о стойкости команды, а не о рейтинге чьей-либо нагрузки.

5. Если бы наша скорость проверки завтра удвоилась, что мы хотели бы видеть верным о качестве? Попросите группу назвать сигналы качества, за которыми она следила бы, например исправления после слияния, инциденты, связанные с недавними изменениями, или число откатов. Проверьте, видны ли эти сигналы сейчас рядом с графиком скорости. Обсудите, что было бы ранним признаком того, что скорость куплена ценой пристального взгляда. Договоритесь, какого двойника показывать на панели.

6. Какие числа проверки нас соблазняло бы улучшить так, что это не поможет? Пройдите по каждой метрике и спросите, как человек под давлением мог бы заставить её выглядеть лучше, ничего не улучшая. Сравните ответы с таблицей манипуляций выше и добавьте собственные идеи команды. Цель в том, чтобы назвать риск до того, как он случится. Договоритесь, какое ограждение будет пересматриваться вместе с каждой метрикой.

Четыре точки зрения

Продуктовые команды и команды поставки

Команды поставки владеют процессом проверки и должны владеть его метриками. Больше всего они выигрывают, сокращая ожидание простыми соглашениями: ежедневный слот проверки, ясный процесс запроса и малые изменения. Им стоит использовать числа на ретроспективах, держать работу в процессе низкой и сопротивляться соблазну оптимизировать один график. Проверка также есть место, где новые члены изучают кодовую базу, поэтому защищайте эту цель.

Команды услуг и эксплуатации

Команды эксплуатации встречают проверку там, где код инфраструктуры, конфигурация и автоматизация руководств по эксплуатации меняются через запросы на слияние. Для них проверка часто есть часть того, как стандартное изменение утверждается и подтверждается свидетельствами (см. тему 4.3, Метрики управления изменениями). Им следует договориться, какие изменения нужно проверять вторым человеком, как быстро проверяются срочные исправления и как экстренные изменения проверяются потом, чтобы поспешное исправление всё же было рассмотрено. Тонкая проверка рискованного изменения позже проявится как инцидент.

Руководство и управление

Руководителям стоит относиться к метрикам проверки как к сигналам о здоровье команды и потоке, а не как к оценкам производительности. Им следует просить парную меру качества, когда сообщается число скорости, поддерживать время, которое занимает тщательная проверка, и избегать сравнения команд по необработанному времени проверки, поскольку репозитории и риски различаются. Органы управления могут использовать свидетельства проверки как часть гарантии изменений, при условии что принимают: документированный, выборочно проверяемый процесс проверки сильнее подсчёта утверждений.

Клиенты и пользователи

Клиенты не видят запросов на слияние, но чувствуют результаты: как скоро приходит исправление и как часто релиз приносит новый дефект. Короткие ожидания проверки помогают срочным исправлениям быстрее дойти до них, а вдумчивая проверка помогает держать сбои вдали от них. Там, где у услуги есть опубликованная история релизов или дефектов, клиентам полезно, когда команда показывает со временем меньше откатов и меньше повторных исправлений.

На практике: пример из управления услугами

ИТ-отдел региональной больницы эксплуатирует веб-службу записи пациентов, построенную одной продуктовой командой из семи человек и обслуживаемую небольшой группой обеспечения надёжности. Все числа в этом примере иллюстративны.

На квартальном пересмотре команда обнаруживает, что её время цикла проверки имеет медиану 26 рабочих часов и 85-й перцентиль 71 рабочий час (иллюстративно). Разделение цикла показывает, что медиана времени до первой проверки равна 19 рабочим часам, так что большая часть задержки есть ожидание. Размер запроса на слияние имеет медиану 180 строк и 85-й перцентиль 900 строк (иллюстративно), а два самых загруженных проверяющих обрабатывают 68 % проверок (иллюстративно). Доля исправлений после слияния составляет 9 % (иллюстративно).

Команда принимает три соглашения. Она задаёт ежедневный тридцатиминутный слот проверки, записывает в рабочее соглашение ожидание первого ответа в течение одного рабочего дня и ротирует обязанность «сначала проверять» каждую неделю. Она также принимает привычку нарезки для крупной работы, используя переключатели функций, чтобы частичные функции можно было безопасно сливать. Она не ставит предела размера или цели по времени до первой проверки.

Через два месяца медиана времени до первой проверки падает до 6 рабочих часов, а 85-й перцентиль времени цикла проверки падает до 34 рабочих часов (иллюстративно). Концентрация нагрузки падает до 52 % (иллюстративно), а доля исправлений после слияния держится на уровне 9 %.

Затем команда ловит риск манипуляции. Выборка утверждений показывает, что около трети первых ответов приходит в течение минут и читается только как «LGTM» на изменениях, затрагивающих логику напоминаний о записи. Выигрыш скорости был отчасти настоящим, отчасти формальной печатью. Доля исправлений после слияния ещё не сдвинулась, потому что затронутый код работает месячным циклом. Команда меняет рабочее соглашение так, что первый ответ должен включать либо вопрос, либо комментарий об определённой части изменения, либо явную заметку о том, что проверено, и добавляет долю выборочно проверенных утверждений без комментариев на свой график проверки. Она также договаривается, что изменениям логики напоминаний, видимой пациентам, нужны два проверяющих, один из которых из группы эксплуатации. Решение с причинами попадает в журнал решений команды.

Agile, ИИ, автоматизация и аналитика

Agile

Быстрые, малые проверки поддерживают непрерывную поставку и устойчивый темп. Практическая привычка состоит в том, чтобы согласовать норму команды для времени до первой проверки и говорить о застоявшихся запросах на слияние на регулярном обзоре команды. Осторожность в том, что скорость проверки, принятая за цель, ведёт к формальным печатям; поэтому парьте её с исправлениями после слияния.

ИИ

Изменения, порождённые ИИ, могут повышать объём и размер запросов на слияние, а инструменты проверки на основе ИИ могут ускорить первый взгляд. Парьте время до первой проверки с долей исправлений после слияния для изменений с помощью ИИ и сообщайте нагрузку проверки по роли проверяющего, а не по человеку. Осторожность в том, что комментарий проверки от бота может быть засчитан как проверка; поэтому считайте проверку человеком отдельно.

Автоматизация

Тяните события проверки из хостинга кода автоматически и запускайте автоматические проверки перед проверкой человеком, чтобы люди тратили время на суждение. Измеряйте сами проверки по ложным тревогам и по дефектам, которые они пропускают. Осторожность в том, что тяжёлая автоматизация может сделать проверку человеком поверхностной, поскольку люди полагают, что инструменты поймали всё.

Аналитика

Показывайте распределения размера, времени до первой проверки и раундов проверки по командам, никогда по отдельным людям. Решение, которое это информирует, состоит в том, где нужно внимание к ёмкости проверки или к размеру изменений. Осторожность в том, что эти числа описывают систему проверки, и любое использование, ранжирующее людей, подтолкнёт их к меньшим, более безопасным, менее полезным изменениям.

Отраслевой взгляд

Стартап. Небольшая команда может проверять за минуты, потому что все знают код, и главный риск в пропуске проверки, когда времени мало. Держите метрики немногочисленными: времени до первой проверки и размера достаточно. Заложите привычку малых изменений рано, потому что её гораздо труднее ввести, когда кодовая база и команда растут.

Малый бизнес. Часто один-два разработчика или внешний поставщик поддерживают программное обеспечение. Проверка может быть одним коллегой или собственным персоналом поставщика. Спросите поставщиков, как они проверяют и можно ли разделять данные о запросах на слияние, и ведите простую запись, какие изменения кем проверены, потому что в малой команде проверка есть главная защита от ошибок.

Крупная компания. Многие команды, репозитории и правила утверждения создают большой разброс. Стандартизируйте определения часов и исключений, чтобы данные платформы были сопоставимы, но не ранжируйте команды по необработанному времени проверки, поскольку риски и кодовая база различаются. Следите за требованиями проверки, наложенными для аудита, которые добавляют ожидание, не добавляя пристального взгляда, и ищите возможности заменить ручные утверждения автоматическими проверками и выборочной проверкой.

Государство и публичный сектор. Разделение обязанностей, следы аудита и правила закупок часто требуют независимого утверждения изменений. Относитесь к этим правилам как к входным данным проекта: записывайте, кто что и когда утвердил, и измеряйте создаваемое ими ожидание. Где код пишут поставщики, указывайте в контракте свидетельства проверки и доступ к данным (см. тему 8.5, Регулируемая и государственная отчётность).

Бизнес-обоснование: мотивы, ROI и TCO

Мотив состоит в том, чтобы сократить часть поставки, которая одновременно медленна и контролируема, сохранив выгоды проверки коллегами: меньше дефектов, общее знание и след аудита. Ждущие запросы на слияние удерживают готовую работу от пользователей, повышают цену переключения контекста для авторов и делают конфликты слияния вероятнее по мере старения веток. Сокращение ожидания поэтому окупается более быстрой поставкой, меньшими переделками и меньшим раздражением.

Цена сбора этих метрик низка, когда платформа контроля версий предоставляет историю событий и API. Основные затраты: время на определение часов и исключений, на построение или настройку отчёта и на регулярный пересмотр чисел. Большая цена поведенческая: время, которое люди отдают оперативной проверке и которое конкурирует с другой работой. Это время есть настоящая инвестиция, и его следует закладывать в бюджет, а не считать бесплатным.

Отдача проявляется как более короткое время цикла проверки, меньше застоявшихся запросов на слияние и стабильная или падающая доля исправлений после слияния. Избегайте заранее заявлять конкретный процент улучшения, поскольку результаты зависят от исходной точки и команды. Убедительное обоснование сравнивает собственные распределения команды до и после вместе с её двойником по качеству, а не цитирует цифры других организаций. Книга 2018 года Accelerate сообщает исследования, связывающие технические и культурные практики с результативностью поставки, и является разумным источником для общего аргумента, но числа для вашей команды берутся из ваших собственных данных.

Антипаттерны и ловушки

  • Ранжирование проверяющих или авторов. Индивидуальные турнирные таблицы выполненных проверок или изменённых строк портят сотрудничество. Сообщайте на уровне команды и используйте числа, чтобы корректировать привычки команды.
  • Цель по времени до первой проверки без двойника по качеству. Результат есть формальная печать. Показывайте долю исправлений после слияния и выборку утверждений без комментариев рядом с каждым графиком скорости.
  • Установка жёсткого предела размера. Команды искусственно делят работу, чтобы соответствовать. Используйте размер как повод для разговора и вместо этого учите приёмам нарезки.
  • Отношение к нулю комментариев как к успеху. Непроверенное утверждение может отражать доверие или невнимательность. Выбирайте такие запросы на слияние и читайте их вместе.
  • Подсчёт активности ботов как проверки. Автоматические комментарии заставляют ожидание выглядеть коротким. Исключайте ботов из часов и из показателей нагрузки.
  • Игнорирование часовых поясов и календарей. Необработанное время по часам заставляет выходные и ожидание между регионами выглядеть как медленную проверку. Используйте рабочие часы и называйте календарь.
  • Позволять списку застоявшихся расти. Старые запросы на слияние накапливают конфликты слияния и теряют контекст. Пересматривайте список еженедельно и либо сливайте, либо дорабатывайте, либо закрывайте каждый элемент с причиной.

Модель зрелости

Измерение 1 Инициирование 2 Развитие 3 Стандартизация 4 Управление 5 Оркестрация
Определение и часы Время проверки угадывается или сообщается на глаз Некоторые команды выгружают времена из платформы по своим правилам Одно письменное определение каждых часов с исключениями для ботов, черновиков и календарей Определения пересматриваются по графику; изменения записываются с причинами Определения согласованы между командами и поставщиками и пересматриваются, когда перестают информировать решения
Практика проверки Проверки происходят, когда кто-то заметит Неформальные нормы у некоторых команд Письменное рабочее соглашение о запросах, ожиданиях ответа и о том, что покрывает проверка Нормы корректируются по данным; отслеживаются обмен знаниями и области риска Практика проверки координируется между командами и поставщиками, рутинные проверки выполняет автоматизация
Двойник по качеству Нет связи между проверкой и дефектами Иногда смотрят на исправления после слияния Доля исправлений после слияния показана рядом со скоростью проверки Ограждения регулярно пересматриваются; выборочно читаются утверждения Свидетельства проверки связаны с гарантией изменений и обучением на инцидентах по услугам
Использование в улучшении Числа не используются Показываются на некоторых ретроспективах Пересматриваются владеющей командой по фиксированному графику Пробелы ведут к плановой, обеспеченной ресурсами работе по улучшению Идеи улучшений идут от команд к общей практике и обратно

Контрольный список

  • Часы для времени до первой проверки и времени цикла проверки записаны, с началом, концом и исключениями.
  • Боты, черновики и запросы на слияние, закрытые без слияния, исключены или считаются отдельно, и правила видны.
  • Времена сообщаются как медиана и высокий перцентиль в рабочих часах.
  • Размер запроса на слияние измеряется с согласованным списком игнорирования для сгенерированных и сторонних файлов.
  • У команды есть письменное соглашение о том, как запрашиваются проверки и как скоро ожидается первый ответ.
  • Концентрация нагрузки проверки сообщается только на уровне команды.
  • Доля исправлений после слияния или другой двойник по качеству показаны на том же графике, что и скорость проверки.
  • Выборка утверждений без комментариев и очень быстрых утверждений читается каждый месяц.
  • Список застоявшихся запросов на слияние пересматривается еженедельно.
  • Данные проверки используются на ретроспективах, а не в индивидуальной оценке.
  • Области кода с единственным квалифицированным проверяющим перечислены и имеют план.

Промпты для ИИ

Составьте черновик определений часов для метрик проверки.

I want to define review metrics for [team or repository]. Our platform is
[version control platform] and our workflow is [describe: draft pull requests,
required approvals, merge rules, bots in use]. Draft precise definitions for time
to first review and review cycle time, stating the event that starts and stops
each clock, what is excluded (bots, drafts, closed unmerged), how working hours
are handled for [time zones and working calendar], and which percentiles to
report. Do not invent benchmark values or tool features. List your assumptions and
the questions I should answer to finish the definitions.

Проанализируйте выгрузку данных проверки.

Here is an anonymized export of merged pull requests for [team] over [period],
with columns [list columns, for example ready time, first review time, merge time,
lines changed, review rounds, linked fix flag]: [paste data or summary]. Compute
the median and 85th percentile for each time measure and for size, split the
review cycle into waiting and reviewing, and point out patterns that deserve a
conversation. Do not rank individuals, and do not compare with outside
benchmarks. List your assumptions and any data quality problems you notice.

Найдите риски манипуляции в наших метриках проверки.

Our team reports these review metrics: [list metrics and how each is calculated].
The pressures on us are [for example a release deadline, a leadership target, a
supplier contract]. For each metric, describe plausible ways it could be improved
without improving review, the early signs of each, and a paired guardrail metric
or practice that would catch it. Do not invent statistics. List your assumptions
and tell me what you would need to know to rank the risks.

Подготовьте ретроспективу о потоке проверки.

Prepare a 45-minute retrospective agenda for [team] on review flow. Inputs: time
to first review [value], review cycle time [value], median size [value], load
concentration [value], and post-merge fix rate [value], all labeled with their
definitions. Suggest questions that surface causes, one small experiment the team
could run for [duration], and the quality signal to watch during the experiment.
Do not invent causes or targets. List your assumptions and the data I should bring.

Навыки ИИ

  • Service Management Metrics skill: используйте, чтобы найти тему, определяющую связанную метрику потока или качества, и ограждение, которое должно стоять рядом с метрикой проверки.
  • Service Management Metrics maintainer skill: используйте, чтобы проверить, что правки этой темы сохраняют согласованность шаблона, таблицы манипуляций и перекрёстных ссылок.

Главные выводы

  • Большая часть задержки проверки есть ожидание; поэтому измеряйте время до первой проверки и время цикла проверки как распределения в рабочих часах.
  • Меньшие запросы на слияние проверяются быстрее и внимательнее; учите нарезке, а не навязывайте предел размера.
  • Парьте каждый показатель скорости с двойником по качеству, таким как доля исправлений после слияния, и читайте их вместе.
  • Относитесь к нагрузке проверки как к ёмкости команды и сообщайте концентрацию на уровне команды, никогда как рейтинг людей.
  • Метрики проверки суть вопросы для ретроспективы, и они служат команде, владеющей работой.

Источники и дополнительное чтение

  1. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  2. Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 2021.
  3. Google, Code Review Developer Guide, Google Engineering Practices documentation, https://google.github.io/eng-practices/review/
  4. Bacchelli, A., and Bird, C., "Expectations, Outcomes, and Challenges of Modern Code Review," Proceedings of the 35th International Conference on Software Engineering (ICSE), 2013.
  5. Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
  6. Schwaber, K., and Sutherland, J., The Scrum Guide, Scrum.org and Scrum Inc., 2020.
  7. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  8. Wikipedia, Запрос на слияние.
  9. Wikipedia, Система контроля версий.
  10. Wikipedia, Проверка кода.
  11. Wikipedia, Закон Гудхарта.
  12. Wikipedia, Непрерывная интеграция.
  13. Wikipedia, Разработка на основной ветке.
  14. Wikipedia, Парное программирование.
  15. Wikipedia, Статический анализ программ.