Обзор и мотивация

Каждая команда, создающая и эксплуатирующая услугу, принимает решения весь день: над чем работать дальше, безопасен ли релиз, нужен ли службе поддержки ещё один человек, был ли сбой единичным или закономерным. Без измерений эти решения держатся на памяти, анекдотах и на том, кто высказался последним. С неправильными измерениями они могут оказаться хуже, потому что у числа есть авторитет, которого нет у мнения. Эта тема объясняет, зачем измерять, что вносит каждая традиция и во что обходится ошибка.

В этой книге встречаются две традиции. Гибкая разработка программного обеспечения (Agile) представляет собой набор ценностей и практик, изложенных в Манифесте Agile 2001 года, которые отдают предпочтение работающему программному обеспечению, тесному сотрудничеству с заказчиками и готовности реагировать на изменения. Её привычки измерения эмпирические и локальные: команда изучает собственный поток, смотрит на то, что поставила, и адаптируется. ITIL, первоначально Information Technology Infrastructure Library, представляет собой свод руководящих указаний по управлению ИТ-услугами (ITSM), то есть по практике проектирования, предоставления и улучшения ИТ-услуг. Её привычки измерения ориентированы на услугу и общие для всех: согласованные уровни услуг, каталог услуг (в написании самого ITIL: «service catalogue») и дисциплина непрерывного улучшения. В ITIL 4, издании рамки 2019 года, измерение и отчётность относятся к общим практикам управления, а непрерывное улучшение является и практикой, и руководящим принципом. Прежде чем полагаться на детали версии, сверьтесь с текущими публикациями владельца рамки, потому что рамка продолжает развиваться.

Эти два взгляда различаются полезным образом. Agile спрашивает: «Строим ли мы то, что нужно, и насколько гладко течёт работа?» ITIL спрашивает: «Отвечает ли услуга потребностям тех, кто ею пользуется, и надёжна ли она, поддерживаема и приемлема по стоимости?» Команда, которая измеряет только поток, может быстро выпускать изменения в услугу, которую пользователи считают ненадёжной. Команда, которая измеряет только уровни услуг, может выполнять все цели и при этом вносить изменения так медленно, что услуга перестаёт быть актуальной. Движение DevOps выросло из наблюдения, что создание и эксплуатация образуют одну систему и описывающие её числа нужно читать вместе. Разработка надёжности сайтов (SRE), дисциплина, описанная Google в её опубликованных книгах, добавляет явную связь между целями надёжности и темпом изменений.

По всей книге повторяются три термина. Показатель описывает что-то о работе или об услуге. Метрика представляет собой показатель с определённой формулой, единицей и источником данных, так что два человека, вычисляющие её, получают один и тот же ответ. Ограждение представляет собой второй показатель или практика, выбранные заранее, которые смещаются, если первый показатель искажают. Предупреждение, стоящее за ограждениями, формулирует закон Гудхарта: когда показатель становится целью, люди начинают управлять числом, а не работой (см. тему 1.2, Закон Гудхарта и психология метрик).

Для чего нужно измерение

Измерение оправдывает своё место, когда выполняет одну из четырёх задач.

  • Видеть. Сделать невидимую работу видимой: очередь, на которую никто не смотрит, шаблон инцидентов в трёх командах, изменение, которое девять дней ждёт окна.
  • Решать. Помочь выбрать между двумя вариантами, например автоматизировать ли тип запроса или устранить дефект, который его порождает.
  • Учиться. Проверить убеждение. Если команда считает, что новая практика ревью сократит переделки, число может сказать, так ли это вышло.
  • Отчитываться. Дать пользователям, клиентам и руководителям честный отчёт о том, что услуга даёт, чтобы доверие опиралось на факты.

Число, которое не выполняет ни одной из этих четырёх задач, является накладными расходами. Последующие темы повторяют эту проверку для каждого семейства метрик.

Цена отказа от измерений

Команда, которая ничего не измеряет, не свободна от чисел. Она живёт на неявных: самая громкая жалоба, самый свежий сбой, ощущение менеджера, насколько заняты люди. Из этого следуют два издержки.

  • Медленная обратная связь. Проблемы, которые тренд показал бы рано, приходят сюрпризами. Медленный рост повторных обращений выглядит невезением, пока не станет кризисом.
  • Нет основы для улучшения. Команда не может сказать, помогло ли изменение, и потому не знает, какие изменения повторять.

Цена измерения не того

Измерять не то часто хуже, чем не измерять вовсе, потому что это направляет усилия с ложной уверенностью. Число закрытых заявок, строк кода, завершённых сторипоинтов и отработанных часов легко собрать и легко нарисовать, и каждое из них есть мера активности, а не ценности для пользователя. Исследование, стоящее за рамкой SPACE (Форсгрен и коллеги, 2021), утверждает, что продуктивность невозможно уловить одним измерением и что подсчёты активности, используемые в одиночку, вводят в заблуждение.

Ключевые принципы

  • Измеряйте ради решения. Каждая метрика отвечает на записанный вопрос и информирует названный выбор. Если никто не может сказать какой, выведите её из обращения.
  • Соедините два взгляда. Читайте поток поставки и здоровье услуги на одной странице, чтобы скорость никогда не покупалась ценой стабильности или наоборот.
  • Сначала результаты, потом активность. Проверка такова: пользователям стало лучше. Подсчёты активности поддерживают рассказ, но не рассказывают его (см. тему 1.3, Результаты важнее выпуска: что выбрать для измерения).
  • Описывайте команды и услуги, а не отдельных людей. Индивидуальные рейтинги портят данные и вредят сотрудничеству.
  • Начинайте с малого и растите. Горстка метрик, которым доверяют, лучше стены слабо управляемых.
  • Сначала покажите команде. Люди, которые делают работу, являются первой аудиторией и лучшей проверкой точности данных.
  • Ожидайте перемен. Определения, метрики и цели пересматривают, когда они перестают информировать решения.

Определения метрик

Метрики ниже описывают здоровье самой практики измерения, и именно здесь вопрос «зачем измерять» становится проверяемым. Команда, которая может показать эти метрики, измеряет не без причин. В каждой формуле, основанной на времени или счёте, указаны границы.

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность
Доля метрик, связанных с решениями Доля отчётных метрик, у которых есть записанный вопрос и названное решение, которое они информируют метрики с записанным вопросом и решением / метрики, отчётные на панели на конец квартала процент Реестр метрик (см. тему 1.4, Управление метриками и ответственность за них) Измерение и отчётность; непрерывное улучшение Действия ретроспективы; рабочие соглашения Раз в квартал
Охват базовыми линиями Доля услуг и команд в области охвата, у которых записано исходное значение для каждого из согласованных основных показателей пары «услуга и показатель» с базовой линией, записанной за последние 12 месяцев / все пары «услуга и показатель» в области охвата; услуги вне каталога исключаются процент Каталог услуг и реестр метрик Управление уровнями услуг; измерение и отчётность Обзор заинтересованными сторонами; панели команд Раз в квартал
Трудозатраты на измерение Время сотрудников, затраченное на ручной сбор, очистку и отчётность по метрикам часы, записанные на ручной сбор и отчётность за месяц, без времени на действия по результатам часы на команду в месяц Заметки о времени или короткий опрос команды Измерение и отчётность Бюджет времени ретроспективы Раз в квартал
Возраст данных на момент обзора Насколько стара самая новая точка данных, когда группа собирается её обсуждать метка времени совещания минус метка времени последней точки данных на панели; считается по каждой метрике, сообщается как медиана и 85-й перцентиль дни Журнал обновления панели Измерение и отчётность Обзор заинтересованными сторонами На каждый обзор
Доведение улучшений до конца Доля действий по улучшению, возникших на обзорах метрик, которые выполнены или осознанно закрыты в согласованный срок действия, выполненные или закрытые с причиной в течение 90 дней после постановки / действия, поставленные за период, с даты записи в реестре улучшений процент Реестр или бэклог непрерывного улучшения Непрерывное улучшение Пункты действий ретроспективы Раз в квартал

Трудозатраты на измерение намеренно учитывают только ручную работу. Время на чтение данных и решение, что делать, и есть смысл упражнения, и оно исключено, чтобы автоматизация сбора проявлялась как прогресс.

Рекомендации

Начинайте с цели

1. Запишите причину до метрики. Для каждого предлагаемого показателя напишите одно предложение: «Мы измеряем X, чтобы решить Y». Если предложение не пишется, показатель не готов. Эта единственная привычка убирает большинство метрик-тщеславия, прежде чем они попадут на панель.

2. Назовите аудиторию и решение. Одно и то же число значит разное для команды, владельца услуги и руководителя. Запишите, кто будет его читать и какой выбор оно поддерживает. Рабочее представление команды может нести двадцать показателей. Руководству следует отправлять небольшой, стабильный набор (см. тему 11.1, Проектирование панели метрик услуг).

Используйте обе традиции

3. Парьте показатель потока с показателем услуги. Выберите по крайней мере один показатель того, как движется работа, например время выполнения или возраст рабочего элемента (см. тему 2.2, Время выполнения, время цикла и эффективность потока), и по крайней мере один показатель того, как ведёт себя услуга, например повторяемость инцидентов или индикатор уровня услуги (см. тему 5.2, SLI, SLO и бюджеты ошибок). Показ их вместе предотвращает распространённый сбой, когда скоростью и стабильностью управляют разные группы, глядя на разные графики.

4. Считайте поставку и эксплуатацию одной системой. Исследование, изложенное в книге Accelerate (Форсгрен, Хамбл и Ким, 2018), сообщает, что результативность поставки программного обеспечения можно описать четырьмя показателями, уравновешивающими пропускную способность и стабильность. Какой бы набор ни принимала команда, держите числа об изменениях и об инцидентах достаточно близко, чтобы рост одного побуждал заглянуть в другое (см. тему 2.8, Метрики DORA).

Измеряйте честно

5. Предпочитайте несколько показателей, тянущих в разные стороны. Единственное число приглашает к чрезмерной оптимизации; поэтому выбирайте пары: скорость и качество, объём и результат, стоимость и опыт. Пара не обязана быть формулой. Она должна появляться на одной странице.

6. Запишите базовую линию, прежде чем что-либо менять. Без исходного значения заявление об улучшении есть просто история. Соберите данные за несколько недель, включая разброс значений, а не только среднее (см. тему 1.6, Статистическая грамотность для метрик услуг). Базовые линии защищают и команды: они показывают, что плохой квартал последовал за изменением способа подсчёта, а не за падением результативности.

Выстройте привычку

7. Пересматривайте с периодичностью, соответствующей решению. Показатели потока подходят для еженедельного разговора или проводимого на каждом шаге непрерывной поставки программного обеспечения. Показатели уровня услуг и стоимости подходят для ежемесячного или ежеквартального. Метрика, пересматриваемая в неверном ритме, либо создаёт шум, либо упускает момент, когда действие помогло бы.

8. Замкните петлю работой по улучшению. Обзор, закончившийся словом «интересно», впустую потратил свои данные. Заканчивайте каждый обзор одним-двумя названными действиями, владельцем и датой и отслеживайте их выполнение. Практика непрерывного улучшения ITIL и ретроспектива Agile суть два названия одной дисциплины (см. тему 9.5, Метрики непрерывного улучшения).

9. Скажите, для чего вы не будете использовать числа. Заявите прямо, что командные метрики не будут использоваться для ранжирования или поощрения отдельных людей и что определения будут меняться открыто. Люди сотрудничают с измерением, когда доверяют тому, как оно будет использоваться (см. тему 11.3, Внедрение метрик без создания страха).

Векторы манипуляции и ограждения

Даже метрики об измерении можно исказить. Каждая строка ниже сопоставляет метрику с обычным способом её исказить и проверкой, которая это выявит.

Метрика Как её искажают Парная метрика или практика-ограждение
Доля метрик, связанных с решениями Задним числом писать правдоподобный вопрос и решение для каждой метрики, чтобы поднять процент Выборочно проверять журнал решений: спросить, что изменилось благодаря метрике, и сверить дату записи с датой первого появления метрики
Охват базовыми линиями Записать базовую линию один раз и никогда не обновлять или выбрать удобный спокойный период Требовать указания диапазона дат и размера выборки для каждой базовой линии; пересматривать базовые линии после крупных изменений в услуге
Трудозатраты на измерение Выводить работу по сбору «за скобки», выполняя её без записи или перекладывая на поставщика Сравнивать с коротким опросом о том, сколько, по словам людей, занимает отчётность; включать трудозатраты поставщика в обзор
Возраст данных на момент обзора Обновлять панель прямо перед совещанием, пока записи под ней остаются устаревшими Сообщать возраст самой новой записи в исходной системе, а не только время обновления
Доведение улучшений до конца Закрывать действия с причиной «более неактуально», чтобы выйти на процент, или дробить действия на тривиальные части Ежеквартально проверять причины закрытых действий и отслеживать, сдвинулся ли показатель, на который действие было нацелено

Здоровое чтение выглядит как практика, которая заметно жива. Метрики приходят в реестр и уходят из него по письменным причинам, базовые линии свежи, действия по итогам обзоров завершаются или честно отбрасываются, и команда тратит больше времени на действия по данным, чем на их сбор. Идеальный балл по каждой строке служит поводом выборочно проверить исходные записи, а не праздновать.

Компромиссы: плюсы и минусы

Выбор Сильная сторона Слабая сторона
Измерять мало Низкая стоимость; низкий риск манипуляции; высокое доверие Слепые зоны; решения держатся на анекдотах
Измерять много Широкий охват; раннее предупреждение по многим направлениям Внимание рассеивается; управление тонкое; стоимость сбора растёт
Совмещённое представление Уравновешивает скорость и стабильность; поддерживает общую ответственность Нужны согласованные определения между командами и общее место, куда смотреть
Цели для метрик Задают направление и срочность Приглашают к манипуляции; нужно парное ограждение
Метрики без целей Поощряют честное обсуждение Могут скатиться в отчёты, на которые никто не реагирует

Практический ответ таков: небольшой совмещённый набор, где цели используются скупо для хорошо понятных условий, о которых просили пользователи, например для цели уровня услуги. Всё остальное остаётся вопросом для обсуждения. Цель не в том, чтобы убрать суждение из решений, а в том, чтобы кормить его лучшими фактами.

Вопросы для обсуждения в команде

1. Какое решение мы приняли в прошлом квартале, которое число действительно изменило? Попросите группу вспомнить конкретные решения, а затем выяснить, какие из них, если такие были, зависели от данных. Если список короток, это полезная информация: значит, значительная часть текущей отчётности не окупает себя. Ведущему стоит записать метрики, которые действительно меняли решения, потому что они кандидаты на защиту. Затем спросите, какие решения принимались по интуиции и могло ли число помочь.

2. Какие из наших нынешних чисел описывают активность, а какие описывают ценность для пользователей? Выведите текущую панель на экран и отметьте каждую метрику как активность (закрытые заявки, запущенные сборки, завершённые баллы) или результат (пользователи, способные работать, не повторяющиеся проблемы). Недолго спорьте о пограничных случаях. Смысл в том, чтобы увидеть баланс. Там, где есть только активность, спросите, какой результат эта активность призвана дать и как команда узнает об этом.

3. Где сегодня живут числа поставки и эксплуатации, и смотрят ли на оба одни и те же люди? Проследите, где хранится каждое семейство показателей и кто его пересматривает. Команды часто удивляются, узнав, что данные об изменениях пересматривает одна группа, а об инцидентах другая, и общего совещания нет. Спросите, какую закономерность можно упустить из-за того, что эти два набора никогда не видят вместе. Договоритесь об одном месте или одном совещании, где они встречаются.

4. Чего мы не измеряем и о чём пожалели бы, что не знаем? Приглашайте делиться опасениями, а не метриками: «Я боюсь, что мы не заметили бы, если…» Идите от ответов к кандидатам в показатели, а затем к самым дешёвым данным, которые бы их показали. Держите список коротким.

5. Во что нам нужно верить относительно наших чисел, прежде чем показывать их руководству? Обсудите, что делает данные заслуживающими доверия: стабильные определения, выборочные проверки точности и согласие по исключениям. Перечислите сомнения команды, даже небольшие, например статус, используемый непоследовательно. Решите, какие сомнения надо устранить до более широкого показа, а какие можно раскрыть вместе с числом.

6. Если бы мы могли оставить только три метрики на следующий квартал, какими они были бы и почему? Ограничение заставляет расставлять приоритеты. Попросите каждого записать три, затем сравните. Ищите согласие по результатам и расхождения по показателям активности. Спросите, какое ограждение нужно каждой из трёх.

Четыре точки зрения

Продуктовые команды и команды поставки

Команды поставки больше всего выигрывают от быстрой локальной обратной связи: сколько работа ждёт, где скапливается в очередях, как часто изменения вызывают проблемы. Им стоит вести богатое рабочее представление для себя и публиковать вовне небольшой набор. Командам следует противостоять соблазну измерять объём выпуска как заменитель ценности и с самого начала парить показатели скорости с показателями качества (см. тему 2.1, Показатели потока).

Команды услуг и эксплуатации

Команды эксплуатации и так живут с числами: объёмы, время реагирования и устранения, доступность. Возможность состоит в том, чтобы перейти от отчёта о том, что случилось, к объяснению почему, через повторяемость, первопричины и долю внеплановой работы (см. тему 2.9, Операционная и внеплановая работа). Им стоит также приносить свои данные в разговоры о планировании с командами поставки, чтобы работа над надёжностью отстаивалась фактами, а не жалобами.

Руководство и управление

Руководители задают стимулы, часто случайно, теми вопросами, которые задают. Руководитель, спрашивающий «почему это красное?», учит команды прятать красное. Руководитель, спрашивающий «чему вы научились и что вам нужно?», учит команды сообщать честно. Органы управления должны запрашивать реестр, ограждения и действия по улучшению вместе с числами и финансировать работу, которую вскрывает плохое число (см. тему 1.4, Управление метриками и ответственность за них).

Клиенты и пользователи

Пользователи судят об услуге по тому, работает ли она и исправляются ли проблемы, а не по внутренним показателям. Их собственные слова в опросах, жалобах и комментариях принадлежат рядом с операционными числами как проверка того, измеряет ли команда то, что важно (см. тему 6.1, Метрики удовлетворённости клиентов).

На практике: пример из управления услугами

Интернет-магазин среднего размера держит службу поддержки, команду эксплуатации и три продуктовые команды, которые создают витрину, платежи и услуги исполнения заказов. Числа ниже иллюстративны.

Руководство спрашивает, почему клиенты жалуются на медленное оформление заказа, когда команды поставки сообщают, что выпускают изменения каждый день, а команда эксплуатации сообщает о доступности в 99,9 %. Каждая группа права по своим показателям, и никто не смотрел на них вместе. Руководитель управления услугами предлагает одностраничное совмещённое представление для услуги оформления заказа, построенное из данных, которые команды уже собирают.

Представление показывает четыре вещи за последние двенадцать недель. Время выполнения изменений имеет медиану 2 дня и 85-й перцентиль 9 дней. Доля неудачных изменений составляет 8 %. Инцидентов по оформлению заказа 14, из них 6 имеют одну причину: медленный запрос к базе данных, внесённый недавним релизом. Медианное время восстановления составляет 40 минут, но время загрузки страницы на 95-м перцентиле ползёт вверх уже шесть недель, а это закономерность, которую цифра доступности не показывает, потому что услуга формально оставалась работающей.

Группа видит то, что было скрыто. Доступность измерялась как «оформление заказа отвечает», тогда как пользователи воспринимают «оформление заказа отвечает достаточно быстро». Продуктовая команда и команда эксплуатации договариваются добавить индикатор задержки для оформления заказа с целью, которую определит владелец продукта после прочтения комментариев клиентов, оформить повторяющуюся причину инцидента как запись о проблеме с владельцем и пересматривать совмещённое представление раз в две недели. Они записывают одно решение: приостановить новые функции оформления заказа на отрезок непрерывной поставки программного обеспечения, чтобы исправить запрос и добавить проверку производительности в конвейер релиза.

Риск манипуляции возникает в течение месяца. Команда эксплуатации замечает, что два из 14 инцидентов были открыты как «запросы на обслуживание», потому что у категории запросов нет цели по времени устранения. Команда понимает, что цель по инцидентам подтолкнула людей относить пограничные случаи к запросам. Они добавляют в представление долю перекатегоризированных заявок и ежемесячно просматривают десять заявок выборочно. После этого изменения время загрузки страницы на 95-м перцентиле падает, повторные инциденты сокращаются, и команда оставляет представление, потому что оно изменило решение.

Agile, ИИ, автоматизация и аналитика

Agile

Непрерывная поставка и постоянное участие заинтересованных сторон дают ровный поток небольших изменений и регулярную обратную связь, а это именно то, что нужно горстке честных чисел. Полезная практика состоит в том, чтобы пересматривать один и тот же небольшой набор показателей на каждом регулярном разговоре об улучшении и спрашивать, что команда изменит дальше. Осторожность в том, чтобы не превращать обзор в отчёт о статусе: число, показанное без привязанного решения, является накладными расходами.

ИИ

Работа с помощью ИИ может поднимать счётчики выпуска, такие как составленные заявки, предложенные изменения или написанные статьи, не поднимая ценность, которую получает пользователь. Парьте любой показатель объёма для работы с помощью ИИ с показателем качества, например с долей черновиков, которые человеку пришлось исправлять, или с долей повторных обращений по запросам, на которые ответил ИИ. Осторожность в том, что число об использовании ИИ показывает внедрение, а не пользу; поэтому скажите, чего оно показать не может.

Автоматизация

Собирайте метки времени и статусы автоматически из системы учёта, чтобы никто не вбивал числа в отчёт. Практика, которую стоит принять рано: небольшая автоматическая проверка, помечающая отсутствующие метки времени и невозможные последовательности. Осторожность в том, что автоматизацию тоже нужно измерять: конвейер или бот, молча дающий сбой, заставляет все числа ниже по потоку выглядеть здоровыми.

Аналитика

Определите вопрос и решение до построения графика и показывайте, сколько элементов стоит за каждой долей. Используйте перцентили и тренды вместо единичных средних и отмечайте на графике каждое изменение определения. Здесь нужна осторожность из-за неопределённости: небольшое число элементов может сильно сдвинуть процент; поэтому не действуйте на данных одного месяца. Что касается именно ITIL 5, см. тему 1.8, Измерение ITIL 5 и результаты для ценности.

Отраслевой взгляд

Стартап. У небольших команд мало процессов и сильное доверие, и это помогает. Риск в том, чтобы не принести большую корпоративную панель раньше, чем в ней появится нужда. Начните с двух-трёх показателей, которые основатели будут читать еженедельно, например время выполнения изменения, простой индикатор надёжности и прямая обратная связь от пользователей, и запишите их определения.

Малый бизнес. Человек, отвечающий за ИТ, часто подчиняется владельцу, и одна жалоба клиента может перевесить любой график. Держите набор небольшим, используйте данные, которые ваши инструменты уже производят, и отдавайте предпочтение разговорам с пользователями. С отчётами от поставщиков обращайтесь осторожно, потому что у поставщиков свои стимулы.

Крупная компания. Масштаб умножает спрос на сопоставимые числа и давление искажать их. Используйте небольшой стандартный набор с письменными определениями, держите рабочие представления команд отдельно от сводных и избегайте сравнивать команды, ведущие очень разные виды услуг. Реестр метрик, общие определения и ритм пересмотра становятся необходимыми.

Государство и публичный сектор. Контрактные уровни услуг, требования аудита и обязанности публичной отчётности могут делать некоторые показатели обязательными. Относитесь к ним как к входным данным проектирования: выполняйте их, показывайте ограждение рядом и указывайте использованные определения. Публичная подотчётность повышает цену сокрытия плохих новостей; поэтому стройте безопасные внутренние каналы для откровенных сообщений (см. тему 8.5, Регулируемая и государственная отчётность).

Бизнес-обоснование: мотивы, ROI и TCO

Мотив измерения состоит в лучших решениях при меньших затратах. Измерение поддерживает расстановку приоритетов, показывает, где сидят потери, даёт раннее предупреждение об ухудшении услуги и обеспечивает доказательства для запросов на инвестиции.

У затрат несколько частей. Есть инструменты, которые часто уже принадлежат вам: система заявок, трекер задач, система контроля версий и мониторинг. Есть время сотрудников на определение метрик, построение представлений и ведение реестра. Есть повторяющиеся затраты на совещания по обзору, самые крупные и самые оправданные. Совокупная стоимость владения (TCO) практикой измерения включает и стоимость действий по результатам, поскольку озарение без бюджета на исправление даёт мало отдачи.

Отдачу трудно выразить универсальным числом, и эта книга его не выдумывает. Полезный способ построить обоснование состоит в том, чтобы измерить собственные базовые линии до и после изменения: время, потраченное на ручную отчётность, повторные обращения, решения, отменённые из-за неверных данных, и сюрпризы, найденные поздно. Ожидать стоит такой картины: меньше сюрпризов, короче споры и лучшее согласие между операционными числами и пользовательским опытом. Простое сравнение возврата инвестиций (ROI), то есть затраченных усилий и сэкономленных усилий служит разумной отправной точкой, а метод описан в теме 7.7, Возврат инвестиций и бизнес-обоснование.

Антипаттерны и ловушки

  • Панель обо всём. Десятки графиков, ни владельцев, ни решений. Выберите несколько, назовите решение, которое каждый информирует, и выведите остальные из обращения.
  • Одностороннее измерение. Скорость без стабильности или стабильность без актуальности. Парьте показатель потока с показателем услуги.
  • Измерение людей. Индивидуальные рейтинги портят данные и отбивают охоту помогать. Сообщайте на уровне команд и услуг.
  • Цели раньше базовых линий. Цель без исходного значения есть догадка. Сначала запишите базовую линию и ставьте цели после как минимум одного цикла обзора.
  • Отчёты без действий. Обзор, не порождающий перемен, учит людей игнорировать его. Заканчивайте каждый обзор названным действием, владельцем и датой.
  • Тихие изменения определений. Линии трендов теряют смысл. Записывайте каждое изменение с причиной и отмечайте на графике.

Модель зрелости

Измерение 1 Инициирование 2 Развитие 3 Стандартизация 4 Управление 5 Оркестрация
Цель и отбор Метрики выбраны, потому что их предлагает инструмент У некоторых метрик есть заявленная цель У каждой отчётной метрики есть письменный вопрос и решение Набор метрик пересматривается по решениям и сокращается, если не используется Метрики разрабатываются вместе с пользователями и поставщиками вокруг общих результатов
Совмещённое представление Agile и ITIL Данные поставки и услуг хранятся раздельно Несколько команд смотрят на оба вместе Общее представление потока и здоровья услуги для каждой услуги Совмещённое представление отслеживается во времени и связано с работой по улучшению Межкомандные представления и представления поставщиков привязаны к результатам пользователей
Базовые линии и трудозатраты Нет базовых линий; ручной сбор Базовые линии для некоторых услуг; смешанный сбор Базовые линии записаны для основных показателей; сбор в основном автоматический Базовые линии обновляются после изменений; трудозатраты отслеживаются и сокращаются Базовые линии и определения непрерывно корректируются по мере изменения услуг
Использование в улучшении Числа отмечают и забывают Редкие действия после плохих недель Каждый обзор заканчивается названными действиями Доведение действий до конца измеряется и финансируется Улучшение идёт от всех и видно между командами

Контрольный список

  • У каждой отчётной метрики есть письменный вопрос и названное решение, которое она информирует.
  • Аудитория каждого представления названа, и представления команд отделены от представлений для руководства.
  • По крайней мере один показатель потока и один показатель услуги присутствуют на одной странице.
  • Для каждого основного показателя есть базовая линия с диапазоном дат и размером выборки.
  • Каждый показатель времени указывает, где часы запускаются и останавливаются.
  • У каждой метрики рядом показано ограждение.
  • Объём ручного сбора известен, и самая крупная ручная задача проверена на возможность автоматизации.
  • Команды видят свои данные раньше руководства.
  • Никакие индивидуальные рейтинги, оплата или дисциплина не привязаны к метрике.
  • Каждый обзор заканчивается как минимум одним названным действием по улучшению, владельцем и датой.
  • По меньшей мере одна метрика была выведена из обращения или переопределена за последний год.

Промпты для ИИ

Составьте формулировку цели для каждой метрики.

We are [team name], responsible for [service or product]. Our current dashboard
shows these metrics: [list of metrics with their definitions]. For each one,
draft a one-sentence statement in the form "We measure X to decide Y", and mark
any metric where you cannot infer a decision from what I have given you. Suggest
questions I should answer to complete each statement. Do not invent benchmark
values or targets. List your assumptions.

Совместите представления поставки и услуги.

Our delivery measures are [list, with definitions and data sources] and our
service measures are [list, with definitions and data sources] for [service
name]. Propose a one-page layout that shows both together, pairs each speed
measure with a stability or quality measure, and notes the data each needs.
Identify any definitions that conflict between the two sets. Do not invent
values or thresholds. List your assumptions and anything you could not
determine.

Спланируйте базовую линию.

We want to record a baseline for [metric name] for [service or team] before
changing [practice or tool]. The data comes from [source]. Propose how long to
collect data, what summary statistics to record (including percentiles), what
to exclude and why, and how to note any changes in how work was counted during
the period. Do not assume values. List your assumptions and the data quality
risks you see.

Подготовьте обзор, ведущий к действию.

We hold a [weekly, monthly, or quarterly] review of [metric set] with
[audience]. Draft an agenda and a short set of facilitation questions that
move from reading the numbers to choosing one or two improvement actions, each
with an owner and a date. Include a prompt to check for gaming against each
metric's guardrail. Do not invent data. List your assumptions about the group
and its culture.

Навыки ИИ

  • Service Management Metrics skill: используйте, чтобы найти тему, охватывающую рассматриваемую вами метрику, и её парное ограждение.
  • Service Management Metrics maintainer skill: используйте, чтобы проверить, что новая или пересмотренная тема о метрике сохраняет формулировку цели, вектор манипуляции и ограждение.

Главные выводы

  • Измеряйте, чтобы видеть, решать, учиться и отчитываться; число, не делающее ничего из этого, является накладными расходами.
  • Agile даёт быструю локальную обратную связь по потоку; ITIL даёт общие представления на уровне услуг о надёжности и ценности. Читайте их вместе.
  • Отказ от измерений оставляет решения анекдотам, а измерение не того направляет усилия с ложной уверенностью.
  • Начинайте с нескольких метрик, у каждой из которых есть письменная цель, базовая линия и ограждение.
  • Описывайте команды и услуги, а не отдельных людей, и дайте команде увидеть свои данные первой.
  • Замыкайте петлю: обзор, не порождающий действия, впустую тратит данные.

Источники и дополнительное чтение

  1. Beck, K., et al., Manifesto for Agile Software Development, 2001, https://agilemanifesto.org/.
  2. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  3. Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
  4. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016.
  5. Vacanti, D., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
  6. Vacanti, D., Yeret, Y., et al., The Kanban Guide, 2020, https://kanbanguides.org/.
  7. AXELOS, ITIL Foundation: ITIL 4 Edition, TSO, 2019.
  8. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  9. Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
  10. Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
  11. Wikipedia, Гибкая разработка программного обеспечения.
  12. Wikipedia, ITIL.
  13. Wikipedia, Управление ИТ-услугами.
  14. Wikipedia, DevOps.
  15. Wikipedia, Разработка надёжности сайтов.
  16. Wikipedia, Закон Гудхарта.
  17. Wikipedia, Возврат инвестиций.