Обзор и мотивация

Большинство панелей начинается с того, что легко посчитать: закрытые заявки, развёрнутые изменения, завершённые истории, принятые звонки. Они уже снабжены метками времени в инструменте и находятся под контролем команды. Ни одно из этих чисел не говорит, стало ли кому-то лучше.

Четыре слова помогают не путаться. Активность есть затраченное усилие: отработанные часы, проведённые встречи, сделанные звонки. Выпуск есть то, что произвела работа: релиз, решённая заявка, опубликованная статья. Результат есть перемена, которую выпуск сделал возможной для кого-то: клиент выполняет задачу вдвое быстрее, клиника открывается по графику, повторяющаяся проблема перестаёт возникать. Влияние есть более долгосрочный эффект на цели организации, например удержанные клиенты или меньшая стоимость обслуживания. В ITIL 4 (издание рамки 2019 года, опубликованное AXELOS, ныне принадлежащей PeopleCert) выпуск определяется как осязаемый или неосязаемый результат деятельности, а результат как итог для заинтересованной стороны, ставший возможным благодаря одному или нескольким выпускам.

ITIL добавляет вторую идею, которая работает как проверка любой метрики: ценность создаётся совместно поставщиком услуги и её потребителем, а не доставляется одним другому. Это следует мысли, стоящей за сервисно-доминантной логикой, маркетинговым взглядом, по которому ценность возникает в использовании, когда клиент применяет возможности поставщика к собственным целям. Метрика, измеряемая целиком на стороне поставщика, не может доказать ценность. Команда может закрыть каждую заявку и вовремя выпустить каждый релиз, а пользователи при этом не найдут свою работу ни на йоту легче.

Взгляд Agile приходит в то же место другой дорогой. Принципы, стоящие за Манифестом гибкой разработки программного обеспечения, говорят, что работающее программное обеспечение является основной мерой прогресса, а простота, искусство максимизации объёма не сделанной работы, имеет решающее значение. Ни тот, ни другой принцип не награждает бо́льшую груду выпуска. Оба указывают на то, чтобы поставлять нечто, что работает для пользователей, и не строить то, что никому не нужно.

Метрики выпуска и активности не ошибочны. Они управляют потоком, ёмкостью и стоимостью, и последующие темы используют их активно (см. тему 2.1, Показатели потока). Ошибка в том, чтобы позволить им заменять ценность. Метрика-тщеславие есть число, которое легко сообщать и которое почти всегда растёт: общее число зарегистрированных пользователей, накопленные обработанные заявки, функции, поставленные на сегодня. Оно заставляет команду выглядеть занятой и никому не говорит, что делать дальше. Проверка такова: может ли это число расти, пока положение клиента ухудшается?

Метрики результата труднее. Они движутся медленно, зависят от факторов вне контроля команды и шумны. Изменение потока сброса пароля может проявиться в объёме обращений лишь через недели, и на него влияет и маркетинговая кампания. Ответ состоит в том, чтобы выбирать результаты тщательно, парить их с метриками выпуска, по которым команда ежедневно рулит, и честно говорить, какую часть движения команда может приписать себе.

Опережающий индикатор есть показатель, который движется раньше интересующего вас результата и на который можно влиять рано, например доля новых услуг с проверенным руководством по поддержке. Запаздывающий индикатор сообщает о результате постфактум, например число крупных инцидентов или отток клиентов. Экономисты используют ту же пару, относя экономический индикатор к опережающим, совпадающим или запаздывающим. Командам нужны оба: запаздывающие индикаторы говорят, были ли вы правы, а опережающие дают то, на что можно воздействовать, пока есть время. Опережающий индикатор остаётся гипотезой, пока вы не проверили на протяжении нескольких периодов, что он действительно движется раньше результата.

Метрики результата частично лечат манипуляцию (см. тему 1.2, Закон Гудхарта и психология метрик). Показатель, близкий к тому, что переживают клиенты, труднее улучшить, не помогая им, а манипуляция живёт в удалении от результата. Рамки, помогающие с выбором, рассматриваются отдельно (см. тему 1.7, Рамки измерения).

Ключевые принципы

  • Начинайте с результата и двигайтесь назад. Назовите перемену, которую вы хотите для клиента, услуги или организации, затем спросите, какое свидетельство её покажет, затем спросите, какие опережающие признаки появятся раньше.
  • Ценность создаётся совместно; включите сторону потребителя. По крайней мере один показатель в каждом наборе должен исходить от людей, пользующихся услугой: их успех, усилие или опыт, а не одни записи поставщика.
  • Держите цепочку видимой. Показывайте активность, выпуск, результат и влияние как цепочку. Команды рулят по выпускам и опережающим индикаторам, а судят себя по результатам.
  • Парьте, никогда не заменяйте. Метрика результата объясняет, почему важна метрика выпуска, а метрика выпуска объясняет, что делать с метрикой результата. Ни одна не работает в одиночку.
  • Предпочитайте показатели, которые могут и падать, и расти. Число, которое только растёт, есть счётчик, а не сигнал.
  • Относитесь к опережающим индикаторам как к гипотезам. Проверяйте, что они предсказывают результат, и отбрасывайте их, когда нет.
  • Будьте честны насчёт приписывания. У результатов много причин. Скажите, на что команда влияет, а что только наблюдает.

Определения метрик

Пять метрик ниже выбраны, чтобы сдвинуть набор измерений к результатам. Они служат примерами формы, которой надо пользоваться, а последующие темы определяют показатели услуг и поставки, которые их наполняют. Иллюстративные пороги в этой теме не являются эталонами.

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность
Охват результатами Доля отчётных метрик, связанных в реестре метрик с записанным результатом для названного клиента или услуги метрики с записанной связью с результатом / метрики, отчётные за период. Учитываются только метрики, показанные в регулярном отчёте; исключаются показатели рабочего представления, которые ведёт одна команда процент Реестр метрик (см. тему 1.4, Управление метриками и ответственность за них) Измерение и отчётность; непрерывное улучшение Цель продукта и цель поставки Раз в квартал
Доля внедрения функции Доля подходящих пользователей, которые используют новую или изменённую возможность в заданное окно после релиза различные подходящие пользователи, использовавшие возможность в течение 30 дней после релиза / различные подходящие пользователи за этот период. Часы запускаются при общей доступности; исключаются внутренние тестовые учётные записи и пользователи, не имевшие доступа к возможности процент Продуктовая аналитика, журналы использования каталога услуг Проектирование услуг; управление релизами Обратная связь по итогам обзора заинтересованных сторон; продуктовый показатель результата Раз в месяц в течение 3 месяцев после релиза, затем раз в квартал
Доля повторных обращений Доля обращений одного пользователя по одной и той же услуге в заданное окно после закрытия более раннего обращения новые обращения того же пользователя по той же услуге в течение 14 дней после закрытого обращения / закрытые обращения за период. Часы запускаются при закрытии; исключаются обращения, открытые как плановое продолжение процент История обращений и заявок в инструменте ITSM Служба поддержки; управление инцидентами Ушедшие дефекты; определение готовности Раз в месяц
Доля подтверждённых опережающих индикаторов Доля используемых опережающих индикаторов, движение которых предшествовало движению связанного с ними запаздывающего индикатора за период обзора опережающие индикаторы с подтверждённым опережением над запаздывающим / используемые опережающие индикаторы. Оценивается командой в документированном обзоре по данным не менее чем за четыре периода; исключаются индикаторы с данными менее чем за четыре периода процент Реестр метрик и история трендов Непрерывное улучшение Действия ретроспективы по экспериментам Дважды в год
Доля завершённых обзоров пользы Доля профинансированных изменений или улучшений, предполагаемый результат которых был рассмотрен относительно его показателя после согласованной задержки изменения с завершённым обзором результата в течение 90 дней после запланированной даты обзора / изменения, дата обзора которых пришлась на период. Исключаются изменения, отозванные до релиза процент Запись об изменении, реестр улучшений, заметки обзоров Непрерывное улучшение; управление изменениями Обзор заинтересованными сторонами; обзор приращения продукта Раз в квартал

Охват результатами и доля завершённых обзоров пользы измеряют саму практику измерения и легко удовлетворяются бумажной работой. Доля внедрения функции и доля повторных обращений находятся ближе к клиенту и скорее всего изменят решение.

Рекомендации

Начинайте с результатов

1. Запишите результат как предложение о человеке или услуге. «Сотрудники могут сами сбросить пароль, не звоня в службу поддержки» есть результат. «Развернуть новый портал идентификации» есть выпуск. Поместите это предложение в начало записи метрики в реестре, затем выбирайте показатель. Если вы не можете написать это предложение, вы не готовы выбирать число.

2. Нарисуйте цепочку от активности к влиянию. Для каждой цели набросайте четыре рамки: что делает команда, что она производит, что меняется для пользователя и что это меняет для организации. Разместите каждую метрику-кандидата в рамке. Набор, заполненный слева и пустой справа, сигнализирует о необходимости искать свидетельства результата.

3. Применяйте проверку совместного создания ценности к каждой метрике. Спросите: чей взгляд на ценность это показывает и есть ли взгляд потребителя где-нибудь в наборе? В терминах ITIL в отношениях по услуге есть поставщик и потребитель, а ценность реализуется в использовании потребителем. Показателю времени реагирования по часам поставщика нужен спутник со стороны потребителя, например смог ли пользователь продолжить работу (см. тему 6.2, Соглашения об уровне опыта).

4. Просите решение, а не отчёт. Для каждой метрики-кандидата запишите решение, которое кто-то принял бы, если бы она сдвинулась. Выводите из обращения любой показатель без привязанного решения. Это самый быстрый фильтр против метрик-тщеславия, и он не даёт панели расти сама по себе.

Парьте выпуски с результатами

5. Выбирайте один показатель результата на каждый крупный показатель выпуска. Если вы сообщаете о развёртываниях, парьте их с показателем того, что развёртывания изменили для услуги, например с долей неудачных изменений или инцидентами, видимыми пользователям (см. тему 2.8, Метрики DORA). Если вы сообщаете о решённых заявках, парьте их с повторными обращениями. Пара должна находиться на одной странице. Команда, видящая только выпуск, будет оптимизировать выпуск.

6. Выбирайте показатели результата, на которые команда может влиять, и называйте те, которые она только наблюдает. Команда может влиять на повторные обращения по своей услуге и на внедрение своих функций. Выручку компании она может лишь наблюдать. Обе группы принадлежат картине, но цели и работа по улучшению привязываются к показателям, на которые можно влиять. Называя разницу, вы предотвращаете обвинения за движения, которые команда не могла вызвать.

7. Используйте заместителей открыто. Многие результаты нельзя измерить напрямую. Выберите заместителя, скажите, что это заместитель, и скажите, что он упускает. Доля повторных обращений служит заместителем для «проблема действительно решена», и короткий опрос или чтение открытых комментариев могут проверить, что она по-прежнему говорит правду (см. тему 6.1, Метрики удовлетворённости клиентов).

Стройте пары опережающих и запаздывающих индикаторов

8. Парьте каждый запаздывающий индикатор как минимум с одним опережающим, на который вы можете воздействовать. Крупные инциденты являются запаздывающим индикатором, а доля услуг с проверенными руководствами по восстановлению может опережать их. Опережающий индикатор даёт команде дело на этот месяц. Выбирайте опережающие индикаторы, в которые вы верите по причине, которую можете записать, затем проверяйте эту веру.

9. Подтверждайте опережающие индикаторы взглядом назад. Дважды в год отложите каждый опережающий индикатор против его запаздывающего партнёра минимум за четыре периода и спросите, шло ли движение первым. Там, где связь слаба, замените или отбросьте опережающий индикатор.

10. Используйте цели уровня услуги там, где у результата есть чёткий показатель, видимый пользователю. Хорошо выбранный индикатор уровня услуги (SLI) есть опережающий сигнал довольства пользователя, а цель уровня услуги (SLO) заявляет, насколько хорошим он должен быть (см. тему 5.2, SLI, SLO и бюджеты ошибок). Они работают лучше всего, когда индикатор выбран с точки зрения пользователя, а не машины.

Сохраняйте честность выбора

11. Замыкайте петлю обзорами результатов. Когда изменение или улучшение финансируется, запишите результат, который оно должно дать, показатель и дату, когда кто-то посмотрит. Проводите обзор, даже если ответ неудобен. Без обзоров язык результатов есть украшение (см. тему 6.5, Реализация ценности и бизнес-результаты).

12. Держите показатели выпуска в рабочем представлении и говорите, для чего они. Показатели потока, ёмкости и стоимости суть инструменты команды, а не её табель. Время цикла говорит, где ждёт работа (см. тему 2.2, Время выполнения, время цикла и эффективность потока). Если сообщать их наверх без результата рядом, они приглашают манипуляцию.

Векторы манипуляции и ограждения

Движение к результатам не убирает манипуляцию. Оно меняет её форму: результаты можно переопределить, заместителями можно управлять, а обзоры можно пропускать.

Метрика Как её искажают Парная метрика или практика-ограждение
Охват результатами Писать расплывчатое предложение о результате («улучшить сервис») для каждой метрики, чтобы связь существовала на бумаге Выборочно проверять реестр: предложение должно называть человека или услугу и перемену; проверять, что решение было принято благодаря показателю
Доля внедрения функции Засчитывать принудительное или автоматическое первое использование как внедрение; сужать группу подходящих пользователей; делать возможность по умолчанию, чтобы она «использовалась» без выбора Выполнение задач или удовлетворённость среди пользователей возможности; удержание использования через 30 и 90 дней; читать открытые комментарии
Доля повторных обращений Говорить пользователям завести новый запрос через другой канал; закрывать обращение как дубликат несвязанного; удлинять закрытие, чтобы избежать повторного обращения внутри окна Обращения по каналам для одной и той же услуги; выборочная проверка записей о закрытии; доля «проблема решена» по сообщениям пользователей
Доля подтверждённых опережающих индикаторов Объявлять опережающие индикаторы подтверждёнными после неформального взгляда; выбирать индикаторы, которые тривиально движутся вместе с результатом Письменная запись обзора с нанесёнными данными; приглашать кого-то вне команды оспорить один результат за цикл
Доля завершённых обзоров пользы Проводить обзор только по названию или задавать предполагаемый результат задним числом, чтобы он всегда достигался Сравнивать результат в обзоре с заявлением, сделанным при финансировании изменения; отслеживать долю обзоров, которые привели к изменению плана

Здоровое чтение показывает показатели результата, которые порой разочаровывают, обзоры, которые порой заканчивают изменение, и опережающие индикаторы, которые порой отбрасывают. Набор, в котором каждый результат достигнут, а каждый опережающий индикатор подтверждён, вероятно, подогнан под это.

Компромиссы: плюсы и минусы

Подход Сильная сторона Слабая сторона
Показатели выпуска и активности Быстрые, дешёвые и под контролем команды; хороши для решений по потоку и ёмкости Легко раздуваются; ничего не говорят о том, получил ли кто-то пользу
Показатели результата Остаются близки к тому, что ценят клиенты и организация; труднее улучшить, не помогая Медленные, шумные и зависят от факторов вне контроля команды
Опережающие индикаторы Дают раннее предупреждение и то, на что можно воздействовать Могут вводить в заблуждение, если связь с результатом предполагается, а не проверена
Запаздывающие индикаторы Сообщают о том, что произошло на самом деле Приходят слишком поздно, чтобы изменить результат этого периода
Заместители результатов Делают видимыми труднообозримые результаты Могут отдрейфовать от того, что замещают, и приглашают суррогацию
Небольшой набор, ведомый результатами Легко запомнить и обсуждать; фокусирует усилия Может пропустить проблему вне выбранных результатов
Широкий сбалансированный набор Охватывает больше услуги Рассеивает внимание; каждый показатель получает меньше проверки

Держите небольшое число показателей результата, которое вся группа может повторить наизусть, поддерживайте каждый показателями выпуска и опережающими показателями, которые его объясняют, и пересматривайте набор при смене стратегии. Сбалансированные подходы, связанные со сбалансированной системой показателей и с целями и ключевыми результатами, оба пытаются связать повседневную работу с важными результатами. Они терпят неудачу одинаково, когда ключевые результаты превращаются в список выпусков с процентом рядом.

Вопросы для обсуждения в команде

1. Какие из наших пяти самых заметных метрик могут расти, пока нашим клиентам становится хуже? Запишите пять на доске и задайте вопрос каждой. Число закрытых заявок, например, может расти, пока растут и повторные обращения. Ведущему стоит записывать случаи, где ответ «да», потому что это и есть метрики-тщеславие. Закончите вопросом, какой показатель результата встал бы рядом с каждой.

2. Как выглядит хорошая неделя для клиента этой услуги, его словами? Спросите людей, которые разговаривают с клиентами, и избегайте собственного словаря команды. Ответы становятся предложениями о результатах и часто показывают то, что никто не измеряет, например отсутствие необходимости объяснять проблему дважды. Запишите три предложения и спросите, какие можно измерить, пусть даже через заместителя.

3. Какие из наших опережающих индикаторов мы когда-либо сверяли с результатом, который они должны предсказывать? Выберите один индикатор и нанесите его против запаздывающего партнёра за последние несколько периодов. Спросите, что вы видите и насколько уверены. Если связь слаба, обсудите, чем её заменить. Воспринимайте отброшенный индикатор как нормальный итог обучения, а не как неудачу.

4. Где наша команда присваивает себе заслугу за результат, который только наблюдает? Посмотрите на метрики в отчётах руководству. Какие зависят от факторов вне контроля команды, таких как сезонность, кампания или поставщик? Договоритесь о простом способе заявлять, на что команда влияет, а что наблюдает. Это готовит команду к дню, когда результат сдвинется по причинам, которых она не вызывала.

5. Что мы выпустили или изменили за последние два квартала, и проверил ли кто-нибудь, сработало ли это? Перечислите изменения на доске и отметьте те, для которых есть запись обзора. Для остальных спросите, какой результат ожидался и как это можно выяснить сейчас. Воздержитесь от поисков виноватых. Цель в том, чтобы начать привычку, пусть даже первые обзоры запоздалые.

6. Какие показатели выпуска надо вернуть в рабочее представление? Некоторые показатели полезны команде и вводят в заблуждение в отчёте. Спросите, какие какие, и что каждому понадобилось бы рядом, чтобы остаться в отчёте руководства. Договоритесь о том, чтобы перенести один показатель в этом квартале. Перенос показателя признак зрелости, а не отступление от прозрачности.

Четыре точки зрения

Продуктовые команды и команды поставки

Команды поставки соблазняются выпуском, потому что их инструменты сообщают его по умолчанию. Лекарство состоит в том, чтобы сделать свидетельства внедрения и результата частью определения готовности и обзора заинтересованными сторонами. Функция, которой никто не пользуется, есть урок, и выяснить это рано есть польза практики Agile. Командам стоит держать показатели потока в рабочем представлении и парить их с показателями внедрения и сбоев (см. тему 2.5, Метрики прогнозирования и планирования поставки).

Команды услуг и эксплуатации

Команды услуг измеряют по обработке: принятые звонки, закрытые заявки, время решения. Это важно для планирования и стоимости и мало говорит о том, исчезла ли проблема пользователя. Командам эксплуатации стоит добавить повторные обращения, повторяемость одной и той же причины и решение, о котором сообщает пользователь, рядом с показателями скорости и относиться с подозрением к растущему числу лёгких заявок (см. тему 3.1, Метрики службы поддержки). Опережающие индикаторы, такие как использование статей базы знаний и проверенные руководства по восстановлению, дают команде то, на что можно воздействовать между инцидентами.

Руководство и управление

То, что руководители просят показать, учит организацию тому, что важно. Просите результаты, принимайте, что они медленнее и шумнее, и финансируйте обзоры, которые их проверяют. Органам управления стоит искать короткий стабильный набор показателей результата, у каждого из которых назван владелец и есть запись решений, которые он информировал (см. тему 1.4, Управление метриками и ответственность за них). Руководитель, спрашивающий «чему мы научились?», получает лучшие данные, чем тот, кто спрашивает «почему это красное?».

Клиенты и пользователи

Клиенты переживают результаты напрямую и редко видят счётчики выпуска. Они служат последней проверкой набора: позволяет ли услуга им заниматься тем, ради чего они пришли? Короткие опросы, открытые комментарии и наблюдение за реальными задачами лучшее свидетельство, чем любой показатель на стороне поставщика. У клиентов есть и роль в совместном создании ценности, а значит, то, насколько хорошо они информированы, наделены возможностями и услышаны, влияет на результаты (см. тему 6.3, Метрики внедрения услуг и каталога).

На практике: пример из управления услугами

Интернет-магазин среднего размера держит внутреннюю платформенную команду, предлагающую услугу самообслуживаемого развёртывания окружений примерно 40 продуктовым командам при поддержке небольшой службы поддержки. Все числа в этом примере иллюстративны.

Ежемесячный отчёт показывает 310 выполненных запросов (было 240), медианное время выполнения 6 часов и 12 функций, поставленных за квартал. Руководство довольно. Руководитель платформы замечает, что и обращения в службу поддержки по развёртыванию тоже выросли, и просит команду нанести выпуски на график против результата, на который они надеялись: продуктовые команды получают окружение, не ожидая и не прося помощи.

Упражнение с цепочкой показывает, что команда измеряла активность и выпуск, а результата не измеряла. Они добавляют три показателя. Первый: доля повторных обращений, где 22 % обращений по развёртыванию сопровождаются другим обращением по той же услуге в течение 14 дней. Второй: доля внедрения функции для трёх самых новых функций, составляющая 9 %, 14 % и 61 % подходящих команд через 30 дней. Третий, опережающий индикатор: доля запросов, завершающихся без шага человека, сейчас 48 %. Они выдвигают гипотезу, что он должен вести долю повторных обращений вниз.

Они решают приостановить две запланированные функции, похожие на две функции с низким внедрением, и потратить квартал на самую частую причину повторных обращений: неясное сообщение об ошибке при превышении квоты. Они записывают предполагаемый результат, долю повторных обращений ниже 15 %, и назначают дату обзора через 90 дней.

Риск манипуляции появляется на втором месяце. Доля повторных обращений падает до 11 %, что выглядит чудесно. Выборка из 25 закрытых обращений показывает, что служба поддержки начала просить пользователей использовать чат для уточняющих вопросов, а чат в инструменте ITSM не учитывается. Команда добавляет в отчёт обращения по каналам, включает транскрипты чата в выборку и обнаруживает, что объединённая доля составляет 17 %. Это настоящее улучшение, меньшее, чем первое показание. На обзоре руководитель сообщает 17 %, отмечает, что опережающий индикатор вырос с 48 до 57 % в такт, и записывает, что гипотеза выдержала два из четырёх периодов, необходимых, чтобы назвать её подтверждённой.

Agile, ИИ, автоматизация и аналитика

Agile

Непрерывная поставка делает дешёвым выпуск небольших изменений и наблюдение за тем, сдвинулся ли результат для пользователя. Хорошая практика состоит в том, чтобы до начала работы заявить предполагаемый результат и сигнал, который его покажет, и проверить сигнал после релиза вместе с заинтересованными сторонами. Осторожность в том, что частые релизы соблазняют команды считать релизы прогрессом, а это снова выпуск.

ИИ

Инструменты ИИ легко повышают выпуск: больше кода, больше черновиков, больше ответов. Вопрос о результате в том, лучше ли обслуживаются пользователи; поэтому парьте счётчики выпуска с результатом, таким как доля повторных обращений или успех выполнения задачи для пути с помощью ИИ. Осторожность в том, что результат, улучшающийся при росте использования ИИ, всё равно может иметь другие причины; поэтому не утверждайте, что причиной был инструмент, без сравнения.

Автоматизация

Автоматизируйте сбор сигналов результата, которые уже существуют, таких как повторные обращения, отказ от обращения или время до первого полезного ответа. Автоматизацию самой работы следует измерять тем, что она освобождает и что ломает. Осторожность в том, что автоматизированная задача, выполняемая часто, выглядит продуктивной, даже если её результат никогда не используется.

Аналитика

Данные о результатах обычно медленнее и шумнее данных о выпуске. Используйте опережающие индикаторы, чтобы рулить, и время от времени сверяйте их с более медленным результатом. Осторожность в том, что корреляция между выпуском и результатом в данных прошлого года не означает, что выпуск и дальше будет его предсказывать. В терминах ITIL 5 заявленный владельцем фокус на измеримых результатах делает эту тему основой для темы 1.8, Измерение ITIL 5 и результаты для ценности.

Отраслевой взгляд

Стартап. Результаты рядом: основатели могут разговаривать с клиентами и видеть, остаются ли те. Риск в том, чтобы измерять только рост числа пользователей и функций, а они суть метрики-тщеславие, пока не видны удержание и успех выполнения задач. Выберите один показатель результата, который клиенты узнали бы, и проверяйте его еженедельно.

Малый бизнес. Числа слишком малы для статистики; поэтому отдавайте предпочтение прямым разговорам, горстке отслеживаемых случаев и короткому списку заместителей. Остерегайтесь панелей поставщиков, которые сообщают собственную активность так, будто это ваш результат.

Крупная компания. Масштаб приглашает к отчётности по выпуску, потому что выпуски сопоставимы между многими командами, а результаты нет. Сопротивляйтесь навязыванию одного определения результата непохожим услугам. Согласуйте небольшой набор общих предложений о результатах, позвольте каждой услуге выбрать свои показатели и держите реестр актуальным.

Государство и публичный сектор. Законодательные обязанности, правила финансирования и уровни услуг заранее фиксируют некоторые показатели, часто выпуски вроде обработанных дел. Выполняйте их и добавляйте рядом показатели результата для граждан и сотрудников, например получил ли человек ту помощь, за которой пришёл. Публичная отчётность делает честные данные о результатах более ценными и более чувствительными; поэтому заранее договоритесь, как будут объясняться исправленные цифры (см. тему 8.5, Регулируемая и государственная отчётность).

Бизнес-обоснование: мотивы, ROI и TCO

Цена смещения к результатам в основном усилия и терпение: писать предложения о результатах, добавлять несколько показателей вроде короткого опроса или события внедрения и проводить обзоры результатов. Затраты на инструменты скромны, поскольку большинство заместителей можно построить на уже собираемых данных. Большая цена в задержке, потому что данные о результатах приходят медленно, а руководителям приходится их ждать.

Отдача приходит от лучшего выбора, куда тратить. Работа, которой никто не пользуется, дорога, как и улучшение показателя обработки при неизменной глубинной причине повторных обращений. Закономерность, которую стоит ожидать: меньше построенных и неиспользуемых функций, больше внимания к повторяющимся причинам и более сильная история для финансирования. Не обещайте процент. Измерьте свои базовые линии, такие как внедрение недавних релизов и повторные обращения, и сравните через несколько кварталов (см. тему 7.7, Возврат инвестиций и бизнес-обоснование).

Антипаттерны и ловушки

  • Подсчёт того, что легко. Счётчики заявок и развёртываний есть в каждом инструменте, и поэтому они становятся значением по умолчанию. Добавьте по крайней мере один показатель результата для каждой услуги, прежде чем добавлять очередной счётчик выпуска.
  • Театр результатов. Писать предложение о результате для каждой метрики, никогда не проверяя его. Проверяйте выборку реестра и спрашивайте, какое решение информировал каждый показатель.
  • Непроверенные опережающие индикаторы. Принимать правдоподобный сигнал за доказательство. Наносите его против запаздывающего результата хотя бы дважды в год и отбрасывайте те, что не опережают.
  • Результаты как личные цели. Назначение показателя результата одному человеку приглашает поведение, описанное в теме 1.2. Привязывайте результаты к командам и услугам.
  • Измерение только стороны поставщика. Набор из внутренних часов и счётчиков упустит то, что чувствуют клиенты. Включайте показатель со стороны потребителя для каждой услуги.
  • Никогда не пересматривать. Финансировать изменения под обещанную пользу и никогда её не проверять. Ставьте дату обзора в запись об изменении при его утверждении.

Модель зрелости

Измерение 1 Инициирование 2 Развитие 3 Стандартизация 4 Управление 5 Оркестрация
Выбор показателей Счётчики, доступные в инструментах Некоторые команды пишут предложения о результатах У каждой отчётной метрики есть письменный результат и решение, которое она информирует Наборы результатов и выпусков пересматриваются вместе каждый квартал Предложения о результатах согласованы между командами, поставщиками и клиентами и пересматриваются при смене стратегии
Опережающие и запаздывающие индикаторы Только запаздывающие результаты, сообщаемые поздно Несколько опережающих индикаторов, выбранных интуитивно Опережающие и запаздывающие индикаторы спарены и записаны в реестре Опережающие индикаторы сверяются с результатами дважды в год Индикаторы разделены с поставщиками и клиентами; набор эволюционирует по свидетельствам
Обзоры результатов Нет проверки, сработали ли изменения Редкие обзоры после крупных изменений Дата обзора записана для каждого профинансированного изменения Обзоры завершаются, и результаты питают следующий план Обзоры рутинны, межкомандны и включают вклад клиентов
Свидетельства со стороны потребителя Анекдоты Опрос для некоторых услуг Показатель со стороны потребителя для каждой услуги Свидетельства потребителя отслеживаются во времени и читаются рядом с операционными данными Клиенты помогают определять и интерпретировать показатели результата

Контрольный список

  • У каждой услуги есть хотя бы одно предложение о результате, называющее человека или услугу и перемену.
  • Каждая отчётная метрика помещена в цепочку от активности к влиянию.
  • У каждой метрики есть названное решение, которое она информирует; те, у которых его нет, выводятся из обращения.
  • У каждого показателя выпуска в отчёте рядом есть показатель результата.
  • У каждой услуги есть хотя бы один показатель со стороны потребителя.
  • У каждого запаздывающего индикатора есть опережающий, с письменной причиной связи.
  • Опережающие индикаторы сверяются с результатами не реже двух раз в год.
  • Заместители помечены как заместители, с указанием того, что они упускают.
  • У каждого профинансированного изменения есть предполагаемый результат, показатель и дата обзора.
  • Показатели результата привязаны к командам и услугам, никогда не к отдельным людям.

Промпты для ИИ

Превратите показатель выпуска в набор, ведомый результатами.

Our team is [team name], which provides [service or product] to [customers or
users]. We currently report [list of output or activity metrics]. We want to
move toward outcomes. For each metric, suggest an outcome sentence about a
customer or service that it might support, and propose one outcome measure and
one leading indicator we could consider. For each suggestion, say what the
measure would miss and how it could be gamed. Do not invent benchmark values
or sources. List your assumptions and the facts you need from me.

Проверьте, заслуживает ли доверия опережающий индикатор.

We use [leading indicator] as a leading indicator for [lagging outcome measure].
Here are [number] periods of data for both, pasted below, with notes on
anything that changed during that time: [data and notes]. Describe whether the
leading indicator appears to move before the lagging one, and what other
explanations are consistent with the data. Do not claim causation. List your
assumptions, the limits of this much data, and what additional data would help.

Составьте обзор результата недавнего изменения.

We made this change: [description], approved on [date], with the intended
outcome [outcome sentence] and measure [measure]. Current data: [data]. Draft
an outcome review agenda and a short summary structure that compares the
intended outcome with what we see, separates what the team influenced from what
it only observed, and lists questions for users. Do not judge success beyond
what the data supports. List your assumptions and any data gaps.

Навыки ИИ

  • Service Management Metrics skill: используйте, чтобы найти тему и парный показатель результата для метрики выпуска, о которой вы собираетесь сообщать.
  • Service Management Metrics maintainer skill: используйте, чтобы проверить, что новая тема о метрике парит свои показатели выпуска с результатами и ограждениями.

Главные выводы

  • Активность, выпуск, результат и влияние суть разные вещи, и панель из первых двух не может показать ценность.
  • В ITIL ценность создаётся совместно с потребителем; поэтому каждому набору нужен показатель со стороны потребителя.
  • Парьте выпуски с результатами, а запаздывающие индикаторы с проверенными опережающими.
  • Будьте ясны насчёт того, на что команда влияет, а что только наблюдает.
  • Пересматривайте профинансированные изменения относительно их предполагаемых результатов и позвольте итогам менять план.
  • Показатели результата снижают манипуляцию, но не прекращают её; поэтому каждому по-прежнему нужно ограждение.

Источники и дополнительное чтение

  1. Seiden, J., Outcomes Over Output: Why Customer Behavior Is the Key Metric for Business Success, Sense & Respond Press, 2019.
  2. AXELOS, ITIL Foundation: ITIL 4 Edition, TSO (The Stationery Office), 2019.
  3. Vargo, S. L., and Lusch, R. F., "Evolving to a New Dominant Logic for Marketing," Journal of Marketing, 68(1), 2004.
  4. Kaplan, R. S., and Norton, D. P., "The Balanced Scorecard: Measures That Drive Performance," Harvard Business Review, January to February 1992.
  5. Doerr, J., Measure What Matters: How Google, Bono, and the Gates Foundation Rock the World with OKRs, Portfolio, 2018.
  6. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  7. Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
  8. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016.
  9. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  10. Wikipedia, ITIL.
  11. Wikipedia, Совместное создание.
  12. Wikipedia, Сервисно-доминантная логика.
  13. Wikipedia, Гибкая разработка программного обеспечения.
  14. Wikipedia, Метрика-тщеславие.
  15. Wikipedia, Экономический индикатор.
  16. Wikipedia, Сбалансированная система показателей.
  17. Wikipedia, Цели и ключевые результаты.