Обзор и мотивация

Закон Гудхарта представляет собой самое старое предупреждение об измерении. Экономист Чарльз Гудхарт заметил в 1975 году, когда писал о британской денежной политике, что статистическая закономерность имеет свойство разрушаться, как только власти начинают давить на неё в целях контроля. Популярная формулировка появилась позже. Антрополог Мэрилин Стратерн в 1997 году выразила её так: «Когда показатель становится целью, он перестаёт быть хорошим показателем». Эти два высказывания говорят одно и то же: как только число используют, чтобы управлять людьми, люди начинают управлять числом.

У той же идеи есть и другие названия. Закон Кэмпбелла, принадлежащий социологу Дональду Кэмпбеллу, гласит: чем больше количественный индикатор используется для принятия решений, тем сильнее он подвержен давлению в сторону искажения и тем больше он искажает процессы, за которыми должен следить. Эффект кобры служит историей о награде, которая породила больше того, что она должна была устранить. Каждый случай служит примером извращённого стимула: награды, которая толкает поведение прочь от того, чего хотел награждающий.

Команды, создающие и эксплуатирующие ИТ-услуги, особенно уязвимы. И непрерывная поставка, и управление ИТ-услугами (ITSM), как оно закреплено в ITIL, порождают ровный поток меток времени, счётчиков и статусов. Система заявок записывает, когда заявка открыта, когда назначена, когда часы были приостановлены и когда она закрыта. Инструмент поставки записывает, когда работа началась и завершилась. Эти числа дёшево собирать, легко рисовать на графиках и легко превращать в цели. Их так же легко сдвинуть, никому при этом не помогая.

В этой теме и в остальной книге повторяются три термина. Показатель описывает что-то. Цель есть число, которое от кого-то ожидают достичь. Ограждение представляет собой второй показатель или практика, выбранные заранее, которые сместились бы, если бы первый показатель искажали. Шаг от показателя к цели и есть то место, где начинаются неприятности, а ограждение позволяет их заметить.

Эта тема задаёт правило, которое действует для всех остальных тем. Каждое семейство метрик в книге приходит с вектором манипуляции (как его обычно искажают) и своим ограждением. Если какая-то из последующих тем это пропускает, считайте тему незавершённой.

Почему люди искажают числа

Манипуляция обычно не бесчестность. Это обычная реакция способных людей на стимулы, которые перед ними стоят. Действуют четыре силы.

  • Давление. От числа зависят чья-то премия, оценка, продление контракта или репутация. Даже без формальной связи люди делают вывод о том, что важно руководству, по тому, что руководство выводит на графики.
  • Суррогация. Суррогация есть склонность относиться к показателю так, будто это то, что он замещает. Исследователи, изучавшие её в организациях, обнаружили, что оплата по стимулам, привязанная к показателю, повышает её вероятность. Команда, которая отслеживает «закрытые заявки», начинает верить, что цель состоит в закрытых заявках, а не в решённых проблемах.
  • Страх. Когда плохое число приводит к обвинениям, люди прячут плохие новости. Инциденты занижают по приоритету, сбои переименовывают в «плановое обслуживание», а дефекты записывают как запросы на новые функции.
  • Локальная оптимизация. Команда улучшает ту часть системы, по которой её оценивают, и перекладывает издержки на ту часть, по которой не оценивают. Служба поддержки быстро закрывает заявки, а вторая линия наследует повторы.

Понимание этих сил важно, потому что лекарство не в ужесточении надзора. Оно в изменении условий, которые делают манипуляцию рациональной.

Ключевые принципы

  • Измеряйте, чтобы учиться, а не чтобы судить. Сначала показывайте числа команде, которая делает работу, и используйте их, чтобы задавать вопросы.
  • Парьте каждую метрику с ограждением. Скорость с качеством, объём с результатом, стоимость с опытом.
  • Описывайте команды и системы, никогда не ранжируйте людей. Индивидуальные турнирные таблицы дают самый быстрый способ испортить источник данных.
  • Предпочитайте результаты и тренды целям. Направление и разговор лучше порога.
  • Запишите определение, включая часы. Двусмысленные определения становятся тем местом, где прячется манипуляция.
  • Ожидайте перемен. Выводите метрику из обращения или перерабатывайте, когда она перестаёт информировать решения.
  • Делайте плохие новости безопасными. Если за честную отчётность наказывают, данные будут лгать.

Определения метрик

Метрики ниже не являются показателями услуг или поставки. Это показатели здоровья самой практики метрик, и они показывают форму, которую принимает каждая таблица метрик в этой книге. Первые три служат примерами ограждений, которые встречаются во всех последующих темах.

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность
Охват ограждениями Доля отчётных метрик, у которых есть названное, отслеживаемое ограждение метрики с ограждением / отчётные метрики процент Реестр метрик (см. тему 1.4, Управление метриками и ответственность за них) Измерение и отчётность; непрерывное улучшение Ретроспектива рабочих соглашений Раз в квартал
Доля повторно открытых Доля закрытых заявок или рабочих элементов, повторно открытых в заданном окне элементы, повторно открытые в течение 14 дней / элементы, закрытые за период процент История статусов в инструменте ITSM или трекере задач Управление инцидентами; управление проблемами Определение готовности; ушедшие дефекты Раз в месяц
Число изменений определений Число изменений определений метрик или рабочих процессов статусов за период, с причинами число записей в журнале изменений определений число Журнал изменений реестра метрик Измерение и отчётность Рабочие соглашения Раз в квартал
Доля метрик в использовании Доля отчётных метрик, на которые ссылались в решении в течение периода метрики, упомянутые в записанном решении / отчётные метрики процент Журнал решений или заметки обзоров Непрерывное улучшение Действия ретроспективы Раз в квартал
Разрыв восприятия Разница между результатом опроса удовлетворённости и уровнем услуги, полученным по заявкам, для одной и той же услуги доля по опросу минус доля по трекеру процентные пункты Инструмент опросов и инструмент ITSM Управление уровнями услуг Обратная связь по итогам обзора заинтересованных сторон Раз в квартал

Доля повторно открытых учитывает только элементы, которые были открыты повторно в той же записи. Элемент, закрытый, а затем заведённый как новая заявка, в нём не появляется. Часть смысла следующего раздела в том, что у ограждения должно быть своё ограждение, например связывание дубликатов заявок с их оригиналами.

Рекомендации

Проектируйте систему измерения

1. Начинайте с вопроса, а не с числа. Прежде чем добавлять метрику, запишите вопрос, на который она отвечает, и решение, которое она информирует. «Решаются ли у пользователей их проблемы с первого раза?» является вопросом. «Сократить среднее время обработки» является целью, притворяющейся вопросом. Метрика без привязанного решения становится кандидатом на вывод из обращения.

2. Выбирайте метрики в напряжении. Единственное число приглашает к чрезмерной оптимизации; поэтому выбирайте пары, которые тянут в разные стороны: время выполнения с долей неудачных изменений, скорость закрытия заявок с долей повторно открытых, доступность с опытом, о котором сообщают пользователи. Пара не обязана быть формулой. Её нужно показывать вместе, на одной странице.

3. Определите часы и исключения. Для каждого показателя времени запишите, где часы запускаются, где останавливаются и когда могут приостанавливаться. Большинство манипуляций в данных об услугах живёт в этих границах: заявка, переведённая в «ожидание клиента», останавливает часы уровня услуги, а изменение, записанное только после применения, ускользает от времени выполнения изменения. Если есть состояние паузы, сообщайте, как часто оно используется.

4. Используйте распределения и перцентили. Среднее время решения заявок может улучшиться потому, что несколько лёгких заявок были закрыты быстро, пока трудные стареют. Показывайте медиану и высокий перцентиль (например, 85-й или 95-й) и показывайте самые старые открытые элементы. Возраст рабочего элемента и самая старая открытая заявка трудно искажать, не завершив работу по-настоящему (см. тему 2.1, Показатели потока).

5. Ведите реестр метрик. Короткий реестр перечисляет каждую метрику, её владельца, определение, источник данных, вектор манипуляции, ограждение и дату последнего пересмотра. Это скучно, и это самая эффективная привычка в этой теме (см. тему 1.4, Управление метриками и ответственность за них).

Вводите метрики безопасно

6. Сначала показывайте команде и показывайте исходные данные. Команды, которые видят числа раньше руководства, охотнее ставят под сомнение их точность. Начинайте с исходных элементов, а не с графика. Если данные не выдерживают разговора с людьми, которые их породили, они не выдержат и панели.

7. Разделяйте представления для обучения и для подотчётности. Рабочее представление команды может содержать много показателей, в том числе некрасивых. То, что идёт к руководству, должно быть небольшим стабильным набором. Если руководство просит рабочее представление, ожидайте, что оно изменится так, чтобы выглядеть лучше.

8. Не привязывайте к метрике индивидуальную оплату, дисциплину или ранжирование. От команд можно ждать объяснений их чисел и их улучшения. Индивидуальные цели по числу заявок, сторипоинтов или коммитов учат людей максимизировать счёт. Подход ключевых показателей эффективности (KPI) может работать, когда индикаторы выбраны для всей системы и регулярно пересматриваются. Он даёт сбой, когда превращается в персональную карту оценки.

9. Сделайте честную отчётность безопасной. Психологическая безопасность есть убеждение, что вас не накажут за то, что вы заговорили об ошибке или тревоге. Разбор инцидента без поиска виновных служит примером её на практике. Без неё число инцидентов падает по неверной причине: люди перестают сообщать.

Сохраняйте честность системы

10. Проводите обзор на манипуляции. Раз в квартал задавайте команде по каждой отчётной метрике один вопрос: «Если бы мы хотели, чтобы это число выглядело хорошо, никому не помогая, что бы мы сделали?» Запишите ответы, затем проверьте, поймало ли бы ограждение каждый. Упражнение дёшево, рождает полезные идеи и переводит разговор от подозрений к проектированию.

11. Сверяйте определения с реальностью. Возьмите небольшую выборку закрытых элементов и прочитайте их. Были ли они действительно решены? Честен ли был приоритет? Означало ли состояние «ожидание клиента», что действительно ждали клиента? Пятнадцатиминутная выборка часто говорит больше, чем месяц панелей.

12. Выводите метрики из обращения. Метрика, на которую не ссылались ни в одном решении два квартала, является накладными расходами. Уберите её и скажите об этом. Меньше метрик, каждой из которых доверяют, лучше многих.

Векторы манипуляции и ограждения

Таблица охватывает метрики из раздела выше. Последующие темы применяют ту же форму к показателям услуг и поставки.

Метрика Как её искажают Парная метрика или практика-ограждение
Охват ограждениями Называть ограждение на бумаге, никогда его не отслеживая Проверять реестр: ограждение засчитывается, только если его последнее значение показано на той же панели
Доля повторно открытых Закрывать заявку и заводить новую вместо повторного открытия; удлинять окно, пока повторные открытия не выпадут за него Доля дубликатов и связанных заявок; повторяемость одной и той же причины в разных заявках
Число изменений определений Не записывать изменения, чтобы счёт оставался низким; менять рабочий процесс, никому не говоря Сравнивать модель статусов в инструменте с реестром на каждом обзоре
Доля метрик в использовании Формально указывать каждую метрику в журнале решений Спрашивать, что изменилось из-за ссылки; выборочно проверять журнал
Разрыв восприятия Опрашивать только довольных пользователей; направлять опросы на время после удачного взаимодействия Доля ответивших на опрос и состав респондентов; открытые комментарии, прочитанные вслух на обзоре

Здоровое чтение выглядит как практика метрик, которая меняется: определения корректируют по причинам, записанным письменно, метрики приходят и уходят, а команда может рассказать историю о решении, которое число изменило.

Компромиссы: плюсы и минусы

Подход Сильная сторона Слабая сторона
Измерение без целей Снижает манипуляции; приглашает к честному обсуждению Может скатиться в отчётность, на которую никто не реагирует
Цели с ограждениями Задают направление и срочность; пара ограничивает манипуляции Больше работы по поддержке; ограждение со временем тоже начинают искажать
Индивидуальные метрики Легко понять; кажутся справедливыми Портят данные; вредят сотрудничеству
Метрики команд и услуг Соответствуют тому, как работа происходит на самом деле Труднее приписать; скрывают потребности отдельных людей в поддержке
Мало метрик Легче доверять и запоминать Слепые зоны; можно упустить новую проблему
Много метрик Широкий охват Рассеивают внимание; каждая слабо управляется

Практический ответ таков: использовать цели скупо, для условий, которые хорошо понятны и трудно искажаются, например для цели уровня услуги, о которой просили пользователи. Даже тогда лучше привязывать цель к услуге, а не к оценке человека. Задача не в том, чтобы убрать числа из принятия решений. Она в том, чтобы связывать числа с реальностью, сохраняя на своей стороне людей, которые их производят.

Вопросы для обсуждения в команде

1. Какое число на нашей нынешней панели нам было бы заманчивее всего улучшить, не улучшая работу? Начните с метрики, на которую люди смотрят первой, затем перейдите к той, о которой спрашивает руководство. Спросите о конкретных ходах: что бы мы сделали с данными под давлением? Ведущему стоит записывать каждый ответ без оценок, потому что список становится векторами манипуляции для реестра. Закончите вопросом, какие из этих ходов наши ограждения поймали бы, а какие пропустили.

2. Где в нашем самом важном показателе времени часы запускаются и останавливаются, и кто так решил? Попросите группу нарисовать жизненный цикл заявки или рабочего элемента на доске и отметить каждое состояние. Ищите состояния, в которых время может исчезнуть, например ожидание клиента или приостановка. Посчитайте, как часто используется каждое состояние и кем. Разговор часто показывает, что две команды по-разному употребляют одно и то же слово.

3. Когда последний раз число заставило нас сделать что-то бесполезное? Приглашайте рассказывать истории, а не винить. Типичные примеры: закрытие заявок до проверки, дробление изменений ради роста числа развёртываний или переклассификация инцидента, чтобы избежать отчёта о нарушении. Ведущему стоит спросить, что человек пытался защитить. Ответ обычно показывает стимул, который нужно менять.

4. Кто видит наши метрики и что с ними там происходит? Проследите каждую метрику от команды до её аудитории. Спросите, используется ли какая-либо её версия для сравнения команд или людей. Спросите, что показала бы команда, будь аудитория другой. Там, где команда изменила бы показываемые числа, есть разрыв доверия, о котором стоит поговорить с аудиторией.

5. Какое ограждение у каждой из наших пяти важнейших метрик, и находится ли оно на той же странице? Составьте на доске список из двух колонок. Если у метрики нет ограждения, договоритесь об одном кандидате и о владельце, который испытает его в течение квартала. Если ограждение существует, но его редко смотрят, обсудите почему. Избегайте выбора ограждения, которое лишь обратно метрике, потому что оно не говорит ничего нового.

6. Какую метрику нам вывести из обращения в этом квартале? Спросите о доказательствах: когда её в последний раз использовали в решении? Если никто не помнит, выведите её на пробный период и посмотрите, заметит ли кто-нибудь. Ведущему стоит относиться к выводу из обращения как к обычному событию. Команды, которые никогда не отказываются от метрик, в итоге получают отчёты, которым никто не доверяет и которых никто не читает.

Четыре точки зрения

Продуктовые команды и команды поставки

Команды поставки сталкиваются с манипуляцией через скорость, пропускную способность и число развёртываний. Скорость (velocity) в частности служит инструментом планирования для одной команды, а не мерой продуктивности, и сравнение команд по ней приводит к раздутым оценкам. Командам поставки следует оставить рабочие показатели для себя, публиковать вовне небольшой набор и парить каждый показатель скорости с показателем качества (см. тему 2.5, Метрики прогнозирования и планирования поставки).

Команды услуг и эксплуатации

Команды услуг сталкиваются с манипуляцией через время решения, решение с первого обращения и соблюдение уровня услуг. Состояния, приостанавливающие часы, и поля приоритета обычно оказываются местами дрейфа. Командам эксплуатации следует регулярно проверять переходы статусов, сообщать об использовании состояний паузы и следить за повторными обращениями и долей повторно открытых рядом со скоростью. Командам на дежурстве следует особо остерегаться показателей, которые награждают за отсутствие вызовов, потому что они наказывают за честное оповещение (см. тему 3.3, Время реагирования на инциденты и их устранения).

Руководство и управление

Руководители задают стимулы, часто того не желая. Вопрос, заданный на обзоре («почему это красное?»), учит команду, что прятать. Руководителям следует спрашивать, чему команда научилась из числа, не пускать в комнату турнирные таблицы, защищать откровенную отчётность и финансировать работу по улучшению, которую вскрывает плохое число. Органам управления следует ожидать реестр метрик и обзор на манипуляции как часть отчётности и считать определённое изменение метрики нормальным.

Клиенты и пользователи

Пользователи ощущают эффект манипуляции как услугу, которая хороша на бумаге и плоха на практике: закрытая заявка, которая не была исправлена, сбой, названный плановым, опрос, который до них не дошёл. Пользователи также лучшее ограждение. Их обратная связь в форме опросов, жалоб и комментариев должна лежать рядом с операционными числами и читаться целиком, а не сводиться к оценке (см. тему 6.1, Метрики удовлетворённости клиентов).

На практике: пример из управления услугами

ИТ-отдел региональной больницы ведёт службу поддержки и несколько продуктовых команд, создающих клинические приложения. Числа в этом примере иллюстративны.

Руководство ставит цель закрывать 90 % инцидентов в согласованное время. Через два месяца панель показывает 94 %. Руководитель эксплуатации доволен, но встревожен, потому что клинический персонал жалуется не меньше, а больше. Она просит команду провести обзор на манипуляции по этой метрике.

Команда схематично рисует жизненный цикл заявки. Выясняется, что заявки переходят в «ожидание клиента» в среднем по два раза и что время в этом состоянии выросло. Выборка из 30 закрытых заявок показывает, что 7 были закрыты с пометкой «нет ответа от пользователя» после одной попытки дозвониться. Они также обнаруживают, что доля повторно открытых остаётся ровной лишь потому, что пользователям говорили «заведите новую заявку», когда проблема возвращалась.

Команда вносит три изменения. Во-первых, график времени решения теперь показывает медиану, 90-й перцентиль и самую старую открытую заявку, а также долю времени, проведённого в состояниях паузы. Во-вторых, на панель добавляется доля повторных обращений, определяемая как доля новых заявок от того же пользователя по той же услуге в течение 14 дней. В-третьих, короткий опрос отправляется случайной выборке закрытых заявок, а его открытые комментарии читаются на ежемесячном обзоре.

Через три месяца заголовочный показатель соответствия падает до 88 %, что похоже на плохую новость. Однако доля повторных обращений снизилась, и комментарии опроса о нерешённых проблемах стали встречаться реже. Руководитель эксплуатации говорит руководству, что прежнее число было завышено, а новая картина честнее, и просит принять цель уровня услуги, основанную на исправленном определении. Решение, записанное в журнале решений, состоит в том, чтобы установить цель после ещё одного квартала данных, а не сразу.

Agile, ИИ, автоматизация и аналитика

Agile

Короткие петли обратной связи позволяют команде заметить манипуляцию рано. Хорошо подходящая практика состоит в том, чтобы на каждом регулярном обзоре читать несколько исходных элементов и сравнивать их с заголовочным числом, когда в комнате присутствуют заинтересованные стороны. Осторожность в том, что петля, награждающая скорость отчётности, сама может стать целью; поэтому держите смысл каждого обзора в обучении.

ИИ

ИИ меняет вид манипуляции. Модель может в больших объёмах производить правдоподобные примечания к решениям, обновления статусов или категории заявок, так что метрику, считающую эти артефакты, можно удовлетворить без какой-либо реальной работы. Парьте каждый счёт, на который влияет ИИ, с выборочной проверкой качества человеком и сообщайте долю вывода ИИ, которую человек изменил. Осторожность в том, что низкая доля правок может означать хорошие черновики или небрежную проверку; поэтому читайте эти два числа вместе.

Автоматизация

Автоматический сбор убирает ручные правки данных, и это закрывает некоторые пути манипуляции. Автоматизируйте ограждение так же, как метрику, чтобы обе были на одной странице. Осторожность в том, что люди тогда начинают искажать входные данные, которые читает автоматизация, например категорию заявки или состояние паузы; поэтому сверяйте определения с выборкой реальных элементов.

Аналитика

Анализ может выявлять манипуляцию по странным распределениям, например по всплеску заявок, закрытых прямо перед отчётным сроком, или по скоплению ровно в целевом значении. Используйте эти шаблоны, чтобы начать разговор, а не как доказательство дурного умысла. Осторожность в том, что любое правило обнаружения становится известным, а затем обходится; поэтому меняйте ограждения и сохраняйте человека в обзоре.

Отраслевой взгляд

Стартап. У небольших команд мало метрик и сильное доверие, и это помогает. Опасность в том, чтобы слишком рано принести большую корпоративную панель. Начните с двух-трёх показателей, которыми основатели действительно пользуются, запишите их определения и держите их вдали от разговоров об индивидуальной результативности.

Малый бизнес. Ресурсы скудны, и человек, отвечающий за ИТ, часто подчиняется напрямую владельцу. Одна жалоба клиента может перевесить любую панель. Держите набор небольшим, отдавайте предпочтение прямой обратной связи от пользователей и относитесь к отчётам от поставщиков с осторожностью, поскольку у поставщика свои стимулы.

Крупная компания. Масштаб умножает и спрос на сопоставимые числа, и давление искажать их. Используйте небольшой стандартный набор с письменными определениями, держите рабочие представления команд отдельно от сводных и избегайте сравнивать команды, работающие над разными видами услуг. Реестр метрик и ритм пересмотра становятся необходимыми.

Государство и публичный сектор. Обязанности по отчётности и контрактные уровни услуг могут делать некоторые цели непреложными. Относитесь к ним как к входным данным проектирования: выполняйте их, показывайте рядом ограждение и сообщайте использованные определения. Публичная подотчётность повышает цену сокрытия плохих новостей; поэтому стройте безопасные внутренние каналы и будьте открыты в отношении исправленных определений (см. тему 8.5, Регулируемая и государственная отчётность).

Бизнес-обоснование: мотивы, ROI и TCO

Стоимость применения этой темы в основном время: несколько часов, чтобы написать определения и реестр, короткий ежеквартальный обзор на манипуляции и время от времени выборочная проверка закрытых элементов. Затраты на инструменты невелики. Большая цена состоит во внимании руководства, потому что дисциплина работает, только если люди, читающие числа, ведут себя последовательно.

Отдача приходит от предотвращённых потерь и лучших решений. Решения, принятые на искажённых данных, могут направить инвестиции не на ту проблему, например наращивать службу поддержки, чтобы закрывать заявки быстрее, когда настоящая проблема в повторных обращениях из-за дефекта. Манипуляция также подтачивает доверие между командой и людьми, которые на неё полагаются, а его трудно восстановить. Описывайте выгоду как закономерность, а не выдуманным процентом: меньше отмен решений, меньше сюрпризов на аудитах и лучшее согласие между операционными числами и пользовательским опытом. Если для бизнес-обоснования нужны цифры, измерьте собственные базовые линии, такие как разрыв восприятия и доля повторных обращений, до и после изменения.

Антипаттерны и ловушки

  • Цели без ограждений. Одинокая цель достигается любым доступным путём. Добавьте парный показатель до объявления цели.
  • Турнирные таблицы людей или команд. Они приглашают к манипуляции и отбивают охоту помогать между командами. Показывайте каждой команде её собственный тренд с контекстом.
  • Метрики как наказание. Красное число, влекущее обвинения, станет зелёным через сокрытие. Спросите вместо этого, что нужно команде.
  • Средние скошенных данных. Они скрывают хвост, где страдают пользователи. Используйте перцентили и возраст самого старого элемента.
  • Тихое изменение определений. Линии трендов теряют смысл. Записывайте каждое изменение с причиной и отмечайте его на графике.
  • Превращение ограждения в новую цель. Тогда искажать начинают ограждение. Пересматривайте обе вместе и меняйте ограждения, когда они теряют силу.
  • Метрики-тщеславие. Счётчики, которые только растут, например обработанные заявки или сделанные коммиты, ничего не говорят о результатах. Предпочитайте показатели, которые могут и падать, и расти.
  • Игнорирование качественных свидетельств. Одни числа не покажут, что закрытая заявка казалась нерешённой. Читайте комментарии.

Модель зрелости

Измерение 1 Инициирование 2 Развитие 3 Стандартизация 4 Управление 5 Оркестрация
Определения и часы Неформально; каждый считает по-своему Записаны для некоторых метрик Одно письменное определение на метрику, с часами и исключениями Определения пересматриваются, изменения записываются с причинами Определения согласованы между командами и поставщиками, пересматриваются, когда перестают информировать решения
Ограждения Нет Названы для некоторых метрик У каждой отчётной метрики есть ограждение на той же странице Ограждения ежеквартально проверяются на манипуляции Ограждения меняются и разрабатываются вместе с измеряемыми людьми
Использование и безопасность Числа используются, чтобы искать виноватых Команда видит свои числа Команда видит данные первой; нет индивидуальных рейтингов Руководство задаёт вопросы для обучения; отчётность безопасна Клиенты и поставщики разделяют откровенный взгляд на числа

Контрольный список

  • У каждой отчётной метрики есть письменный вопрос и решение, которое она информирует.
  • У каждого показателя времени есть письменное правило запуска, остановки и паузы.
  • У каждой отчётной метрики есть названное ограждение, показанное рядом.
  • Показатели времени показывают перцентили и возраст самого старого открытого элемента.
  • Существует реестр метрик с владельцем, определением, вектором манипуляции, ограждением и датой пересмотра.
  • Команда видит свои данные раньше руководства.
  • Никакие индивидуальные рейтинги, оплата или дисциплина не привязаны к метрике.
  • Ежеквартальный обзор на манипуляции стоит в календаре.
  • Выборка закрытых элементов читается на честность каждый квартал.
  • По меньшей мере одна метрика была выведена из обращения или переработана за последний год.

Промпты для ИИ

Проведите обзор метрики на манипуляции.

I lead [team name], which runs [type of service or delivery work]. We report
this metric: [metric name], defined as [definition including where the clock
starts and stops]. It is used by [audience] to [decision or target]. Our data
comes from [tool].

List the realistic ways this metric could be made to look better without
improving the service for users. For each, suggest a guardrail metric or
practice that would reveal it and say what the guardrail's own gaming vector
would be. Do not invent benchmark values. List your assumptions and anything you
could not determine from what I gave you.

Составьте запись реестра метрик.

Draft a metric register entry for [metric name] for [team name]. Fields: question
it answers, decision it informs, definition, formula, unit, data source, owner
role, review cadence, gaming vector, guardrail, and how users or customers
would notice if it were wrong. Base the entry only on this description:
[describe the metric and current process]. Mark every field you had to assume,
and list questions I should answer to complete the entry.

Проверьте выборку закрытых заявок.

Here are [number] closed tickets from [service], with fields [list fields] and
the resolution notes pasted below. Review each for signs that the ticket was
closed without the problem being solved, that a pause state was used to stop
the clock, or that priority or category looks adjusted. Report patterns, not
individuals. Do not guess at causes not supported by the text. Tell me what you
could not judge from the data and what additional fields would help.

[paste tickets, with personal data removed]

Спланируйте безопасное введение метрики.

We plan to introduce [metric] to [audience]. Current context: [team size,
culture, previous experience with metrics]. Propose a rollout plan covering who
sees the data first, how we explain the purpose, what we will not use it for,
which guardrail we show with it, and when we review whether it is working.
Flag risks of gaming or fear and suggest how to reduce them. List your
assumptions and do not invent statistics.

Навыки ИИ

  • Service Management Metrics skill: используйте, чтобы найти тему и парное ограждение для метрики, которую вы собираетесь ввести.
  • Service Management Metrics maintainer skill: используйте, чтобы проверить, что новая тема о метрике несёт вектор манипуляции и ограждение.

Главные выводы

  • Показатель, ставший целью, перестаёт описывать работу; поэтому используйте числа, чтобы задавать вопросы.
  • Манипуляция есть нормальная реакция на давление и страх, и её сокращают изменением условий, а не надзором.
  • Каждой метрике нужны письменное определение с её часами и ограждение, показанное рядом.
  • Предпочитайте перцентили и возраст самого старого элемента средним.
  • Описывайте команды и услуги, не ранжируйте людей и дайте команде увидеть свои данные первой.
  • Проверяйте на манипуляции каждый квартал и выводите из обращения метрики, которые больше не информируют решения.

Источники и дополнительное чтение

  1. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  2. Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
  3. Campbell, D. T., "Assessing the impact of planned social change," Evaluation and Program Planning, 2(1), 1979.
  4. Kerr, S., "On the folly of rewarding A, while hoping for B," Academy of Management Journal, 18(4), 1975.
  5. Choi, J., Hecht, G. W., and Tayler, W. B., "Lost in translation: The effects of incentive compensation on strategy surrogation," The Accounting Review, 87(4), 2012.
  6. Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
  7. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  8. Wikipedia, Закон Гудхарта.
  9. Wikipedia, Закон Кэмпбелла.
  10. Wikipedia, Эффект кобры.
  11. Wikipedia, Извращённый стимул.
  12. Wikipedia, Суррогация.
  13. Wikipedia, ITIL.
  14. Wikipedia, Ключевой показатель эффективности.
  15. Wikipedia, Психологическая безопасность.
  16. Wikipedia, Скорость (разработка программного обеспечения).