Рамки измерения
Рамка измерения есть способ решить, каким числам место на странице, и лучшие из них все начинаются с цели и вопроса; поэтому выбирайте самую лёгкую рамку, которая удерживает каждую метрику привязанной к решению.
Обзор и мотивация
Команда, желающая измерять свою работу, рано сталкивается с проблемой: возможных чисел тысячи, а правила выбора между ними нет. Рамка измерения даёт это правило. Она называет отправную точку (цель, стратегию, горсть критических условий) и описывает путь от этой точки к небольшому набору показателей, которые люди будут читать и по которым будут действовать. Рамки различаются словарём, но разделяют одну цель: удерживать каждое число связанным с причиной его существования.
Эта тема охватывает пять идей, встречающихся почти в каждой организации, которая эксплуатирует услуги. Первая: подход Goal-Question-Metric (GQM, «цель, вопрос, метрика»), разработанный исследователем программной инженерии Виктором Базили с коллегами. Он начинает с цели, задаёт вопросы, которые показали бы, достигается ли цель, и только затем выбирает метрики. Вторая: цели и ключевые результаты (OKR), метод постановки целей, популяризованный в Intel Эндрю Гроувом и позднее в Google Джоном Доерром. Цель говорит, куда команда хочет прийти, а горстка ключевых результатов говорит, как она узнает, что пришла. Третья: сбалансированная система показателей, введённая Робертом Капланом и Дэвидом Нортоном в 1992 году, которая просит организации смотреть вместе на финансовые результаты, клиентов, внутренние процессы, обучение и рост, чтобы ни один взгляд не доминировал.
Четвёртая и пятая идеи старше и проще. Критический фактор успеха (CSF) есть условие, которое должно выполняться, чтобы цель была достигнута, а ключевой показатель эффективности (KPI) есть мера того, насколько хорошо это условие держится. ITIL, рамка управления ИТ-услугами (ITSM), публикуемая Axelos, а позднее PeopleCert, использует именно эту пару. В ITIL 4 (версия, широко используемая по состоянию на октябрь 2026 года) руководство по измерению и отчётности и по непрерывному улучшению велит практикам определять CSF для услуги или практики, а затем выбирать KPI, показывающие прогресс относительно них. Более широкий подход ITIL здесь изложен кратко, а не воспроизведён.
Взгляды Agile и ITIL полезно встречаются в этой области. Практика Agile отдаёт предпочтение коротким циклам обучения: команда формулирует гипотезу, пробует что-то, проверяет результат и корректируется. Практика ITIL отдаёт предпочтение определённым услугам, согласованным уровням услуг и управляемому процессу улучшения. Рамка вроде GQM подходит привычке Agile спрашивать, чему команда хочет научиться. Сбалансированная система показателей подходит потребности ITIL показывать руководителям цельную картину здоровья услуг. OKR стоят между ними, потому что пересматриваются короткими циклами, но пишутся на языке результатов, понятном органам управления.
В этой теме повторяются три термина. Цель есть заявление о намеченном результате для названной аудитории. Вопрос есть то, что вам нужно знать, чтобы сказать, достигается ли цель. Метрика есть определённый способ считать или измерять время чего-либо, помогающий ответить на вопрос. Рамки различаются в обращении с третьим термином, но все настаивают, что он идёт последним, после цели и вопроса. Этот порядок есть самая сильная защита от сбоя, описанного законом Гудхарта (см. тему 1.2, Закон Гудхарта и психология метрик), когда число заменяет цель, для которой было выбрано.
Никакая рамка не исправляет плохой выбор цели, и ни одна не убирает нужду в ограждениях. Относитесь к рамке как к лесам для разговора и ожидайте, что будете менять её по мере изменения работы. KPI в особенности могут превратиться в метрики-тщеславие, счётчики, которые только растут и никогда не информируют решение, например общее число обработанных заявок. Более широкие причины измерять вообще изложены в другом месте (см. тему 1.1, Зачем измерять управление услугами).
Чем различаются рамки
Рамки отвечают на немного разные вопросы, и смешивать их обычно. Используйте таблицу ниже как карту.
| Рамка | Отправная точка | Типичный результат | Лучше всего подходит для | Типичный горизонт |
|---|---|---|---|---|
| Goal-Question-Metric | Конкретная цель для продукта, процесса или услуги | Дерево целей, вопросов и метрик | Проектирования программы измерения для одной команды или услуги | От недель до месяцев |
| OKR | Амбициозная цель на ближайший период | Несколько целей, у каждой измеримые ключевые результаты | Согласования команд по результатам и фокусировки усилий | Квартал |
| Сбалансированная система показателей | Стратегия организации | Цели и показатели в четырёх перспективах | Показа руководителям цельной картины и связи стратегии с операциями | Год |
| CSF и KPI | Услуга, практика или цель | Несколько условий, которые должны выполняться, у каждого индикаторы | Эксплуатации определённой практики ITIL и отчёта о её здоровье | Постоянно, с регулярным пересмотром |
Ключевые принципы
- Начинайте с цели, затем вопрос, затем метрика. О метрике, выбранной первой, нельзя судить, полезна ли она.
- Сделайте аудиторию и решение явными. Каждая цель называет, кому она на пользу, и каждая метрика называет, кто будет по ней действовать.
- Держите набор небольшим. Несколько показателей, которые читают и которым доверяют, лучше длинного списка, который пролистывают.
- Балансируйте взгляд. Парьте скорость с качеством, стоимость с опытом, а краткосрочный выпуск с долгосрочным обучением, чтобы ни одна рамка не награждала одно за счёт другого.
- Относитесь к целевым значениям как к гипотезам. Цель и её числа есть ставка, которая может оказаться неверной; поэтому пересматривайте их по графику и меняйте с записанной причиной.
- Используйте рамки, чтобы описывать команды и услуги, никогда чтобы ранжировать людей. Системы показателей, ключевые результаты и KPI принадлежат команде или услуге.
- Сочетайте рамки намеренно. Скажите, какая рамка владеет каким решением, чтобы одно число не определялось тремя способами.
Определения метрик
Метрики ниже измеряют здоровье рамки в использовании, а не здоровье услуги. Они показывают, остаются ли цели и метрики связанными, и применимы какую бы рамку команда ни выбрала. Счёты ведутся по командам или услугам, никогда по людям.
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Прослеживаемость целей | Доля отчётных метрик, прослеживаемых до письменной цели и вопроса | метрики с записанной целью и вопросом / отчётные метрики | процент | Реестр метрик (см. тему 1.4, Управление метриками и ответственность за них) | Измерение и отчётность; непрерывное улучшение | Цель поставки; цель продукта | Раз в квартал |
| Распределение оценок ключевых результатов | Разброс итоговых оценок ключевых результатов за период, показанный как доля в каждой полосе | ключевые результаты в каждой полосе оценок (например, от 0,0 до 0,3, от 0,4 до 0,6, от 0,7 до 1,0) / ключевые результаты, оценённые за период; исключаются ключевые результаты, снятые с записанной причиной | процент по полосе | Инструмент отслеживания OKR или документ команды | Непрерывное улучшение; управление уровнями услуг | Квартальное планирование; обзор | Раз в квартал |
| Охват перспектив | Доля из четырёх перспектив сбалансированной системы показателей, где есть хотя бы один показатель с актуальным значением | перспективы с показателем, сообщённым за последний период / четыре | процент | Система показателей или панель | Измерение и отчётность; управление системой создания ценности услуг | Обзор заинтересованными сторонами (взгляды клиента и обучения) | Раз в квартал |
| Возраст пересмотра индикатора | Время с последнего пересмотра определения и целевого значения каждого KPI | дата пересмотра минус дата предыдущего пересмотра; часы запускаются при последнем записанном пересмотре и останавливаются в дату отчёта; сообщайте медиану и самый старый | дни | Журнал изменений реестра метрик | Непрерывное улучшение; измерение и отчётность | Действия ретроспективы | Раз в квартал |
| Охват CSF показателями KPI | Доля критических факторов успеха, у которых есть хотя бы один сейчас отчётный KPI | CSF с актуальным KPI / CSF, определённые для услуги или практики | процент | Документация практики или услуги; реестр метрик | Подход CSF и KPI в руководствах по практикам ITIL | Определение готовности; рабочие соглашения | Раз в квартал |
Прослеживаемость целей считает метрику прослеженной, только если записаны и цель, и вопрос и названа аудитория; одной цели недостаточно. Распределение оценок ключевых результатов следует читать как разброс, а не как среднее, потому что среднее прячет и команду, занизившую всё, и команду, провалившую всё. Возраст пересмотра индикатора исключает метрики, выведенные из обращения за период.
Рекомендации
Выбирайте и сочетайте рамки
1. Берите самую маленькую рамку, справляющуюся с задачей. Одной команде услуги с одной проблемой улучшения редко нужна полная сбалансированная система показателей. Часто хватает GQM, потому что у него есть ясная точка остановки: дерево из одной цели, нескольких вопросов и нескольких метрик. Добавляйте структуру, только когда решению она нужна.
2. Записывайте цели в трёх частях: назначение, предмет и точка зрения. Цели GQM традиционно формулируются как улучшение заявленного качества заявленного предмета с заявленной точки зрения, например улучшение ясности обновлений по инцидентам для людей, зависящих от службы поддержки. Структура заставляет сказать, кому это на пользу. Если у цели нет точки зрения, это, вероятно, лозунг.
3. Задавайте вопросы, на которые человек мог бы ответить короткой историей. «Как быстро пользователи получают ответ после сообщения о проблеме?» хороший вопрос, потому что можно представить ответ и свидетельства за ним. «Какова наша результативность?» не такой. Стремитесь к трём-пяти вопросам на цель и ожидайте, что на некоторые ответят интервью или выборки, а не число.
4. Выбирайте метрики последними и выбирайте больше одной. Для каждого вопроса назовите метрики-кандидаты, источник данных и вектор манипуляции (см. тему 1.5, Источники данных и инструментирование). Включите хотя бы одну метрику в напряжении с остальными, например время реагирования рядом с долей повторного открытия. Если у вопроса нет осуществимой метрики, скажите об этом и запланируйте качественную проверку.
5. Решите, какая рамка владеет каким решением. Обычное устройство таково: сбалансированная система показателей или её эквивалент хранит немногие показатели, которые пересматривают руководители, OKR хранят улучшения, выбранные командой на этот квартал, а CSF и KPI описывают текущее здоровье практики. Запишите это устройство в реестр метрик, чтобы у каждого числа было единственное определение и единственный владелец.
Используйте OKR хорошо
6. Записывайте цели как результаты, а ключевые результаты как свидетельства. Цель вроде «Пользователи решают свои проблемы, не гоняясь за нами» есть результат. Ключевой результат вроде «медианное время до полезного первого обновления падает с [текущего значения] до [целевого значения]» есть свидетельство. Ключевые результаты, читающиеся как задачи («запустить новый портал»), суть активности, а не результаты. Если вы не можете сказать, что изменилось бы для пользователя, ключевой результат не закончен.
7. Держите OKR на уровне команд и услуг. Постановка их для отдельных людей склонна превращать их в списки задач и входы для оценки результативности и приглашает манипуляцию, предсказанную законом Гудхарта. Пусть команда пишет свои ключевые результаты открыто, и пусть команды видят чужие. Избегайте каскадов, где каждый уровень обязан пересказать вышестоящий.
8. Относитесь к оценке как к разговору, а не к отметке. Команды, считающие целью идеальную оценку, пишут робкие ключевые результаты. Распределение оценок, скученное наверху, говорит о занижении, а скученное внизу о том, что цели были фантазией. Пересматривайте разброс каждый квартал и спрашивайте, чему команда научилась на каждом промахе.
Используйте системы показателей, CSF и KPI хорошо
9. Определяйте CSF раньше KPI. Критический фактор успеха есть утверждение о том, что должно выполняться, например «пользователи могут найти и использовать нужную статью самообслуживания». KPI затем показывает, выполняется ли это. Начало с KPI приглашает считать то, что легко считать. Для каждого CSF спросите: «если бы это перестало выполняться, как быстро мы бы заметили и по чему?» Ответ и есть KPI.
10. Используйте перспективы системы показателей, чтобы предотвратить однобокий взгляд. Четыре классические перспективы: финансы, клиенты, внутренние процессы, обучение и рост. Организации услуг часто переименовывают их, например стоимость, опыт пользователей, операционное здоровье и способности. Важно, чтобы у каждой перспективы был хотя бы один показатель с актуальным значением и чтобы падение в одной читалось рядом с остальными (см. тему 6.5, Реализация ценности и бизнес-результаты).
11. Связывайте стратегию с показателями простой картой. Стратегическая карта проводит стрелки от способностей к процессам, к клиентам и к финансовым результатам. Она полезна для разговора и плоха как калькулятор. Нарисуйте её, поспорьте о стрелках, а затем выберите несколько показателей. Не пытайтесь сделать диаграмму количественно точной.
12. Пересматривайте рамки по календарю. Заведите квартальный пересмотр, где команда спрашивает о каждой цели, ключевом результате и KPI, важны ли они ещё и толкают ли ещё людей к правильному действию. Выводите то, что больше не служит, и записывайте причину. Метрики, пережившие свои цели, становятся метриками-тщеславием.
Векторы манипуляции и ограждения
| Метрика | Как её искажают | Парная метрика или практика-ограждение |
|---|---|---|
| Прослеживаемость целей | Писать цель и вопрос после того, как метрика уже существует, чтобы запись выглядела полной; расплывчатые цели, оправдывающие любую метрику | Выбирать пять записей в квартал и спрашивать, мог ли вопрос привести к другой метрике; проверять, что названы аудитория и решение |
| Распределение оценок ключевых результатов | Писать лёгкие ключевые результаты, чтобы оценки кучковались около 1,0; щедро переоценивать; снимать идущие плохо ключевые результаты, не записав причину | Число снятых ключевых результатов с причинами; сравнение ключевых результатов с итогами предыдущего периода; обзор медианной амбициозности с руководством |
| Охват перспектив | Добавлять показатель для вида в перспективу, чтобы она считалась охваченной; выбирать показатели, которые не могут двигаться | Проверять, что каждый показатель перспективы менял значение за последний год и имеет приложенное письменное решение |
| Возраст пересмотра индикатора | Записывать пересмотр, не читая индикатор; менять только дату | Требовать письменный исход (оставлен, изменён, выведен) с каждым пересмотром и выборочно проверять журнал |
| Охват CSF показателями KPI | Назначать KPI, не связанный с CSF, чтобы достичь полного охвата; выбирать KPI, который не может выявить сбой | Спрашивать для каждой пары, какое значение показало бы, что CSF нарушается; искать KPI, ни разу не бывшие красными |
Здоровое чтение таково: цели меняются, когда меняется мир, несколько ключевых результатов не достигаются по заявленным причинам, а число отчётных метрик сокращается или держится, а не растёт. Если всё зелёное, оценки кучкуются наверху и никто не может назвать метрику, выведенную в этом году, рамка стала украшением.
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| Goal-Question-Metric | Привязывает каждую метрику к причине; легко объяснить; работает в масштабе команды | Нужна фасилитированная сессия; может стать бумажным упражнением; мало говорит о приоритетах между целями |
| OKR | Фокусирует квартал на нескольких результатах; видны между командами; подходят коротким циклам планирования | Легко писать ключевые результаты как задачи; оценки можно подтасовать; индивидуальные OKR смешиваются с оценкой результативности |
| Сбалансированная система показателей | Даёт руководителям цельный взгляд; связывает стратегию с операциями | Тяжела в поддержке; перспективы могут стать ячейками для заполнения; медленно отражает перемены |
| CSF и KPI | Знакомы в практике ITIL; хорошо подходят для отчёта о работающей услуге | Легко скатиться к KPI-тщеславию; индикаторы устаревают без пересмотра |
| Без рамки | Легко и быстро для очень малой команды | Метрики накапливаются без причины; споры о том, что измерять, повторяются |
| Несколько рамок вместе | Каждое решение получает подходящий инструмент | Дублирующиеся определения; путаница, какое число авторитетно |
Выбирайте вес рамки по ставкам. Небольшой внутренней услуге нужны цель, три вопроса и несколько метрик на одной странице. Услуге, поставляемой по контракту, могут понадобиться KPI, определённые на уровне соглашения об уровне услуг (см. тему 5.1, Метрики SLA, OLA и XLA).
Вопросы для обсуждения в команде
1. Какой цели служит каждая из наших отчётных метрик и кто заметил бы, если бы мы перестали о ней сообщать? Перечислите метрики на доске и запишите рядом с каждой цель. Где цели нет, спросите, кто попросил метрику и зачем. Некоторые окажутся унаследованными от прежнего проекта и могут быть выведены из обращения. Ведущему стоит считать метрику без цели нормальным открытием, а не провалом.
2. Если бы мы могли ответить только на три вопроса о нашей услуге, какими они были бы? Это заставляет ранжировать вопросы раньше метрик. Пусть каждый запишет три, затем сгруппируйте их. Сравните группы с панелью, которая есть у команды сейчас. Разрывы между ними обычно самый полезный итог сессии.
3. Какие из наших ключевых результатов описывают результат для пользователей, а какие работу, которую мы планируем сделать? Прочитайте каждый ключевой результат вслух и спросите, заметил бы пользователь, если бы он был достигнут. Если ответ «нет», перепишите его как результат или перенесите в план. Ведущий может упомянуть, что задачи нормальны, но им место в бэклоге. Закончите договорённостью переписать один ключевой результат в этом квартале.
4. Где четыре перспективы нашей системы показателей расходятся и что это нам говорит? Попросите группу найти недавний период, когда одна перспектива улучшилась, а другая ухудшилась, например стоимость упала, а опыт снизился. Обсудите причину и видел ли кто-нибудь это заранее. Это строит привычку читать показатели вместе. Запишите любую перспективу без показателя и решите, добавить ли его или прямо сказать, что она вне области.
5. Какое значение сказало бы нам, что каждый критический фактор успеха нарушается? Выберите два CSF и назовите KPI, затем спросите, какое значение запустило бы разговор. Если команда не может сказать, KPI не делает свою работу. Ищите KPI, ни разу не менявшие цвет, что обычно говорит о слишком мягком пороге. Ведущему стоит спросить, каким был бы вектор манипуляции для этого KPI.
6. Какая рамка должна владеть каким решением и где мы сейчас определяем одно и то же число дважды? Проследите одну метрику, например время решения инцидентов, через каждый отчёт, где она появляется. Сравните определения. Различия в часах или исключениях обычны и часто объясняют споры между командами. Договоритесь об одном владельце и одном определении и запишите это в реестре.
Четыре точки зрения
Продуктовые команды и команды поставки
Команды поставки встречают рамки в основном как OKR и, если повезёт, GQM. Команда получает больше всего пользы, когда пишет собственные цели и ключевые результаты, связанные с нуждами пользователей, и держит рабочие показатели отдельно от тех, что видят руководители. Команде стоит опасаться ключевых результатов, награждающих выпуск, таких как очки историй или релизы, потому что они приглашают поведение, которое рамки призваны предотвращать (см. тему 1.3, Результаты важнее выпуска: что выбрать для измерения).
Команды услуг и эксплуатации
Команды эксплуатации встречают рамки в основном как CSF и KPI внутри практик ITIL, а также как целевые уровни услуг, согласованные с клиентами. Им полезно определять CSF простым языком до выбора KPI, сообщать перцентили для показателей времени и держать показатели надёжности, такие как индикаторы и цели уровня услуг, рядом с опытом пользователей (см. тему 5.2, SLI, SLO и бюджеты ошибок). Им следует также сопротивляться соблазну сохранять KPI, заданные годы назад и больше не связанные с тем, как используется услуга.
Руководство и управление
Руководители выбирают рамки, обычно прося систему показателей или OKR, и то, что они делают с числами, решает, как рамки себя ведут. Руководитель, наказывающий за пропущенный ключевой результат, учит команды писать лёгкие. Руководитель, спрашивающий, чему команда научилась, учит их писать честные. Органам управления следует ожидать реестр метрик, небольшое число отчётных показателей и регулярный пересмотр того, работает ли сама рамка (см. тему 11.4, Модель зрелости для программ метрик).
Клиенты и пользователи
Клиенты и пользователи редко видят рамку, только её последствия. Хорошо спроектированная проявляется как услуги, улучшающиеся так, как они просили, и честная отчётность о том, что не улучшилось. Плохая проявляется как зелёные отчёты, не совпадающие с опытом. Включайте точку зрения пользователя в каждую цель и позволяйте обратной связи пользователей находиться в клиентской перспективе системы показателей рядом с операционными числами (см. тему 6.2, Соглашения об уровне опыта).
На практике: пример из управления услугами
Интернет-магазин среднего размера держит платформу поддержки клиентов и портал самообслуживания с несколькими продуктовыми командами и небольшой группой эксплуатации услуг. Все числа иллюстративны.
Руководство просит сбалансированную систему показателей и отдельно квартальные OKR. За квартал у команды набирается 31 отчётный показатель, и никто не может сказать, зачем половина из них существует. Владелец услуги проводит полудневную сессию с GQM по одной цели: «Улучшить ясность помощи для клиентов, которые не могут завершить платёж, с точки зрения клиента».
Сессия порождает четыре вопроса. Находят ли клиенты нужную справочную статью? Нужно ли им обращаться в поддержку после её прочтения? Сколько времени занимает решение проблемы с платежом, когда они всё-таки обращаются в поддержку? Чувствуют ли они, что ответ был ясным? Из 31 показателя девять сопоставляются этим вопросам. Нужны три новых: успешность поиска статьи, доля обращений после просмотра статьи и опрос из одного вопроса после решения. Остальные 22 помечены к выводу из обращения с согласия владельца.
OKR на квартал записан как результат. Цель: «Клиенты решают проблемы с платежами, не гоняясь за нами». Три ключевых результата: медианное и 90-й перцентиль времени до решения, доля обращений после просмотра статьи и результат опроса по ясности. Система показателей оставляет клиентскую перспективу указывающей на те же показатели, так что определение одно, а не два.
В середине квартала появляется риск манипуляции. Доля обращений после просмотра статьи резко падает, что выглядит как успех. Рецензент выбирает 20 сеансов и обнаруживает, что редизайн перенёс ссылку «связаться с нами» на три экрана глубже. Меньше людей доходит до поддержки, а опрос показывает более низкие оценки ясности. Команда добавляет отказ от поиска и комментарии опроса как ограждения и возвращает ссылку.
В конце квартала оценки ключевых результатов составляют 0,6, 0,8 и 0,5, и команда представляет их как есть. Руководство спрашивает, чему команда научилась, а не почему оценки не выше. Решение, записанное в журнале решений, состоит в том, чтобы сохранить цель на второй квартал, заменить долю обращений долей клиентов, решающих проблему с первого визита, и вывести ещё шесть показателей системы.
Agile, ИИ, автоматизация и аналитика
Agile
Цели и вопросы следует пересматривать по мере обучения команды; поэтому выбирайте рамку, достаточно лёгкую, чтобы править её на регулярных обзорах улучшений с заинтересованными сторонами. Практический подход состоит в том, чтобы записать цель, вопрос и два-три индикатора на одной странице и часто её пересматривать. Осторожность в том, что рамка, используемая как разовое упражнение по проектированию, устаревает, а панель дрейфует от целей.
ИИ
Добавляйте ИИ в рамку явно: какой цели служит практика с помощью ИИ, на какой вопрос отвечает её показатель и какой показатель качества с ним спарен. Согласование со словарём управления, таким как NIST AI Risk Management Framework, может помочь, но проверьте, что говорит текущий текст, прежде чем ссылаться на него. Осторожность в том, что рамка, измеряющая только внедрение ИИ, будет награждать использование ради самого использования.
Автоматизация
Используйте автоматизацию, чтобы поддерживать актуальной прослеживаемость от цели до индикатора, например помечая индикаторы без связанной цели. Включайте автоматизацию в рамку как то, что надо измерять по результатам и сбоям. Осторожность в том, что рамка может стать большим автоматическим отчётом, который никто не читает.
Аналитика
Выбирайте индикаторы, которые данные могут поддержать, и говорите, какое решение каждый информирует. Когда применимо несколько рамок, например цели и ключевые результаты, сбалансированная система показателей и критические факторы успеха ITIL, сопоставьте их с единым набором вместо того, чтобы вести три. Осторожность в том, что рамка не исправит плохие данные; поэтому сочетайте выбор индикаторов с проверками качества данных из темы 1.5, Источники данных и инструментирование.
Отраслевой взгляд
Стартап. Стартапу обычно нужны цель, три вопроса и горсть метрик на одной странице. OKR распространены и хорошо работают, когда их пишет команда, которая будет делать работу. Сопротивляйтесь добавлению системы показателей, пока её не потребуют инвесторы или клиенты.
Малый бизнес. Ресурсов мало, поэтому выберите одну рамку и используйте её легко. Часто хватает CSF и KPI, написанных для двух-трёх вещей, в которых бизнес не может позволить себе ошибиться. Предпочитайте прямую обратную связь от клиентов изощрённой оценке.
Крупная компания. Обычно сосуществует несколько рамок, из-за чего главной задачей становится владение определениями. Ведите реестр, назначайте, какая рамка хранит какое число, и проводите ежегодный пересмотр всего устройства. Остерегайтесь каскадов, заставляющих каждую команду пересказывать корпоративные цели своими словами.
Государство и публичный сектор. Обязательная отчётность и договорные уровни услуг действуют как фиксированные KPI. Принимайте их как данность и используйте GQM или OKR для работы по улучшению вокруг них. Общественная подотчётность повышает ставки вводящего в заблуждение числа; поэтому публикуйте определения и открыто сообщайте об изменениях (см. тему 8.5, Регулируемая и государственная отчётность).
Бизнес-обоснование: мотивы, ROI и TCO
Стоимость рамки в основном состоит из времени: фасилитированная сессия по проектированию показателей, короткий квартальный пересмотр и ведение реестра. Программы для OKR или систем показателей существуют, но в малом масштабе часто хватает документа или электронной таблицы. Большая цена есть внимание руководства, поскольку рамка, которой руководители не пользуются, становится отчётностью ради отчётности.
Отдача идёт от меньшего числа лучших показателей. Команды, которые могут сказать, зачем существует каждое число, тратят меньше времени на отчёты, которые никто не читает, меньше спорят об определениях и раньше замечают, что показатель перестал информировать решения. Вместо того чтобы цитировать цифру, измерьте собственные базовые линии: число отчётных метрик, долю с записанной целью и время на подготовку регулярных отчётов до и после внедрения рамки. Более полное рассмотрение возврата инвестиций находится в другом месте (см. тему 7.7, Возврат инвестиций и бизнес-обоснование).
Антипаттерны и ловушки
- Метрики раньше целей. Начало с имеющихся данных даёт панель того, что легко считать. Сначала запишите цель и вопрос, затем смотрите, какие данные подходят.
- OKR как списки задач. Ключевые результаты, называющие активности, делают каждый квартал занятым на вид и ничего не говорят о результатах. Перепишите каждый как свидетельство, которое заметил бы пользователь.
- OKR и системы показателей как индивидуальные цели. Они приглашают манипуляцию и отбивают помощь между людьми. Держите их на уровне команд и услуг.
- Система показателей с пустыми или формальными перспективами. Заполнение каждой ячейки чем-нибудь не то же самое, что видеть целое. Требуйте актуальное значение и решение для каждой.
- KPI, которые никогда не меняются. Если индикатор годами зелёный, его порог, вероятно, неверен или он измеряет то, что не может дать сбой. Спросите, какое значение показало бы проблему, затем сбросьте порог.
- Рамки, сложенные без владельца. Три рамки, определяющие один показатель тремя способами, порождают споры. Назовите владельца и единое определение.
- Награждение оценки. Если идеальная оценка OKR приносит похвалу или деньги, команды будут писать лёгкие ключевые результаты. Награждайте честное обучение и хорошие вопросы.
- Рамка как церемония. День семинаров, дающий заламинированный плакат, ничего не меняет. Держите результат в реестре и пересматривайте его по календарю.
Модель зрелости
| Измерение | 1 Инициирование | 2 Развитие | 3 Стандартизация | 4 Управление | 5 Оркестрация |
|---|---|---|---|---|---|
| Цели и вопросы | Метрики выбираются потому, что есть данные | Некоторые команды пишут цели до метрик | Общий формат цели и вопроса; каждая отчётная метрика прослеживается до одной | Прослеживаемость пересматривается, а пробелы ведут к финансируемой работе | Цели пишутся совместно с клиентами и поставщиками и пересматриваются по мере изменения условий |
| Использование рамок | Ситуативно; рамка не названа | Команды принимают разные рамки с разным словарём | Письменное устройство говорит, какая рамка владеет каким решением | Итоги рамок пересматриваются, неиспользуемые части отбрасываются | Рамки согласованы между командами и поставщиками с единым набором определений |
| Индикаторы и оценка | KPI задаются раз и не пересматриваются | У некоторых KPI есть владельцы и пороги | У KPI и ключевых результатов есть владельцы, определения и ограждения | Оценки и индикаторы отслеживаются во времени и каждый квартал проверяются на манипуляцию | Индикаторы выводятся и заменяются рутинно, изменения связаны с результатами |
| Использование в решениях | Отчёты производятся и игнорируются | Руководители просят числа, когда что-то идёт не так | Пересмотры записывают решения, на которые повлияли числа | Вопросы об обучении стандартны; пропущенные цели обсуждаются без обвинений | Планирование улучшений между командами использует одни и те же общие цели и показатели |
Контрольный список
- Каждая отчётная метрика прослеживается до письменной цели, вопроса и названной аудитории.
- Реестр метрик фиксирует, какая рамка владеет каждой метрикой и её единственным определением.
- Цели записаны с назначением, предметом и точкой зрения.
- Каждый ключевой результат описывает результат, который кто-то заметил бы, а не задачу.
- OKR, показатели системы и KPI принадлежат командам или услугам, а не людям.
- У каждого критического фактора успеха есть хотя бы один актуальный KPI и заявленное значение, которое показало бы нарушение.
- У каждой перспективы системы показателей есть показатель с актуальным значением.
- У каждой метрики есть названные вектор манипуляции и ограждение.
- Квартальный пересмотр спрашивает, важны ли ещё каждая цель, ключевой результат и KPI.
- Хотя бы одна метрика или индикатор был выведен или переработан за последний год с записанной причиной.
Промпты для ИИ
Превратите цель в вопросы и метрики-кандидаты.
Our team is [team name], which runs [type of service or delivery work] for
[audience]. Our goal is: [goal stated as purpose, subject, and viewpoint]. Using
the Goal-Question-Metric approach, propose three to five questions that would
show whether we are meeting this goal. For each question, suggest candidate
metrics we could define, the kind of data source we would need, the likely
gaming vector, and a guardrail. Do not invent benchmark values or statistics.
List your assumptions and anything you could not determine from what I gave you.
Проверьте черновые OKR.
Here are our draft objectives and key results for [period]: [paste OKRs]. Our
team is [team name] and our users are [audience]. Review each key result and
tell me whether it describes an outcome or an activity, whether it could be met
without helping users, and what guardrail would show that. Suggest rewrites
where needed, using [placeholders] for any numbers we must supply ourselves.
Do not invent targets or benchmark values. List your assumptions and questions I
should answer.
Сопоставьте критические факторы успеха с KPI.
For the ITIL practice [practice name] in our organization, which serves
[audience], here are the critical success factors we have drafted: [list CSFs].
Propose KPIs for each that could be collected from [data sources]. For each KPI,
state where the clock starts and stops if it is a time measure, what reading
would show the factor is failing, and how it might be gamed. Do not state
benchmark values or compliance claims. List your assumptions.
Проверьте систему показателей на баланс.
Our scorecard has these measures, grouped by perspective: [paste measures by
perspective]. We are [type of organization]. Identify perspectives that are
thin, measures that appear to duplicate each other, and measures that could
move in a way that hides a problem in another perspective. Suggest guardrails
and measures to retire. Do not invent figures or sources. List your
assumptions and what you could not judge from the data I gave you.
Навыки ИИ
- Service Management Metrics skill: используйте, чтобы найти, какая тема владеет метрикой и её парным ограждением, прежде чем поместить её в рамку.
- Service Management Metrics maintainer skill: используйте, чтобы проверить, что запись метрики на основе рамки несёт определение, вектор манипуляции и ограждение.
Главные выводы
- Рамка решает, какие метрики заслуживают места, и общее правило состоит в том, чтобы начинать с цели и вопроса, а затем выбирать метрику.
- Goal-Question-Metric подходит для проектирования показателей одной команды, OKR для фокусировки квартала, системы показателей для цельного взгляда руководства, а CSF с KPI для эксплуатации практики ITIL.
- Используйте самую лёгкую работающую рамку и говорите, какая из них владеет каким числом.
- Любую рамку можно подтасовать; поэтому парьте каждую метрику с ограждением и пересматривайте набор по календарю.
- Держите рамки на уровне команд и услуг, никогда как индивидуальные цели.
- Выводите цели, ключевые результаты и индикаторы, которые больше не информируют решения.
Источники и дополнительное чтение
- Basili, V. R., Caldiera, G., and Rombach, H. D., "The Goal Question Metric Approach," in Encyclopedia of Software Engineering, Wiley, 1994.
- Kaplan, R. S., and Norton, D. P., "The Balanced Scorecard: Measures That Drive Performance," Harvard Business Review, January-February 1992.
- Kaplan, R. S., and Norton, D. P., The Balanced Scorecard: Translating Strategy into Action, Harvard Business School Press, 1996.
- Doerr, J., Measure What Matters: How Google, Bono, and the Gates Foundation Rock the World with OKRs, Portfolio, 2018.
- Grove, A. S., High Output Management, Random House, 1983.
- Rockart, J. F., "Chief Executives Define Their Own Data Needs," Harvard Business Review, March-April 1979.
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly, 2016.
- Axelos, ITIL Foundation: ITIL 4 Edition, TSO, 2019. Summarized, not reproduced.
- Wikipedia, Виктор Базили.
- Wikipedia, OKR.
- Wikipedia, Сбалансированная система показателей.
- Wikipedia, Критический фактор успеха.
- Wikipedia, Ключевой показатель эффективности.
- Wikipedia, ITIL.
- Wikipedia, Метрика-тщеславие.
- Wikipedia, Стратегическая карта.