Управление метриками и ответственность за них
Метрика, у которой нет владельца и которую никто не определяет, не пересматривает и не выводит из обращения, отдрейфует от работы, которую описывает; поэтому дайте каждой отчётной метрике названного владельца, письменное определение, дату пересмотра и выход.
Обзор и мотивация
Управление метриками есть набор лёгких решений о том, кто владеет показателем, что он значит, кто может его видеть, как часто он пересматривается и когда удаляется. Это близкий родственник управления данными, охватывающего более широкое управление доступностью, качеством и безопасностью данных в организации. Управление метриками применяет ту же дисциплину к небольшому, хорошо заметному набору чисел, которыми команды и руководители рулят работой над услугами и поставкой.
Потребность проявляется как мелкие повторяющиеся трения. Две команды по-разному считают «время решения» и тратят совещание на сверку цифр. Плитка на панели месяцами стоит неактуальной, потому что человек, который её построил, сменил работу. Показатель, созданный, чтобы помочь одной команде диагностировать свой поток, принимает управляющий комитет как целевой показатель результативности, а именно такой случай предупреждается в предыдущей теме (см. тему 1.2, Закон Гудхарта и психология метрик). Ни одно из этого не является статистической проблемой. Каждое есть проблема владения, и каждое дёшево предотвратить.
Взгляды Agile и ITIL расходятся в акцентах, и эта разница полезна. С точки зрения Agile, команда владеет своими рабочими показателями и согласует их на ретроспективах, в рабочих соглашениях и обзорах. Взгляд ITIL, как он документирован в ITIL 4 (издание 2019 года от AXELOS, ныне публикуемое PeopleCert), рассматривает измерение и отчётность как общую практику управления, а непрерывное улучшение как практику со своими ролями, записями и обзором. ITIL ожидает также, что владельцы услуг и владельцы практик отвечают за результаты. Оба взгляда складываются вместе: команда владеет рабочим представлением, названный владелец услуги или практики владеет отчётным представлением, а небольшой реестр связывает их.
Несколько используемых здесь терминов. Владелец метрики есть один ответственный человек за определение метрики, качество данных и использование. Реестр метрик есть короткий каталог используемых метрик с владельцем, определением, источником данных, ограждением и датой пересмотра каждой. Хартия метрик есть одностраничное заявление о цели, области, ролях и периодичности пересмотра для набора метрик. Единый источник истины есть единственная авторитетная система или набор данных, из которых вычисляется данная цифра. Распорядитель данных (data steward) следит за качеством и определением области данных, и в малой организации эту роль часто играет владелец метрики. Матрица RACI фиксирует, кто отвечает, кто подотчётен, с кем консультируются и кого информируют по каждой деятельности. Словарь данных есть каталог элементов данных и их значений, и именно им становится столбец определений реестра при большем масштабе. Принцип наименьших привилегий гласит, что люди и системы получают доступ, нужный для их задачи, и не больше. Непрерывное улучшение есть постоянное усилие по улучшению услуг, практик и способов работы, и оно является и практикой ITIL, и привычкой Agile. SLA означает соглашение об уровне услуг, а ITSM означает управление ИТ-услугами.
Ключевые принципы
- У каждой отчётной метрики один названный владелец. Роль или человек, никогда не «команда». Разделённое владение оставляет определение без присмотра.
- Одно определение, один источник истины. Запишите определение один раз, включая то, где часы запускаются и останавливаются, и вычисляйте цифру в одном месте.
- Управляйте соразмерно последствиям. Метрике, которой команда пользуется, чтобы отладить собственную доску, хватает одной фразы. Метрике в контракте, публичном отчёте или пакете для совета нужны запись в хартии, обзор и след аудита.
- Доступ следует цели. Решите, кто какое представление видит и почему. Аудитория по умолчанию для рабочего представления команды сама команда.
- Пересматривайте по графику и выводите из обращения по свидетельствам. У метрик есть жизненный цикл. Принимайте, пересматривайте, переделывайте и выводите их осознанно.
- Записывайте и держите небольшим. Реестр, умещающийся на странице, читают. Руководство по политике не читают.
- Управление служит измеряемым людям. Владельцы метрики включают людей, чью работу она описывает.
Определения метрик
Это показатели здоровья практики метрик, а не услуги. Их намеренно немного, и их дёшево собрать из самого реестра. Каждый период есть календарный квартал, если не указано иное.
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Охват владельцами | Доля отчётных метрик с названным, актуальным владельцем | отчётные метрики с владельцем, который всё ещё занимает роль на конец периода / отчётные метрики на конец периода; исключаются метрики, используемые только на частной доске одной команды | процент | Реестр метрик | Измерение и отчётность | Рабочие соглашения | Раз в квартал |
| Актуальность определений | Доля отчётных метрик, определение которых было пересмотрено в согласованный интервал | метрики с датой пересмотра за последние 6 месяцев / отчётные метрики; часы запускаются при последнем записанном пересмотре и останавливаются в конце периода | процент | Журнал изменений реестра метрик | Измерение и отчётность; непрерывное улучшение | Действия ретроспективы | Раз в квартал |
| Соответствие источнику | Доля отчётных метрик, вычисляемых ровно из одного названного источника | метрики с одним авторитетным источником и без известного параллельного расчёта / отчётные метрики; параллельные расчёты находят выборочной проверкой панелей и отчётов | процент | Реестр плюс выборка панелей и отчётов | Измерение и отчётность; управление уровнями услуг | Определение готовности метрики | Раз в квартал |
| Доля выведенных метрик | Число метрик, выведенных из обращения или объединённых за период, относительно отчётных | метрики, выведенные или объединённые за период / отчётные метрики на начало периода; метрика, перенесённая в частное представление команды, считается выведенной из отчётного набора | процент | Журнал изменений реестра метрик | Непрерывное улучшение | Действия ретроспективы | Раз в квартал |
| Актуальность проверки доступа | Доля ограниченных представлений метрик, список аудитории которых был проверен в течение интервала | ограниченные представления с проверкой аудитории за последние 6 месяцев / ограниченные представления; представления, открытые всей организации, исключаются | процент | Список доступа или выгрузка прав в инструменте BI | Управление информационной безопасностью; измерение и отчётность | Рабочие соглашения | Раз в полгода |
| Связь с решениями | Доля отчётных метрик, связанных в реестре с решением, которое они информируют | метрики с записанным решением или вопросом / отчётные метрики; связь засчитывается, только если решение принято за последние 12 месяцев | процент | Реестр метрик и журнал решений | Непрерывное улучшение | Обзор заинтересованными сторонами и результаты улучшений | Раз в квартал |
Ни одна из них не является целью. Реестр может показывать полный охват владельцами и всё же описывать бесполезные метрики; поэтому читайте эту таблицу вместе с таблицей манипуляций ниже.
Рекомендации
Установите владение и реестр
1. Ведите одностраничный реестр метрик. Перечислите каждую отчётную метрику с её вопросом, владельцем, определением, формулой и часами, единицей, источником данных, аудиторией, ограждением, датой последнего пересмотра и датой запланированного пересмотра. Достаточно электронной таблицы или файла Markdown под контролем версий. Реестр есть самый полезный артефакт этой темы, и предыдущая тема уже предполагает, что он существует (см. тему 1.2, Закон Гудхарта и психология метрик).
2. Назовите одного владельца на метрику и запишите роль. Владелец отвечает за определение, качество данных и объяснение странных результатов. Выберите кого-то близкого к данным и решениям, часто это владелец услуги, владелец практики или руководитель команды. Записывайте роль, а не только человека, чтобы запись пережила смену работы, а вакансия проявилась в цифре охвата.
3. Отделяйте владение метрикой от владения работой, которую она измеряет. Владелец метрики объясняет и поддерживает её, но команда, делающая работу, остаётся ответственной за результат. Так избегаются две ловушки: владелец, которого винят за число, на которое он не может повлиять, и команда, которая отрекается от числа, потому что его поддерживает кто-то другой. Короткая таблица RACI в хартии делает это явным.
4. Запишите определение с его часами один раз. Реестр хранит авторитетное определение: что считается, где часы запускаются и останавливаются, какие состояния их приостанавливают и что исключено. Ссылайтесь на него с каждой панели, показывающей метрику. Когда определение нужно изменить, сначала измените его в реестре и отметьте изменение на графике (о том, как показать разрыв в тренде, см. тему 1.6, Статистическая грамотность для метрик услуг).
5. Вычисляйте каждую метрику в одном месте. Выберите авторитетный источник, такой как инструмент ITSM, трекер задач или система мониторинга, и скажите об этом в реестре. Параллельные электронные таблицы, воспроизводящие цифру, следует либо вывести из обращения, либо переименовать, чтобы никто не принял их за официальное число. Происхождение данных и инструменты принадлежат следующей теме (см. тему 1.5, Источники данных и инструментирование).
Задайте периодичность и контроль изменений
6. Пересматривайте определения по графику, соответствующему последствиям. Для метрик в контрактах, регулируемых отчётах или пакетах для руководства пересматривайте дважды в год и при любом изменении лежащего в основе рабочего процесса. Для рабочих показателей уровня команды ретроспектива и есть пересмотр. Каждый пересмотр задаёт три вопроса: верно ли ещё определение, надёжны ли ещё данные и пользовался ли кто-нибудь числом, чтобы что-то решить?
7. Относитесь к изменениям определений как к изменениям услуги. Записывайте, кто запросил изменение, зачем, с кем консультировались и дату вступления в силу. Небольшое изменение в рабочем процессе статусов может незаметно сильно сдвинуть показатель времени. Лёгкий контроль изменений определений заимствует идею управления изменениями без церемоний (о двойнике изменения услуги см. тему 4.3, Метрики управления изменениями).
8. Привяжите пересмотр к непрерывному улучшению. Пересмотры метрик должны давать работу по улучшению либо явное решение не действовать. ITIL рассматривает непрерывное улучшение как практику с реестром возможностей улучшения, а команды Agile достигают того же эффекта через действия ретроспективы. Если пересмотр заканчивается без действия и без вывода из обращения, спросите, делает ли метрика хоть какую-нибудь работу (см. тему 9.5, Метрики непрерывного улучшения).
9. Выводите метрики из обращения осознанно. Определите проверку на вывод, например «не упоминалась в решении два цикла пересмотра», и применяйте её. Архивируйте определение и конечные значения, скажите, что заменило метрику, если что-то заменило, и сообщите аудитории. Журнал выведенных метрик есть свидетельство для аудиторов и облегчение для людей, вручную поддерживавших данные.
Управляйте представлениями и доступом
10. Решите аудиторию для каждого представления. У большинства метрик есть рабочее представление для команды, отчётное представление для владельца услуги или программы, а иногда и внешнее представление для клиентов, регулятора или поставщика. Записывайте, какая аудитория получает какое представление и почему. Ориентируясь на принцип наименьших привилегий, ограничивайте представления, содержащие персональные данные, детали безопасности или коммерчески чувствительные цифры поставщиков, а остальное оставляйте открытым, чтобы прозрачность была значением по умолчанию.
11. Держите данные уровня отдельных людей вне отчётности. Жёсткое правило этой книги в том, что метрики описывают команды, услуги и системы, а не людей. Управление подкрепляет это, задавая отчётную зернистость, например команда и услуга, и ограничивая любую выгрузку на уровне человека распорядителем данных. Если приходит запрос на разбивку по людям, запишите его, спросите, какому решению он служит, и предложите альтернативу на уровне команды или системы (см. тему 11.3, Внедрение метрик без создания страха).
Векторы манипуляции и ограждения
| Метрика | Как её искажают | Парная метрика или практика-ограждение |
|---|---|---|
| Охват владельцами | Назвать владельцем менеджера или список рассылки, чтобы достичь 100 %, при том что нет никого, кто может объяснить или изменить метрику | Просить каждого владельца объяснить одно недавнее движение числа; отслеживать вопросы, оставшиеся без ответа более недели |
| Актуальность определений | Менять дату пересмотра, не читая определения | Выбирать три записи в квартал и сверять письменное определение с реальной настройкой инструмента |
| Соответствие источнику | Объявлять источник авторитетным, пока электронные таблицы продолжают ходить и расходиться | Считать различные цифры для одной и той же метрики в выборке отчётов; сверять различия на пересмотре |
| Доля выведенных метрик | Выводить тривиальные или неиспользуемые метрики, чтобы выглядеть дисциплинированно, или переименовывать метрику, чтобы она считалась новой | Проверять журнал выведенных метрик на то, что было убрано; отслеживать общее число отчётных метрик и цифру связи с решениями рядом |
| Актуальность проверки доступа | Утверждать существующий список аудитории, не читая его | Сравнивать список с текущим составом команд и ролями; сообщать число найденных удалений |
| Связь с решениями | Писать расплывчатое решение вроде «улучшить сервис», чтобы удовлетворить поле | Требовать датированное решение или вопрос и выборочно проверять журнал решений на то, обращались ли к метрике на самом деле |
Здоровое чтение выглядит как реестр, который меняется. У записей есть владельцы, отвечающие на вопросы, даты пересмотра приходятся на последние полгода, есть журнал выведенных метрик с причинами и короткий список метрик, которые по-прежнему нужны, потому что люди могут назвать решение, которое те информируют. Реестр с заполненными полями, где ничто никогда не меняется, есть тревожный признак.
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| Центральный офис метрик | Согласованные определения и общие инструменты; проще аудит | Медленный, далёк от работы и склонен стандартизировать показатели, которые должны различаться между командами |
| Федеративное владение с общим реестром | Владельцы сидят близко к данным; реестр сохраняет общий минимум | Нужна постоянная поддержка, чтобы качество не дрейфовало между командами |
| Только показатели, принадлежащие командам | Быстро и подходит работе | Определения расходятся; сводные данные становятся ненадёжными; знания уходят с людьми |
| Открытый доступ по умолчанию | Строит доверие и общее понимание | Риск раскрытия чувствительных деталей или деталей уровня человека |
| Ограниченный доступ | Защищает чувствительные данные | Прячет контекст от людей, которые могли бы помочь, и приглашает подозрения |
Баланс состоит в том, чтобы централизовать тонкий слой, который должен совпадать, то есть реестр, общие определения и правила доступа, а всё остальное федерализовать.
Вопросы для обсуждения в команде
1. Кто ответил бы, если бы самое цитируемое число на нашей панели завтра выглядело неверным? Попросите группу назвать человека, а не группу. Если называется несколько имён или ни одного, у метрики на практике нет владельца. Ведущему стоит записать метрику, кандидата в владельцы и то, что владельцу понадобилось бы для работы, например доступ на чтение данных или время на пересмотре. Закончите договорённостью о том, кто подтвердит владельца и запишет роль в реестр.
2. Где сегодня существуют две версии одной и той же цифры? Ищите отчёты, показывающие одну и ту же метрику с разными значениями: еженедельный слайд против живой панели или отчёт поставщика против внутреннего. Для каждого спросите, откуда возникает разница, например область, часы или исключения. Решите, какой источник авторитетен и что происходит с другой версией. Ожидайте, что разговор обнаружит разные рабочие определения слов, которые все считали общими.
3. Какую метрику мы вывели бы из обращения в этом квартале, если бы пришлось вывести одну? Начните с метрики, на которую никто недавно не ссылался в решениях. Спросите, что случилось бы, если бы она исчезла, и кто бы заметил. Если ответ «никто», переместите её из отчётного набора на пробный период. Ведущему стоит относиться к выводу из обращения как к нормальному и здоровому, и записать итог в журнал выведенных метрик.
4. Кто видит какие из наших метрик, и сделано ли это намеренно? Нарисуйте простую сетку метрик против аудиторий: команда, владелец услуги, руководство, клиенты, поставщики, регуляторы. Отметьте, где доступ был решением, а где просто так сложилось. Поищите любое представление, которое можно использовать для сравнения людей. Договоритесь об изменении хотя бы одного списка аудитории и о том, кто проверит его в следующий раз.
5. Как нам менять определение, не ломая тренд? Пройдите по недавнему изменению рабочего процесса статусов или шкалы приоритетов. Спросите, кого предупредили, аннотирован ли график и сравнивал ли кто-нибудь старые и новые значения. Составьте лёгкую запись об изменении, которую команда действительно заполнила бы. Договоритесь, кто утверждает изменения метрик, фигурирующих в контрактах или внешних отчётах.
6. От чего мы отказались бы, если бы управление стало бременем? Управление может превратиться в ритуал. Спросите, какие части нынешнего подхода люди пропустили бы, если бы никто не проверял, и почему. Относитесь к ответам как к обратной связи по проекту, а не как к сопротивлению. Ведущему стоит искать шаги, дублирующие друг друга, поля, которые никто не читает, и пересмотры, которые никогда не дают решения.
Четыре точки зрения
Продуктовые команды и команды поставки
Команды поставки владеют рабочими показателями, такими как возраст рабочего элемента и время цикла, и им следует согласовывать определения в рабочих соглашениях. Когда метрика поднимается в отчёт портфеля, команда должна знать владельца, определение и аудиторию. Команды получают больше всего пользы от короткой записи реестра для каждого отчётного показателя и от права оспорить определение, которое больше не подходит тому, как течёт работа (см. тему 2.1, Показатели потока).
Команды услуг и эксплуатации
Команды услуг и эксплуатации несут метрики, которые появляются в SLA и операционных обзорах, поэтому определения, часы и исключения имеют договорный вес. Владельцами здесь обычно служат владельцы услуг и владельцы практик. Им следует хранить след свидетельств об изменениях определений, регулярно сверять отчётные цифры с инструментом ITSM и первыми выводить из обращения показатель, перестающий информировать операционные решения (см. тему 5.1, Метрики SLA, OLA и XLA).
Руководство и управление
Руководители создают условия: кто владеет метриками, какие представления попадают в пакет для руководства и как используются числа. Им следует запрашивать реестр и журнал выведенных метрик, читать определения за заголовочными цифрами и сопротивляться просьбам о турнирных таблицах на уровне людей. Органам управления нужен небольшой постоянный пункт повестки, который пересматривает реестр и записывает решения в соответствии с ожиданиями ISO/IEC 20000-1 к системам управления услугами (по состоянию на издание 2018 года), не превращая пересмотр в упражнение на соответствие (см. тему 8.3, Метрики соответствия и аудита).
Клиенты и пользователи
Клиенты и пользователи редко видят реестр, но ощущают его отсутствие, когда цифра в обзоре услуги расходится с их опытом. Там, где метрика фигурирует в отчёте для клиентов или в SLA, определение должно быть доступно простым языком, включая то, что исключено. У клиентов должен быть путь оспорить цифру, и владелец должен ответить (см. тему 5.1, Метрики SLA, OLA и XLA).
На практике: пример из управления услугами
Интернет-магазин среднего размера держит службу поддержки, три продуктовые команды и группу эксплуатации. Все числа ниже иллюстративны.
Ежемесячный обзор услуг показывает медианное время решения инцидентов 5,1 часа. Собственная панель продуктовых команд, построенная из того же инструмента ITSM, показывает 6,4 часа. Эти две цифры ходят уже год. Новый владелец услуги спрашивает, кто владеет метрикой, и получает три разных ответа.
Владелец вместе с руководителями команд и распорядителем данных тратит две сессии на первый реестр из 14 отчётных метрик. Из них у 5 не было владельца, а у 4 было по два источника. Время решения входит в число метрик с двумя источниками. Разница восходит к состоянию паузы: обзор услуг исключает время в «ожидании клиента», а панель команды нет. Группа соглашается об одном определении, называет владельца услуги владельцем метрики и публикует оба значения на одной странице на один квартал, помеченные определением, чтобы никто не потерял историю. Они аннотируют график в месте смены определения.
На первом ежеквартальном обзоре группа применяет проверку на вывод и убирает 3 из 14 метрик, включая ежемесячный график числа заявок, на который не ссылалось ни одно недавнее решение. Они также ограничивают представление, разбивающее время решения по аналитикам, оставляя распорядителя данных единственным держателем, и предлагают вместо него разбивку на уровне команды.
Риск манипуляции появляется на втором обзоре. Охват владельцами достигает 100 %, но выборка показывает, что двое владельцев оказались списком рассылки и руководителем отдела, ни разу не открывавшим данные. Группа заменяет их названными владельцами услуг и добавляет в обзор вопрос-ограждение: «Может ли владелец объяснить последнее движение этого числа?» Охват падает до 86 % на квартал, что группа записывает как честный результат. Записанное в журнал решение состоит в том, чтобы удерживать цель по охвату, пока ограждение не отработает два цикла.
Agile, ИИ, автоматизация и аналитика
Agile
Относитесь к реестру метрик как к живому документу, который команда обновляет, узнав что-то новое, а не как к разовому упражнению по проектированию. Практическая привычка состоит в коротком регулярном пересмотре, где владелец метрики, команда и заинтересованная сторона договариваются, какие метрики остаются, меняются или выводятся. Осторожность в том, что частые небольшие изменения могут ломать тренды; поэтому записывайте каждое изменение с причиной.
ИИ
Метрикам о системах ИИ нужен владелец, как и метрикам услуг, а владельцу нужны полномочия приостановить систему, когда числа говорят, что она вредит пользователям. Записывайте в реестре, какие метрики описывают работу с помощью ИИ и кто проверяет их пару по качеству. Осторожность в том, что панели ИИ от поставщиков имеют собственные определения; поэтому регистрируйте их, цитируя и проверяя определение поставщика.
Автоматизация
Автоматизируйте гигиену реестра: помечайте метрики без владельца, без даты пересмотра или без недавней ссылки в решении и уведомляйте владельца. Осторожность в том, что автоматическое напоминание, на которое никто не отвечает, есть шум; поэтому измеряйте, сколько пометок ведёт к действию, и отключайте те, что не ведут.
Аналитика
Относитесь к доступу к данным метрик тоже как к вопросу управления: кто может видеть данные уровня команды, кто может видеть исходные заявки и как долго хранятся данные. Решение, которое информирует реестр, состоит в том, что сохранить, изменить или вывести. Осторожность в том, что аналитика поведения людей может переступить в слежку; поэтому держите метрики на уровне команд и услуг и проверяйте применимые к вам правила приватности.
Отраслевой взгляд
Стартап. Основатель или ведущий инженер часто по умолчанию владеет каждой метрикой. Риск в том, что определения живут в одной голове. Ведите реестр из пяти-восьми метрик в общем документе, назовите владельца каждой и записывайте определения в тот день, когда метрика впервые появляется в обновлении для инвесторов или клиентов.
Малый бизнес. Человек, отвечающий за ИТ, обычно сам владелец, распорядитель и читатель отчётов. Ограничьте управление одной страницей, пересматривайте дважды в год и проявляйте особую осторожность, когда отчёт поставщика определяет метрику иначе, чем вы. Назовите, кто в бизнесе владеет каждой цифрой, видимой клиентам.
Крупная компания. Масштаб делает общий слой необходимым. Используйте реестр с рабочим процессом, лёгкий совет, собирающийся раз в квартал, и роль распорядителя данных для каждой крупной области. Сохраняйте автономию команд для рабочих показателей и остерегайтесь стандартизировать метрики, которые должны различаться между видами услуг. Согласование с уже существующим в организации управлением данными экономит усилия.
Государство и публичный сектор. Законодательная отчётность, аудит и закупки делают письменные определения и записи об изменениях обязанностью. Относитесь к реестру как к артефакту аудита и держите ясную линию от каждой опубликованной цифры до её владельца и источника. Решения о доступе часто включают юридическую проверку и проверку приватности; поэтому записывайте основание для каждого ограниченного представления (см. тему 8.5, Регулируемая и государственная отчётность).
Бизнес-обоснование: мотивы, ROI и TCO
Затраты скромны и в основном состоят из времени. Ожидайте несколько часов на построение первого реестра, час-два в квартал на пересмотр и некоторые усилия распорядителя данных на разрешение конфликтующих источников. Затраты на инструменты низки, потому что для начала хватает электронной таблицы или файла под контролем версий.
Отдача в основном в предотвращённых потерях. Совещания по сверке цифр исчезают, аудиты находят ясный след, а ввод нового владельца услуги идёт быстрее, потому что определения записаны. Решения лучше, потому что опираются на числа, значащие одно и то же каждый месяц. Не называйте процент этих выгод без собственных данных. Если для бизнес-обоснования нужны цифры, посчитайте часы, потраченные в прошлом квартале на сверку конфликтующих чисел, и число метрик без записанного владельца, а затем посчитайте снова после двух циклов пересмотра.
Антипаттерны и ловушки
- Владение комитетом. Метрикой владеет группа, и никто не отвечает на вопросы. Назовите одну ответственную роль и заместителя.
- Реестр как кладбище. Его строят один раз и больше не трогают. Поставьте даты пересмотра в календарь и показывайте дату на каждой панели.
- Стандартизация всего. Одно определение, навязанное командам с разной работой, даёт числа, ничего не значащие нигде. Делите только тот слой, который должен совпадать.
- Тихие изменения определений. Тренды ломаются, и доверие следует за ними. Записывайте каждое изменение с причиной и аннотируйте график.
- Управление без вывода из обращения. Набор только растёт, внимание истончается. Применяйте проверку на вывод на каждом пересмотре.
- Секретность по умолчанию. Сокрытие рабочих представлений от измеряемых людей порождает подозрение. Ограничивайте только то, что несёт реальный риск, и объясняйте почему.
- Открытый доступ к данным уровня людей. Одна выгрузка за считаные дни может стать турнирной таблицей. Задайте отчётную зернистость на уровне команды и услуги и держите любые данные уровня людей у распорядителя.
- Театр соответствия. Поля заполняются, чтобы удовлетворить контрольный список. Выборочно проверяйте записи на правдивость и просите владельцев объяснять недавние движения.
Модель зрелости
| Измерение | 1 Инициирование | 2 Развитие | 3 Стандартизация | 4 Управление | 5 Оркестрация |
|---|---|---|---|---|---|
| Владение и реестр | Владельцы неясны; метрики живут в отдельных электронных таблицах | Некоторые команды ведут список с владельцами | Один реестр для всех отчётных метрик, у каждой названный владелец и роль | Охват и актуальность отслеживаются во времени; пробелы ведут к финансируемым исправлениям | Реестр разделён с поставщиками и клиентами там, где цифры пересекают границы |
| Определения и контроль изменений | Определения различаются у разных людей | Записаны для некоторых контрактных метрик | Письменное определение с часами и журнал изменений для каждой отчётной метрики | Изменения оцениваются на влияние на тренды до выпуска | Определения совместно пересматриваются командами и поставщиками, когда перестают информировать решения |
| Пересмотр и вывод из обращения | Метрики добавляются, никогда не убираются | Редкая чистка | Периодичность пересмотра и проверка на вывод записаны | Итоги пересмотра отслеживаются как работа по улучшению | Вывод и обновление рутинны, ведомы свидетельствами пользователей и команд |
| Доступ и аудитория | Доступ по случайности | Ограниченные представления для чувствительных данных | Аудитория перечислена для каждой метрики, с причиной | Доступ пересматривается по графику; данные уровня людей у распорядителя | Аудитория проектируется вместе с измеряемыми людьми и с клиентами |
Контрольный список
- Реестр метрик существует и перечисляет каждую отчётную метрику.
- У каждой отчётной метрики есть названный владелец и записанная роль.
- У каждой отчётной метрики есть письменное определение с правилами запуска, остановки и исключений.
- У каждой метрики один авторитетный источник, названный в реестре.
- Для каждой метрики записаны дата пересмотра и интервал.
- Изменения определений записываются с причиной и отмечаются на графике.
- Проверка на вывод из обращения записана и применяется на каждом пересмотре.
- Аудитория каждого представления записана, с причиной любого ограничения.
- Ни одно отчётное представление не ранжирует людей, а данные уровня людей лежат у распорядителя данных.
- Реестр выборочно проверялся на правдивость в последнем квартале.
Промпты для ИИ
Составьте хартию метрик для набора метрик.
Draft a one-page metrics charter for [team or service name], which provides
[type of service or delivery work]. The metric set is: [list of metrics]. The
audiences are [audiences]. Include purpose, explicit non-goals, a RACI table for
owner, data steward, and reviewers using these roles: [roles], review cadence,
and a retirement test. Base the draft only on what I have written. Do not invent
metrics, targets, or benchmark values. List your assumptions and the questions I
should answer to complete the charter.
Найдите расхождения между двумя версиями метрики.
Here are two descriptions of what should be the same metric, [metric name].
Version A, from [source A]: [description and formula]. Version B, from
[source B]: [description and formula]. Compare them on what is counted, where
the clock starts and stops, which states pause it, and what is excluded.
Explain which differences could account for the gap between [value A] and
[value B], and suggest questions for the owner. Do not guess at values I have not
given. List your assumptions and what you could not determine.
Проверьте реестр метрик на пробелы.
Below is an extract of our metric register with fields [list fields]. Review it
for missing owners, entries with no review date or one older than [interval],
metrics with more than one source, metrics with no linked decision, and views
that could expose person-level data. Report patterns by metric, not by
individual. Do not invent facts about our metrics. Tell me which findings are
certain from the text and which are guesses, and list your assumptions.
[paste register extract, with personal data removed]
Спланируйте обзор на вывод из обращения.
We review metrics every [interval]. Our retirement test is: [test]. For each of
the metrics below, using the notes I supply, propose retire, keep, merge, or
redesign, with a one-line reason and a question to ask the owner: [metrics with
last-cited date and owner role]. Also suggest how to announce each retirement to
[audience]. Do not invent usage data. List your assumptions and any information
that would change your recommendation.
Навыки ИИ
- Service Management Metrics skill: используйте, чтобы найти тему и парное ограждение для метрики перед добавлением её в реестр.
- Service Management Metrics maintainer skill: используйте, чтобы проверить, что запись метрики несёт владельца, вектор манипуляции и ограждение.
Главные выводы
- Управление помогает числам значить одно и то же со временем, и одностраничный реестр составляет его ядро.
- Назовите одного ответственного владельца для каждой отчётной метрики и записывайте роль, а не только человека.
- Запишите одно определение с его часами, вычисляйте его в одном месте и записывайте каждое изменение.
- Соразмеряйте вес управления с последствиями метрики.
- Решайте, кто какое представление видит, намеренно, держите данные уровня людей вне отчётности и выводите метрики из обращения по свидетельствам.
Источники и дополнительное чтение
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
- Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
- DAMA International, DAMA-DMBOK: Data Management Body of Knowledge, 2nd edition, Technics Publications, 2017.
- AXELOS, ITIL Foundation: ITIL 4 Edition, TSO, 2019. Summarized, not reproduced.
- ISO/IEC 20000-1:2018, Information technology, Service management, Part 1: Service management system requirements, International Organization for Standardization.
- Wikipedia, Управление данными.
- Wikipedia, Единый источник истины.
- Wikipedia, Распорядитель данных.
- Wikipedia, Матрица RACI.
- Wikipedia, Словарь данных.
- Wikipedia, Принцип наименьших привилегий.
- Wikipedia, Процесс непрерывного улучшения.