Это приложение перечисляет каждую метрику, определённую в темах с содержанием, сгруппированную по части и теме. Каждая запись содержит определение, формулу, единицу, источник данных, связанную практику ITIL, Agile-аналог и периодичность из темы-источника вместе с соответствующими вектором манипуляции и ограждением. Оно порождается из двух разделов «Определения метрик» и «Векторы манипуляции и ограждения» каждой темы, так что тема-источник остаётся авторитетом. Если запись здесь отличается от её темы, верна тема, а приложение порождается заново.

Как пользоваться справочником

  • Смотрите до принятия. Прежде чем поместить метрику на панель, прочтите её запись, включая вектор манипуляции и ограждение, и применяйте ограждение вместе с ней (см. тему 1.3, Результаты важнее выпуска: что выбрать для измерения).
  • Измеряйте команды, услуги и системы. Ни одна запись не предназначена для ранжирования отдельных людей (см. тему 1.2, Закон Гудхарта и психология метрик).
  • Для суждений предпочитайте тему-источник. Формулы здесь кратки. Определения терминов, заметки о выборках и практические примеры находятся в теме-источнике.
  • Записывайте свои вариации. Если ваша организация меняет определение, запишите изменение и причину в своём реестре метрик (см. тему 1.4, Управление метриками и ответственность за них). Поможет карточка метрики (см. тему 12.4, Шаблоны).
  • Иллюстративные цифры помечены. В этом приложении нет эталонных значений. Все цифры берутся из ваших собственных базовых уровней.

Часть 1: Основы измерения

1.1 Зачем измерять управление услугами

Тема-источник: (см. тему 1.1, Зачем измерять управление услугами).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Доля метрик, связанных с решениями Доля отчётных метрик, у которых есть записанный вопрос и названное решение, которое они информируют метрики с записанным вопросом и решением / метрики, отчётные на панели на конец квартала процент Реестр метрик (см. тему 1.4, Управление метриками и ответственность за них) Измерение и отчётность; непрерывное улучшение Действия ретроспективы; рабочие соглашения Раз в квартал Задним числом писать правдоподобный вопрос и решение для каждой метрики, чтобы поднять процент Выборочно проверять журнал решений: спросить, что изменилось благодаря метрике, и сверить дату записи с датой первого появления метрики
Охват базовыми линиями Доля услуг и команд в области охвата, у которых записано исходное значение для каждого из согласованных основных показателей пары «услуга и показатель» с базовой линией, записанной за последние 12 месяцев / все пары «услуга и показатель» в области охвата; услуги вне каталога исключаются процент Каталог услуг и реестр метрик Управление уровнями услуг; измерение и отчётность Обзор заинтересованными сторонами; панели команд Раз в квартал Записать базовую линию один раз и никогда не обновлять или выбрать удобный спокойный период Требовать указания диапазона дат и размера выборки для каждой базовой линии; пересматривать базовые линии после крупных изменений в услуге
Трудозатраты на измерение Время сотрудников, затраченное на ручной сбор, очистку и отчётность по метрикам часы, записанные на ручной сбор и отчётность за месяц, без времени на действия по результатам часы на команду в месяц Заметки о времени или короткий опрос команды Измерение и отчётность Бюджет времени ретроспективы Раз в квартал Выводить работу по сбору «за скобки», выполняя её без записи или перекладывая на поставщика Сравнивать с коротким опросом о том, сколько, по словам людей, занимает отчётность; включать трудозатраты поставщика в обзор
Возраст данных на момент обзора Насколько стара самая новая точка данных, когда группа собирается её обсуждать метка времени совещания минус метка времени последней точки данных на панели; считается по каждой метрике, сообщается как медиана и 85-й перцентиль дни Журнал обновления панели Измерение и отчётность Обзор заинтересованными сторонами На каждый обзор Обновлять панель прямо перед совещанием, пока записи под ней остаются устаревшими Сообщать возраст самой новой записи в исходной системе, а не только время обновления
Доведение улучшений до конца Доля действий по улучшению, возникших на обзорах метрик, которые выполнены или осознанно закрыты в согласованный срок действия, выполненные или закрытые с причиной в течение 90 дней после постановки / действия, поставленные за период, с даты записи в реестре улучшений процент Реестр или бэклог непрерывного улучшения Непрерывное улучшение Пункты действий ретроспективы Раз в квартал Закрывать действия с причиной «более неактуально», чтобы выйти на процент, или дробить действия на тривиальные части Ежеквартально проверять причины закрытых действий и отслеживать, сдвинулся ли показатель, на который действие было нацелено

1.2 Закон Гудхарта и психология метрик

Тема-источник: (см. тему 1.2, Закон Гудхарта и психология метрик).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Охват ограждениями Доля отчётных метрик, у которых есть названное, отслеживаемое ограждение метрики с ограждением / отчётные метрики процент Реестр метрик (см. тему 1.4, Управление метриками и ответственность за них) Измерение и отчётность; непрерывное улучшение Ретроспектива рабочих соглашений Раз в квартал Называть ограждение на бумаге, никогда его не отслеживая Проверять реестр: ограждение засчитывается, только если его последнее значение показано на той же панели
Доля повторно открытых Доля закрытых заявок или рабочих элементов, повторно открытых в заданном окне элементы, повторно открытые в течение 14 дней / элементы, закрытые за период процент История статусов в инструменте ITSM или трекере задач Управление инцидентами; управление проблемами Определение готовности; ушедшие дефекты Раз в месяц Закрывать заявку и заводить новую вместо повторного открытия; удлинять окно, пока повторные открытия не выпадут за него Доля дубликатов и связанных заявок; повторяемость одной и той же причины в разных заявках
Число изменений определений Число изменений определений метрик или рабочих процессов статусов за период, с причинами число записей в журнале изменений определений число Журнал изменений реестра метрик Измерение и отчётность Рабочие соглашения Раз в квартал Не записывать изменения, чтобы счёт оставался низким; менять рабочий процесс, никому не говоря Сравнивать модель статусов в инструменте с реестром на каждом обзоре
Доля метрик в использовании Доля отчётных метрик, на которые ссылались в решении в течение периода метрики, упомянутые в записанном решении / отчётные метрики процент Журнал решений или заметки обзоров Непрерывное улучшение Действия ретроспективы Раз в квартал Формально указывать каждую метрику в журнале решений Спрашивать, что изменилось из-за ссылки; выборочно проверять журнал
Разрыв восприятия Разница между результатом опроса удовлетворённости и уровнем услуги, полученным по заявкам, для одной и той же услуги доля по опросу минус доля по трекеру процентные пункты Инструмент опросов и инструмент ITSM Управление уровнями услуг Обратная связь по итогам обзора заинтересованных сторон Раз в квартал Опрашивать только довольных пользователей; направлять опросы на время после удачного взаимодействия Доля ответивших на опрос и состав респондентов; открытые комментарии, прочитанные вслух на обзоре

1.3 Результаты важнее выпуска: что выбрать для измерения

Тема-источник: (см. тему 1.3, Результаты важнее выпуска: что выбрать для измерения).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Охват результатами Доля отчётных метрик, связанных в реестре метрик с записанным результатом для названного клиента или услуги метрики с записанной связью с результатом / метрики, отчётные за период. Учитываются только метрики, показанные в регулярном отчёте; исключаются показатели рабочего представления, которые ведёт одна команда процент Реестр метрик (см. тему 1.4, Управление метриками и ответственность за них) Измерение и отчётность; непрерывное улучшение Цель продукта и цель поставки Раз в квартал Писать расплывчатое предложение о результате («улучшить сервис») для каждой метрики, чтобы связь существовала на бумаге Выборочно проверять реестр: предложение должно называть человека или услугу и перемену; проверять, что решение было принято благодаря показателю
Доля внедрения функции Доля подходящих пользователей, которые используют новую или изменённую возможность в заданное окно после релиза различные подходящие пользователи, использовавшие возможность в течение 30 дней после релиза / различные подходящие пользователи за этот период. Часы запускаются при общей доступности; исключаются внутренние тестовые учётные записи и пользователи, не имевшие доступа к возможности процент Продуктовая аналитика, журналы использования каталога услуг Проектирование услуг; управление релизами Обратная связь по итогам обзора заинтересованных сторон; продуктовый показатель результата Раз в месяц в течение 3 месяцев после релиза, затем раз в квартал Засчитывать принудительное или автоматическое первое использование как внедрение; сужать группу подходящих пользователей; делать возможность по умолчанию, чтобы она «использовалась» без выбора Выполнение задач или удовлетворённость среди пользователей возможности; удержание использования через 30 и 90 дней; читать открытые комментарии
Доля повторных обращений Доля обращений одного пользователя по одной и той же услуге в заданное окно после закрытия более раннего обращения новые обращения того же пользователя по той же услуге в течение 14 дней после закрытого обращения / закрытые обращения за период. Часы запускаются при закрытии; исключаются обращения, открытые как плановое продолжение процент История обращений и заявок в инструменте ITSM Служба поддержки; управление инцидентами Ушедшие дефекты; определение готовности Раз в месяц Говорить пользователям завести новый запрос через другой канал; закрывать обращение как дубликат несвязанного; удлинять закрытие, чтобы избежать повторного обращения внутри окна Обращения по каналам для одной и той же услуги; выборочная проверка записей о закрытии; доля «проблема решена» по сообщениям пользователей
Доля подтверждённых опережающих индикаторов Доля используемых опережающих индикаторов, движение которых предшествовало движению связанного с ними запаздывающего индикатора за период обзора опережающие индикаторы с подтверждённым опережением над запаздывающим / используемые опережающие индикаторы. Оценивается командой в документированном обзоре по данным не менее чем за четыре периода; исключаются индикаторы с данными менее чем за четыре периода процент Реестр метрик и история трендов Непрерывное улучшение Действия ретроспективы по экспериментам Дважды в год Объявлять опережающие индикаторы подтверждёнными после неформального взгляда; выбирать индикаторы, которые тривиально движутся вместе с результатом Письменная запись обзора с нанесёнными данными; приглашать кого-то вне команды оспорить один результат за цикл
Доля завершённых обзоров пользы Доля профинансированных изменений или улучшений, предполагаемый результат которых был рассмотрен относительно его показателя после согласованной задержки изменения с завершённым обзором результата в течение 90 дней после запланированной даты обзора / изменения, дата обзора которых пришлась на период. Исключаются изменения, отозванные до релиза процент Запись об изменении, реестр улучшений, заметки обзоров Непрерывное улучшение; управление изменениями Обзор заинтересованными сторонами; обзор приращения продукта Раз в квартал Проводить обзор только по названию или задавать предполагаемый результат задним числом, чтобы он всегда достигался Сравнивать результат в обзоре с заявлением, сделанным при финансировании изменения; отслеживать долю обзоров, которые привели к изменению плана

1.4 Управление метриками и ответственность за них

Тема-источник: (см. тему 1.4, Управление метриками и ответственность за них).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Охват владельцами Доля отчётных метрик с названным, актуальным владельцем отчётные метрики с владельцем, который всё ещё занимает роль на конец периода / отчётные метрики на конец периода; исключаются метрики, используемые только на частной доске одной команды процент Реестр метрик Измерение и отчётность Рабочие соглашения Раз в квартал Назвать владельцем менеджера или список рассылки, чтобы достичь 100 %, при том что нет никого, кто может объяснить или изменить метрику Просить каждого владельца объяснить одно недавнее движение числа; отслеживать вопросы, оставшиеся без ответа более недели
Актуальность определений Доля отчётных метрик, определение которых было пересмотрено в согласованный интервал метрики с датой пересмотра за последние 6 месяцев / отчётные метрики; часы запускаются при последнем записанном пересмотре и останавливаются в конце периода процент Журнал изменений реестра метрик Измерение и отчётность; непрерывное улучшение Действия ретроспективы Раз в квартал Менять дату пересмотра, не читая определения Выбирать три записи в квартал и сверять письменное определение с реальной настройкой инструмента
Соответствие источнику Доля отчётных метрик, вычисляемых ровно из одного названного источника метрики с одним авторитетным источником и без известного параллельного расчёта / отчётные метрики; параллельные расчёты находят выборочной проверкой панелей и отчётов процент Реестр плюс выборка панелей и отчётов Измерение и отчётность; управление уровнями услуг Определение готовности метрики Раз в квартал Объявлять источник авторитетным, пока электронные таблицы продолжают ходить и расходиться Считать различные цифры для одной и той же метрики в выборке отчётов; сверять различия на пересмотре
Доля выведенных метрик Число метрик, выведенных из обращения или объединённых за период, относительно отчётных метрики, выведенные или объединённые за период / отчётные метрики на начало периода; метрика, перенесённая в частное представление команды, считается выведенной из отчётного набора процент Журнал изменений реестра метрик Непрерывное улучшение Действия ретроспективы Раз в квартал Выводить тривиальные или неиспользуемые метрики, чтобы выглядеть дисциплинированно, или переименовывать метрику, чтобы она считалась новой Проверять журнал выведенных метрик на то, что было убрано; отслеживать общее число отчётных метрик и цифру связи с решениями рядом
Актуальность проверки доступа Доля ограниченных представлений метрик, список аудитории которых был проверен в течение интервала ограниченные представления с проверкой аудитории за последние 6 месяцев / ограниченные представления; представления, открытые всей организации, исключаются процент Список доступа или выгрузка прав в инструменте BI Управление информационной безопасностью; измерение и отчётность Рабочие соглашения Раз в полгода Утверждать существующий список аудитории, не читая его Сравнивать список с текущим составом команд и ролями; сообщать число найденных удалений
Связь с решениями Доля отчётных метрик, связанных в реестре с решением, которое они информируют метрики с записанным решением или вопросом / отчётные метрики; связь засчитывается, только если решение принято за последние 12 месяцев процент Реестр метрик и журнал решений Непрерывное улучшение Обзор заинтересованными сторонами и результаты улучшений Раз в квартал Писать расплывчатое решение вроде «улучшить сервис», чтобы удовлетворить поле Требовать датированное решение или вопрос и выборочно проверять журнал решений на то, обращались ли к метрике на самом деле

1.5 Источники данных и инструментирование

Тема-источник: (см. тему 1.5, Источники данных и инструментирование).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Охват источниками Доля услуг и команд в области охвата, чьи события автоматически попадают в хранилище метрик услуги или команды с автоматической подачей / услуги или команды в области охвата; «область охвата» перечислена в реестре метрик процент Реестр метрик и настройка конвейера Измерение и отчётность; управление конфигурацией услуг Рабочее соглашение команды об инструментах Раз в квартал Считать услугу охваченной после подключения подачи, даже если она несёт почти ноль событий; оставлять трудные услуги вне области охвата Объём событий на охваченную услугу в сравнении с её известной активностью; сверять список области охвата с каталогом услуг
Полнота меток времени Доля закрытых рабочих элементов, несущих все метки времени, нужные для часов метрики закрытые элементы со всеми нужными метками смены состояний / элементы, закрытые за период; всё ещё открытые элементы исключаются процент История инструмента ITSM или трекера задач Управление инцидентами; управление запросами на обслуживание История доски или рабочего процесса Раз в месяц Заполнять обязательные метки временем закрытия, чтобы пройти проверку Распределение разрывов между соседними состояниями; выборочно проверять закрытые элементы на правдоподобие времён
Доля записей задним числом Доля изменений состояния, записанных постфактум, измеряемая разрывом между временем события и временем ввода изменения состояния, введённые более чем через 24 часа после времени события / изменения состояния за период; часы запускаются при событии и останавливаются при вводе процент След аудита трекера или время события в конвейере против времени ввода Управление изменениями; управление инцидентами Определение готовности Раз в месяц Вводить изменения как раз внутри порога; расширять порог; записывать все изменения одним массовым обновлением Распределение времени ввода по часам; доля изменений, сделанных автоматикой, против сделанных вручную; аудит массовых правок
Свежесть данных Насколько стары самые новые данные на панели в момент просмотра время просмотра минус время самого нового загруженного события; сообщайте медиану и 95-й перцентиль часы Журнал запусков конвейера и журнал загрузки панели Измерение и отчётность Подготовка к обзору заинтересованными сторонами Раз в неделю Показывать время последнего обновления вместо времени самого нового события Показывать на панели время самого нового события; тревога, когда подача не приносит новых событий
Расхождение при сверке Несовпадение двух источников для одного и того же подсчёта абсолютная разница двух подсчётов / подсчёт в системе учёта за фиксированный период и область процент Система учёта и слой отчётности Управление уровнями услуг; управление финансами Проверки отчёта о релизе Раз в месяц Выбирать период или область, которые сходятся; подгонять слой отчётности под источник, не найдя причины Заранее фиксировать область и период; записывать каждую найденную причину и пересматривать причины раз в квартал
Дрейф модели статусов Число различных названий статусов или переходов в использовании по сравнению с документированной моделью недокументированные статусы или переходы, замеченные за период (число); документированные исключаются число Настройка рабочего процесса трекера и история событий Непрерывное улучшение Рабочие соглашения о рабочем процессе Раз в квартал Использовать существующий статус для нового смысла, чтобы не попасть в отметку; добавлять статусы, не записывая их Сравнивать настройку рабочего процесса с реестром на каждом пересмотре; читать выборку элементов в необычных состояниях
Доля ответивших на опрос Доля приглашённых людей, заполнивших опрос полученные ответы / доставленные приглашения; недоставленные приглашения исключаются процент Инструмент опросов Управление уровнями услуг; клиентский опыт Обзор заинтересованными сторонами и обратная связь по улучшениям За каждую волну опроса Приглашать только тех, кто скорее всего ответит; слать напоминания довольным пользователям; предлагать вознаграждения, смещающие ответы Состав ответивших в сравнении с совокупностью пользователей; распределение ответов по волнам; чтение открытых комментариев на пересмотре

1.6 Статистическая грамотность для метрик услуг

Тема-источник: (см. тему 1.6, Статистическая грамотность для метрик услуг).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Медианное время решения Среднее по порядку время решения инцидентов, решённых за период 50-й перцентиль (метка решения минус метка создания) по инцидентам, решённым за период; часы запускаются при создании заявки и останавливаются при решении; паузы сообщаются отдельно, а не вычитаются; отменённые и дублирующие заявки исключаются часы или дни История статусов инструмента ITSM Управление инцидентами; измерение и отчётность Медианное время цикла Раз в неделю или в месяц Закрывать быстрые заявки первыми и оставлять трудные открытыми; делить заявку на несколько лёгких; останавливать часы в состоянии ожидания клиента Время решения по высокому перцентилю и возраст самого старого открытого элемента; доля времени в состояниях паузы; доля связанных заявок
Время решения по высокому перцентилю Время, в пределах которого решается большинство инцидентов, с названным перцентилем 85-й (или 95-й) перцентиль того же прошедшего времени, что выше; вычисляется, только если решено не менее 20 элементов, иначе перечисляются сами элементы часы или дни История статусов инструмента ITSM Управление инцидентами; управление уровнями услуг Прогноз по перцентилю времени цикла Раз в неделю или в месяц Выбирать перцентиль, льстящий результату, или менять его между отчётами; исключать долгие случаи как «выбросы» или переклассифицировать их Перцентиль зафиксирован в реестре; список исключённых элементов с причинами; возраст самого старого открытого элемента
Возраст самого старого открытого элемента Возраст самого старого ещё открытого элемента плюс число элементов старше высокого перцентиля сейчас минус метка создания для открытых элементов, без вычета паузы; считаются все открытые элементы в очереди услуги, включая ожидающие клиента дни Инструмент ITSM или трекер задач Управление инцидентами; управление проблемами Возраст рабочего элемента Раз в неделю Закрывать или объединять самый старый элемент, не решив его; переносить в другую очередь или категорию Доля повторного открытия; выборочный аудит самых старых закрытых элементов; число переводов между очередями
Охват отчётности по долям Доля отчётных долей, показывающих числитель, знаменатель и проверку минимального числа доли, отчитанные со счётами и признаком выборки / отчитанные доли; считаются только доли, опубликованные в пакете обзора периода процент Реестр метрик (см. тему 1.4, Управление метриками и ответственность за них) Измерение и отчётность Рабочие соглашения Раз в квартал Прикреплять счёт мелким шрифтом, пока заголовки по-прежнему ведут с процента; задавать минимальное число так низко, что оно никогда не срабатывает Проверять реальную панель, а не реестр; пересматривать минимальное число вместе с шириной интервала
Доля сигналов контрольной карты Доля точек на контрольной карте показателя, сигнализирующих об особой причине вариации по письменным правилам команды точки, отмеченные по правилам / нанесённые точки, за последние 20 и более точек; правила фиксируются заранее и записываются процент Инструмент контрольных карт или электронная таблица Непрерывное улучшение Ретроспективная инспекция процесса Раз в месяц Расширять пределы, добавлять правила или перезапускать базовую линию, чтобы сигналы исчезли; двигать точки изменением показателя Правила и пределы в реестре с историей изменений; сравнение с сырой гистограммой
Ширина интервала Ширина заявленного диапазона неопределённости для главной доли верхняя граница минус нижняя граница интервала, по методу, названному в реестре, для главной доли периода процентные пункты Вычисляется по счётам ITSM Управление уровнями услуг Диапазон прогноза в планировании Раз в месяц Выбирать метод или окно, дающие узкий диапазон; объединять непохожие услуги, чтобы увеличить выборку Метод назван в реестре; разбивка по услугам по запросу; сравнение объединённых и необъединённых результатов

1.7 Рамки измерения

Тема-источник: (см. тему 1.7, Рамки измерения).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Прослеживаемость целей Доля отчётных метрик, прослеживаемых до письменной цели и вопроса метрики с записанной целью и вопросом / отчётные метрики процент Реестр метрик (см. тему 1.4, Управление метриками и ответственность за них) Измерение и отчётность; непрерывное улучшение Цель поставки; цель продукта Раз в квартал Писать цель и вопрос после того, как метрика уже существует, чтобы запись выглядела полной; расплывчатые цели, оправдывающие любую метрику Выбирать пять записей в квартал и спрашивать, мог ли вопрос привести к другой метрике; проверять, что названы аудитория и решение
Распределение оценок ключевых результатов Разброс итоговых оценок ключевых результатов за период, показанный как доля в каждой полосе ключевые результаты в каждой полосе оценок (например, от 0,0 до 0,3, от 0,4 до 0,6, от 0,7 до 1,0) / ключевые результаты, оценённые за период; исключаются ключевые результаты, снятые с записанной причиной процент по полосе Инструмент отслеживания OKR или документ команды Непрерывное улучшение; управление уровнями услуг Квартальное планирование; обзор Раз в квартал Писать лёгкие ключевые результаты, чтобы оценки кучковались около 1,0; щедро переоценивать; снимать идущие плохо ключевые результаты, не записав причину Число снятых ключевых результатов с причинами; сравнение ключевых результатов с итогами предыдущего периода; обзор медианной амбициозности с руководством
Охват перспектив Доля из четырёх перспектив сбалансированной системы показателей, где есть хотя бы один показатель с актуальным значением перспективы с показателем, сообщённым за последний период / четыре процент Система показателей или панель Измерение и отчётность; управление системой создания ценности услуг Обзор заинтересованными сторонами (взгляды клиента и обучения) Раз в квартал Добавлять показатель для вида в перспективу, чтобы она считалась охваченной; выбирать показатели, которые не могут двигаться Проверять, что каждый показатель перспективы менял значение за последний год и имеет приложенное письменное решение
Возраст пересмотра индикатора Время с последнего пересмотра определения и целевого значения каждого KPI дата пересмотра минус дата предыдущего пересмотра; часы запускаются при последнем записанном пересмотре и останавливаются в дату отчёта; сообщайте медиану и самый старый дни Журнал изменений реестра метрик Непрерывное улучшение; измерение и отчётность Действия ретроспективы Раз в квартал Записывать пересмотр, не читая индикатор; менять только дату Требовать письменный исход (оставлен, изменён, выведен) с каждым пересмотром и выборочно проверять журнал
Охват CSF показателями KPI Доля критических факторов успеха, у которых есть хотя бы один сейчас отчётный KPI CSF с актуальным KPI / CSF, определённые для услуги или практики процент Документация практики или услуги; реестр метрик Подход CSF и KPI в руководствах по практикам ITIL Определение готовности; рабочие соглашения Раз в квартал Назначать KPI, не связанный с CSF, чтобы достичь полного охвата; выбирать KPI, который не может выявить сбой Спрашивать для каждой пары, какое значение показало бы, что CSF нарушается; искать KPI, ни разу не бывшие красными

1.8 Измерение ITIL 5 и результаты для ценности

Тема-источник: (см. тему 1.8, Измерение ITIL 5 и результаты для ценности).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Охват имущества владельцами Доля перечисленных услуг, цифровых продуктов, платформ и систем ИИ с названным, действующим владельцем элементы с названным владельцем, подтверждённым за последние 12 месяцев / элементы на карте имущества, считая на конец периода процент Каталог услуг, записи конфигурации и карта имущества Управление каталогом услуг; управление Владелец продукта и хартия команды Раз в квартал Назвать менеджера или список рассылки владельцем всего; не включать трудные элементы в карту Подтверждение владельцем самим владельцем и обход обнаружения, сравнивающий карту с контрактами и облачными учётными записями
Охват заявлениями о результате Доля услуг и продуктов с письменным результатом и хотя бы одним названным сигналом-свидетельством услуги и продукты с заявлением о результате, пересмотренным за последние 12 месяцев, и сигналом-свидетельством / услуги и продукты на карте имущества процент Каталог услуг и заметки пересмотров Управление уровнями услуг; непрерывное улучшение Цели продукта и критерии приёмки Раз в квартал Писать расплывчатое предложение вроде «повысить эффективность»; копировать один результат на все услуги Выборочно проверять результаты с клиентами и спрашивать, узнают ли они их; возраст свидетельств результата
Возраст свидетельств результата Возраст самого последнего пересмотра свидетельств для каждого результата медиана и 85-й перцентиль (дата конца периода минус дата последнего пересмотра свидетельств) по результатам дни Журнал пересмотров Измерение и отчётность Регулярный обзор с заинтересованными сторонами Раз в квартал Менять дату пересмотра, не пересматривая; пересматривать только лёгкие результаты Читать заметки пересмотра по выборке; сообщать долю результатов, чей сигнал действительно двинулся или остался ровным
Охват инвентаризации систем ИИ Доля известных функций и систем с ИИ, у которых есть владелец, точка проверки человеком и запись в реестре рисков системы ИИ со всеми тремя / системы ИИ, найденные последним обходом обнаружения процент Инвентарь ИИ и реестр рисков Управление рисками; управление Определение готовности для функций ИИ Раз в квартал Считать только системы, которые команда решила заявить; классифицировать функции ИИ как обычное программное обеспечение Независимый обход обнаружения; сравнение с записями поставщиков и контрактов
Доля проверенных утверждений Доля утверждений об ITIL 5, используемых в планах и политиках, прослеженных до собственной публикации владельца утверждения с датированной ссылкой на владельца / утверждения об ITIL 5, использованные в документах решений за период процент Журнал проверки Управление знаниями; управление н/д: практика уровня организации без прямого аналога в Agile Раз в квартал Ссылаться на страницу поставщика как на владельца; записывать утверждение как проверенное, не прочитав источник Проверять выборку записей журнала по странице-источнику; правило «источник только от владельца»

Часть 2: Метрики потока и непрерывной поставки

2.1 Показатели потока

Тема-источник: (см. тему 2.1, Показатели потока).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Работа в процессе (WIP) Рабочие элементы, начатые, но не завершённые Число элементов, у которых метка начала задана, а метка завершения пуста, на заявленный момент (например, конец каждого дня); невзятые в работу элементы бэклога и завершённые элементы исключаются элементы История состояний в трекере задач или инструменте ITSM Управление инцидентами; управление запросами на обслуживание; управление изменениями Ограничение WIP; бэклог команды в работе Ежедневный снимок, пересматривается раз в неделю Держать элементы в бэклоге или в колонке «готово к работе» до последнего момента, чтобы они не считались начатыми; закрывать и вновь открывать элементы; прятать работу вне доски Сверять элементы доски с полученными запросами; выборочно сравнивать доску с реальной работой команды; отслеживать возраст элементов в первой колонке
Пропускная способность Рабочие элементы, завершённые за единицу времени Число элементов, у которых метка завершения попадает в период (например, календарную неделю, с понедельника по воскресенье); элементы, завершённые и затем открытые заново, считаются снова, только если они новые элементы элементы в неделю История состояний в трекере задач или инструменте ITSM Управление инцидентами; выполнение запросов на обслуживание Пропускная способность; завершённые элементы Раз в неделю Дробить элементы на крошечные части; закрывать элементы до готовности; брать сначала лёгкие элементы Смотреть на распределение размеров элементов и долю повторного открытия; считать ушедшие дефекты и инциденты, связанные с недавними элементами; пересматривать состав завершённых типов работ
Возраст рабочего элемента Прошедшее время, которое незавершённый элемент находится в процессе Текущее время минус метка начала для элементов, ещё находящихся в процессе; часы идут сквозь время блокировки; ещё не начатые элементы исключаются дни История состояний в трекере задач или инструменте ITSM Управление инцидентами; управление проблемами Возраст рабочего элемента; ежедневная сверка команды Ежедневно, пересматривается на каждой сверке команды Переводить устаревший элемент в «готово» или в новое состояние, чтобы сбросить часы; тихо отменять старые элементы; создавать свежую копию старого элемента Проверять переходы состояний назад и отменённые элементы; сообщать отменённые элементы и их возраст; искать дубликаты, созданные вблизи предела возраста
Время цикла Прошедшее время от начала до завершения завершённого элемента Метка завершения минус метка начала в календарных днях, включительно; часы запускаются при первом переходе в начатое состояние и останавливаются при переходе в завершённое состояние; сообщайте медиану и 85-й и 95-й перцентили дни История состояний в трекере задач или инструменте ITSM Управление инцидентами; выполнение запросов на обслуживание; управление изменениями Время цикла; длительность элемента Раз в неделю, со скользящим окном от 8 до 12 недель Запускать часы поздно, переводя элементы в «в процессе» лишь когда работа почти готова; останавливать их рано, помечая элементы готовыми до проверки или релиза Сравнивать время начала с первым коммитом или первой активностью; сообщать время между «готово» и релизом; выборочно проверять завершённые элементы на подлинное завершение
Достижение SLE Доля завершённых элементов, уложившихся в ожидание команды по уровню услуги Завершённые элементы со временем цикла не больше SLE / все элементы, завершённые в окне; всё ещё открытые элементы исключаются процент Производная от времени цикла Управление уровнями услуг Ожидание по уровню услуги Раз в месяц Задавать щедрый SLE; исключать трудные элементы как «особые»; закрывать элементы, чтобы не выйти за предел Держать SLE на перцентиле прошлых данных и пересматривать его каждый квартал; сообщать исключённые элементы и причину; читать 95-й перцентиль и самые старые открытые элементы
Доля времени блокировки Доля дней в процессе, которые элементы провели помеченными как заблокированные Элементо-дни в состоянии блокировки / элементо-дни в процессе, за окно; часы для обоих запускаются с метки начала процент Флаги трекера задач или статус блокировки в инструменте ITSM Управление инцидентами; управление проблемами; управление поставщиками Блокирующие факторы; препятствия, поднятые на ежедневных сверках команды Раз в неделю Никогда не помечать блокировки, чтобы доля выглядела низкой; помечать всё как заблокированное, чтобы объяснить задержку Сравнивать долю блокировки с возрастом элементов в процессе; пересматривать причины блокировок по категориям; выборочно проверять заблокированные элементы на каждую причину

2.2 Время выполнения, время цикла и эффективность потока

Тема-источник: (см. тему 2.2, Время выполнения, время цикла и эффективность потока).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Время выполнения Прошедшее время от поступления запроса до его доставки запросившему метка доставки минус метка поступления запроса, на рабочий элемент; часы запускаются, когда запрос записан, и останавливаются, когда запросивший может использовать результат; всё ещё открытые элементы и элементы, отменённые до доставки, исключаются и считаются отдельно дни или часы История инструмента ITSM или трекера задач Управление запросами на обслуживание; управление инцидентами; управление изменениями Время выполнения на доске команды; время от запроса до релиза Раз в неделю, пересмотр раз в месяц Откладывать создание записи запроса, чтобы часы запускались поздно; закрывать и вновь открывать элементы, чтобы перезапустить часы; делить один запрос на множество крошечных Сравнивать записи запросов с первым контактом в почте или чате по выборке; отслеживать долю повторного открытия; отслеживать размер и число элементов на запрос
Время цикла Прошедшее время от момента, когда команда начинает работу, до момента её завершения метка завершения минус метка начала, на рабочий элемент; часы запускаются при первом переходе в активное рабочее состояние, останавливаются при первом переходе в состояние «сделано»; время до начала и после состояния «сделано» исключается дни или часы История состояний трекера или доски Управление инцидентами; управление запросами на обслуживание; управление изменениями Время цикла (см. тему 2.1, Показатели потока) Раз в неделю Запускать часы поздно, переводя элементы в «в процессе» лишь в конце; не вносить элементы на доску, пока они почти не готовы; нарезать работу на части, не дающие ценности сами по себе Возраст рабочих элементов для открытых элементов (см. тему 2.1, Показатели потока); проверять, что готовые элементы пригодны запросившему; сравнивать время выполнения с временем цикла
Время работы с элементом Время, в которое человек или автоматика активно работает над элементом сумма интервалов, которые элемент проводит в состояниях, отнесённых к активной работе; состояния ожидания, блокировки и очереди исключаются часы История состояний трекера, где каждое состояние отнесено к активным или ожидающим Управление инцидентами; управление запросами на обслуживание Время обработки на карте потока создания ценности Ежемесячная выборка Относить ожидающие состояния к активным или записывать активность, чтобы казаться занятым Пересматривать классификацию состояний с командой каждый квартал; выборочно сравнивать записанную активность с коммитами, комментариями и календарями
Время ожидания Время, в которое элемент находится в очереди, заблокирован или приостановлен время цикла минус время работы с элементом, на рабочий элемент; н/д для элементов без записанного начала дни или часы История состояний трекера Управление инцидентами; управление уровнями услуг Время ожидания или время блокировки на доске Раз в месяц Создавать новые статусы, чтобы время ожидания попало в неизмеряемый промежуток; переносить ожидающие элементы в статус вне рабочего процесса Считать недокументированные статусы и переходы (см. тему 1.5, Источники данных и инструментирование); проверять по выборке, что время цикла равно времени работы плюс времени ожидания
Эффективность потока Доля времени цикла, потраченная на активную работу сумма времени работы с элементом / сумма времени цикла, для элементов, завершённых за период; элементы с отсутствующей историей состояний исключаются и считаются отдельно процент История состояний трекера Непрерывное улучшение; управление запросами на обслуживание Эффективность потока из бережливой практики Раз в месяц Переклассифицировать ожидание как активность; выбирать для выборки только быстрые элементы; завершать лёгкие элементы первыми, чтобы поднять отношение Фиксированная классификация состояний с журналом изменений; вычислять по всем завершённым элементам; сообщать вместе с 85-м перцентилем времени цикла и возрастом открытых элементов
Доля пауз часов Доля времени цикла, в течение которой формальные часы услуги были приостановлены сумма длительностей пауз / сумма времени цикла, для элементов, завершённых за период; паузы суть статусы, определённые в письменных правилах часов процент История статусов инструмента ITSM Управление уровнями услуг; управление инцидентами Время в колонке блокировки или удержания Раз в месяц Приостанавливать формальные часы услуги по причинам, не зависящим от клиента, например внутренним передачам, чтобы уложиться в SLA Проверять причины пауз по выборке; сообщать прошедшее время и время SLA рядом; пересматривать собственный взгляд клиента на время решения (см. тему 5.1, Метрики SLA, OLA и XLA)

2.3 Работа в процессе и теория очередей

Тема-источник: (см. тему 2.3, Работа в процессе и теория очередей).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Работа в процессе Число элементов, начатых и не завершённых внутри согласованной границы Число элементов в статусах «в процессе» на момент снимка; элементы в бэклоге или в очереди «готово к работе» до первого рабочего статуса и уже сделанные элементы исключаются элементы История статусов трекера задач или инструмента ITSM Управление инцидентами; управление запросами на обслуживание Счёт WIP на доске Ежедневный снимок, пересматривается раз в неделю Переводить элементы в статус «припарковано» или «на удержании», чтобы остаться под лимитом; дробить элементы, чтобы они выглядели меньше; начинать работу вне доски Число элементов в припаркованных статусах и их возраст; выборочно сверять доску с реальной работой; сообщать самый старый элемент в процессе
Длина очереди Число элементов, ждущих начала работы или ждущих между этапами Число элементов в статусах ожидания (например, «новый», «ожидает сортировки», «ожидает проверки») на момент снимка; заблокированные элементы сообщаются отдельно, а не добавляются элементы История статусов трекера или инструмента ITSM Управление инцидентами; управление изменениями Колонка «готово к работе» и колонки очередей на доске Ежедневный снимок, пересматривается раз в неделю Закрывать и вновь открывать элементы; отклонять новые элементы на входе; переименовывать статусы ожидания, чтобы они выпали из счёта Доля повторного открытия и доля отклонений рядом с длиной очереди; пересмотр определений статусов на каждом пересмотре метрик
Время в очереди Прошедшее время, которое элемент ждёт до начала работы, по этапам Часы запускаются, когда элемент входит в статус ожидания, и останавливаются, когда он входит в следующий активный статус; время в статусе «заблокирован на клиенте» исключается и сообщается как отдельная цифра; сообщайте медиану и 85-й перцентиль часы или дни Метки времени переходов статусов в трекере или инструменте ITSM Служба поддержки; управление инцидентами; управление изменениями Время ожидания в потоке создания ценности; время в колонках очередей Раз в неделю Запускать часы поздно, создавая запись после того, как работа готова; приостанавливать часы через статусы блокировки или ожидания клиента; помечать элемент как в процессе, когда он только открыт Распределение времени в статусах блокировки и паузы; доля элементов, созданных после начала; сообщаемое запросившим ожидание из короткого опроса
Интенсивность поступления и выбытия Элементы, входящие в систему и покидающие её за период, и их разность как чистый рост очереди Поступления = элементы, вошедшие в границу за период; выбытия = элементы, завершённые за период; чистый рост = поступления минус выбытия; вновь открытые элементы считаются поступлениями, только если так определила команда элементы в неделю Метки создания и решения в трекере или инструменте ITSM Мониторинг и управление событиями; управление инцидентами Пропускная способность и кумулятивная диаграмма потока Раз в неделю Быстро закрывать элементы, чтобы поднять выбытия; делить один запрос на множество, чтобы поднять оба счёта; считать дубликаты поступлениями Показатели качества и повторного открытия по закрытым элементам (см. тему 3.3, Время реагирования на инциденты и их устранения); распределение размеров элементов; проверка результата для клиента
Коэффициент загрузки команды Доля ёмкости команды, которую потребила бы плановая и ожидаемая работа Часы спроса, ожидаемые за период (поступления на среднее усилие на элемент) / часы доступной ёмкости после отпусков и фиксированных обязательств; команда заявляет, как оценивает усилие; отдельные люди никогда не сообщаются процент План ёмкости, история усилий в трекере, график дежурств Управление ёмкостью и производительностью; управление персоналом и талантами Ёмкость команды в плановой работе Раз в месяц и на каждом событии планирования Занижать усилие, чтобы показать свободную ёмкость, или завышать спрос, чтобы оправдать штат; сообщать отношение за благоприятный период Сравнивать оценённое и фактическое усилие на элемент; показывать отношение с трендом и долей прерываний; экспертная проверка метода оценки
Доля нарушений лимита WIP Доля дней, когда этап или система превышает согласованный лимит WIP Дни с WIP выше лимита / рабочие дни периода; дни, когда команда записала сознательное исключение с причиной, сообщаются отдельно процент дней Ежедневные снимки WIP и журнал исключений Непрерывное улучшение; управление инцидентами Рабочее соглашение о лимите WIP Раз в неделю Поднимать лимит, чтобы остановить нарушения; прятать нарушения, убирая элементы с доски; свободно давать исключения Число и причины исключений; история изменений лимита с датами; перцентиль времени цикла рядом с долей нарушений
Коэффициент согласованности по закону Литтла Проверка того, что три числа потока согласуются друг с другом Средний WIP за период / (выбытия в день на среднее время цикла в днях) для той же границы и периода; отношение около 1 означает, что определения согласованы, отношение далеко от 1 означает, что граница или часы несогласованы отношение Те же данные трекера, что и для других показателей потока Измерение и отчётность Проверка здравого смысла показателей потока на ретроспективе Раз в месяц Подгонять границу или период, пока отношение не приблизится к 1; исключать долгоживущие элементы как выбросы Заранее фиксировать границу и период; публиковать исключённые элементы и их число; пересматривать изменения границы с причиной

2.4 Метрики потока создания ценности

Тема-источник: (см. тему 2.4, Метрики потока создания ценности).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Время выполнения потока создания ценности Прошедшее время от запроса клиента до момента, когда клиент может использовать результат время подтверждения доставки минус время регистрации запроса; отменённые или отозванные элементы исключаются; сообщайте медиану и 85-й и 95-й перцентили дни Записи инструмента ITSM, объединённые с событиями доставки из конвейера или системы выполнения Управление запросами на обслуживание; управление изменениями Время выполнения на доске команды Раз в месяц Запускать часы позже, например при сортировке вместо запроса; закрывать элементы до того, как клиент может их использовать; делить один запрос на несколько малых Фиксированные правила часов, записанные в реестре метрик; подтверждение доставки клиентом; число вновь открытых элементов и связанных дочерних элементов
Время обработки Время, когда над элементом активно работают, по этапам и для потока сумма интервалов, в которых элемент находится в активном состоянии, по этапам; очередь, ожидание согласования и заблокированные состояния исключаются часы или дни История статусов трекера; записи учёта времени там, где состояния слишком грубы Управление инцидентами; управление запросами на обслуживание Время цикла в колонках «в процессе» Раз в месяц Записывать простой или заблокированное состояние как активное, чтобы время обработки росло и поток выглядел эффективным; или записывать ожидание как работу, чтобы казаться занятым Наблюдение за выборкой элементов; сравнение времени обработки с записями учёта времени, где они есть; пересмотр определений состояний с командой
Время ожидания Время, когда элемент сидит между активной работой, по этапам и для потока прошедшее время этапа минус время обработки этого этапа; включает очереди, согласования, передачи и время блокировки дни История статусов трекера и смены состояний инструмента ITSM Управление изменениями; служба поддержки Время в колонках очередей; время блокировки Раз в месяц Переносить ожидание в неотслеживаемое состояние, например в побочный разговор, электронную таблицу или статус «ожидает», останавливающий часы Сообщать использование статусов паузы и блокировки; сравнивать возраст заявки с метками времени этапов; выборочно проверять элементы на ожидание вне системы
Эффективность процесса Доля времени выполнения, составляющая время обработки сумма времени обработки по этапам / время выполнения потока для тех же элементов; всё ещё открытые элементы исключаются процент Производная от времени обработки и времени выполнения Непрерывное улучшение Эффективность потока Раз в квартал Сокращать время выполнения срочной обработкой измеряемых элементов или раздувать время обработки, чтобы поднять отношение Показывать время выполнения и время обработки рядом с отношением; сообщать долю срочной обработки; никогда не задавать цель по самому отношению
Процент полного и точного (этап) Доля элементов, которые получает этап и может использовать без исправления, дополнения или возврата элементы, принятые как полученные / элементы, полученные за период; элементы, возвращённые по любой причине, считаются непринятыми процент События возврата и повторного открытия в трекере или инструменте ITSM; выборочные проверки приёмки Управление запросами на обслуживание; управление изменениями; управление проблемами Определение готовности; доля переделок Раз в месяц Принимающий этап снижает планку приёмки, чтобы возвращалось меньше элементов, или отправляющий этап проталкивает работу неформальными обходными путями Письменное условие приёмки; счёты дефектов и переделок ниже по потоку; выборка принятых элементов, проверенная третьей стороной
Совокупный процент полного и точного Доля элементов, проходящих каждый этап чисто произведение значений %C/A этапов для одного потока и периода (например, 0,90 × 0,85 × 0,95); этапы вне потока исключаются процент Производная от значений этапов Непрерывное улучшение Доля ушедших дефектов и переделок по конвейеру Раз в квартал Сливать этапы, чтобы возвраты происходили внутри этапа и исчезали из числа передач; выбирать благоприятный список этапов Заранее фиксировать список этапов; записывать изменения этапов в журнале решений; сравнивать с долей переделок для всего потока
Число передач Сколько раз элемент переходит между командами или очередями число смен владеющей команды или очереди от запроса до доставки, на элемент; сообщайте медиану и 85-й перцентиль число История назначений в инструменте ITSM или трекере Служба поддержки; управление запросами на обслуживание Зависимости между командами Раз в квартал Переназначать элементы в общую очередь или универсальному владельцу, чтобы избежать счёта смен владельца; прятать передачи в единой «команде», охватывающей несколько Считать по очередям и ролям; читать историю назначений выбранных элементов; отслеживать число переназначений на элемент
Отношение к такту Соответствует ли темп потока спросу медианный наблюдаемый интервал между завершениями / такт, где такт есть доступное рабочее время, делённое на востребованные элементы за тот же период; отношение выше 1 означает, что поток медленнее спроса отношение Подсчёт спроса из очереди приёма и события завершения Управление ёмкостью и производительностью; управление уровнями услуг Пропускная способность против спроса; прогноз Раз в квартал Считать отложенный или отклонённый спрос невостребованным; считать частичные завершения завершениями Сообщать спрос, отклонённый спрос и возраст бэклога рядом с отношением; считать завершения, только когда клиент подтверждает

2.5 Метрики прогнозирования и планирования поставки

Тема-источник: (см. тему 2.5, Метрики прогнозирования и планирования поставки).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Доля попаданий прогноза Доля прогнозов, где фактический результат попал внутрь заявленного диапазона прогнозы, чей фактический исход был в заявленном диапазоне / сделанные прогнозы процент Журнал прогнозов и записи поставки Управление ёмкостью и производительностью; непрерывное улучшение Точность прогнозирования в разговорах о планировании Раз в месяц Указывать очень широкие диапазоны, чтобы каждый прогноз попадал; пересчитывать прогноз постфактум Ширина диапазона прогноза; хранить исходный прогноз в журнале; сравнивать диапазоны с историей коллег
Ширина диапазона прогноза Насколько широк был заявленный диапазон относительно медианного прогноза (верхняя граница минус нижняя граница) / медианный прогноз отношение Журнал прогнозов Управление ёмкостью и производительностью Сужение конуса неопределённости Раз в месяц Сужать диапазоны, чтобы выглядеть уверенно Доля попаданий прогноза; требовать построения диапазона из записанной истории
Успех цели поставки Доля заявленных целей поставки, достигнутых за период, оцениваемая по результату достигнутые цели / поставленные цели процент Записи целей, согласованных с заинтересованными сторонами Управление уровнями услуг; непрерывное улучшение Обзор результата с заинтересованными сторонами Раз в месяц или на каждый релиз цели Ставить лёгкие цели; переопределять цель постфактум; принимать выпуск за результат Результат судят заинтересованные стороны; формулировки целей хранятся в журнале; проверять данные об использовании доставленного изменения
Доля изменений объёма Доля обязательной работы, добавленной, убранной или переоценённой после того, как прогноз был сделан элементы, добавленные или убранные после прогноза / элементы в исходном прогнозе процент История изменений трекера работ Управление изменениями; управление уровнями услуг Адаптация бэклога к обратной связи Раз в месяц Замораживать объём, отказываясь от обоснованных изменений; прятать изменение объёма переоценкой элементов Удовлетворённость заинтересованных сторон отзывчивостью; причины изменений записываются
Распределение ёмкости Доля ёмкости команды, потраченная на изменения, операционную работу и улучшение завершённые элементы или часы в каждой категории / все завершённые элементы или часы процент Трекер работ с типом работы Управление ёмкостью и производительностью; управление инцидентами Распределение типов работ Раз в месяц Неверно помечать операционную работу как улучшение; прятать операционную нагрузку, работая вне доски Сверять с записями инцидентов и запросов; выборочно проверять элементы на тип
Стабильность пропускной способности Вариация недельной пропускной способности стандартное отклонение недельной пропускной способности / среднее недельной пропускной способности отношение Трекер работ Управление ёмкостью и производительностью Предсказуемость потока Раз в месяц Дробить элементы на тривиальные части, чтобы поднять счёт; закрывать элементы, не завершив их Распределение размеров элементов; доля повторного открытия; выборка на поставленную ценность
Локальная скорость Завершённая работа одной команды в её собственной единице оценки за период планирования сумма оценок элементов, отвечающих определению готовности в периоде очки, определённые командой Трекер работ Управление ёмкостью и производительностью Вспомогательное средство планирования ёмкости команды За период планирования Раздувать оценки; делить истории, чтобы заявить очки; сравнивать команды Держать её частной для команды; сравнивать с пропускной способностью и временем цикла; никогда не ставить цель

2.6 Метрики бэклога и его уточнения

Тема-источник: (см. тему 2.6, Метрики бэклога и его уточнения).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Размер бэклога Число открытых элементов в названном бэклоге на момент времени Число элементов со статусом «открыт» или «готов» на дату снимка; элементы в работе и закрытые элементы исключаются элементы Снимок трекера задач или инструмента ITSM Управление инцидентами; управление запросами на обслуживание; управление проблемами Бэклог продукта; входная очередь Раз в неделю Массово закрывать элементы как устаревшие, делить элементы, чтобы выглядеть занятым, или прятать работу в побочных списках и электронных таблицах Доля отбрасывания бэклога с причинами ухода; периодическое сравнение инструмента с реальным списком запросов; обратная связь клиентов по отброшенным элементам
Возраст бэклога Распределение того, как долго ждали открытые элементы Для каждого открытого элемента дата снимка минус дата его входа в бэклог; сообщайте медиану, 85-й перцентиль и самый старый элемент дни История создания и статусов трекера задач или ITSM Управление инцидентами; управление проблемами; непрерывное улучшение Здоровье бэклога; пересмотр старых элементов Раз в неделю Сбрасывать дату входа клонированием или пересозданием старых элементов; переносить элементы между бэклогами; вновь открывать вместо повторного поднятия, чтобы изменить часы Аудит клонированных и перенесённых элементов; пересмотр самых старых элементов; возраст, измеряемый с первого создания по связанным записям
Глубина готовой работы Насколько далеко вперёд у команды есть готовая работа Элементы, отвечающие определению готовности / среднее число элементов, завершаемых в неделю за последние шесть периодов недели Флаг готовности в трекере задач и история пропускной способности Бизнес-анализ; управление запросами на обслуживание Определение готовности; уточнение За период планирования Помечать элементы готовыми без проверки; раздувать глубину, записывая детальные элементы для малоценной работы Выборка готовых элементов, прочитанных относительно определения; доля переделок или возврата на уточнение, когда работа начинается
Охват уточнением Доля ближайшего окна, которая готова Элементы в ближайших двух двухнедельных периодах ожидаемой работы (или первые N по порядку), отвечающие определению готовности / элементы в этом окне процент Порядок, флаг готовности и плановая работа в трекере задач Бизнес-анализ; управление изменениями (для плановых изменений) Уточнение бэклога продукта За период планирования Ставить флаг готовности, чтобы выполнить число; сужать окно, чтобы считалось меньше элементов Число элементов, возвращённых после планирования; успех цели поставки и изменение объёма в середине периода (см. тему 2.5, Метрики прогнозирования и планирования поставки)
Отношение поступления к выбытию бэклога Приходят ли элементы быстрее, чем уходят Элементы, добавленные за период / элементы, убранные из бэклога завершением или отбрасыванием за тот же период; отношение выше 1 означает рост отношение События создания и решения в трекере задач или ITSM Управление инцидентами; управление запросами на обслуживание; управление ёмкостью и производительностью Интенсивность поступления и выбытия Раз в неделю Быстро закрывать лёгкие элементы, чтобы поднять выбытие, или отказывать новым элементам на входе, чтобы удержать поступление Возраст самых старых элементов; доля отбрасывания; доля запросов, отклонённых без причины; неудовлетворённые нужды по сообщениям клиентов
Доля отбрасывания бэклога Доля уходящих элементов, удалённых без поставки Элементы, закрытые как «не будем делать», дубликат или устаревшее / все элементы, покинувшие бэклог за период; исключает элементы, закрытые как «сделано» процент Поле решения в трекере задач Непрерывное улучшение; управление проблемами (пересмотр известных ошибок) Подрезка бэклога; упорядочение владельцем продукта Раз в месяц Отбрасывать элементы, которые пользователи всё ещё хотят, чтобы сократить размер; или избегать отбрасывания, чтобы число выглядело мягким Пересмотр выборки отброшенных элементов вместе с запросившим; доля повторного открытия и повторного поднятия отброшенных элементов
Доля сервисного бэклога сверх цели Доля открытых сервисных элементов старше согласованного окна реагирования или решения Открытые элементы, чьё прошедшее время превышает целевое значение услуги / все открытые элементы в очереди; часы идут с регистрации и приостанавливаются только в состояниях, которые разрешает письменное определение процент Инструмент ITSM с часами уровня услуги Управление уровнями услуг; управление инцидентами; управление запросами на обслуживание Полоса срочных задач; ожидание по уровню услуги Ежедневно или еженедельно Приостанавливать часы состоянием «ожидание клиента», понижать приоритет или закрывать и вновь открывать, чтобы сбросить окно Доля времени в состояниях паузы; доля повторного открытия (см. тему 1.2, Закон Гудхарта и психология метрик); удовлетворённость пользователей по закрытым заявкам

2.7 Метрики запросов на слияние и проверки кода

Тема-источник: (см. тему 2.7, Метрики запросов на слияние и проверки кода).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Время до первой проверки Ожидание между готовностью запроса на слияние к проверке и первым содержательным ответом человека Часы запускаются, когда запрос на слияние выходит из статуса черновика или открыт готовым, и останавливаются на первом комментарии проверки, запросе изменений или утверждении кем-то, кроме автора; комментарии ботов и автора и чистые смены меток исключаются. Сообщайте медиану и 85-й перцентиль в рабочих часах рабочие часы История событий платформы контроля версий Разработка и управление программным обеспечением; управление изменениями Рабочее соглашение об отзывчивости проверки; поток работы в процессе Раз в неделю Писать быстрое «выглядит хорошо» или смайлик как первый ответ; назначать бота или дружелюбного проверяющего; помечать запрос на слияние готовым лишь после того, как кто-то заранее согласился посмотреть Доля исправлений после слияния; выборка утверждений без комментариев; требовать в рабочем соглашении, чтобы первые ответы были содержательными
Время цикла проверки Полное время от готовности к проверке до слияния Часы запускаются, когда запрос на слияние готов к проверке, и останавливаются на слиянии; запросы на слияние, закрытые без слияния, исключаются и считаются отдельно. Сообщайте медиану и 85-й перцентиль в рабочих часах рабочие часы История событий платформы контроля версий Управление развёртыванием; управление изменениями Время цикла этапа проверки на доске команды Раз в неделю Сливать, не дожидаясь проверки; делить изменение на крошечные части, чтобы проходило быстрее; закрывать и вновь открывать запрос на слияние, чтобы сбросить часы Число закрытых и вновь открытых запросов на слияние; раунды проверки; доля исправлений после слияния; правила защищённых веток, требующие утверждения
Размер запроса на слияние Объём изменения в запросе на слияние Добавленные строки плюс удалённые строки, исключая сгенерированные файлы, файлы блокировок, сторонний код и чистые переименования, как перечислено в правилах игнорирования репозитория. Сообщайте медиану и 85-й перцентиль на слитый запрос на слияние изменённые строки Статистика различий платформы контроля версий Разработка и управление программным обеспечением Малый размер партии; нарезка историй Раз в неделю Исключать файлы из счёта; делить одно изменение на части, не понятные по отдельности; раздувать размер сгенерированным кодом Пересматривать правила игнорирования каждый квартал; проверять, что разделённые части собираются и проходят тесты в одиночку; читать выборку самых малых и самых больших
Раунды проверки Число циклов отправки автора и ответа проверяющего до слияния Число различных циклов «запрошены изменения» или «комментарий, затем отправка» на слитый запрос на слияние; первая отправка есть нулевой раунд, а сбои автоматических проверок исключаются. Сообщайте медиану и 85-й перцентиль число События проверки и отправки платформы контроля версий Непрерывное улучшение; разработка и управление программным обеспечением Сигнал переделок на этапе проверки; определение готовности Раз в неделю Утверждать с первого прохода, чтобы держать счёт низким; переносить обсуждение в чат, чтобы оно не оставляло следа; авторы отправляют много правок одним коммитом, чтобы спрятать раунды Доля исправлений после слияния; выборка запросов на слияние с нулём раундов; держать обсуждение в запросе на слияние
Концентрация нагрузки проверки Насколько неравномерно распределена работа по проверке в команде Доля завершённых проверок команды, обработанных двумя самыми загруженными проверяющими за скользящие 4 недели; проверки собственного запроса на слияние и проверки ботов исключаются. Сообщается для команды, никогда по именам процент События проверки платформы контроля версий, агрегированные до команды Непрерывное улучшение; управление знаниями Общее владение кодом; коллективное владение Раз в месяц Делить проверки на много малых утверждений, чтобы распределить счёт; назначать проверки тем, у кого есть свободное время, но нет знаний Проверять знание проверяющего для рискованных областей; следить за долей исправлений после слияния по областям; держать показатель на уровне команды
Число застоявшихся запросов на слияние Запросы на слияние, открытые дольше согласованного командой предела Запросы на слияние, всё ещё открытые и не черновики, чей возраст с момента готовности к проверке превышает предел команды, считаются на момент снимка; черновики исключаются число Список открытых запросов на слияние платформы контроля версий Управление изменениями; непрерывное улучшение Возраст рабочего элемента; ограничение WIP Раз в неделю Закрывать застоявшиеся запросы на слияние без слияния; превращать их в черновики, чтобы спрятать; поднимать предел застоя Число запросов на слияние, закрытых неслитыми; число долго живущих черновиков; пересматривать предел с командой каждый квартал
Доля исправлений после слияния Доля слитых запросов на слияние, за которыми вскоре следует исправляющее изменение Слитые запросы на слияние, за которыми в течение 14 дней последовало исправление, откат или срочное исправление, связанные с тем же изменением / слитые запросы на слияние за период; плановая последующая работа, помеченная как таковая, исключается процент История контроля версий, связанные задачи и записи об инцидентах или изменениях Управление изменениями; управление инцидентами Встроенное качество; определение готовности Раз в месяц Записывать исправления под новым рабочим элементом без связи; помечать исправляющую работу как плановое продолжение; избегать показателя, откладывая исправление за пределы окна Сравнивать с данными об инцидентах и сбоях изменений; выборка последующих элементов; аудит используемых меток

2.8 Метрики DORA

Тема-источник: (см. тему 2.8, Метрики DORA).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Время выполнения изменения Время, за которое зафиксированное изменение попадает в продуктив Часы запускаются при первом коммите изменения (или при его слиянии в основную ветку, если так сказано в определении) и останавливаются, когда развёртывание в продуктив успешно завершено; сообщайте медиану и 85-й перцентиль изменений, развёрнутых в периоде; никогда не развёрнутые изменения исключаются и сообщаются отдельно как работа в процессе Часы или дни Система контроля версий, объединённая с конвейером развёртывания Управление развёртыванием; управление релизами; управление изменениями Время цикла; время до продуктива Раз в неделю или на релиз, пересматривается раз в месяц Сдвигать начало часов позже, например начиная со слияния вместо первого коммита; рано сливать в долгоживущую ветку; исключать трудные изменения как «не код»; пропускать через конвейер тривиальные изменения, чтобы опустить медиану Перцентиль и возраст работы в процессе; фиксированное письменное начало часов; выборка самых медленных 10 % изменений каждый квартал; распределение размеров изменений
Частота развёртываний Как часто команда развёртывает в продуктив Число успешных развёртываний приложения в продуктив за период / дни в периоде; неудачные или откатанные развёртывания исключаются из счёта успехов; развёртывания в тестовые среды исключаются Развёртываний в день или в неделю Журнал событий конвейера развёртывания Управление развёртыванием; управление релизами Непрерывная поставка; выпуск в конце каждого приращения Раз в неделю Дробить одно изменение на множество тривиальных развёртываний; повторно развёртывать неизменённые сборки; считать развёртывания в промежуточную среду или пустые изменения конфигурации Размер изменения на развёртывание; доля развёртываний, содержащих изменение, видимое пользователю; рядом доля сбоев изменений и доля переделок
Время восстановления после неудачного развёртывания Сколько времени занимает восстановление, когда развёртывание вызывает сбой в продуктиве Часы запускаются, когда сбой обнаружен или о нём сообщено (по одному и тому же правилу каждый раз), и останавливаются, когда услуга восстановлена для пользователей; сообщайте медиану и 85-й перцентиль для неудачных развёртываний периода; инциденты, не вызванные развёртыванием, исключаются Минуты или часы Запись об инцидентах, объединённая с событиями развёртывания и оповещениями мониторинга Управление инцидентами; управление непрерывностью услуг Время восстановления; работа по восстановлению На каждый сбой, пересматривается раз в месяц Запускать часы поздно или закрывать инциденты рано; переклассифицировать сбой как новый инцидент после частичного исправления; повышать порог серьёзности для «сбоя» Повторение того же инцидента в заявленном окне; начало часов берётся из оповещений мониторинга; длительность воздействия по сообщениям клиентов
Доля сбоев изменений Доля развёртываний в продуктив, вызывающих сбой, требующий исправления Развёртывания, потребовавшие срочного исправления, отката, патча или реагирования на инцидент / все развёртывания в продуктив за период; правило, связывающее сбой с его развёртыванием, записано и применяется одинаково каждый раз Процент События развёртывания, объединённые с инцидентами, откатами и развёртываниями срочных исправлений Управление изменениями; управление инцидентами Определение готовности; ушедшие дефекты Раз в месяц Не связывать инциденты с развёртываниями; считать только сбои, вызывающие полный отказ; расширять окно так, чтобы сбои выпадали из него; исправлять вперёд и называть это новым изменением Каждый квартал сверять выборку инцидентов с журналом развёртываний; отслеживать долю инцидентов с записанной связью с развёртыванием; доля переделок развёртываний
Доля переделок развёртываний Доля развёртываний в продуктив, которые были внеплановыми и сделаны для исправления проблемы, видимой пользователям Внеплановые развёртывания в ответ на проблему в продуктиве / все развёртывания в продуктив за период; плановые развёртывания, которые случайно содержат исправление, исключаются; правило «внеплановое» записано Процент Журнал конвейера, помеченный причиной развёртывания, связанный с записями об инцидентах или дефектах Управление изменениями; управление проблемами Внеплановая работа; исправление ошибки, выпущенное вне плана Раз в месяц Помечать исправления как плановую работу; включать исправление в плановый релиз; избегать развёртываний исправлений, откладывая исправление Счёты дефектов и ушедших дефектов из трекера; возраст открытых дефектов в продуктиве; аудит меток по выборке развёртываний

2.9 Операционная и внеплановая работа

Тема-источник: (см. тему 2.9, Операционная и внеплановая работа).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Доля внеплановой работы Доля завершённых рабочих элементов по счёту, которых не было в плане в начале периода элементы, завершённые в периоде, вошедшие на доску или в бэклог после начала периода / все элементы, завершённые в периоде; часы запускаются на событии планирования и останавливаются в конце периода; отменённые элементы и всё ещё открытые исключаются процент Трекер задач с временем создания элементов и снимком планирования Управление инцидентами; управление запросами на обслуживание Изменение объёма; типы рабочих элементов Раз в месяц Поздно добавлять элементы в снимок планирования, чтобы они считались плановыми; оставлять срочную работу неотслеживаемой, чтобы она никогда не считалась; помечать плановые элементы как внеплановые, чтобы оправдать невыполненный план Замороженный снимок планирования с меткой времени; число неклассифицированных; выборка закрытых элементов, читаемая каждый квартал, чтобы сравнить метку с тем, что произошло
Соблюдение распределения ёмкости Насколько точно фактическое усилие соответствует заявленному разделению между работой по изменениям, по эксплуатации и по улучшению для каждой категории абсолютная разность фактической и согласованной доли, суммируется и делится пополам; фактическая доля есть завершённые элементы (или записанное усилие, где команда его фиксирует) в этой категории / все завершённые элементы; элементы без категории сообщаются отдельно и не отбрасываются процентные пункты Поле типа работы в трекере задач и записи учёта времени, где они есть Непрерывное улучшение; управление ёмкостью и производительностью Распределение или планирование ёмкости Раз в месяц Переносить элементы между категориями, чтобы соответствовать согласованному разделению; делить один элемент на несколько, чтобы сдвинуть доли; выбирать разделение, которое команда и так выполняет Фиксированные определения категорий, записанные в рабочем соглашении; выборка описаний элементов против их категорий; надёжность планового обязательства
Интенсивность прерываний Как часто требования вне плана доходят до команды и до людей, делающих плановую работу прерывания, полученные командой в периоде / рабочие дни периода, где прерывание есть любая заявка, вызов, запрос в сообщении или просьба, записанные в канале приёма команды и ещё не бывшие в плане; дубликаты одного и того же лежащего в основе требования считаются один раз прерываний в рабочий день Журнал канала приёма, очередь ITSM, система оповещений и журнал прерываний команды Управление инцидентами; управление запросами на обслуживание; мониторинг и управление событиями Журнал прерываний или рабочее соглашение команды Раз в неделю Превращать прерывания в молчаливые услуги, никогда не доходящие до журнала; объединять несколько требований в одну запись; отбивать у людей охоту просить Сравнивать журнал с трафиком канала приёма и историей оповещений; спрашивать команду на ретроспективе, соответствует ли журнал их опыту
Доля срочных задач Доля завершённых элементов, использовавших полосу срочных задач элементы, завершённые в периоде и вошедшие в полосу срочных задач / все элементы, завершённые в периоде; часы запускаются, когда элемент помечен срочным, и останавливаются на завершении; элементы, выведенные из полосы до начала работы, считаются отдельно процент История полосы доски или поля приоритета Управление инцидентами; управление изменениями (экстренное изменение) Класс обслуживания «срочный» Раз в месяц Держать срочную работу вне полосы, чтобы выглядеть дисциплинированно, или помещать в неё всё ради скорости; переопределять срочное как «важное» Лимит полосы с входным тестом; доля срочных элементов, прошедших тест на пересмотре; вытеснение плановой работы
Вытеснение плановой работы Число плановых элементов, вытолкнутых или брошенных, чтобы освободить место для внеплановой работы плановые элементы, убранные из периода, отложенные или оставленные незавершёнными с записанной причиной «вытеснено внеплановой работой» в периоде (число); элементы, убранные потому что цель изменилась, исключаются число элементов История изменений доски с полем причины Управление изменениями; непрерывное улучшение Защита цели поставки; согласование объёма Раз в месяц Записывать вытеснение как изменение объёма по выбору; позволять плановым элементам тихо проваливаться без причины; избегать плановых элементов, вероятно подлежащих вытеснению Обязательное поле причины на каждом убранном или незавершённом элементе; надёжность планового обязательства; пересмотр причин на ретроспективе
Доля повторяющейся внеплановой работы Доля внеплановых элементов, чья причина совпадает с более ранним внеплановым элементом в окне просмотра назад внеплановые элементы, завершённые в периоде и связанные с той же записью о проблеме, правилом оповещения или меткой причины, что и более ранний элемент в окне просмотра назад (например, 90 дней) / все внеплановые элементы, завершённые в периоде; элементы без метки причины сообщаются отдельным числом неклассифицированных процент Записи об инцидентах и проблемах ITSM, метки причин в трекере Управление проблемами; управление известными ошибками Действия ретроспективы; метки повторяющихся дефектов Раз в месяц Использовать грубую метку причины, чтобы повторы прятались, или тонкую, чтобы ничто не повторялось; закрывать запись о проблеме, чтобы убрать связь Таксономия меток причин пересматривается каждый квартал; число неклассифицированных; проверка повторения после закрытия записи о проблеме
Надёжность планового обязательства Доля элементов, которые команда планировала на период и завершила в периоде плановые элементы, завершённые в периоде / плановые элементы в начале периода; элементы, добавленные после начала, исключаются из обоих счётов процент Снимок планирования и история завершения в трекере Управление уровнями услуг; управление изменениями Надёжность прогноза Раз в месяц Планировать мало, чтобы завершить всё; накачивать оценки; считать частичный элемент выполненным; сбрасывать трудные элементы до начала периода Размер и ценность запланированных элементов, сравниваемые во времени; проверка результата цели поставки; доля внеплановой работы, чтобы высокое значение не читалось как здоровье, когда план был робким

Часть 3: Метрики службы поддержки, инцидентов и запросов

3.1 Метрики службы поддержки

Тема-источник: (см. тему 3.1, Метрики службы поддержки).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Объём обращений Число обращений, полученных службой поддержки, по каналу и периоду число обращений, созданных в периоде, по каналу; внутренние тестовые обращения, дубликаты автоответов электронной почты и исходящие звонки, сделанные службой, исключаются число Журнал телефонной или чат-платформы; записи обращений инструмента ITSM Служба поддержки Сигнал спроса при уточнении бэклога Раз в неделю Операторы отбивают охоту регистрировать, направляя пользователей в каналы, которые не считаются, или делят одно обращение на несколько, чтобы очередь выглядела занятой; менеджеры ставят цель на меньший объём Интенсивность обращений на 100 пользователей и периодическая сверка телефонных счётов со счётами заявок; фиксированное правило, что каждый канал считается
Интенсивность обращений Обращения относительно размера обслуживаемой совокупности, чтобы рост не принимали за проблему обращения в периоде / активные пользователи или активные учётные записи в периоде, приведённые к 100 пользователям; число пользователей берётся за тот же период, а определение «активный» записано обращений на 100 пользователей Записи обращений и система учёта идентичностей или лицензий Служба поддержки; управление уровнями услуг Спрос с поправкой на использование на обзоре продукта Раз в месяц Знаменатель выбирается постфактум (например, широкое определение «активный»), чтобы доля выглядела лучше Письменное датированное определение «активных пользователей» и сырые счёты, показанные рядом с долей
Время до ответа Ожидание с момента, когда обращение входит в очередь, до момента, когда включается человек или автоматический ответ часы запускаются, когда обращение поставлено в очередь, и останавливаются на первом ответе человека; брошенные обращения исключаются из этого показателя и считаются в отказе от ожидания; сообщайте медиану и 85-й перцентиль секунды (телефон, чат); минуты или часы (электронная почта, портал) Телефонная платформа; чат-платформа; метки времени инструмента ITSM Служба поддержки Рабочее соглашение об отзывчивости Ежедневно в окнах пересмотра, еженедельно в тренде Обращения отвечаются автоприветствием или передачей в тихую очередь, либо звонок берётся и ставится на удержание; электронная почта получает автоответ, засчитываемый как ответ Определить часы как первый ответ человека и отслеживать рядом отказ от ожидания и повторные обращения
Доля отказов от ожидания Доля обращений, заканчивающихся пользователем до того, как кто-либо включился обращения, завершённые пользователем до первого ответа человека / обращения, поставленные в очередь; обращения, завершённые в течение короткого льготного периода (указанного в определении, например пять секунд), исключаются как случайные процент Телефонная платформа; чат-платформа Служба поддержки Сигнал цены задержки на обзоре услуги Раз в неделю Звонящих сбрасывают до постановки в очередь, льготный период растягивают, либо предложение обратного звонка засчитывают как отвеченное обращение Перцентили времени до ответа, доля завершённых обратных звонков и опубликованный льготный период
Время обработки Время, которое служба тратит на обращение часы запускаются, когда включается человек, и останавливаются, когда он заканчивает обращение, включая работу по документированию после обращения; ожидание пользователя включается, только если так сказано в определении; сообщайте медиану и 85-й перцентиль с разбивкой по типу обращения минуты Телефонная платформа; чат-платформа; журнал работ инструмента ITSM Служба поддержки; управление инцидентами Сигнал усилия при уточнении и планировании ёмкости Раз в неделю Звонки торопят, рано передают или обрывают до решения проблемы; заметки оставляют скудными; работу переносят во время после обращения, которое часы исключают Решение с первого контакта, доля повторных обращений и выборочная проверка командой качества документации
Доля решения с первого контакта Доля обращений, решённых при первом контакте без последующего обращения по тому же вопросу обращения, решённые во время обращения и не сопровождаемые повторным обращением по той же проблеме от того же пользователя в окне повторного обращения / подходящие обращения; звонки, где требуется только перенаправление, и звонки, которые служба не должна решать, исключаются процент Поля решения и связи инструмента ITSM; подтверждение пользователя, где собирается Служба поддержки; управление инцидентами Проверка определения готовности, решено при первом касании Раз в месяц Заявки закрывают во время звонка независимо от результата, «тот же вопрос» читают узко, либо трудные обращения классифицируют как «не должны решаться» Доля повторных обращений, подтверждение пользователя одним вопросом и периодические аудиты исключений командой
Доля повторных обращений Доля решённых обращений, за которыми следует другое обращение по тому же вопросу обращения, за которыми в окне повторного обращения (например, семь дней, задаётся в определении) последовало другое обращение от того же пользователя по той же услуге или проблеме / обращения, решённые в более раннем периоде; обращения о новой проблеме исключаются процент Связь и история повторного открытия инструмента ITSM; записи обращений Служба поддержки; управление инцидентами Доля ушедших дефектов Раз в месяц Пользователей просят завести новую заявку для продолжения, либо продолжения записывают под другой категорией, чтобы они не связывались Правила связывания в инструменте, выборочный аудит несвязанных повторных обращений и решение по сообщению пользователей

3.2 Объём и приоритет инцидентов

Тема-источник: (см. тему 3.2, Объём и приоритет инцидентов).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Объём инцидентов по услуге Число инцидентов, открытых по услуге за период инциденты со временем открытия внутри периода, отнесённые к затронутой услуге; запросы на обслуживание, дубликаты, слитые в родительскую запись, и записи, отменённые как созданные по ошибке, исключаются число Записи об инцидентах инструмента ITSM Управление инцидентами Дефекты в продуктиве или внеплановые рабочие элементы на команду Раз в неделю, пересмотр раз в месяц Регистрировать инциденты как запросы, сливать несвязанные заявки, отбивать у пользователей охоту сообщать или закрывать дубликаты как «сбой не найден» Объём обращений пользователей и объём запросов рядом с объёмом инцидентов; удовлетворённость и отказ от ожидания в службе поддержки; выборка запросов, читающихся как сбои
Нормированная интенсивность инцидентов Инциденты относительно использования услуги инциденты, открытые в периоде / показатель использования за тот же период и область (активные пользователи, сеансы или транзакции, выбираются и записываются по услуге) × 1000; показатель использования должен идти из источника, отличного от инструмента инцидентов инцидентов на 1000 единиц использования Инструмент ITSM плюс данные об использовании из аналитики или мониторинга Управление инцидентами; управление уровнями услуг Плотность дефектов на релиз или на пользователя Раз в месяц Выбирать знаменатель, дающий лучшую цифру, или менять определение использования между периодами Фиксированный показатель использования на услугу, записанный в реестре; сырые счёты рядом с долей
Состав приоритетов Доля открытых инцидентов на каждом уровне приоритета инциденты с приоритетом, записанным при открытии / все инциденты, открытые в периоде, показанные для каждого уровня; переклассифицированные инциденты считаются по приоритету открытия и показываются снова по приоритету закрытия процент по уровню Инструмент ITSM, включая историю смен приоритета Управление инцидентами Распределение серьёзности дефектов; состав классов обслуживания Раз в месяц Понижать приоритеты, чтобы выглядеть спокойно, или повышать, чтобы привлечь внимание; присваивать низкий приоритет, чтобы избежать цели реагирования Доля переклассификации приоритета; ежемесячная выборочная проверка относительно матрицы воздействия и срочности; воздействие по сообщениям клиентов
Доля переклассификации приоритета Доля инцидентов, чей приоритет изменился между открытием и закрытием инциденты, закрытые в периоде, чей приоритет закрытия отличается от приоритета открытия / инциденты, закрытые в периоде процент След аудита инструмента ITSM Управление инцидентами Доля повторной сортировки в бэклоге дефектов Раз в месяц Не менять приоритет, когда следует, чтобы доля выглядела стабильной; менять его только при закрытии, чтобы подогнать под цель Выборка записей, где воздействие изменилось в ходе инцидента; пересмотры хронологии инцидентов
Концентрация категорий Доля объёма инцидентов, приходящаяся на самые крупные категории инциденты в пяти главных категориях по счёту / все категоризированные инциденты в периоде; некатегоризированные инциденты сообщаются отдельно как собственная доля процент Поля категории и услуги инструмента ITSM Управление инцидентами; управление проблемами Кластеры дефектов по компоненту или эпику Раз в месяц Использовать универсальную категорию или делить большую категорию на несколько, чтобы спрятать концентрацию Доля некатегоризированных записей и записей «другое»; периодический пересмотр списка категорий; сверка категорий с заметками о решении
Доля повторяющихся инцидентов Доля инцидентов, повторяющихся для той же услуги, конфигурационной единицы и категории в заявленном окне инциденты в периоде, у которых есть более ранний закрытый инцидент для той же услуги, CI и категории в предшествующем окне (например, 30 дней, задаётся один раз и записывается) / инциденты, открытые в периоде; вновь открытая запись считается повторным открытием, а не повтором процент Инструмент ITSM и связи CMDB Управление инцидентами; управление проблемами Доля регрессий или ушедших дефектов Раз в месяц Открывать новый инцидент с другой формулировкой или CI, чтобы избежать связи; закрывать рано, чтобы избежать повторного открытия Пересмотр почти дублирующих записей по тексту и услуге; доля повторного открытия; доля связей с записями о проблемах
Доля повторного открытия Доля закрытых инцидентов, которые были открыты заново инциденты, закрытые в периоде и позже открытые заново в заявленном окне (например, 7 дней) / инциденты, закрытые в периоде процент История статусов инструмента ITSM Управление инцидентами Вновь открытые дефекты; переделки Раз в месяц Просить пользователей завести новую заявку вместо повторного открытия; закрывать заявки поздно, чтобы избежать повторных открытий Число новых заявок, ссылающихся на недавно закрытую; подтверждение решения клиентом; распределение времени до закрытия
Доля обнаруженных мониторингом Доля инцидентов, впервые поднятых мониторингом раньше, чем сообщил пользователь инциденты, чьё первое событие есть автоматическое оповещение / все инциденты, открытые в периоде; инциденты, открытые человеком по оповещению, считаются по времени оповещения процент Инструмент ITSM, интеграция с мониторингом Мониторинг и управление событиями; управление инцидентами Дефекты, обнаруженные оповещением, против сообщённых клиентами Раз в месяц Создавать шумные оповещения, автоматически открывающие инциденты, или позволять людям перемечать сообщения пользователей как оповещения Показатели качества оповещений, такие как доля применимых оповещений (см. тему 5.5, Метрики мониторинга и качества оповещений); аудит источника инцидентов

3.3 Время реагирования на инциденты и их устранения

Тема-источник: (см. тему 3.3, Время реагирования на инциденты и их устранения).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Время обнаружения Как долго сбой влиял на пользователей, прежде чем организация узнала Часы запускаются в первый момент воздействия на пользователей (берётся из данных мониторинга или подтверждённого начала воздействия, записанного на разборе); останавливаются на первом оповещении или сообщении пользователя. Сообщается как медиана и 95-й перцентиль по услуге. Инциденты без известного начала считаются и сообщаются отдельно, а не отбрасываются минуты Платформа мониторинга и оповещений; запись об инциденте с полем начала воздействия Управление инцидентами; мониторинг и управление событиями Работа над наблюдаемостью и качеством оповещений (см. тему 5.5, Метрики мониторинга и качества оповещений) Раз в месяц Ставить начало воздействия позже, чем оно было; расширять пороги оповещений, чтобы меньше сбоев считалось инцидентами; считать только инциденты, пойманные монитором Доля инцидентов, о которых впервые сообщили пользователи, а не мониторинг; периодический пересмотр оценок начала воздействия по данным мониторинга
Время подтверждения Как долго поднятое оповещение или заявка ждут, пока человек не станет владельцем Часы запускаются, когда срабатывает оповещение или регистрируется заявка; останавливаются, когда названный человек или команда принимает её. Автоназначение не останавливает часы. Сообщается как медиана и 95-й перцентиль по приоритету минуты Инструмент вызова; история назначений инструмента ITSM Управление инцидентами; служба поддержки Реагирование дежурного в ротации SRE Раз в месяц Автоназначать или автоподтверждать, чтобы остановить часы; подтверждать оповещение и затем ничего не делать Время первого ответа и время восстановления для тех же инцидентов; выборка подтверждённых оповещений без последующей активности
Время первого ответа Как долго пользователь ждёт первого полезного ответа человека Часы запускаются, когда инцидент зарегистрирован; останавливаются на первом сообщении или действии человека, отвечающем на обращение. Автоподтверждения и шаблонные квитанции исключаются. Указаны часы рабочего времени минуты или рабочие часы Журнал коммуникации инструмента ITSM Служба поддержки; управление инцидентами Своевременная обратная связь пользователю, как в рабочем соглашении Раз в неделю Отправлять шаблонный или односложный ответ, чтобы остановить часы Пересмотр выборки первых ответов на содержательность; повторные обращения и комментарии опросов
Время восстановления Как долго пользователи были без работающей услуги Часы запускаются в начале воздействия на пользователей; останавливаются, когда пользователи снова могут пользоваться услугой, в том числе обходным путём или откатом. Причина, исправленная позже, его не удлиняет. Сообщается как медиана и 95-й перцентиль по приоритету и услуге минуты или часы Запись об инциденте с метками начала воздействия и восстановления; мониторинг Управление инцидентами Среднее время восстановления в терминах DORA, читаемое как распределение (см. тему 2.8, Метрики DORA) Раз в месяц Объявлять услугу восстановленной, прежде чем пользователи могут ей пользоваться; восстанавливать, подавляя симптом; регистрировать сбои как плановое обслуживание Повторение в окне; воздействие по сообщениям пользователей после времени восстановления; доля инцидентов, перемеченных постфактум
Время решения Как долго запись об инциденте была открыта до закрытия Часы запускаются, когда инцидент зарегистрирован; останавливаются, когда он закрыт после восстановления и подтверждения пользователя или честного ожидания. Время в «ожидании клиента» показывается как отдельная сообщаемая доля и не вычитается из главного числа. Сообщается как медиана и 95-й перцентиль по приоритету часы или рабочие часы История статусов инструмента ITSM Управление инцидентами Время цикла для внеплановой работы (см. тему 2.2, Время выполнения, время цикла и эффективность потока) Раз в месяц Переводить заявки в «ожидание клиента» или «на удержании»; закрывать после одной попытки связаться; делить инцидент на дочерние, чтобы рано закрыть родителя Доля времени в состояниях пауз; доля повторного открытия; возраст самого старого открытого инцидента; чтение выборки заметок о закрытии
Возраст самого старого открытого инцидента Как долго открыт самый давний открытый инцидент Сейчас минус время регистрации для каждого открытого инцидента, с перечислением нескольких самых старых по приоритету. Состояния пауз не вычитаются дни Список открытых инцидентов инструмента ITSM Управление инцидентами Возраст рабочего элемента на доске команды (см. тему 2.1, Показатели потока) Раз в неделю Закрывать и вновь поднимать самую старую заявку; переклассифицировать её в проблему или запрос, чтобы убрать из списка Связывать дубликаты с оригиналами и сообщать связанный возраст; число инцидентов, преобразованных в проблемы или запросы за период
Доля активного времени Доля прошедшего времени инцидента, потраченная на активную работу, а не на ожидание Сумма времени в активных состояниях / общее время от регистрации до закрытия, для инцидентов, закрытых в периоде. Активные состояния суть те, где человек работает над инцидентом; состояния ожидания перечислены в определении процент История статусов инструмента ITSM Управление инцидентами Эффективность потока (см. тему 2.2, Время выполнения, время цикла и эффективность потока) Раз в квартал Записывать краткую, бессмысленную работу, чтобы отметить время как активное; переходить в активные состояния без усилия Сравнивать активное время с результатами, такими как время восстановления; выборка заметок о работе
Число переназначений Сколько раз инцидент меняет владеющую команду до восстановления Число смен группы назначения от регистрации до восстановления, сводится как медиана и доля инцидентов с тремя или более. Считается по услуге и приоритету, никогда по оператору число История назначений инструмента ITSM Управление инцидентами; служба поддержки Число передач (см. тему 9.3, Метрики сотрудничества и передачи работы) Раз в месяц Повторно открывать в той же команде вместо передачи; передавать работу по побочному каналу, чтобы инструмент не показывал передачи Время восстановления и удовлетворённость пользователей; периодическое наблюдение за тем, как работа движется между командами

3.4 Метрики крупных инцидентов

Тема-источник: (см. тему 3.4, Метрики крупных инцидентов).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Число крупных инцидентов Крупные инциденты, объявленные за период, по услуге Число инцидентов, отвечавших критериям объявления и объявленных в периоде, по времени объявления; инциденты, понижённые в течение первого часа, перечисляются отдельно и исключаются число за квартал Записи об инцидентах инструмента ITSM с флагом крупного инцидента Управление инцидентами Обзор здоровья команды или услуги Ежемесячный отчёт, квартальный тренд Повышать порог объявления, держать инциденты на «высоком» приоритете, чтобы они никогда не объявлялись, делить одно событие на несколько записей или сливать несколько в одну Фиксированные версионированные критерии; квартальная выборка обычных инцидентов с высоким воздействием; воздействие на клиентов и время до объявления отслеживаются рядом со счётом
Длительность крупного инцидента Время, в течение которого клиенты были затронуты Время восстановления услуги минус время начала воздействия, на инцидент. Начало воздействия есть самое раннее свидетельство в мониторинге или первое сообщение пользователя, что раньше. Частичное восстановление записывается как отдельное событие, а полное восстановление останавливает часы минуты, на инцидент Хронология мониторинга, хронология инцидента в инструменте ITSM Управление инцидентами; управление уровнями услуг Время восстановления в показателях поставки (см. тему 2.8, Метрики DORA) На инцидент; медиана и максимум по длинному окну ежеквартально Переносить часы на более позднее начало воздействия, объявлять «восстановлено», пока пользователи ещё получают сбои, или закрывать и открывать новую запись Начало воздействия берётся из мониторинга; восстановление подтверждается индикатором, видимым пользователям; вновь открытые и связанные записи считаются одним инцидентом
Время до объявления Задержка между началом воздействия и объявлением крупного инцидента Время объявления минус время начала воздействия, на инцидент. Никогда не объявленные инциденты находятся квартальным пересмотром обычных инцидентов с высоким воздействием и включаются со временем объявления «н/д (никогда не объявлен)» минуты, на инцидент Хронология мониторинга, след аудита инструмента ITSM Управление инцидентами; мониторинг и управление событиями Определение готовности для эскалации в рабочих соглашениях команд На инцидент Объявлять рано на всё, чтобы выглядеть быстро, или датировать объявление задним числом началом воздействия Доля объявленных инцидентов, позже понижённых; след аудита времени объявления; выборка хронологий против сырого мониторинга
Воздействие на клиентов Сколько пользователей и сколько использования было затронуто Затронутые пользователи (или неудачные запросы), умноженные на минуты воздействия, на инцидент. Считаются только пользователи, пытавшиеся пользоваться услугой в окне воздействия. Плановое обслуживание исключается пользователе-минуты или неудачные запросы Телеметрия услуги, записи обращений в поддержку Управление уровнями услуг; управление инцидентами Индикаторы уровня услуги, видимые пользователям (см. тему 5.2, SLI, SLO и бюджеты ошибок) На инцидент Сужать определение «затронутый», считать только пользователей, подавших заявку, или измерять зависимость, оставшуюся в работе Воздействие выводится из телеметрии, а также из обращений; заявление о воздействии простым языком, пересматриваемое на пересмотре инцидента
Своевременность коммуникации Были ли затронутые стороны проинформированы вовремя Доля крупных инцидентов, где первое уведомление клиентам ушло в пределах цели после объявления, и доля запланированных обновлений, отправленных в пределах согласованного интервала. Часы запускаются при объявлении. Сообщения только для внутреннего пользования исключаются процент инцидентов; процент обновлений История страницы статуса, журнал коммуникации в инструменте ITSM Управление инцидентами; управление уровнями услуг Коммуникация с заинтересованными сторонами в рабочем соглашении команды На инцидент; квартальная сводка Публиковать расплывчатое уведомление, чтобы запустить часы, отправлять обновления без содержания или считать внутренние сообщения Проверка содержания выборки обновлений; обратная связь клиентов о ясности; считаются только уведомления клиентам
Своевременность завершения пересмотра Состоялся ли пересмотр достаточно рано, чтобы быть полезным Доля крупных инцидентов с опубликованным пересмотром в пределах согласованного числа рабочих дней после восстановления. Часы останавливаются при публикации, а не при первом черновике. Инциденты, ещё внутри окна, исключаются процент Репозиторий пересмотров, инструмент ITSM Непрерывное улучшение; управление проблемами Последующая работа по улучшению Раз в квартал Публиковать тонкий документ, чтобы уложиться в дату, или объявлять пересмотр «ненужным» Качество пересмотра, прочитанное коллегой по выборке (см. тему 4.2, Метрики разборов и обучения); показывается доля отказов от пересмотра
Доведение действий до конца Выполняются ли действия пересмотра Действия пересмотра, завершённые к сроку / действия пересмотра, срок которых пришёлся на период. Действия, закрытые как «не будем делать», считаются отдельно с причиной, а не прячутся процент; число просроченных Трекер задач, связанный с пересмотром Непрерывное улучшение; управление проблемами Элементы бэклога из ретроспектив Раз в месяц Писать расплывчатые или тривиальные действия, которые легко закрыть, закрывать действия, не сделав работу, или перемечать как «не будем делать» Выборка качества действий; закрытые действия сверяются с изменением системы; пересматриваются доля «не будем делать» и причины
Доля повторяющихся крупных инцидентов Повторение той же причины Крупные инциденты в периоде, чья записанная причина совпадает с причиной более раннего крупного инцидента за предыдущие двенадцать месяцев / крупные инциденты в периоде. Сопоставление идёт по полю причины, проверяемому вручную процент, с показанным числом Записи пересмотров, записи о проблемах Управление проблемами Профилактическая работа в бэклоге Раз в квартал Записывать каждую причину как новую, выбирая иные формулировки, или приписывать всё «человеческой ошибке» Короткая таксономия причин с определениями; поля причин проверяет кто-то вне инцидента; «человеческая ошибка» как причина не принимается без объяснения системой

3.5 Метрики выполнения запросов на обслуживание

Тема-источник: (см. тему 3.5, Метрики выполнения запросов на обслуживание).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Время выполнения запроса Прошедшее время доставки запроса, показанное как медиана и 95-й перцентиль по элементу каталога часы запускаются, когда пользователь подаёт запрос, и останавливаются, когда пользователь подтверждает доставку или доставка записана; запросы, отменённые пользователем, исключаются; время ожидания пользователя сообщается отдельно, а не убирается рабочие дни или часы История запросов инструмента ITSM Управление запросами на обслуживание Время цикла на доске команды (см. тему 2.2, Время выполнения, время цикла и эффективность потока) Раз в неделю, тренд раз в месяц Приостанавливать часы для «ожидания пользователя», является ли пользователь причиной или нет; закрывать запросы до доставки и открывать их как новые; делить один запрос на несколько малых Доля приостановленного времени по элементу с выборочным аудитом причин пауз; доля повторного открытия; подтверждение доставки пользователем перед закрытием
Выполнение в пределах цели Доля запросов, доставленных в пределах цели, согласованной для их элемента каталога запросы, выполненные в пределах цели / запросы, выполненные в периоде; часы как выше, всё ещё открытые элементы исключаются и считаются вместо этого в возрасте бэклога процент История запросов инструмента ITSM; таблица целей по элементам каталога Управление уровнями услуг Ожидание по уровню услуги Раз в месяц Переопределять цель на более лёгкую; считать только запросы, которые заканчиваются, и игнорировать старые открытые; выбирать быстрые элементы для набора целей Возраст бэклога для открытых запросов; изменения целей записываются в реестр метрик с причиной; набор целей покрывает все элементы по объёму
Бэклог запросов и возраст Число открытых запросов и возраст самых старых, по элементу каталога открытые запросы на конец периода (число); возраст каждого открытого запроса = дата отчёта минус дата подачи; сообщайте число, медианный возраст и самый старый возраст число и дни Очередь открытых запросов инструмента ITSM Управление запросами на обслуживание Работа в процессе и стареющие рабочие элементы (см. тему 2.3, Работа в процессе и теория очередей) Раз в неделю Закрывать старые запросы как «нет ответа» или «устарело»; переносить запросы в другую очередь или категорию, чтобы они покинули считаемую очередь Число запросов, закрытых без доставки, по причинам; переводы по категориям и очередям пересматриваются на ежемесячной встрече
Время ожидания согласования Время, которое запрос проводит в ожидании согласования часы запускаются, когда согласование запрошено, и останавливаются, когда оно дано или отклонено; запросы без шага согласования исключаются часы Журнал согласований инструмента ITSM Управление запросами на обслуживание; управление изменениями Время блокировки или колонка «ожидание» на доске Раз в месяц Согласующие утверждают, не читая, чтобы держать своё время низким; запросившие подгоняют согласующих вне системы, так что записанное ожидание коротко Выборочная проверка утверждённых запросов на соответствие политике; доля повторного открытия и исключения безопасности для утверждённых элементов; число шагов согласования по элементу
Объём запросов по элементу каталога Число запросов, поданных на каждый элемент, с его долей от всех запросов запросы, поданные на элемент за период; запросы, повторно поданные как дубликаты, если выявлены, исключаются; сообщайте число и долю от итога число и процент Записи запросов инструмента ITSM Управление каталогом услуг Анализ спроса для формирования бэклога Раз в месяц Сокращать объём, делая каталог труднее для поиска или отбивая охоту просить; переклассифицировать запросы как инциденты или «общие вопросы» Удовлетворённость каталогом; доля обращений, классифицированных как «другое»; данные о внедрении услуги (см. тему 6.3, Метрики внедрения услуг и каталога)
Доля автоматизации Часть запросов, выполненных без ручного шага после подачи запросы, выполненные от начала до конца автоматизацией / запросы, выполненные в периоде; запрос, которого коснулся человек на любом шаге выполнения, считается ручным; согласования человеком не считаются ручными шагами выполнения, если их требует политика процент Записи выполнения инструмента ITSM и журналы платформы автоматизации Управление запросами на обслуживание; автоматизация в цепочке создания ценности услуг Автоматизация в определении готовности Раз в месяц Автоматизировать тривиальные элементы, чтобы поднять процент; считать автоматизированным скриптовый запрос, который человек всё равно проверяет вручную; прятать ручные шаги в отдельной заявке Доля, взвешенная по объёму запросов и по убранному времени работы; доля сбоев автоматизации и возврата к ручному; выборка «автоматизированных» запросов, прослеженных от начала до конца
Доля повторного открытия запросов Доля выполненных запросов, которые пользователь открывает заново или поднимает снова, потому что результат был неверным или неполным запросы, открытые заново или поднятые снова по тому же элементу тем же пользователем в течение 7 дней после выполнения / запросы, выполненные в периоде; окно в 7 дней есть пример, который команда записывает процент История запросов инструмента ITSM Управление запросами на обслуживание Доля переделок; ушедшие дефекты Раз в месяц Отбивать охоту открывать заново, затрудняя это; говорить пользователям открыть новый запрос, что сбрасывает счётчик Повторные запросы от того же пользователя по тому же элементу в окне; удовлетворённость пользователей по элементу; повторное открытие разрешено из уведомления

3.6 Метрики управления знаниями

Тема-источник: (см. тему 3.6, Метрики управления знаниями).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Доля ссылок на знания Доля решённых обращений, у которых есть хотя бы одна статья знаний, прикреплённая в момент решения обращения, решённые в периоде и имеющие хотя бы одну связанную статью / обращения, решённые в периоде. Считается по дате решения; крупные инциденты, обращения, закрытые как дубликаты, и обращения, автоматически закрытые без работы человека, исключаются процент Инструмент ITSM: таблицы связей обращений и статей Управление знаниями; управление инцидентами Определение готовности включает фиксацию усвоенного Раз в неделю для команды; раз в месяц для пересмотра Прикреплять любую статью, часто общую или очень популярную, к каждому обращению перед закрытием; связывать постфактум оптом Ежемесячная выборка уместности связанных обращений; доля ссылок, идущих на одни и те же немногие статьи; метка времени связи против метки времени решения
Доля повторного использования Доля ссылок на статьи, указывающих на существующую статью, а не на созданную в ходе этого обращения ссылки на статьи, существовавшие до открытия обращения / все ссылки на статьи, сделанные на решённых обращениях в периоде. Ссылки, добавленные после закрытия обращения, исключаются процент Инструмент ITSM: дата создания статьи против даты открытия обращения Управление знаниями; непрерывное улучшение Повторное использование вместо переделки; общее владение кодом и документацией Раз в месяц Создавать новую статью для каждого обращения и сразу связывать её, чтобы в следующий раз она считалась повторным использованием; либо никогда не создавать, чтобы доля выглядела идеально Доля дубликатов статей, выявляемая периодическим поиском; доля обращений, закрытых с причиной «статьи не существовало»
Свежесть статей Доля используемых статей, которые были пересмотрены или использованы и подтверждены верными в заявленном окне пересмотра используемые статьи с датой пересмотра или подтверждённого использования внутри окна / используемые статьи. Статья используется, если она была связана с обращением или просмотрена читателем за последние 12 месяцев (выбор команды); черновики и выведенные статьи исключаются процент Метаданные базы знаний и журнал просмотров Управление знаниями; служба поддержки Уточнение бэклога документации; действия ретроспективы Раз в месяц Помечать статьи пересмотренными, не проверяя их; сбрасывать дату пересмотра тривиальными правками; считать только легко пересматриваемые статьи Выборка недавно пересмотренных статей, проверенных против реальной услуги; доля полезности и письменные комментарии к тем же статьям
Доля поисков без результата Доля поисков знаний, не возвращающих ни одной статьи поиски с нулём результатов / все поиски. Поиски ботами и автоматические проверки исключаются; каждый поиск считается один раз, даже если повторен в пределах минуты процент Журнал поиска базы знаний или портала Управление знаниями; служба поддержки; управление запросами на обслуживание Выявление неудовлетворённой потребности пользователей; вход в бэклог Раз в неделю Добавлять расплывчатые или универсальные статьи, совпадающие с любым запросом; набивать ключевые слова; исключать неудобные поисковые термины из журнала Переход по ссылке с последующим обращением по той же теме в коротком окне; доля полезности; ручное чтение главных поисковых терминов
Доля полезности Доля обратной связи читателей, говорящей, что статья помогла, показанная вместе с долей ответивших голоса «полезно» / (голоса «полезно» + голоса «не полезно») для статей в периоде; доля ответивших = голоса обратной связи / просмотры статей процент, с долей ответивших Виджет обратной связи базы знаний и журнал просмотров Управление знаниями; клиентский опыт Обратная связь заинтересованных сторон на обзоре по документации Раз в месяц Приглашать голосовать только довольных читателей; прятать вариант «не полезно»; голосовать изнутри команды Доля ответивших и состав ответивших показываются с долей; письменные комментарии; доля обращений после прочтения статьи
Время до публикации Прошедшее время с момента создания черновика статьи до момента, когда она пересмотрена и видна своей аудитории часы запускаются при создании черновика и останавливаются при публикации (или при первом утверждённом видимом состоянии). Время в состоянии «на удержании, ожидает релиза продукта» исключается; сообщается как медиана и 85-й перцентиль дни (медиана и 85-й перцентиль) История рабочего процесса базы знаний Управление знаниями Время выполнения рабочего элемента от начала до готовности (см. тему 2.2, Время выполнения, время цикла и эффективность потока) Раз в месяц Публиковать тонкую заготовку, чтобы остановить часы; делить статью на части; переводить черновики в состояние, которое часы исключают Уместность и полезность недавно опубликованных статей; число и возраст черновиков в исключаемых состояниях
Ширина вклада Распределение создания и улучшения статей по команде, измеряемое без названия людей различные участники, создавшие или улучшившие статью в периоде / члены команды, решавшие обращения в периоде. Сообщается только для команды, никогда как список имён процент История правок базы знаний, объединённая с составом команды Управление знаниями; непрерывное улучшение Коллективное владение; работа в паре и роем Раз в квартал Делать тривиальные правки, чтобы все выглядели участниками; просить людей добавить предложение, чтобы выполнить квоту Выборка размера и содержательности правок; повторное использование и полезность внесённых статей; в отчёте нет имён

3.7 Метрики самообслуживания и автоматизации

Тема-источник: (см. тему 3.7, Метрики самообслуживания и автоматизации).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Доля успеха самообслуживания Доля сеансов самообслуживания, где потребность пользователя удовлетворена без обращения к персоналу Сеансы, закончившиеся завершённым результатом (запрос подан и выполнен, статья помечена полезной, сброс завершён) без обращения к персоналу по той же потребности в течение 7 дней, делённые на все сеансы, начавшие задачу. Часы запускаются при первом осмысленном действии на портале и останавливаются при завершении или отказе. Трафик ботов, тестовые учётные записи и чистый просмотр исключаются Процент Журналы портала и идентификации, система заявок, аналитика сеансов Управление запросами на обслуживание; управление знаниями Контур обратной связи с клиентами; критерии приёмки на основе результата Раз в месяц Считать успехом любую завершённую форму или любой просмотр страницы; убирать подсказку «помогло ли это», когда оценки падают; исключать трудные темы из знаменателя Доля провалов на следующий уровень и выборка закрытых сеансов, прочитанных человеком; сообщать правила знаменателя
Оценённая доля отвода обращений Оценённая доля спроса, решённого на уровне 0 и иначе дошедшего бы до персонала Сравните интенсивность обращений на 1000 активных пользователей для услуги до и после изменения самообслуживания или против контрольной группы с поправкой на известные сдвиги спроса. Указывается как оценка с названным методом. Обращения, перешедшие в другой канал, исключаются Процент (оценка) Система заявок, численность пользователей, данные эксперимента или когорты Служба поддержки; управление инцидентами Эксперимент с контрольной группой; A/B-тест Раз в квартал Прятать маршрут обращения; добавлять шаги перед обращением; классифицировать всё уменьшение заявок как отвод независимо от причины Обращения на 1000 активных пользователей, удовлетворённость пользователей затронутой услугой и метод, записанный рядом с числом
Доля провалов на следующий уровень Доля неудачных попыток самообслуживания, заканчивающихся обращением к персоналу по той же потребности Обращения к персоналу, открытые в течение 7 дней после брошенного или неудачного сеанса самообслуживания тем же пользователем по той же теме, делённые на неудачные сеансы. Часы запускаются в конце сеанса. Несвязанные обращения исключаются Процент Журналы портала, объединённые с системой заявок по пользователю и теме Служба поддержки; управление знаниями Путь эскалации в определении готовности; обратная связь от поддержки Раз в месяц Определять окно сопоставления настолько коротким, чтобы возвраты выпадали из него; закрывать последующее обращение как дубликат Доля повторных обращений по всем каналам; пересмотр выборки вернувшихся обращений
Внедрение самообслуживания (доля «сначала портал») Доля подходящих запросов и сообщений об инцидентах, поднятых через каналы самообслуживания Элементы, созданные через портал, бота или API, делённые на все элементы для записей каталога, предлагающих маршрут самообслуживания. Элементы, для которых маршрута самообслуживания нет, исключаются Процент Поле канала в системе заявок, настройка каталога Управление запросами на обслуживание; управление каталогом услуг Отслеживание внедрения после релиза Раз в месяц Загонять все запросы в портал независимо от пригодности; перемечать заявки, созданные по телефону, как заявки портала Доля успеха самообслуживания и усилие пользователя; доля запросов, у которых нет рабочего маршрута через портал
Охват автоматизацией Доля подходящей повторяющейся работы, выполненной автоматизацией без ручного шага Элементы, выполненные автоматизированным потоком от начала до конца, делённые на все элементы видов, признанных автоматизируемыми. Вид считается автоматизируемым, только если его называет письменный список кандидатов. Разовая работа и элементы, отвергнутые автоматизацией, исключаются Процент Система заявок, журналы платформы автоматизации, список кандидатов Управление запросами на обслуживание; управление развёртыванием Автоматизация определения готовности; конвейер как код Раз в месяц Выбирать лёгкие элементы для списка кандидатов; раздувать знаменатель тривиальными задачами; считать автоматизированными частично ручные потоки Письменный список кандидатов, пересматриваемый каждый квартал; доля сбоев и переделок автоматизации; время ручной работы по оставшимся элементам
Доля сбоев и переделок автоматизации Доля автоматических запусков, давших сбой, потребовавших ручной починки или давших результат, позже исправленный Автоматические запуски, закончившиеся ошибкой, откатом или сопровождаемые ручным исправлением в течение 7 дней, делённые на все автоматические запуски. Часы запускаются при старте запуска. Плановые пробные запуски исключаются Процент Журналы платформы автоматизации, система заявок, записи об изменениях Управление изменениями; управление инцидентами Доля сбоев изменений; стабильность сборки и тестов Раз в неделю Исключать ручные починки из счёта; позволять сбойным запускам тихо повторяться, пока не получатся; помечать сбои как «плановые пробные запуски» Записи об инцидентах и оповещениях, связанные с потоками; время обнаружения сбойного запуска; выборочный аудит результатов
Время ручной работы по виду запроса Усилие персонала на вид запроса, являющийся кандидатом на автоматизацию Минуты работы, записанные персоналом по элементам вида за период, сводятся как медиана и 85-й перцентиль на элемент. Оценивается выборкой там, где время не записывается. Время ожидания исключается Минут на элемент Выборка времени, журналы работ заявок Управление запросами на обслуживание Отслеживание рутинной работы; потери в потоке создания ценности Раз в квартал Не записывать время для элементов, выглядящих ручными; относить время к другой категории; брать выборку только в тихие дни Письменный и пересматриваемый план выборки; сравнение со временем цикла и возрастом очереди для того же вида
Распределение по уровням (доля сдвига влево) Где в цепочке поддержки решаются элементы Элементы, решённые на каждом уровне (0, 1, 2, 3), делённые на все решённые элементы за период. Уровень есть самый высокий ярус, выполнявший работу руками. Элементы, отменённые до сортировки, исключаются Процент по уровню Группа исполнителей и история назначений в системе заявок Управление инцидентами; служба поддержки Работа роем и образцы эскалации; кросс-функциональные команды Раз в месяц Поднимать долю, решённую на уровне 1, перемечая эскалации или закрывая элементы на уровне 1 и открывая на уровне 2 как новые Доля повторного открытия и доля связанных заявок; выборка качества решений; удовлетворённость клиентов по уровню

Часть 4: Метрики проблем, изменений и релизов

4.1 Метрики управления проблемами

Тема-источник: (см. тему 4.1, Метрики управления проблемами).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Открытые и закрытые проблемы Поток записей о проблемах в открытое состояние и из него, по услуге Число открытых в периоде и число закрытых в периоде, каждое по коду закрытия (исправлено, принятый риск, дубликат, не воспроизводится); дубликаты показываются, но исключаются из счёта «исправлено» число за период Записи о проблемах ITSM Управление проблемами Приток в бэклог и пропускная способность Раз в месяц Открывать много тривиальных записей; делить одну проблему на несколько; закрывать записи как дубликаты или «не воспроизводится», чтобы очистить список Состав кодов закрытия; доля повторения после исправления; выборка закрытых записей, читаемая каждый квартал
Возраст бэклога проблем Как долго открытые проблемы ждут Для каждой открытой проблемы дата снимка минус дата создания записи; сообщайте медиану и 85-й перцентиль открытых проблем и самую старую, по приоритету дни Записи о проблемах ITSM Управление проблемами Возраст рабочего элемента на доске Раз в месяц Закрывать самые старые записи без исправления; открывать заново как новую запись, чтобы сбросить часы; переклассифицировать проблему в запрос Связывать новые записи с их оригиналами и сообщать возраст с первой записи; список закрытий по причинам; пересмотр принятых рисков
Доля связей инцидента с проблемой Доля инцидентов, указывающих на проблему или известную ошибку там, где ожидается Инциденты в периоде со связанной проблемой или известной ошибкой / инциденты в периоде с приоритетом высоким или выше, либо вновь открытые, либо в повторяющейся категории; инциденты, закрытые как ошибка пользователя или дубликаты, исключаются процент Записи об инцидентах и проблемах ITSM Управление инцидентами; управление проблемами Выявление закономерностей на ретроспективе Раз в месяц Связывать каждый инцидент с расплывчатой универсальной проблемой, чтобы поднять долю Доля связей, указывающих на пять самых больших проблем; выборка связей, проверенная на настоящее совпадение; повторение связанных симптомов
Время до первопричины Сколько времени диагностируемая проблема достигает записанной причины Часы запускаются, когда запись о проблеме создана, и останавливаются, когда причина записана и второй человек её проверил; проблемы, закрытые без причины, исключаются и считаются отдельно; сообщайте медиану и 85-й перцентиль дни Записи о проблемах ITSM и их след аудита Управление проблемами Исследование или ограниченное по времени расследование Раз в месяц Записывать быструю поверхностную причину, чтобы остановить часы; называть «человеческая ошибка»; пропускать второго проверяющего Доля повторения после исправления; таксономия причин, где «человеческая ошибка» не принимается одна; пересмотр выборки причин относительно свидетельств
Доля повторного использования известных ошибок Как часто известная ошибка используется, когда приходит инцидент Инциденты, решённые со связанной известной ошибкой или её обходным путём / инциденты в периоде, чей симптом совпадает с известной ошибкой, существовавшей в то время; инциденты без совпадающей известной ошибки исключаются процент Связи инцидентов в ITSM; использование статей знаний Управление знаниями; управление проблемами Использование руководства или сценария команды Раз в месяц Считать связь, добавленную после закрытия инцидента; добавлять известную ошибку к каждому инциденту услуги Время между закрытием инцидента и связью; обратная связь исполнителей о том, помогла ли запись; пересмотр записей, не использованных 90 дней
Время до постоянного исправления Сколько времени проблема остаётся открытой от диагностики до исправления в продуктиве Часы запускаются, когда причина записана, и останавливаются, когда связанное изменение с исправлением внедрено и подтверждено; проблемы, закрытые как принятый риск, исключаются и считаются отдельно; сообщайте медиану и 85-й перцентиль дни Записи о проблемах; записи об изменениях или события развёртывания конвейера Управление проблемами; управление изменениями Время цикла элемента исправления Раз в месяц Помечать изменение внедрённым до проверки исправления; закрывать как принятый риск, чтобы избежать работы Доля повторения после исправления; список принятых рисков с владельцем и датой пересмотра; шаг проверки до остановки часов
Доля повторения после исправления Доля исправленных проблем, чьи связанные симптомы вернулись Проблемы, закрытые как исправленные в квартальной когорте, с новым совпадающим инцидентом в течение 90 дней после запуска исправления / проблемы, закрытые как исправленные в том квартале; окно в 90 дней есть пример и указывается на графике процент Записи об инцидентах и проблемах ITSM; события развёртывания Управление проблемами; непрерывное улучшение Доля ушедших дефектов или регрессий Раз в квартал Определять симптомы узко, чтобы повторения не совпадали; расширять окно закрытия, чтобы исправления падали в более ранние когорты; откладывать связывание Таксономия причин, пересматриваемая кем-то вне владеющей команды; доля связей инцидентов; окно, заявленное заранее
Доля проблем только с обходным путём Доля известных проблем, защищённых только обходным путём Открытые проблемы в состоянии известной ошибки без запланированного исправления / открытые проблемы в состоянии известной ошибки; проблемы с принятым риском, имеющие названного владельца и дату пересмотра, показываются отдельной группой процент Записи о проблемах ITSM Управление проблемами; управление рисками Реестр технического долга Раз в месяц Планировать формальное исправление без настоящей даты; переводить проблемы в принятый риск; понижать приоритет проблемы Возраст запланированных исправлений, которые сдвинулись; список принятых рисков, пересматриваемый с названным руководителем-владельцем; цена повторяющихся инцидентов по проблеме

4.2 Метрики разборов и обучения

Тема-источник: (см. тему 4.2, Метрики разборов и обучения).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Охват пересмотрами Доля подходящих событий, получивших завершённый пересмотр Подходящие события с опубликованным пересмотром в согласованном окне / подходящие события, закрытые в периоде. Подходящие события суть те, что отвечают письменным триггерам. События внутри окна, ещё открытые на конец периода, исключаются. процент Записи об инцидентах инструмента ITSM, объединённые с репозиторием пересмотров Управление инцидентами; управление проблемами Регулярная рефлексия команды; рабочие соглашения команд Раз в месяц Сужать триггеры; понижать серьёзность, чтобы события выпадали из них; подавать однострочный «пересмотр», чтобы поставить галочку Оценка качества пересмотра; сравнение числа инцидентов по серьёзности с воздействием по сообщениям клиентов; аудит понижений
Оценка качества пересмотра Отвечает ли опубликованный пересмотр короткому письменному стандарту Пересмотры в выборке, отвечающие хотя бы [согласованному числу] пунктов контрольного списка / пересмотры в выборке. Выборка есть фиксированное число пересмотров, случайно берущихся каждый квартал, оцениваемых кем-то вне владеющей команды. процент Квартальная выборка репозитория пересмотров с листом оценки Непрерывное улучшение; управление проблемами Определение готовности для пересмотра Раз в квартал Писать под контрольный список шаблонным текстом; оценивать силами владеющей команды; предсказуемая выборка Внешний оценщик; случайная выборка; чтение двух пересмотров вслух каждый квартал; отслеживание того, завершаются ли действия из высоко оценённых пересмотров
Доля закрытия действий Доля действий пересмотра, завершённых к сроку Действия, завершённые или формально отклонённые (с причиной) к сроку / действия, срок которых пришёлся на период. Часы запускаются, когда пересмотр опубликован, и останавливаются, когда владеющая команда помечает действие сделанным и проверяющий подтверждает. Действия, закрытые как «не будем делать», считаются отдельно и сообщаются. процент Бэклог команды или реестр улучшений ITSM, связанный с пересмотром Непрерывное улучшение; управление проблемами Бэклог команды; действия по улучшению Раз в месяц Ставить сроки далеко; дробить действия на тривиальные части; закрывать действия без проверки; объявлять «не будем делать», чтобы очистить список Возраст открытых действий; доля отклонённых с причинами; подтверждение проверяющим, что изменение работает; доля повторения причин
Возраст открытых действий Возраст действий пересмотра, ещё открытых Для каждого открытого действия сегодня минус дата публикации его пересмотра. Сообщайте медиану, 85-й перцентиль и самое старое. дни Бэклог команды или реестр улучшений Непрерывное улучшение Возраст рабочего элемента; стареющая работа в процессе Раз в месяц Закрывать и вновь открывать или пересоздавать действие, чтобы сбросить его возраст; переносить действия в отдельный список «идей» Связывать новые действия с исходным пересмотром и сохранять первую дату; число действий, перенесённых в идеи
Доля повторения причин Доля событий, чей класс причины совпадает с более ранним событием для той же услуги События в периоде, чей основной класс причины совпадает с пересмотром, закрытым за предыдущие двенадцать месяцев для той же услуги / события с записанным классом причины в периоде. События без записанного класса причины исключаются и считаются отдельно. процент Поле класса причины репозитория пересмотров, объединённое с записями об инцидентах Управление проблемами; управление инцидентами Анализ ушедших дефектов; темы ретроспектив Раз в квартал Записывать расплывчатые или вечно меняющиеся классы причин, чтобы ничто не совпадало; использовать широкий класс «другое»; связывать повтор с другим классом Доля событий в «другом»; периодическое перечитывание пересмотров по классам; пересмотр самого списка классов
Доля сообщений о почти-инцидентах Объём почти-инцидентов и слабых сигналов, о которых люди выбирают сообщать Почти-инциденты, записанные в периоде / активные услуги, показанные как тренд по услуге и никогда по человеку. Доля призвана расти рано в здоровой программе, а затем выравниваться. число на услугу Журнал почти-инцидентов или помеченное поле в трекере задач Управление инцидентами; управление рисками Проверка здоровья команды; доска препятствий Раз в месяц Просить сообщать, чтобы выполнить число; записывать тривиальные события; либо, в другую сторону, читать число как провал и подавлять сообщения Доля почти-инцидентов, давших изменение; нет целей на счёт; обратная связь из пульса «безопасно говорить»
Охват обучения Как далеко пересмотр доходит за пределы команды, которая его написала Пересмотры, представленные или обсуждённые вне владеющей команды (общий форум, межкомандная сессия или документированное прочтение зависимой командой) в течение [согласованного числа] дней после публикации / пересмотры, опубликованные в периоде процент Записи форума или совещаний и репозиторий пересмотров Непрерывное улучшение; управление знаниями Обзор заинтересованными сторонами; сообщества практики Раз в квартал Добавлять имена в список рассылки; выступать на плохо посещаемых сессиях; считать ссылку прочтением Посещаемость или фактические заметки обсуждения; спрашивать зависимые команды, что они изменили после последнего пересмотра
Перенос действий ретроспективы Доля действий ретроспективы команды, завершённых к следующей ретроспективе Действия ретроспективы, завершённые до следующей ретроспективы / действия ретроспективы, согласованные на предыдущей. Действия, сознательно отброшенные с причиной, убираются из обоих счётов. процент Заметки или доска ретроспективы, хранимые в бэклоге команды Непрерывное улучшение Регулярная рефлексия команды За период пересмотра, просматривается раз в квартал Соглашаться только на тривиальные действия, которые легко закончить; пропускать ретроспективу; помечать элементы завершёнными Воздействие действий по оценке команды; доля проведённых ретроспектив; появляется ли одна и та же тема несколько недель
Пульс «безопасно говорить» Верят ли люди, что могут описывать ошибки без обвинения Доля ответов на уровне [согласованного уровня] или выше на коротком наборе анонимных вопросов (например, «я могу описать ошибку в пересмотре, не опасаясь обвинения») / полученные ответы. Пульс сообщается только для групп, достаточно крупных, чтобы защитить анонимность. процент Анонимный пульсовый опрос Непрерывное улучшение; организационные изменения Проверка здоровья команды; проверка психологической безопасности Раз в квартал Давить на отвечающих; опрашивать только уверенных; сообщать среднее, прячущее группу с низкой оценкой Доля ответивших и состав ответивших; минимальный размер группы; открытые комментарии читаются целиком; меняется ли язык пересмотров

4.3 Метрики управления изменениями

Тема-источник: (см. тему 4.3, Метрики управления изменениями).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Объём изменений по типам Число завершённых изменений с разбивкой на стандартные, обычные и экстренные Число записей об изменениях, достигших статуса внедрённого в периоде, сгруппированных по типу на момент согласования; отменённые и отозванные изменения исключаются и сообщаются отдельно; сообщайте по услуге, не по человеку Изменений в неделю или месяц, по типу Записи об изменениях в инструменте ITSM, объединённые с событиями развёртывания конвейера Управление изменениями Пропускная способность завершённых рабочих элементов; содержимое релиза на приращение Раз в неделю, пересмотр раз в месяц Делить одно изменение на много малых записей, чтобы выглядеть занятым, сливать многие в одну, чтобы выглядеть спокойно, или оставлять неформальные изменения вне учёта Ежемесячно сверять счёты с событиями развёртывания конвейера; отслеживать долю развёртываний без соответствующей записи об изменении
Доля стандартных изменений Доля завершённых изменений, пошедших заранее разрешённым путём Стандартные изменения, завершённые в периоде / все изменения, завершённые в периоде; изменение, переклассифицированное постфактум, считается под своим итоговым типом, а переклассификация записывается Процент Записи об изменениях с типом и историей переклассификации Управление изменениями Рутинная работа, охваченная рабочим соглашением команды и определением готовности Раз в месяц Переклассифицировать рискованную работу в стандартную, чтобы достичь цели, или писать широкие стандартные процедуры, покрывающие что угодно Квартальный выборочный пересмотр классификации; доля сбоев изменений по типу (см. тему 4.4, Сбои изменений и переделки); журнал переклассификаций
Время согласования Время, которое изменение ждёт решения о санкционировании Часы запускаются, когда запрос подан как готовый к оценке, и останавливаются, когда решение о санкционировании записано; время ожидания, пока запросивший предоставит информацию, исключается и показывается отдельно; сообщайте медиану и 85-й перцентиль для обычных изменений в периоде; стандартные изменения без шага согласования исключаются Часы или рабочие дни Метки времени на записях об изменениях или событиях согласования в конвейере Управление изменениями Время ожидания в рабочем процессе; время в колонке проверки Раз в неделю, пересмотр раз в месяц Запускать часы поздно, останавливать рано, приостанавливать для вопросов, которые не нужно было задавать, или утверждать, не читая 85-й перцентиль рядом с медианой; выборочный пересмотр согласований на содержательность; доля сбоев изменений по группе согласующих, никогда по человеку
Доля автоматических согласований Доля решений о санкционировании, принятых и записанных контролями конвейера или предварительно разрешённой политикой Изменения, чьё согласование дано записанной автоматической проверкой или записанной проверкой коллегой по письменной политике / все изменения, завершённые в периоде; ручное подписание советом или менеджером считается неавтоматическим Процент Журналы конвейера, записи проверки кода и записи об изменениях Управление изменениями; управление развёртыванием Автоматические ворота качества; проверка коллегами как часть определения готовности Раз в месяц Добавлять автоматические проверки, всегда проходящие, или считать проверку коллегой без комментариев гарантией Выборочный пересмотр автоматических согласований и согласований коллегами; ушедшие дефекты и доля сбоев для автоматически согласованных изменений; число обходов
Возраст очереди согласования Как долго ожидающие запросы ждут прямо сейчас Возраст каждого изменения, сейчас ожидающего решения, измеренный от подачи до момента снимка; сообщайте самый старый элемент и 85-й перцентиль открытой очереди; завершённые согласования исключаются Часы или рабочие дни Записи об изменениях с открытым статусом согласования Управление изменениями Возраст рабочего элемента; стареющая работа в процессе Ежедневный снимок, пересмотр раз в неделю Закрывать или отзывать старые запросы, чтобы очередь выглядела короткой, или переносить их в новый запрос со свежей меткой времени Число отозванных и повторно поданных запросов; возраст запроса, измеряемый с первой подачи
Полнота записи об изменении Доля завершённых изменений, чья запись может ответить, кто, что, зачем, когда и какая услуга Изменения со всеми заполненными обязательными полями и связанные с затронутой услугой или конфигурационной единицей / все изменения, завершённые в периоде; обязательные поля перечислены в определении; записи, созданные после внедрения изменения, помечаются Процент Записи об изменениях, связи с системой контроля версий, данные конфигурации Управление изменениями; управление конфигурацией услуг Прослеживаемость от коммита к заявке и к развёртыванию Раз в месяц Заполнять обязательные поля текстом-заглушкой или создавать записи после изменения, чтобы удовлетворить отчёт Помечать записи, созданные после внедрения; выборочный пересмотр качества свободного текста; доля связей с коммитом

4.4 Сбои изменений и переделки

Тема-источник: (см. тему 4.4, Сбои изменений и переделки).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Доля сбоев изменений Доля изменений в продуктив, вызывающих деградацию услуги или требующих исправления изменения, потребовавшие отката, срочного исправления, исправления вперёд или связанного инцидента в окне сбоя / все изменения в продуктив, завершённые в периоде; окно запускается при завершении изменения и останавливается через фиксированное число дней (например, 7), записанное в реестре метрик; изменения, ещё внутри окна, сообщаются отдельно и исключаются из доли, пока окно не закроется процент Записи об изменениях или журнал развёртываний, объединённые с инструментом инцидентов и списком срочных исправлений Управление изменениями; управление инцидентами Определение готовности; ушедшие дефекты Раз в месяц, по скользящему окну 90 дней Сужать окно сбоя; не связывать инциденты с изменениями; классифицировать плохое изменение как «запрос на обслуживание» или «обслуживание»; исправлять вперёд и называть это новым изменением; собирать много правок в одно изменение, чтобы один сбой покрывал их Доля связей изменения с инцидентом; квартальный выборочный аудит против списка инцидентов; согласие по определению сбоя; рядом время выполнения и частота развёртываний
Доля экстренных изменений Доля изменений, сделанных экстренным путём изменения, записанные как экстренные / все изменения, завершённые в периоде; экстренное означает, что обычная оценка была обойдена или сокращена по срочности, а заранее разрешённые стандартные изменения исключаются из обоих счётов процент Поле типа в записи об изменении Управление изменениями Внеплановая работа и класс обслуживания «срочный» Раз в месяц Пускать срочную работу по стандартному пути с ложной оценкой риска; пускать обычную работу как экстренную, чтобы избежать согласования; делить экстренное на несколько обычных изменений Квартальное чтение всех экстренных изменений; причины сортируются и пересматриваются; доля стандартных изменений и время согласования (см. тему 4.3, Метрики управления изменениями)
Доля откатов Доля изменений, обращённых к предыдущей версии изменения, отменённые после попадания в продуктив / все изменения в продуктив за период; откат, сделанный до того, как изменение дошло до каких-либо пользователей (например, канареечный релиз, остановленный на первом шаге), считается отдельно процент Журнал развёртываний и инструмент релизов Управление релизами; управление развёртыванием Практики конвейера и релизов Раз в месяц Исправлять вперёд, чтобы не записывать откат; держать сломанную версию в работе; удерживать изменения от продуктива, чтобы нечего было откатывать Рядом доля срочных исправлений и доля переделок; распределение времени восстановления; выборка инцидентов против журнала развёртываний
Доля срочных исправлений Доля изменений, являющихся срочными патчами, применяемыми вне обычного потока релизов изменения, помеченные или выделенные в ветку как срочные исправления / все изменения в продуктив за период; знаменатель включает сами срочные исправления процент Ветки или метки системы контроля версий и журнал развёртываний Управление изменениями; управление инцидентами Внеплановая работа; срочные задачи Раз в месяц Не помечать срочные исправления; пропускать их через обычную ветку; называть срочное исправление «небольшим улучшением» Доля переделок развёртываний; аудит веток и меток; доля внеплановой работы (см. тему 2.9, Операционная и внеплановая работа)
Доля переделок развёртываний Доля развёртываний, являвшихся внеплановыми исправлениями проблемы более раннего развёртывания развёртывания в продуктив, исправляющие дефект или сбой недавнего более раннего развёртывания в том же окне сбоя / все развёртывания в продуктив за период; плановая последующая работа из дорожной карты исключается процент Журнал развёртываний со связью или меткой «исправляет» и трекер работ Управление изменениями; непрерывное улучшение Переделки; ушедшие дефекты; спрос от сбоев Раз в месяц Не связывать исправления с исходным развёртыванием; помечать исправление как «плановое»; собирать исправление вместе с новыми функциями Обязательная связь «исправляет» на исправляющих развёртываниях; выборочный пересмотр развёртываний, помеченных плановыми; рядом доля сбоев изменений
Доля связей изменения с инцидентом Доля решённых инцидентов, записывающих, вызвало ли их изменение, и какое инциденты с заполненным полем «вызвано изменением» (да или нет, плюс идентификатор изменения при «да») / инциденты, решённые в периоде; часы останавливаются, когда инцидент закрыт процент Инструмент инцидентов и записи об изменениях Управление инцидентами; управление изменениями Пересмотр после инцидента; определение готовности Раз в месяц Заполнять поле «нет», не проверив; оставлять поле по умолчанию «нет»; закрывать инциденты оптом, чтобы поднять процент Выборочная проверка ответов «нет» на пересмотре после инцидента; нет значения по умолчанию; комментарии проверяющих по выборке
Согласие по определению сбоя Согласие двух проверяющих о том, дало ли сбой изменение из выборки выборочные изменения, где два независимых проверяющих приходят к одному вердикту о сбое по письменному определению / выборочные изменения; выборка не менее 20 изменений, случайно берущихся каждый квартал процент Лист пересмотра выборки, хранимый вместе с реестром метрик Непрерывное улучшение; измерение и отчётность Ретроспектива Раз в квартал Выбирать лёгкие примеры для выборки; проверяющие, являющиеся измеряемыми людьми; ослаблять определение, чтобы все соглашались Случайная выборка, берущаяся кем-то вне команды; намеренно включать пограничные случаи; публиковать расхождения и исправлять определение

4.5 Метрики релизов и развёртывания

Тема-источник: (см. тему 4.5, Метрики релизов и развёртывания).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Частота развёртываний Как часто услуга получает успешное развёртывание в продуктив Число успешных развёртываний услуги в продуктив за период / дни в периоде; развёртывания в тестовые или промежуточные среды, неудачные или откатанные развёртывания и повторные развёртывания неизменённой сборки исключаются; развёртывания только конфигурации считаются в отдельном ряду Развёртываний в день или в неделю Журнал событий конвейера развёртывания Управление развёртыванием Непрерывная поставка; выпуск работающего приращения Раз в неделю Делить одно изменение на тривиальные развёртывания; повторно развёртывать неизменённые сборки; считать развёртывания в промежуточную среду; считать развёртывания только конфигурации в основном ряду Размер партии релиза и доля развёртываний с изменением, видимым пользователю; отдельный ряд конфигурации; рядом доля сбоев изменений
Частота релизов Как часто пользователи получают изменение, которого могут достичь Число событий релиза за период / дни в периоде; событие релиза есть момент, когда изменение или группа изменений становятся достижимыми для предполагаемых пользователей (флаг, включённый для всех пользователей, последний этап прогрессивного развёртывания или развёртывание изменения без флага); тёмный запуск, развёртывание, остановленное на частичном этапе, и изменение флага, затрагивающее только внутренних пользователей, исключаются Релизов в неделю или в месяц Журнал аудита службы флагов, объединённый с журналом конвейера и календарём релизов Управление релизами Выпуск в конце каждого приращения; потенциально поставляемое приращение сделано доступным Раз в неделю, пересмотр раз в месяц Перемечать развёртывания как релизы; считать релизом флаг, включённый для внутренних сотрудников; выпускать пустые или косметические изменения, чтобы выполнить цель; считать каждый этап развёртывания отдельным релизом Письменное определение релиза; ежеквартальная выборка релизов, сверяемая с изменениями, видимыми пользователям; размер партии и число изменений для клиентов
Время выполнения релиза Как долго готовое изменение ждёт, прежде чем пользователи смогут его достичь Часы запускаются, когда изменение слито в основную линию и прошло автоматические проверки (или, если так записала ваша команда, при первом коммите) и останавливаются, когда изменение выпущено, как определено выше; сообщайте медиану и 85-й перцентиль изменений, выпущенных в периоде; ещё не выпущенные изменения исключаются и сообщаются как возраст ждущей работы Часы или дни Система контроля версий, объединённая с конвейером и журналом аудита флагов Управление релизами; управление развёртыванием Время выполнения от «готово» до «доставлено»; время до клиента Раз в неделю, пересмотр раз в месяц Запускать часы позже, например при согласовании вместо слияния; исключать долго ждавшие изменения как «заблокированные»; выпускать сначала тривиальное изменение, чтобы опустить медиану; останавливать часы на развёртывании 85-й перцентиль и возраст самого старого ждущего изменения; фиксированное письменное начало; ежеквартальный пересмотр самых медленных 10 % изменений
Разрыв между развёртыванием и релизом Как долго развёрнутый код остаётся тёмным, прежде чем пользователи смогут его достичь Часы запускаются, когда изменение развёрнуто в продуктив, и останавливаются, когда оно выпущено; сообщайте медиану и 85-й перцентиль; изменения, выпущенные в момент развёртывания, имеют разрыв ноль и включаются; изменения, развёрнутые и позже убранные без релиза, исключаются и считаются отдельно Часы или дни Журнал конвейера, объединённый с журналом аудита флагов Управление релизами; управление развёртыванием Тёмный запуск; отделение развёртывания от релиза Раз в месяц Включать флаг для символического пользователя, чтобы записать релиз рано; оставлять долго тёмный код вне выборки, называя его «не релизом»; удалять тёмный код, чтобы избежать долгого разрыва Доля охвата при релизе (порог того, что считается выпущенным); число изменений, развёрнутых и убранных без релиза; число устаревших флагов
Размер партии релиза Сколько изменений выходит вместе в одном релизе Медиана и 85-й перцентиль числа слитых изменений (запросов на слияние или рабочих элементов) на релиз в периоде; единица изменения записана; каждое изменение считается один раз, в релизе, сделавшем его достижимым Изменений на релиз Система контроля версий и трекер задач, объединённые с событием релиза Управление релизами; управление изменениями Малые партии; вертикальные срезы работы На релиз, пересмотр раз в месяц Делить работу на искусственные запросы на слияние; сливать несвязанные изменения в одно, чтобы снизить число релизов; считать только крупное изменение в связке Медианный размер изменения в строках или файлах как контекстный показатель; пересмотр выборки релизов на несвязанные связки; частота рядом с размером
Охват флагами функций Доля видимых пользователю изменений, выпущенных за флагом Видимые пользователю изменения, выпущенные в периоде, у которых был флаг на момент релиза / все видимые пользователю изменения, выпущенные в периоде; изменения инфраструктуры и исправления дефектов, которые нельзя поставить за флаг, исключаются, а правило «видимое пользователю» записано Процент Служба флагов, объединённая с трекером задач и журналом релизов Управление релизами; управление изменениями Прогрессивная поставка; разработка, управляемая экспериментами Раз в месяц Добавлять флаги к тривиальным изменениям, чтобы поднять долю; ставить за флаг только безопасные изменения и выпускать рискованные без флага; создавать флаг, который на практике нельзя выключить Результаты проверки выключения для выборки флагов; число устаревших флагов; причины инцидентов, где флага не было
Число устаревших флагов Сколько флагов пережили свою цель Число флагов релиза, всё ещё присутствующих в коде или конфигурации спустя заявленное число дней после того, как изменение, которое они охраняют, достигло всех пользователей; постоянные операционные флаги (выключатели аварийной остановки, флаги прав) помечаются и исключаются; предел возраста записан по типу флага Флаги и медианный возраст флагов релиза в днях Инвентарь службы флагов, объединённый с поиском по коду Управление релизами; управление знаниями Очистка технического долга; критерий готовности «убрать флаг» Раз в месяц Перемечать флаги релиза как постоянные, чтобы уйти из счёта устаревших; удалять запись о флаге, оставляя его в коде; продлевать даты истечения без пересмотра Периодический поиск по коду против реестра; пересмотр каждой смены типа флага; возраст самого старого флага релиза

4.6 Технический долг и известные ошибки

Тема-источник: (см. тему 4.6, Технический долг и известные ошибки).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Возраст бэклога известных ошибок Как долго открытые известные ошибки ждали постоянного исправления Часы запускаются, когда запись о проблеме помечена «известная ошибка»; останавливаются, когда постоянное исправление выпущено в продуктив; элементы, закрытые как «принятый риск», сообщаются отдельно и исключаются. Сообщайте число, медианный возраст и возраст 85-го перцентиля по услуге дни (распределение) Записи ITSM о проблемах и известных ошибках, записи релизов Управление проблемами График стареющих рабочих элементов; возраст бэклога дефектов Раз в месяц Закрывать старые записи как «принятый риск» или «не будем исправлять»; делить одну старую запись на новые молодые; сбрасывать часы повторной регистрацией Число и возраст принятых рисков сообщаются на той же странице; пересмотр закрытий кем-то вне владеющей команды; происхождение записей сохраняется
Охват обходными путями Доля открытых известных ошибок, у которых есть документированный, проверенный обходной путь, которому может следовать оператор открытые известные ошибки с обходным путём, пересмотренным за последние 6 месяцев / открытые известные ошибки; закрытые элементы и элементы с принятым риском исключаются процент База знаний, связанная с записями об известных ошибках Управление проблемами; управление знаниями Руководство по эксплуатации или определение готовности для эксплуатационной пригодности Раз в месяц Писать расплывчатый обходной путь, чтобы удовлетворить поле; считать обходной путь, который ни один оператор никогда не пробовал Использование обходных путей и доля сбоев в связанных инцидентах; периодическая проверка выборки обходных путей
Инциденты, связанные с открытыми известными ошибками Инциденты, чья причина есть открытая известная ошибка, прямая мера процентов, уплачиваемых в нарушении услуги инциденты в периоде, связанные с известной ошибкой, бывшей открытой, когда инцидент начался / все инциденты в периоде; инциденты без связи с причиной сообщаются как несвязанные, а не считаются процент и число Связи инцидент-проблема в инструменте ITSM Управление инцидентами; управление проблемами Ушедшие дефекты; приток ошибок в продуктиве Раз в месяц Оставлять инциденты несвязанными или связывать с другой причиной, чтобы доля падала Доля несвязанных инцидентов сообщается рядом; выборочный пересмотр закрытых инцидентов на пропущенные связи
Запас долга Число и оценённый размер зарегистрированных элементов технического долга, остающихся открытыми открытые элементы в реестре долга на конец периода; размер есть сумма грубых полос усилия (часы, дни, недели), присвоенных при регистрации; незарегистрированный или подозреваемый долг исключается число и полосы усилия Реестр долга в трекере, помеченный по услуге Непрерывное улучшение; проектирование услуг Элементы продуктового бэклога, помеченные как долг Раз в месяц Не регистрировать долг, чтобы запас выглядел малым; сливать многие элементы в один большой; регистрировать мелочи, чтобы выглядеть усердным Пересмотр реестра против выборки проверок кода и разборов после инцидентов; проверки размера и конкретности элементов
Проценты по долгу Дополнительная работа, вызванная открытым долгом и известными ошибками, во времени команды часы, записанные в периоде на рабочие элементы, помеченные ссылкой на долг или известную ошибку (обходные пути, ручные шаги, переделки и дополнительное усилие на затронутых изменениях) / общие рабочие часы команды в периоде; сама работа по ремонту исключается и считается в доле ёмкости процент рабочего времени Метки времени или усилия на рабочих элементах, хранимые на уровне команды Непрерывное улучшение; управление проблемами Доля внеплановой работы и переделок Раз в месяц Ставить меньше меток, чем нужно, чтобы избежать пристального взгляда, или больше, чтобы выиграть бюджет ремонта; читать цифру как оценку команды Выборочный аудит помеченных и непомеченных элементов; вид только уровня команды, без сравнения между командами; проценты читаются вместе со связями инцидентов
Доля ёмкости на долг Доля ёмкости поставки, потраченная на погашение долга и известных ошибок ёмкость (число элементов или усилие) завершённых рабочих элементов, помеченных как ремонт долга или исправление известной ошибки / все завершённые рабочие элементы в периоде; элементы без метки исключаются процент Трекер, завершённые элементы по метке Непрерывное улучшение; управление изменениями Распределение ёмкости За период планирования, пересматривается раз в месяц Метить обычную работу над функциями как ремонт; выбирать лёгкие косметические элементы, чтобы заполнить долю Проверка результата: падающий возраст самых старых элементов с высокими процентами и связей инцидентов; пересмотр того, что исправлено, относительно ранжирования
Чистое изменение долга Растёт или сокращается журнал зарегистрированные в периоде элементы долга и известных ошибок минус элементы, разрешённые в периоде; разрешённый значит исправление выпущено, а не слито; элементы, закрытые как «не будем исправлять», считаются отдельной строкой число (со знаком) Реестр долга и записи об известных ошибках Непрерывное улучшение Изменение бэклога по категориям Раз в месяц Разрешать много крошечных элементов, чтобы компенсировать несколько больших; закрывать элементы как «не будем исправлять», чтобы счёт падал Чистое изменение показывается по полосе размера и по процентам; строка «не будем исправлять» сообщается; проверка повторения на разрешённых элементах

Часть 5: Метрики уровня услуг, доступности и надёжности

5.1 Метрики SLA, OLA и XLA

Тема-источник: (см. тему 5.1, Метрики SLA, OLA и XLA).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Доля выполнения SLA Доля измеренных элементов (инцидентов, запросов или временных окон), отвечавших заявленной цели SLA в периоде Элементы, отвечавшие цели, делённые на измеренные элементы. Часы запускаются в записанное время, определённое в соглашении (например, создание заявки), и останавливаются на определённом событии конца (например, подтверждённое восстановление). Исключаются: элементы, отменённые как дубликаты, и время внутри согласованных исключений, таких как плановое обслуживание. Сообщайте счёт рядом с долей Процент, с n Метки времени инструмента ITSM; данные мониторинга для целей по времени Управление уровнями услуг; управление инцидентами; управление запросами на обслуживание Выполнение цели уровня услуги по скользящему окну (см. тему 5.2, SLI, SLO и бюджеты ошибок) Раз в месяц, с еженедельным внутренним видом Выбирать цель лёгкой; закрывать заявки рано и открывать заново позже; переклассифицировать приоритет вниз; исключать трудные случаи как «вне области» Доля повторного открытия и доля переклассификации приоритета; выборка закрытых заявок, прочитанная вместе с клиентом; пересмотр списка исключений каждый квартал
Доля почти-промахов Доля элементов, отвечавших цели, но завершившихся внутри последней десятой части отведённого времени Элементы, завершённые на 90 % целевого времени или позже и всё ещё в пределах, делённые на элементы, отвечавшие цели. Те же часы, что у SLA. н/д для временных окон (применимо только к показателям времени до цели) Процент Метки времени инструмента ITSM Управление уровнями услуг Доля работы близко к ожиданию по уровню услуги на графике потока (см. тему 2.1, Показатели потока) Раз в месяц Останавливать часы за минуту до предела, затем продолжать работу неофициально; делить заявку на две более короткие Время от последнего контакта с клиентом до подтверждённого восстановления; число связанных или дочерних заявок на инцидент
Доля пауз часов Доля общего прошедшего времени заявки, проведённая в состояниях, останавливающих часы SLA Общее время пауз, делённое на общее прошедшее время от начала до конца, для элементов в области. Исключаются элементы, где не использовалось состояние паузы. Сообщайте по состоянию паузы Процент История статусов инструмента ITSM Управление уровнями услуг; управление инцидентами Время блокировки и время ожидания на виде потока (см. тему 2.4, Метрики потока создания ценности) Раз в месяц Использовать состояния пауз на заявках, не ждущих клиента; переносить работу в состояние, не входящее в счёт Причины пауз проверяются по выборке; доля пауз, отклонённых клиентом; оценка опыта для приостановленных заявок
Доля выполнения OLA Доля внутренних передач, отвечавших цели OLA между двумя командами Передачи, завершённые в пределах цели OLA, делённые на полученные передачи. Часы запускаются, когда назначена принимающая команда, и останавливаются, когда она возвращает или закрывает элемент. Исключаются: элементы, переназначенные по ошибке, считаются отдельно Процент, с n История назначений инструмента ITSM Управление уровнями услуг; управление инцидентами Время ожидания передачи и заблокированная работа между командами (см. тему 9.3, Метрики сотрудничества и передачи работы) Раз в месяц Отклонять передачи обратно отправителю, чтобы перезапустить часы; помечать элементы принятыми, не начав работу Число возвратов на элемент и общее время до восстановления между командами; сквозной результат SLA
Время ожидания передачи (85-й перцентиль) Время, которое элемент ждёт в очереди принимающей команды до начала работы 85-й перцентиль времени между назначением принимающей команде и первым записанным действием этой команды. Исключаются: элементы, ждущие клиента Часы или минуты История назначений и активности инструмента ITSM Управление уровнями услуг; управление инцидентами Время в очереди на виде потока (см. тему 2.3, Работа в процессе и теория очередей) Раз в неделю Назначать на человека, а не в очередь команды, чтобы спрятать ожидание; записывать символическое первое действие Качество первого действия, проверяемое по выборке; время от назначения до первого видимого клиенту обновления
Оценка опыта по пути Оценка клиентом или пользователем того, как услуга поддержала определённый путь, например получение нового ноутбука или восстановление после сбоя Среднее и распределение оценок опроса по фиксированной шкале для завершённых путей в периоде. Сообщайте долю ответивших и состав ответивших. Исключаются: частичные опросы. Не единое среднее, поэтому показывайте распределение Шкала оценок, с долей ответивших Короткий опрос после взаимодействия; события пути из инструмента ITSM Управление уровнями услуг; практики удовлетворённости клиентов (см. тему 6.1, Метрики удовлетворённости клиентов) Обратная связь клиентов и показатели результата Раз в месяц, с показом каждой волны Отправлять опросы только довольным пользователям; задавать наводящие вопросы; натаскивать исполнителей на высокие оценки Состав ответивших против совокупности; доля ответивших показана рядом с оценкой; открытые комментарии читаются на пересмотре
Разрыв-арбуз Доля периодов или услуг, где SLA читается как выполненное, а показатель опыта или воздействия на пользователей читается как плохой Услуги (или периоды) с выполнением SLA на цели или выше и опытом ниже согласованного уровня, делённые на услуги (или периоды) с выполнением SLA на цели или выше. Уровень опыта должен быть согласован до оценки периода Процент зелёных услуг Выполнение SLA и оценка опыта вместе Управление уровнями услуг; непрерывное улучшение Ретроспектива результатов относительно итогов Раз в квартал Задавать уровень опыта низким, чтобы разрыв оставался малым; менять показатель опыта, когда он проседает Уровень опыта согласован заранее, изменения записываются с причинами; тренд всего распределения
Охват и актуальность соглашений Доля действующих услуг, чьи SLA, OLA и контракты поставщиков существуют и были пересмотрены в согласованный интервал Услуги со всеми тремя слоями, документированными и пересмотренными в интервале, делённые на действующие услуги в каталоге услуг. Интервал задаёт организация. Исключаются: услуги на выводе Процент Каталог услуг и реестр соглашений Управление уровнями услуг; управление каталогом услуг; управление поставщиками Рабочие соглашения и хартии команд, пересматриваемые в регулярном ритме Раз в квартал Помечать соглашение пересмотренным без настоящего пересмотра; считать документ-заглушку SLA Свидетельство пересмотра (участники, изменения, решения); выборка соглашений, читаемых на настоящее содержание и подпись клиента

5.2 SLI, SLO и бюджеты ошибок

Тема-источник: (см. тему 5.2, SLI, SLO и бюджеты ошибок).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Выполнение SLI Доля допустимых событий, бывших хорошими, для одного индикатора одной услуги хорошие события / допустимые события, за окно от начала до конца отчётного периода; события, исключённые документом SLO (нагрузочные тесты, заранее объявленное плановое обслуживание, если так говорит SLO), убираются и из числителя, и из знаменателя процент Телеметрия балансировщика нагрузки, приложения или синтетической пробы; платформа мониторинга или наблюдаемости Управление уровнями услуг; мониторинг и управление событиями Определение готовности для эксплуатационной пригодности; обзор здоровья услуги заинтересованными сторонами Непрерывно, сообщается ежедневно и по окну Сужать «допустимые» события, пока сбои не выпадут, например исключать повторённые запросы или целые классы ошибок; измерять только самый здоровый компонент; пробовать только из выгодного места Публиковать определение SLI и исключения в документе SLO с журналом изменений; сравнивать SLI с обращениями в поддержку и жалобами пользователей; регулярный пересмотр исключённых событий и их объёма
Соблюдение SLO Уложился ли SLI в цель за окно SLO и за сколько недавних окон окна, в которых выполнение SLI было на цели или выше / оценённые окна, за последние 12 месяцев; окно, ещё открытое, исключается процент окон История выполнения SLI Управление уровнями услуг; непрерывное улучшение Цель команды или рабочее соглашение о надёжности Раз в месяц, с квартальным трендом Задавать цель настолько низко, чтобы всегда проходить; менять длину окна после плохого периода; переопределять нарушение как период обслуживания Цель задана с участием пользователей и пересматривается по графику; окно зафиксировано в документе; число исключений и внеплановых изменений окна сообщается рядом с соблюдением
Остаток бюджета ошибок Часть бюджета, ещё не израсходованная в текущем окне 1 минус (плохие события к настоящему моменту / допустимые плохие события за всё окно), где допустимые плохие события = (1 минус SLO) × ожидаемые допустимые события за всё окно; часы запускаются в начале окна и останавливаются в конце окна процент бюджета Выполнение SLI и прогноз объёма Управление уровнями услуг; управление рисками Проверка готовности к релизу; вход в плановую работу Ежедневно, пересматривается раз в неделю Переклассифицировать плохие события как исключённые; завышать ожидаемый объём, чтобы допустимое число плохих выглядело больше; сбрасывать окно рано Допустимые плохие события вычисляются по фактическому объёму на конец окна; объём исключённых событий показывается рядом с бюджетом; даты окна фиксируются заранее
Скорость сгорания Скорость, с которой тратится бюджет, относительно ровного темпа расхода (плохие события / допустимые события за период ретроспективы) / (1 минус SLO); период ретроспективы указывается, например 1 час или 6 часов отношение (1 означает ровно по бюджету) Телеметрия SLI с мелким разрешением по времени Мониторинг и управление событиями; управление инцидентами Правила оповещения дежурных; триггер роя Непрерывно, вычисляется в правилах оповещений Настраивать пороги оповещений так, чтобы сгорание никогда не срабатывало; использовать ретроспективу настолько длинную, что быстрые сгорания усредняются Проверка охвата оповещениями по прошлым инцидентам («вызвало бы это правило?»); доля применимых оповещений и число пропущенных обнаружений (см. тему 5.5, Метрики мониторинга и качества оповещений)
Соблюдение политики бюджета Как часто было применено согласованное последствие, когда достигнут триггер политики бюджета ошибок триггеры в периоде, где действие по политике предпринято в согласованное время / триггеры, достигнутые в периоде; триггеры, формально снятые с записанной причиной, считаются отдельно, а не убираются процент Документ политики, журнал решений и история бэклога Управление уровнями услуг; управление изменениями Рабочее соглашение; доведение до конца действий ретроспективы Раз в квартал Регулярно давать исключения; писать политику с триггерами, которых никогда не достичь; засчитывать символическую заявку о надёжности как действие по политике Исключения считаются и пересматриваются отдельно; доля исключений в периоде; завершённая работа над надёжностью (см. тему 4.1, Метрики управления проблемами)
Охват SLO Доля критических путей пользователей или услуг в области, у которых есть действующая SLO и работающий SLI услуги или пути в области, имеющие хотя бы одну SLO, чьи данные SLI поступили за последние 7 дней / услуги или пути в области; «в области» перечислено в каталоге услуг процент Каталог услуг, реестр SLO и настройка мониторинга Управление каталогом услуг; управление уровнями услуг Список владения услугами команды Раз в квартал Добавлять тривиальную SLO к каждой услуге, чтобы поднять процент; засчитывать путь охваченным, когда данные не поступают Проверка свежести данных SLI (данные поступили за последние 7 дней); пересмотр того, покрывает ли SLO критический путь, а не второстепенную конечную точку

5.3 Метрики доступности

Тема-источник: (см. тему 5.3, Метрики доступности).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Доступность по времени Доля времени в области, в которой услуга отвечала письменному определению «работает» (минуты в области в окне минус минуты внепланового простоя) / минуты в области в окне. Часы запускаются при первой неудавшейся пробе, позже подтверждённой как воздействие на пользователей, или при подтверждённом начале воздействия, записанном в пересмотре инцидента; останавливаются, когда услуга снова отвечает определению. Плановый простой внутри согласованных часов услуги показывается отдельно, а время вне согласованных часов услуги исключается из знаменателя процент Результаты синтетического мониторинга; запись об инциденте с метками начала воздействия и восстановления Управление доступностью; управление уровнями услуг SLI по времени для отдельной системы (см. тему 5.2, SLI, SLO и бюджеты ошибок) Раз в месяц Пробовать тривиальную страницу, остающуюся доступной, пока настоящий путь падает; удлинять интервал проб, чтобы короткие сбои проваливались между проверками; сокращать часы в области; считать сбои деградацией Доступность с весами пользователей и мониторинг реальных пользователей; интервал проб указан рядом с цифрой; выборка инцидентов сверяется с записью мониторинга
Доступность по запросам Доля допустимых запросов, закончившихся успешно успешные допустимые запросы / все допустимые запросы в окне. Допустимые запросы исключают искажённые запросы и клиентские ошибки, вызванные вызывающей стороной; сбои, вызванные услугой, включая тайм-ауты, считаются неудачами. Сообщается по услуге и по пути пользователя процент Логи и метрики балансировщика нагрузки, шлюза или приложения Управление доступностью; мониторинг и управление событиями SLI доли успеха с SLO и бюджетом ошибок (см. тему 5.2, SLI, SLO и бюджеты ошибок) Ежедневный тренд, месячный отчёт Включать лёгкие запросы (проверки здоровья, кэшированные ресурсы) в знаменатель, чтобы разбавить сбои; классифицировать серверные ошибки как клиентские; исключать повторы, которые пользователи переживали как неудачи Доля успеха по критическому пути, а не по запросу; пересмотр списка исключений; сравнение с инцидентами, о которых сообщили пользователи
Доступность с весами пользователей Доступность, взвешенная затронутыми пользователями или путями, так что сбой в пик считается больше ночного 1 минус (неудавшиеся сеансы пользователей или неудавшиеся пути / все сеансы пользователей или пути) в окне. Сеанс считается неудавшимся, если не удался определённый критический шаг; частичный успех сообщается как отдельная доля деградации, а не вливается процент Мониторинг реальных пользователей; логи сеансов приложения; события аналитики Управление доступностью; управление уровнями услуг SLI на основе путей и показатели опыта из темы 6.2 (см. тему 6.2, Соглашения об уровне опыта) Раз в месяц Выбирать веса так, чтобы сбои в пик весили мало; определять «успешный» сеанс так слабо, что сломанные шаги всё равно проходят Публиковать правило весов и список путей; сравнивать с объёмом жалоб и обращений в поддержку во время сбоев
Внеплановый простой Минуты, в которые услуга была недоступна без заранее одобренного уведомления Сумма длительностей сбоев в окне, от подтверждённого начала воздействия до подтверждённого восстановления, для сбоев, не объявленных и не одобренных через управление изменениями до их начала. Пересекающиеся сбои одной услуги сливаются, а не суммируются. Сообщается как общие минуты, число сбоев, медиана и 95-й перцентиль длительности сбоя минуты Запись об инциденте с метками начала воздействия и восстановления Управление инцидентами; управление доступностью Время восстановления, читаемое как распределение (см. тему 3.3, Время реагирования на инциденты и их устранения) Раз в месяц Переклассифицировать сбои как плановые постфактум; откладывать подтверждённое начало воздействия; делить один сбой на два, чтобы он выглядел короче Доля планового простоя с правилом, что сбой, объявленный после начала, внеплановый; сравнение начала воздействия с данными мониторинга
Доля планового простоя Доля всего простоя, объявленная и одобренная заранее минуты планового простоя / (минуты планового плюс внепланового простоя) в окне. Сбой считается плановым, только если он был одобрен записью об изменении до начала и его время начала и конца было сообщено пользователям; превышение одобренного окна переклассифицируется как внеплановое с момента окончания окна процент Запись об изменении с одобренным окном; запись об инциденте; история страницы статуса Управление изменениями (change enablement); управление доступностью Практики релизов и обслуживания, предпочитающие развёртывание без простоя (см. тему 4.3, Метрики управления изменениями) Раз в месяц Оформлять изменения как одобренные окна, чтобы превышения и сбои считались плановыми; раздувать долю планового, планируя ненужное обслуживание Минуты превышения переклассифицируются как внеплановые; доля сбоев изменений и доля срочных изменений (см. тему 4.4, Сбои изменений и переделки)
Частота сбоев и интервалы между ними Как часто начинаются сбои и как долго услуга работает между ними Число сбоев, начавшихся в окне; и для каждой пары последовательных сбоев минуты работы между восстановлением первого и началом второго, сводимые как медиана и 5-й перцентиль. Не сообщается как единое среднее, если интервалов меньше десяти число; минуты Запись об инциденте; история мониторинга Управление инцидентами; управление проблемами Сигнал стабильности рядом с долей сбоев изменений (см. тему 4.4, Сбои изменений и переделки) Раз в месяц Сливать инциденты или открывать новый только после долгой паузы, чтобы держать счёт низким; подавлять оповещения, чтобы короткие сбои не записывались Выборка оповещений и инцидентов против сырых событий мониторинга; охват мониторингом и качество оповещений (см. тему 5.5, Метрики мониторинга и качества оповещений)
Доля деградации Время, в которое услуга работала, но ниже согласованного качества Минуты, в которые индикатор задержки, ошибок или правильности нарушил свой порог, исключая минуты, уже посчитанные как простой / минуты в области. Порог указывается по услуге, например в SLO процент Мониторинг и измерения SLI Управление доступностью; управление ёмкостью и производительностью SLI задержки (см. тему 5.4, Метрики ёмкости и производительности) Раз в месяц Задавать порог настолько мягким, что медленная работа его никогда не нарушает; объявлять деградированное время как работающее Перцентили задержки и сообщения пользователей о медлительности пересматриваются рядом с цифрой (см. тему 5.4, Метрики ёмкости и производительности)
Охват измерения Какую часть пользовательского поведения услуги измерение доступности действительно наблюдает Критические пути пользователей с активной пробой или измерением реальных пользователей / критические пути пользователей, перечисленные в определении услуги процент Определение услуги; настройка мониторинга Мониторинг и управление событиями; управление доступностью Охват наблюдаемости и качество оповещений (см. тему 5.5, Метрики мониторинга и качества оповещений) Раз в квартал Перечислять только пути, которые легко пробовать, чтобы охват читался как 100 %; считать путь охваченным пробой, которая никогда не запускается Список путей согласован с владельцем услуги и пользователями; история запусков проб проверяется выборкой каждый квартал

5.4 Метрики ёмкости и производительности

Тема-источник: (см. тему 5.4, Метрики ёмкости и производительности).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Загрузка ресурса Доля ёмкости ресурса, используемая за интервал, сообщаемая как высокий перцентиль ряда интервалов занятая ёмкость / полная ёмкость, на интервал от 1 до 5 минут; сообщайте медиану и 95-й перцентиль за окно пересмотра; окна обслуживания, когда ресурс слит, исключаются процент Мониторинг инфраструктуры и метрики облачной платформы Управление ёмкостью и производительностью; мониторинг и управление событиями Эксплуатационные критерии приёмки в определении готовности; ресурсные сигналы SRE Раз в неделю Усреднять по длинным интервалам, чтобы спрятать пики; считать простаивающую зарезервированную ёмкость «используемой»; сообщать только самые тихие ресурсы 95-й перцентиль в часы пик рядом со средним; мера насыщения; список ресурсов в области сверяется с картой услуг
Насыщение Объём работы, ждущей ресурс, который полностью занят длина очереди, очередь на выполнение, ожидающие запросы или задушенные запросы, на интервал; сообщайте 95-й перцентиль и долю интервалов с любым ожиданием; интервалы без спроса исключаются число или процент интервалов Телеметрия приложений и инфраструктуры Управление ёмкостью и производительностью; мониторинг и управление событиями Сигнал насыщения SRE; ограничение работы в процессе на очереди услуги Раз в неделю Поднимать лимиты очередей, чтобы ничего не сообщалось как отклонённое или задушенное; переносить ожидание в другую очередь, которая не измеряется Перцентиль задержки и доля ошибок для той же операции; сквозное время в очереди, а не одной стадии; пересмотр всех очередей на пути
Перцентиль задержки Время ответа на запрос для одной пользовательской операции, сообщаемое на медиане, p95 и p99 время ответа от получения запроса на краю до отправки последнего байта, на успешный запрос; неудавшиеся запросы сообщаются как ошибки, а не как быстрые ответы; измеряется по скользящему окну миллисекунды Логи балансировщика нагрузки или шлюза, трассировка, мониторинг реальных пользователей Управление уровнями услуг; управление ёмкостью и производительностью Индикатор задержки SRE и цель уровня услуги Непрерывно, пересматривается раз в неделю Сообщать только среднее или медиану; убирать медленные или неудавшиеся запросы из выборки; измерять из быстрого внутреннего места; исключать «выбросы» p95 и p99 всегда показаны; доля ошибок и тайм-аутов показана рядом с задержкой; мониторинг реальных пользователей сравнивается с серверными замерами; показан сырой размер выборки
Запас Оставшаяся нагрузка, которую услуга может нести, прежде чем нарушит свои цели (испытанная или смоделированная нагрузка отказа минус текущая пиковая нагрузка) / текущая пиковая нагрузка; пик есть самый загруженный час в окне; нагрузка отказа есть нагрузка, при которой цель по задержке впервые нарушается в испытании, а не предел оборудования процент или дни при текущем росте Результаты нагрузочных тестов и телеметрия трафика Управление ёмкостью и производительностью; управление уровнями услуг Нефункциональные требования и тесты производительности в конвейере Раз в месяц и перед крупными запусками Выбирать мягкую нагрузку теста; испытывать более крупную среду, чем продуктив; определять точку отказа как предел оборудования Нагрузка теста сверяется с формой продуктивного трафика; письменный список отличий теста от продуктива; запас повторно проверяется после значимых изменений
Ошибка прогноза Разница между прогнозным и фактическим спросом за период абсолютное (прогнозный пик минус фактический пик) / фактический пик, для заявленного горизонта; прогноз замораживается в начале горизонта и не пересматривается позже; незапланированные разовые события перечисляются, а не убираются процент Реестр прогнозов и телеметрия трафика Управление ёмкостью и производительностью; связанное со спросом планирование в управлении финансами услуг Прогнозирование релизов и дорожной карты; прогнозирование спроса SRE Раз в квартал Пересматривать прогноз задним числом; задавать очень широкие диапазоны, чтобы любой исход был «в диапазоне»; убирать месяцы с сюрпризами как «незапланированные события» Прогноз заморожен и датирован в реестре; ширина диапазона сообщается с ошибкой; каждое исключённое событие перечислено и пересмотрено
Время выполнения ёмкости Время, нужное, чтобы ввести новую ёмкость в работу после принятия потребности часы запускаются, когда запрос на ёмкость одобрен, и останавливаются, когда ёмкость несёт трафик продуктива; сообщайте медиану и 85-й перцентиль; отменённые запросы исключаются дни Записи запросов в инструменте ITSM, записи об изменениях, логи подготовки Управление ёмкостью и производительностью; управление запросами на обслуживание; управление изменениями (change enablement) Время выполнения элемента бэклога платформы (см. тему 2.2, Время выполнения, время цикла и эффективность потока) Раз в квартал Запускать часы позже, откладывая записи об одобрении; закрывать запросы при размещении заказа, а не когда ёмкость несёт трафик; делить запросы Часы определены от одобрения до несения трафика; выборка закрытых запросов сравнивается с логами подготовки; число повторно открытых запросов
Охват тестами производительности Доля критических услуг с недавним реалистичным нагрузочным тестом критические услуги с пройденным нагрузочным тестом моложе заявленного возраста, на репрезентативной среде и нагрузке / критические услуги в реестре; предел возраста записан процент Хранилище результатов тестов и реестр услуг Управление ёмкостью и производительностью; управление релизами Нефункциональные тесты в конвейере непрерывной поставки Раз в квартал Запускать тривиальный тест ради заявления об охвате; сокращать список критических услуг; держать в учёте старый пройденный тест Возраст теста и реалистичность нагрузки записаны; список критических услуг сверяется с каталогом услуг и историей инцидентов; неудавшиеся тесты сообщаются так же, как пройденные

5.5 Метрики мониторинга и качества оповещений

Тема-источник: (см. тему 5.5, Метрики мониторинга и качества оповещений).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Объём оповещений Число оповещений, уведомивших человека, с разбивкой на вызовы и заявки Число различных уведомлений, доставленных ротации или очереди за период; повторы одного и того же открытого оповещения группируются в одно; оповещения, обработанные целиком автоматикой без уведомления человека, исключаются; сообщайте на ротацию в неделю и долю вне рабочих часов отдельно оповещений на ротацию в неделю Инструмент вызова и маршрутизации оповещений Мониторинг и управление событиями Рабочее соглашение команды о дежурствах Раз в неделю Поднимать пороги, добавлять длинные задержки или переносить оповещения из вызовов в тихую очередь, чтобы счёт падал, пока проблемы остаются невидимыми; делить или сливать оповещения, чтобы менять счёт Доля обнаружения мониторингом и время обнаружения; правило, что каждое понижение записывается с причиной и пересматривается через квартал
Доля применимых оповещений Доля оповещений, после которых человек выполнил полезное действие Оповещения с записанным действием (исправление, смягчение, эскалация или изменение правила оповещения) / оповещения, пересмотренные за период; оповещения, автоматически закрытые до какого-либо подтверждения, считаются неприменимыми; непересмотренные оповещения сообщаются отдельным числом, а не отбрасываются процент Запись оповещений, соединённая с меткой пересмотра, заявкой или инцидентом Мониторинг и управление событиями; управление инцидентами Действие команды по улучшению эксплуатации Еженедельный пересмотр, месячный тренд Помечать оповещения применимыми постфактум или выполнять тривиальное действие (комментарий, подтверждение), чтобы подойти; оставлять шумные оповещения непересмотренными, чтобы они не попадали в знаменатель Число непересмотренных оповещений показано рядом с долей; выборочная проверка кем-то вне ротации; записанное определение «полезного действия»
Доля ложных срабатываний Доля оповещений, сработавших, когда проблемы не было Оповещения, помеченные в пересмотре как ложные срабатывания / оповещения, пересмотренные за период; «ложное срабатывание» означает, что состояние не было неисправностью и никто не захотел бы об этом знать; реальная проблема, слишком мелкая для действия, не есть ложное срабатывание процент Метки пересмотра оповещений Мониторинг и управление событиями Ретроспективный пересмотр шума Раз в месяц Определять ложные срабатывания узко, чтобы «реальные, но бессмысленные» оповещения считались истинными; закрывать шумные оповещения без метки Доля применимых оповещений и метка «реальное, но не стоящее вызова» отслеживаются отдельно; периодическая выборка закрытых оповещений
Охват обнаружения Доля услуг в области, имеющих хотя бы одно проверенное оповещение о пользовательском симптоме Услуги с оповещением о симптоме, испытанным тестом или реальным событием за последние 12 месяцев / услуги в области каталога услуг; список услуг в области фиксируется в начале периода процент Каталог услуг, инвентарь правил оповещений, записи тестов Управление конфигурацией услуг; мониторинг и управление событиями Определение готовности для новой услуги Раз в квартал Добавлять тривиальное оповещение (ping) к каждой услуге ради заявления об охвате; считать оповещения, никогда не испытанные Требование, чтобы оповещение следило за пользовательским симптомом и испытывалось за последние 12 месяцев; доля обнаружения мониторингом
Доля обнаружения мониторингом Доля инцидентов, обнаруженных мониторингом раньше, чем о них сообщили пользователь или коллега Инциденты, чьим первым сигналом было оповещение / инциденты за период; часы есть время открытия инцидента, а инциденты без записанного первого сигнала сообщаются как неизвестные, а не как обнаруженные процент Запись об инциденте с полем первого сигнала, хронология оповещений Управление инцидентами Пересмотр инцидента (обучение после инцидента) Раз в месяц Записывать каждый инцидент как «обнаружен мониторингом», даже когда пользователь сообщил первым; создавать оповещение постфактум и затем ссылаться на него; оставлять поле первого сигнала пустым, чтобы избежать плохого числа Число неизвестных показано рядом с долей; свидетельство первого сигнала берётся из хронологии оповещений, а не из памяти; инциденты, о которых сообщили клиенты, связываются из записи поддержки
Время обнаружения (TTD) Прошедшее время между началом воздействия на пользователей и первым оповещением, уведомившим человека Время первого оповещения, уведомившего человека, минус время начала воздействия, где начало воздействия есть самое раннее время нарушения индикатором уровня услуги, установленное в пересмотре инцидента; сообщайте медиану и 95-й перцентиль; инциденты без оповещения исключаются и считаются отдельно минуты Пересмотр инцидента, хронология оповещений, история индикатора уровня услуги Управление инцидентами; мониторинг и управление событиями Пересмотр после инцидента Раз в месяц, по инциденту Объявлять начало воздействия позже, чем оно было; исключать инциденты без оповещения; сообщать среднее, чтобы спрятать хвост Начало воздействия берётся из истории индикатора уровня услуги; инциденты без оповещения считаются и показываются; медиана и 95-й перцентиль сообщаются вместе
Концентрация оповещений Доля объёма оповещений, производимая несколькими самыми шумными правилами Оповещения от пяти правил с наибольшим числом оповещений / все оповещения за период; одно оповещение группируется один раз; число правил пять есть соглашение, которое команда может изменить, указав причину процент Инвентарь правил оповещений и запись вызовов Непрерывное улучшение; мониторинг и управление событиями Бэклог улучшений ретроспективы Раз в месяц Делить одно шумное правило на несколько, чтобы ни одно не попало в пятёрку; переименовывать правила Сообщать концентрацию по лежащей в основе неисправности или услуге так же, как по правилу; отслеживать общий объём и долю применимых оповещений рядом
Актуальность правил оповещений Доля правил вызова, имеющих владельца, ссылку на ранбук и пересмотр в согласованный интервал Правила вызова, удовлетворяющие всем трём условиям / все правила вызова; правила, отключённые за период, исключаются процент Инвентарь правил оповещений Управление знаниями; мониторинг и управление событиями Рабочее соглашение об эксплуатационной готовности Раз в квартал Добавлять номинальных владельцев, пустые ссылки на ранбуки или формальный пересмотр, чтобы выполнить условие Выборочная проверка того, что ссылка на ранбук открывается и использовалась в реальном реагировании; практика испытания ранбука на учениях

5.6 Метрики непрерывности услуг

Тема-источник: (см. тему 5.6, Метрики непрерывности услуг).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Доля выполнения RTO Доля учений по восстановлению, в которых услуга была восстановлена в пределах заявленного RTO учения со временем восстановления <= RTO / проведённые учения. Часы запускаются при объявленном начале сбоя учения (момент внесения сбоя или объявления сценария) и останавливаются, когда услуга проходит согласованную проверку здоровья для реальных или синтетических пользователей. Настольные учения и учения без замеренного восстановления исключаются и считаются отдельно процент, с показанным числом учений Отчёт об учении, хронология из мониторинга, реестр услуг с RTO Управление непрерывностью услуг; управление доступностью Исход game day; время восстановления в показателях поставки По учению; сводка раз в квартал Выбирать малый тестовый набор данных, лёгкий сценарий или отрепетированный сценарий; запускать часы поздно, после начала работы команды; ослаблять проверку здоровья, чтобы «восстановлено» наступало раньше; задавать щедрое RTO, чтобы каждое испытание проходило Записывать размер данных, неожиданность сценария и определение проверки здоровья с каждым результатом; сравнивать RTO с BIA; показывать каждое учение отдельной строкой, включая неудачи
Доля выполнения RPO Доля учений по восстановлению, в которых потеря данных осталась в пределах заявленного RPO учения с замеренным отрезком потери данных <= RPO / учения, восстанавливающие данные. Отрезок потери данных есть время между последней записью, присутствующей после восстановления, и моментом сбоя. Учения, не восстанавливающие состояние, исключаются процент, с показанным числом учений Отчёт об учении, сравнение восстановленных данных с источником или журналом записей Управление непрерывностью услуг; управление информационной безопасностью Учение по восстановлению как часть определения готовности По учению; сводка раз в квартал Измерять потерю только для основной таблицы, а не для всего состояния; испытывать реплику, синхронную потому что нагрузка не идёт; переопределять RPO после пропущенного результата Проверять потерю данных по журналу записей по всем хранилищам в области; испытывать под реалистичной нагрузкой записи; вести журнал изменений целей с причинами
Охват испытанного восстановления Доля услуг уровней 1 и 2, у которых было практическое испытание восстановления в пределах согласованного интервала испытаний услуги с подходящим испытанием внутри интервала / услуги в области. Подходящее испытание практическое (не только настольное) и восстанавливает услугу в тестовой или продуктивной среде. Интервал задаётся по уровню процент, по уровню Реестр услуг, календарь и отчёты учений Управление непрерывностью услуг; управление каталогом услуг График game day Раз в месяц Засчитывать настольные обсуждения как испытания; испытывать тривиально малую услугу, чтобы поднять процент; сокращать список в области, переклассифицируя услуги в более низкий уровень Требовать практические испытания для счёта уровня 1; сообщать охват, взвешенный по критичности услуги; проверять изменения уровней относительно BIA
Дней с последнего успешного испытания восстановления Возраст самого недавнего пройденного испытания восстановления для каждой критической услуги дата отчёта минус дата последнего испытания, выполнившего и RTO, и RPO. Неудавшееся испытание не сбрасывает часы. Услуги, никогда не испытывавшиеся, показываются как «никогда», а не как ноль дни, по услуге, с выделением самой старой Отчёты об учениях, реестр услуг Управление непрерывностью услуг График game day; возраст рабочего элемента Раз в месяц Повторно запускать лёгкое испытание, чтобы сбросить возраст; помечать частичное испытание как пройденное; сбрасывать дату после бумажного пересмотра Показывать область последнего пройденного испытания; показывать самый большой возраст и услуги, никогда не испытывавшиеся; требовать, чтобы выполнялись и RTO, и RPO
Доля успешных восстановлений из резервных копий Доля предпринятых восстановлений из резервной копии, завершившихся проверенными пригодными данными восстановления, завершившиеся и прошедшие проверку данных / предпринятые восстановления, по автоматическим и ручным испытаниям восстановления. Один успех задания резервного копирования исключается, потому что отработавшее задание не есть восстановление, которое сработало процент, по уровню данных Логи системы резервного копирования, результаты автоматической проверки восстановления Управление непрерывностью услуг; управление инфраструктурой и платформой Учение по восстановлению; критерии эксплуатационной пригодности в определении готовности Раз в неделю для автоматических испытаний; раз в месяц на пересмотре Сообщать успех задания резервного копирования как успех восстановления; испытывать только копии, заведомо хорошие; проверять проверкой, которая не может не пройти Отслеживать восстановления случайно отобранных копий; требовать результат проверки данных; пересматривать саму проверку на каждом аудите
Доля закрытия находок учений Доля находок учений по восстановлению, закрытых в согласованное время, с разбивкой по серьёзности находки, закрытые в пределах цели / находки, срок которых наступил в периоде. Часы запускаются, когда находка записана в отчёте об учении, и останавливаются при проверенном исправлении, то есть повторном испытании или пересмотре, его подтверждающем. Находки, принятые как риски названным владельцем, считаются отдельно процент, с числом просроченных находок Отчёт об учении, трекер задач Управление непрерывностью услуг; непрерывное улучшение Действия ретроспективы; возраст элемента бэклога Раз в месяц Закрывать находки без исправления; понижать серьёзность, чтобы ослабить срок; делить одну находку на много лёгких; записывать мало находок с самого начала Проверять закрытие повторным испытанием; сообщать находки на учение рядом с долей закрытия, поскольку падающий счёт может означать более мягкие учения; пересматривать изменения серьёзности
Актуальность плана Доля планов непрерывности и ранбуков, пересмотренных после последнего существенного изменения их услуги или в пределах интервала пересмотра планы с датой пересмотра позже последнего существенного изменения и внутри интервала / планы в области. Существенное изменение означает запись об изменении, помеченную как меняющую архитектуру, хранилища данных, зависимости или поставщиков процент, с возрастом самого старого непересмотренного плана Репозиторий планов (система контроля версий), записи об изменениях, реестр услуг Управление непрерывностью услуг; управление изменениями (change enablement) Определение готовности включает обновление ранбука Раз в квартал Обновлять дату пересмотра, не читая план; помечать изменения как несущественные; набивать план общим текстом, который никогда не устаревает Выборочно проверять планы, разбирая их с тем, кто их не писал; сравнивать долю пометки существенных изменений с историей архитектурных изменений; связывать актуальность с результатами испытаний

5.7 Рутинная работа и метрики дежурств

Тема-источник: (см. тему 5.7, Рутинная работа и метрики дежурств).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Вызовов за смену Число вызовов, доставленных ротации за одну смену Число вызовов, доставленных между началом и концом смены, один счёт на смену, после слияния дублирующих вызовов для той же группы оповещений в пределах 5 минут (окно слияния есть настройка команды). Тестовые вызовы и вызовы, отправленные по ошибке, исключаются. Сообщайте медиану и 90-й перцентиль по сменам, плюс самую загруженную смену вызовов за смену Инструмент вызова; расписание дежурств Управление инцидентами; мониторинг и управление событиями Политика внеплановой работы; устойчивый темп Еженедельный пересмотр, месячный тренд Поднимать пороги оповещений или заглушать оповещения, чтобы счёт падал; сливать несвязанные оповещения в один вызов; переносить вызовы в очередь заявок, за которой никто не следит Охват обнаружения и инциденты, о которых сообщили клиенты, а мониторинг пропустил (см. тему 5.5, Метрики мониторинга и качества оповещений); время обнаружения (см. тему 3.3, Время реагирования на инциденты и их устранения)
Доля вызовов вне рабочих часов Доля вызовов, приходящих вне письменного рабочего окна Вызовы, доставленные вне рабочего окна / все доставленные вызовы за период. Окно задаётся по ротации в местном времени; праздники считаются вне окна процент Инструмент вызова; календарь ротации Управление инцидентами; мониторинг и управление событиями Рабочее соглашение о доступности Раз в месяц Переопределять рабочее окно шире; переносить задания и развёртывания так, чтобы вызовы сдвигались в рабочие часы, не сокращаясь; переклассифицировать вызовы как «низкой срочности» Общий объём вызовов рядом с долей; письменное рабочее окно под контролем изменений; пересмотр того, что переместилось
Частота ночных прерываний Как часто смена включает хотя бы один вызов в защищённое окно сна Смены с хотя бы одним вызовом в защищённом окне сна (например, с 22:00 до 07:00 по местному времени, задаётся командой) / все смены за период. Вызов, подтверждённый автоматически без реакции человека, исключается процент смен Инструмент вызова; журнал подтверждений Управление инцидентами; управление персоналом и талантами Устойчивый темп; проверка здоровья команды Раз в месяц Откладывать подтверждение до утра; автоматически подтверждать вызовы; считать только вызовы, дошедшие до человека Время до подтверждения по часам (см. тему 3.3, Время реагирования на инциденты и их устранения); вызовы без реакции человека сообщаются отдельно; воздействие на клиентов ночью
Доля времени на рутинную работу Доля рабочего времени ротации, потраченная на рутинную работу Часы, записанные ротацией на работу, классифицированную как рутинная / общие рабочие часы, записанные ротацией, за месяц. Совещания, обучение и отпуск исключаются и из числителя, и из знаменателя. Классификация следует шести характеристикам рутинной работы, применяемым командой процент времени Выборочный замер времени или метки задач в трекере работы; пересмотр классификации командой Непрерывное улучшение; управление развёртыванием; управление запросами на обслуживание Доля внеплановой работы; распределение ёмкости в плановой работе Раз в месяц, с квартальным пересмотром классификации Переклассифицировать рутину как «инженерию» или «проектную работу»; записывать меньше, чем потрачено; помечать только то, что легко описать Периодический аудит классифицированных элементов кем-то вне ротации; собственное мнение команды о том, как ощущалась неделя; доля времени на плановую работу по улучшению
Рутинная работа по источникам Распределение часов рутинной работы по названным источникам, таким как ручные перезапуски, запросы доступа, продление сертификатов и сортировка заявок Часы рутинной работы по каждому источнику / общие часы рутинной работы, с перечислением пяти главных источников и группы «прочее». Те же исключения, что у доли времени на рутинную работу процент часов рутинной работы по источнику Выборочный замер времени или метки задач в трекере работы Управление проблемами; управление запросами на обслуживание Бэклог элементов улучшения Раз в квартал Делить крупный источник на несколько малых, чтобы ни один не выделялся; оставлять источник безымянным в «прочем» Предел группы «прочее» (например, менее пятой части часов рутинной работы, настройка команды); выборка элементов «прочего» каждый квартал
Доля повторных вызовов Доля вызовов, вызванных условием, которое уже вызывало ротацию раньше в заявленном окне Вызовы, чья группа оповещений или код причины совпадает с более ранним вызовом в пределах 30 дней / все вызовы за период. Код причины ставит респондент при закрытии; неустановленные коды сообщаются отдельно процент Инструмент вызова; коды причин в записях об инцидентах Управление проблемами; управление инцидентами Действия ретроспективы; бэклог технического долга Раз в месяц Закрывать вызовы каждый раз с новым кодом причины, чтобы совпадения пропускались; расширять коды причин, пока всё не станет различным; удлинять или сокращать окно Аудит кодов причин по выборке; повторение той же группы оповещений между инцидентами (см. тему 4.1, Метрики управления проблемами)
Глубина ротации Сколько квалифицированных респондентов делят пейджер по сравнению с числом мест, которые нужно заполнить Число людей, прошедших готовность к дежурству и доступных для смен / число мест в смене за цикл ротации. Отпуск и командировка уменьшают доступность. Сообщается как отношение по ротации, никогда по человеку отношение Расписание ротации; контрольный список готовности Управление персоналом и талантами Кросс-функциональная команда; матрица навыков Раз в квартал Считать людей, не прошедших готовность; считать людей, редко доступных; раздувать график Доля смен, фактически покрытых номинальным пулом; фактическое число смен по месту, без имён; выполнение контрольного списка готовности
Устранённая рутинная работа Повторяющиеся часы рутинной работы, убранные из работы ротации автоматизацией или изменением проекта Оценочные месячные часы рутинной работы источника до изменения минус те же после изменения, измеренные не менее чем за два цикла после поставки. Часы, сэкономленные разовой чисткой, исключаются часов в месяц Выборочный замер времени до и после; заявка на улучшение Непрерывное улучшение; управление проблемами Доставленный элемент улучшения Раз в квартал Засчитывать разовые чистки как повторяющуюся экономию; игнорировать усилия на создание и поддержку автоматизации; заявлять экономию без замеров до и после Часы до и после, измеренные за два цикла; усилия на поддержку автоматизации; доля времени на рутинную работу в следующие кварталы

Часть 6: Метрики клиентов и опыта

6.1 Метрики удовлетворённости клиентов

Тема-источник: (см. тему 6.1, Метрики удовлетворённости клиентов).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
CSAT Доля ответов, являющихся удовлетворёнными, для определённого типа взаимодействия ответы с оценкой 4 или 5 по пятибалльной шкале / допустимые ответы процент Опрос после взаимодействия, привязанный к заявке или релизу Служба поддержки; управление инцидентами; управление уровнями услуг Обратная связь на обзоре для заинтересованных сторон Раз в неделю или раз в месяц Исполнители натаскивают пользователей на высшие оценки; опросы отправляются только после лёгких заявок; трудные заявки закрываются без опроса Автоматический опрос на каждую подходящую заявку; доля ответивших и состав ответивших; доля повторных открытий
NPS Промоутеры минус критики для определённой услуги и аудитории процент ответивших 9 или 10 минус процент ответивших от 0 до 6 пункты, диапазон от -100 до 100 Опрос об отношениях, отправляемый с фиксированным интервалом Непрерывное улучшение; управление уровнями услуг Обзор результатов продукта Раз в квартал Опрашивать только дружелюбных пользователей; ставить время опроса после хорошего события; спрашивать лицом к лицу; переименовывать пункты шкалы Фиксированная аудитория и график в реестре; охват ответивших; читать комментарии критиков
CES Среднее или доля благоприятных оценок того, насколько легко было что-то сделать благоприятные ответы / допустимые ответы или средняя оценка процент или среднее Опрос после взаимодействия, привязанный к заявке, запросу или релизу Управление запросами на обслуживание; служба поддержки Обратная связь по удобству на уточнении Раз в месяц Убирать шаги из формы так, что работа переезжает в другое место; спрашивать только после гладких запросов Число обращений на проблему; время выполнения запросов и переделки (см. тему 3.5, Метрики выполнения запросов на обслуживание)
Доля ответивших на опрос Доля приглашённых пользователей, ответивших полученные ответы / доставленные опросы процент Инструмент опросов и система заявок Измерение и отчётность Участие в обратной связи на обзорах Раз в месяц Приглашать только тех, кто вероятно ответит; отправлять опрос каждый раз по другому списку Правило приглашения записано; сравнение приглашённых с населением пользователей
Охват ответивших Насколько близко состав ответивших соответствует составу пользователей по согласованным измерениям доля ответивших в каждой группе по сравнению с долей пользователей в этой группе, по группам процентные пункты Инструмент опросов, соединённый со справочником пользователей или данными заявок Измерение и отчётность Карта заинтересованных сторон Раз в квартал Убирать труднодоступные группы из сравнения; перевзвешивать без упоминания Публиковать измерения и метод; показывать невзвешенный результат рядом со взвешенным
Доля тем комментариев Доля свободных комментариев, отнесённых к каждой теме комментарии в теме / закодированные комментарии процент Закодированные комментарии опросов Непрерывное улучшение Темы ретроспективы Раз в месяц Кодировать комментарии, чтобы избегать плохих тем; сливать темы, чтобы ни одна не выглядела большой Второй человек кодирует выборку; держать список тем стабильным и записывать изменения
Время реакции на критика Время от низкой оценки до документированного контакта с пользователем метка времени заметки о реакции минус метка времени низкой оценки, медиана и 85-й перцентиль часы или дни Инструмент опросов и система заявок Управление инцидентами; непрерывное улучшение Петля обратной связи в рабочем соглашении Раз в месяц Записывать заметку без контакта с пользователем; связываться с пользователем, чтобы попросить лучшую оценку Проверять содержание заметок о реакции; спрашивать пользователя в следующем опросе, связывался ли кто-нибудь с ним

6.2 Соглашения об уровне опыта

Тема-источник: (см. тему 6.2, Соглашения об уровне опыта).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Оценка опыта Средняя оценка согласованного утверждения об опыте для услуги и аудитории средняя оценка по допустимым ответам на одно утверждение по фиксированной шкале пункты шкалы Короткий пульсовый опрос, отправляемый по графику Управление уровнями услуг; непрерывное улучшение Обратная связь на обзоре для заинтересованных сторон; обзор результатов продукта Раз в месяц Опрашивать только довольных пользователей; ставить время опроса после хороших событий; переформулировать утверждение, чтобы с ним было легче согласиться Доля ответивших и состав ответивших; журнал стабильности формулировок; чтение комментариев
Тренд тональности Направление тона в свободных комментариях об услуге доля комментариев, закодированных положительными, минус доля, закодированных отрицательными, за период процентные пункты Закодированные комментарии опросов и комментарии в заявках Непрерывное улучшение Темы ретроспективы Раз в месяц Настраивать инструмент или список тем, пока тренд не вырастет; исключать отрицательные каналы Человеческая проверка месячной выборки; фиксированное руководство по кодированию и запись изменений
События трения на пользователя Число сигналов того, что пользователь столкнулся с трудностью, нормированное на активных пользователей (повторные обращения + повторно открытые элементы + неудавшиеся входы сверх заданного числа + брошенные запросы) / активные пользователи событий на пользователя Система заявок, логи идентификации, портал запросов Служба поддержки; управление инцидентами Дефекты, найденные в использовании Раз в месяц Переопределять события, чтобы считалось меньше; отбивать повторные обращения, затрудняя доступ к службе поддержки Объём обращений по каналам; доля отказов в службе поддержки (см. тему 3.1, Метрики службы поддержки)
Время, потерянное на ИТ-проблемы Оценочное время, теряемое пользователями на проблемы услуги за период сообщённые самими пользователями потерянные минуты на пользователя или измеренное время в деградированном состоянии, взвешенное затронутыми пользователями минут на пользователя Пульсовый опрос; мониторинг, соединённый со счётом пользователей Управление доступностью; управление инцидентами Время цикла, потерянное на блокировки Раз в квартал Спрашивать так, чтобы закреплять низкие оценки; считать только крупные инциденты Сравнивать сообщённое самими временем с измеренным временем деградации; пересмотр формулировки опроса
Доля завершённых путей Доля пользователей, завершивших определённый путь без отказа и без обращения за помощью пользователи, завершившие путь без обращения за помощью / пользователи, начавшие путь процент Аналитика портала; связи с заявками Управление запросами на обслуживание; управление каталогом услуг Успех задач в тестах удобства Раз в месяц Определять путь настолько узко, что сбой выходит за область; направлять трудные случаи в другой канал Определение пути в реестре; доля обращений за помощью и эскалации
Достижение XLA Доля согласованных целей по опыту, достигнутых в периоде достигнутые цели / согласованные цели процент Реестр XLA Управление уровнями услуг Достижение цели поставки Раз в квартал Задавать цели, уже выполненные; определять очень малый набор целей Пересмотр постановки целей с пользователями; показ достижения с трендом и историей целей
Разрыв опыта Разница между выполнением SLA и оценкой опыта для той же услуги ранг выполнения SLA минус ранг оценки опыта по услугам или письменное сравнение разница рангов или заметка Отчёты SLA и пульсовый опрос Управление уровнями услуг Определение готовности против обратной связи пользователей Раз в квартал Выбирать услуги или периоды, выглядящие лучше всего; менять, какие SLA сравниваются Фиксированный набор сравнения, согласованный заранее; показ всех услуг

6.3 Метрики внедрения услуг и каталога

Тема-источник: (см. тему 6.3, Метрики внедрения услуг и каталога).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Доля внедрения Доля подходящих пользователей, воспользовавшихся услугой хотя бы раз за период различные подходящие пользователи хотя бы с одним завершённым использованием / подходящие пользователи процент Логи использования услуги, соединённые со справочником пользователей Управление каталогом услуг; управление уровнями услуг Внедрение функции; обзор результатов продукта Раз в месяц Обязывать использование; считать входы или просмотры страниц использованием; сужать «подходящих пользователей» до тех, кто уже пользуется Определение завершённого результата; сравнение с оценками удовлетворённости и усилия; публикация правила подходящих пользователей
Доля активного использования Доля внедривших, продолжающих пользоваться услугой во времени пользователи, активные в периоде, также пользовавшиеся услугой в предыдущем периоде / пользователи, активные в предыдущем периоде процент Логи использования; таблицы когорт Непрерывное улучшение Удержание в продуктовой аналитике Раз в месяц Автоматически записывать пользователей, чтобы они выглядели активными; отправлять уведомления, засчитываемые как активность Считать только завершённые действия по инициативе пользователя; выборочные интервью с отпавшими пользователями
Охват каталога Доля запросов, приходящих через каталог, а не через разовые каналы запросы, созданные через каталог / все запросы из всех каналов процент Инструмент управления запросами; метки почтового ящика и чата Управление запросами на обслуживание; управление каталогом услуг Элементы бэклога с письменным определением Раз в месяц Вталкивать каждый запрос в общую позицию каталога; закрывать запросы по почте словами «пожалуйста, используйте портал» Доля брошенных запросов и удовлетворённость; считать, сколько запросов подано повторно другим каналом
Доля брошенных запросов Доля начатых запросов, которые пользователь не отправляет запросы, начатые, но не отправленные в течение 24 часов / начатые запросы процент Аналитика портала Управление запросами на обслуживание Отказ от задач в тестах удобства Раз в месяц Убирать нужные поля формы, что переносит работу на выполнение; считать брошенные запросы только после долгого окна Доля переделок и уточнений при выполнении (см. тему 3.5, Метрики выполнения запросов на обслуживание)
Доля успешных поисков Доля поисков по каталогу, завершающихся запросом или просмотренным ответом поиски, за которыми в сеансе последовал запрос или просмотр знания / поиски процент Логи поиска портала Управление знаниями; управление каталогом услуг Находимость в исследовании пользователей Раз в месяц Засчитывать любой клик как успех; добавлять нерелевантные статьи, подходящие под любой запрос Проверять, что результат использован (запрос подан, статья оценена как полезная); читать поиски без результата
Доля устаревших позиций Доля позиций каталога с просроченной датой пересмотра или без использования в заданный период позиции, просроченные для пересмотра или с нулём запросов за 12 месяцев / позиции в каталоге процент Реестр каталога Управление каталогом услуг Возраст бэклога и обрезка Раз в квартал Помечать позиции пересмотренными, не читая; сбрасывать даты пересмотра оптом Выборочно проверять пересмотренные позиции на точность; показывать дату последнего реального изменения
Концентрация запросов Доля запросов, приходящаяся на самые запрашиваемые позиции запросы на пять главных позиций / все запросы каталога процент Инструмент управления запросами Управление запросами на обслуживание Парето работы по типам Раз в квартал Делить популярные позиции на много; сливать несвязанные позиции, чтобы спрятать спрос длинного хвоста Фиксированная таксономия позиций с журналом изменений; смотреть на хвост по категориям

6.4 Опыт пользователей и сотрудников

Тема-источник: (см. тему 6.4, Опыт пользователей и сотрудников).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Доля готовности в первый день Доля новых сотрудников, чьи устройства, учётные записи и доступ полностью готовы и работают к началу новые сотрудники со всеми согласованными элементами, работающими на старте / новые сотрудники в периоде процент Запросы на ввод в должность, система идентификации, подтверждение нового сотрудника Управление запросами на обслуживание; управление каталогом услуг Рабочее соглашение команды о вводе в должность Раз в месяц Сокращать согласованный список; помечать элементы готовыми, пока они не работают; откладывать официальную дату начала Письменный список в реестре; подтверждение нового сотрудника; время до продуктивности
Время до продуктивности Прошедшее время от даты начала до момента, когда у нового сотрудника есть всё нужное для первой настоящей задачи медиана и 85-й перцентиль дней от даты начала до подтверждения от нового сотрудника и его руководителя дни Трекер ввода в должность; короткий вопрос-подтверждение Управление запросами на обслуживание; непрерывное улучшение Время, за которое новый член команды вносит первое изменение Раз в месяц Запускать часы позже; рано закрывать запись о вводе в должность Определение часов в реестре; подтверждают и руководитель, и новый сотрудник
Распространённость обходных путей Доля опрошенного персонала, использующего неутверждённые инструменты или ручные шаги в обход официальной услуги ответившие, сообщающие об обходном пути для услуги / допустимые ответившие процент Пульсовый опрос; отчёты об обнаружении санкционированных инструментов Управление уровнями услуг; непрерывное улучшение Препятствия, поднимаемые на ежедневных проверках команды Раз в квартал Отбивать честные ответы намёками на последствия; спрашивать только довольные группы Заявление об анонимности; доля ответивших и состав ответивших; соблюдение гарантий приватности
Минуты принудительных прерываний Время, в которое людей прерывают плановые ИТ-действия, такие как принудительные перезапуски, обновления и запросы входа общие минуты прерываний, вызванных плановыми действиями / активные пользователи в группе минут на человека в месяц Логи управления конечными точками, агрегированные по группам Управление изменениями (change enablement); управление релизами и развёртыванием Рабочее время без прерываний Раз в месяц Считать только некоторые виды прерываний; переносить прерывания в группу, которая не измеряется Определить все типы плановых прерываний; сообщать по группам, включая удалённый персонал и работников по сменам
Время решения запросов о доступности Время решения запросов, связанных с потребностями доступности медиана и 85-й перцентиль часов от запроса до подтверждённого работающего решения часы Система запросов с меткой доступности Управление запросами на обслуживание; управление инцидентами Инклюзивное определение готовности Раз в месяц Закрывать запросы частичным исправлением; помечать запросы иначе, чтобы избежать часов Подтверждение заявителя, что решение работает; пересмотр непомеченных запросов
Пульсовая оценка инструмента Оценка одного названного инструмента или услуги по короткому согласованному вопросу средняя оценка или доля благоприятных по допустимым ответам, по инструменту пункты шкалы или процент Пульсовый опрос, чередующий инструменты Управление уровнями услуг; непрерывное улучшение Обратная связь членов команды об их инструментах Раз в квартал Опрашивать только довольных пользователей; менять вопрос; натаскивать персонал на хорошие ответы Журнал стабильности формулировок; доля ответивших и состав; чтение комментариев
Соблюдение гарантий приватности Доля отчётов об опыте, соответствующих правилам подавления и агрегации отчёты, соответствующие правилам / опубликованные отчёты процент Проверка опубликованных отчётов на соответствие правилам приватности Управление информационной безопасностью; измерение и отчётность Рабочее соглашение об использовании данных Раз в квартал Сообщать соответствие без независимой проверки; расширять группы, чтобы скрыть проблемы Периодическая проверка кем-то вне команды; публикация правил (значение k и подавление)

6.5 Реализация ценности и бизнес-результаты

Тема-источник: (см. тему 6.5, Реализация ценности и бизнес-результаты).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Доля реализованных выгод Доля ожидаемых выгод, наблюдавшихся к согласованной дате пересмотра выгоды с измеренным результатом на согласованном пороге или выше / ожидаемые выгоды с датой пересмотра в периоде процент Реестр выгод с владельцами, базовыми уровнями и датами пересмотра Непрерывное улучшение; управление системой создания ценности Обзор результатов с заинтересованными сторонами Раз в квартал Задавать низкие пороги; переносить дату пересмотра; переопределять выгоду постфактум Порог и дата фиксируются при одобрении; доля качества свидетельств; владелец вне команды поставки
Время до первой ценности Время от начала работы до первой измеримой выгоды для пользователей дни от начала первой работы до первой даты, когда индикатор выгоды сдвинулся как ожидалось дни Трекер работы и индикатор выгоды Проектирование услуг; управление релизами и развёртыванием Непрерывная поставка ценности По инициативе Выбирать ранний индикатор, двигающийся по неверной причине; запускать часы поздно Индикатор и часы определены в реестре; подтверждение владельцем выгоды
Доля проверенных гипотез Доля выпущенных изменений, чья заявленная гипотеза ценности была проверена после релиза изменения с записанной проверкой после релиза / выпущенные изменения, несшие гипотезу процент Журнал гипотез, связанный с записями релизов Непрерывное улучшение; управление изменениями (change enablement) Обучение на выпущенной работе Раз в месяц Писать расплывчатые гипотезы, которые всегда проходят; проверять только успешные изменения Выборочная проверка гипотез на проверяемость; включение нулевых и неудавшихся результатов в пересмотр
Доля качества свидетельств Доля заявленных выгод, имеющих базовый уровень и заявленный метод сравнения заявления о выгодах с базовым уровнем и методом / сообщённые заявления о выгодах процент Пересмотр реестра выгод Измерение и отчётность Честная отчётность о результатах Раз в квартал Задним числом заполнять базовые уровни; описывать любое сравнение как метод Базовый уровень датирован до изменения; пересмотр кем-то вне команды
Движение индикатора результата Изменение выбранного индикатора результата относительно его базового уровня и относительно сравнения, где доступно (индикатор после минус индикатор до), с изменением группы сравнения, сообщаемым рядом единицы индикатора Продуктовая аналитика, данные услуг, финансы Управление уровнями услуг; непрерывное улучшение Прогресс ключевого результата Раз в месяц Выбирать выгодный период или группу; игнорировать искажающие факторы Заранее зарегистрированные период и группа; список рассмотренных искажающих факторов
Часы бизнес-воздействия Часы, в которые бизнес-процесс был деградирован или остановлен из-за проблем услуги часы деградированного или остановленного процесса, приписанные владельцами процессов причинам услуг ИТ часы Записи об инцидентах, соединённые с подтверждением владельца процесса Управление инцидентами; управление доступностью Обзор бизнес-воздействия Раз в месяц Владельцы процессов раздувают или занижают атрибуции; инциденты переклассифицируются, чтобы избежать атрибуции Правила атрибуции записаны и ведутся в журнале; сравнение с записями об инцидентах и доступности
Доля ёмкости, связанной с результатом Доля ёмкости команды, потраченная на работу, связанную с заявленным результатом ёмкость на элементы, связанные с записанным результатом / общая ёмкость процент Трекер работы с полем результата Система создания ценности; управление портфелем Работа, согласованная с целью продукта Раз в квартал Помечать всю работу общим результатом; выдумывать результаты для рутинной работы Список результатов пересматривается с заинтересованными сторонами; выборка элементов на качество связи

Часть 7: Метрики активов, конфигурации и финансов

7.1 Метрики управления ИТ-активами

Тема-источник: (см. тему 7.1, Метрики управления ИТ-активами).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Точность инвентаря Доля выбранных активов, чья запись совпадает с найденным выбранные активы, у которых запись совпадает с физическим или техническим свидетельством по всем согласованным полям / выбранные активы процент Выборка аудита, сравненная с реестром активов и данными обнаружения Управление ИТ-активами; управление конфигурацией Определение готовности включает регистрацию актива Раз в квартал Выбирать лёгкие активы; проводить аудит только после чистки; засчитывать совпадение по меньшему числу полей Случайная выборка, взятая кем-то вне команды; фиксированный список полей; выборка в обе стороны
Охват обнаружения Доля ожидаемых активов, увиденных обнаружением в периоде активы, увиденные хотя бы одним источником обнаружения за последние 30 дней / активы в реестре, которые обнаружение может видеть процент Отчёты инструмента обнаружения, соединённые с реестром Управление ИТ-активами; мониторинг и управление событиями Состояние инфраструктуры как кода соответствует реальности Раз в месяц Сужать «ожидаемые активы» до того, что видит обнаружение; исключать труднодоступные для сканирования сети Документировать исключения; сравнивать с закупками и облачными счетами
Доля сверки Доля активов, сопоставленных между независимыми источниками активы, сопоставленные и в реестре, и во втором источнике (например, закупки, идентификация или облачные счета) / активы в любом из источников процент Выгрузки реестра, закупок, идентификации, облачных счетов Управление ИТ-активами; управление поставщиками Единый источник истины для сред Раз в месяц Выбирать второй источник, производный от первого; автосопоставлять по слабым ключам Использовать действительно независимые источники; вручную проверять совпадения выборочно
Доля бесхозных активов Доля активов без названного действующего владельца активы без владельца или с владельцем, который ушёл / активы в реестре процент Реестр, соединённый со справочником людей Управление ИТ-активами; управление информационной безопасностью Ясное владение услугами и компонентами Раз в месяц Назначать владельцем команду-универсал; вносить фиктивного человека Число активов, принадлежащих командам-универсалам; выборка подтверждения владельцев
Полнота стадии жизненного цикла Доля активов с текущей стадией жизненного цикла и датами, которых эта стадия требует активы с записанными стадией и нужными датами / активы в реестре процент Реестр Управление ИТ-активами; управление релизами и развёртыванием Жизненный цикл среды отслеживается в конвейере Раз в месяц Заполнять даты по умолчанию; ставить каждому активу «используется» Сравнивать стадию со свидетельствами при аудите; смотреть на распределение возрастов
Время до записи Задержка между изменением актива и обновлением в реестре медиана и 85-й перцентиль часов или дней от события изменения до обновления реестра дни События изменений, закупок или конвейера, сравненные с метками времени реестра Управление ИТ-активами; управление изменениями (change enablement) Автоматическая регистрация в конвейере Раз в месяц Датировать события изменений задним числом; записывать время события как время записи Сравнивать с метками времени исходной системы; журнал аудита правок
Доля неучтённых активов Доля ожидаемых активов, которые не удаётся найти или объяснить при аудите активы ожидаемые, но не найденные и не объяснённые одобренной утилизацией / ожидаемые активы процент Результаты аудита Управление ИТ-активами; управление информационной безопасностью Находка ретроспективы о потерянных предметах По аудиту Списывать активы без одобрения; переклассифицировать их как утилизированные Доля утилизаций с одобрением и свидетельством; сравнивать списания с финансовыми записями

7.2 Метрики программных активов и лицензий

Тема-источник: (см. тему 7.2, Метрики программных активов и лицензий).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Эффективная позиция по лицензиям Сравнение имеющихся прав с найденным использованием по продукту, в собственной единице счёта лицензии имеющиеся права минус найденные развёртывания или пользователи, по продукту единицы (излишек положителен, нехватка отрицательна) Записи о правах, инструмент обнаружения, система идентификации Управление ИТ-активами; управление поставщиками Видимый каталог и данные об использовании для команд Раз в месяц для ключевых продуктов; раз в квартал для остальных Считать в выгодной единице; оставлять теневые развёртывания вне обнаружения Считать в собственной единице лицензии; сравнивать с данными расходов и идентификации; юридический пересмотр правила счёта
Доля использования лицензий Доля оплаченных прав, находящихся в активном использовании права с активностью за последние 90 дней / оплаченные права процент Отчёты поставщиков об использовании, логи идентификации, записи о правах Управление ИТ-активами; управление финансами Ретроспектива о ценности инструмента Раз в месяц Сокращать окно активности; засчитывать входы ботов или служебных учётных записей как использование Фиксированное окно в реестре; исключать нечеловеческие учётные записи; сравнивать с отчётом поставщика об использовании
Стоимость неиспользуемых лицензий (shelfware) Годовая стоимость прав, оплаченных и неиспользуемых сумма (неиспользуемые права умножить на цену единицы) валюта в год Записи о правах, данные об использовании, счета Управление ИТ-активами; управление финансами Сокращение потерь в наборе инструментов Раз в квартал Пересматривать или отменять непосредственно перед пересмотром, чтобы уменьшить число; игнорировать подписки на картах Включать все источники расходов; отслеживать стоимость в начале окна уведомления
Число неутверждённых приложений Число используемых приложений ПО, отсутствующих в утверждённом каталоге приложения, замеченные в данных расходов, логах единого входа или сетевых данных и отсутствующие в каталоге число Отчёты о расходах, провайдер идентификации, сетевые данные и данные конечных точек Управление ИТ-активами; управление информационной безопасностью Команды выбирают инструменты при видимой поддержке Раз в месяц Одобрять всё в каталог, чтобы уменьшить счёт; прятать использование через личные учётные записи Критерии пересмотра каталога; смотреть данные расходов и идентификации; спрашивать команды, что им нужно
Готовность к продлению Доля продлений, для которых был пересмотр использования до даты уведомления продления с завершённым пересмотром использования не менее чем за 90 дней до даты уведомления / продления, срок которых наступает в периоде процент Реестр контрактов и записи пересмотров Управление поставщиками; управление финансами Планирование изменений заранее Раз в квартал Проводить формальный пересмотр; переносить дату уведомления на более позднюю Контрольный список пересмотра с обязательными входами; даты контрактов держат закупки
Охват SBOM Доля продуктивных услуг с актуальным перечнем компонентов ПО услуги с SBOM, сформированным в последнем цикле релиза / продуктивные услуги процент Выходы конвейера сборки, каталог услуг Управление ИТ-активами; управление информационной безопасностью Определение готовности включает видимость зависимостей Раз в месяц Формировать SBOM без транзитивных зависимостей; считать выход сборки, не выпущенный в релиз Определить глубину в реестре; выборочно сверять SBOM с развёрнутым артефактом
Охват проверки открытого кода Доля компонентов в продуктиве с записанной идентификацией лицензии и решением по политике компоненты с записанными лицензией и решением / компоненты, найденные в SBOM процент Инструмент анализа состава ПО, реестр политик Управление ИТ-активами; управление поставщиками Проверка зависимостей в конвейере Раз в месяц Помечать компоненты как пересмотренные без решения; принимать «неизвестные» лицензии Считать компоненты с неизвестной лицензией; пересматривать выборку решений

7.3 Метрики жизненного цикла аппаратных активов

Тема-источник: (см. тему 7.3, Метрики жизненного цикла аппаратных активов).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Возрастной профиль Распределение возраста устройств по классу и доля сверх запланированного срока медианный возраст и возраст 85-го перцентиля; доля устройств старше запланированного срока для класса годы; процент Даты покупки и развёртывания из реестра активов Управление ИТ-активами; управление ёмкостью и производительностью Обзор технического здоровья Раз в квартал Заменять здоровые устройства, чтобы снизить среднее; исключать старые устройства, переклассифицируя их как запасные Доля отказов по возрастной полосе; доля простаивающих устройств; пересмотр переклассификации
Доля обновлений в срок Доля устройств, достигших запланированной замены и замещённых в запланированное окно устройства, замененные в окне / устройства, достигшие запланированной замены в периоде процент Реестр активов и план обновления Управление ИТ-активами; управление запросами на обслуживание Плановое обслуживание рабочей среды Раз в квартал Расширять запланированное окно; откладывать запланированные даты правкой плана Изменения плана записываются с причинами; сравнивать с отказами и обратной связью пользователей
Доля отказов по модели Отказы на 100 устройств в год по модели и возрастной полосе аппаратные отказы в периоде / среднее число устройств в работе, приведённое к году, умноженное на 100 отказов на 100 в год Записи об инцидентах и ремонте, соединённые с реестром Управление инцидентами; управление ИТ-активами Дефекты рабочей среды Раз в квартал Кодировать отказы как повреждение пользователем или программные неисправности; откладывать записи о ремонте Выборочная проверка кодирования отказов; сравнивать записи о ремонте с записями об инцидентах
Доля простаивающих устройств Доля выданных устройств без активности в заданный период устройства без входа или сетевой активности за 60 дней / выданные устройства процент Логи управления конечными точками, агрегированные по классам Управление ИТ-активами; управление финансами Сокращение потерь Раз в месяц Засчитывать плановую фоновую активность как использование; переназначать простаивающие устройства на фиктивных пользователей Использовать вход человека как сигнал активности; выборочно проверять назначения
Время замены Время замены отказавшего или потерянного устройства на работающее медиана и 85-й перцентиль часов или дней от сообщения до момента, когда у пользователя есть работающее устройство дни Записи об инцидентах и запросах Управление инцидентами; управление запросами на обслуживание Время разблокировки члена команды Раз в месяц Останавливать часы при отправке; закрывать запрос, пока у пользователя нет работающего устройства Часы заканчиваются подтверждением пользователя; опрос недавних замен
Завершение безопасной утилизации Доля выведенных устройств с записанным свидетельством стирания данных или уничтожения выведенные устройства со свидетельством стирания или уничтожения / выведенные устройства процент Записи об утилизации и сертификаты стирания Управление информационной безопасностью; управление ИТ-активами Определение готовности для вывода оборудования Раз в месяц Записывать стирание без свидетельства; сертификаты, не сопоставленные с серийными номерами Сопоставлять сертификаты с серийными номерами; проверять выборку вместе с партнёром по утилизации
Доля повторного использования и переработки Доля выведенных устройств, повторно использованных, восстановленных или переработанных через одобренный канал устройства, повторно использованные, восстановленные или переработанные через одобренный канал / выведенные устройства процент Записи об утилизации и партнёрах Управление ИТ-активами; управление поставщиками Цель устойчивости в планировании Раз в квартал Считать переработанными устройства, отправленные брокеру с неизвестной дальнейшей обработкой Требовать сертифицированных партнёров и отчётность по дальнейшей цепочке; выборочные аудиты

7.4 Метрики качества конфигурации и CMDB

Тема-источник: (см. тему 7.4, Метрики качества конфигурации и CMDB).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Полнота CI Доля CI в области со всеми обязательными атрибутами, заполненными допустимыми значениями CI в области с каждым обязательным атрибутом допустимым / CI в области процент CMDB, правила атрибутов Управление конфигурацией услуг; управление ИТ-активами Определение готовности включает описание услуги Раз в месяц Заполнять обязательные атрибуты значениями по умолчанию или заглушками; сужать список обязательных Считать значения по умолчанию и заглушки; фиксированный список обязательных; выборка точности
Точность CI Доля выбранных CI, чья запись совпадает со свидетельством по обязательным атрибутам выбранные CI, совпадающие по всем обязательным атрибутам / выбранные CI процент Выборка аудита, сравненная с живой системой Управление конфигурацией услуг Состояние инфраструктуры как кода соответствует реальности Раз в квартал Брать лёгкие классы; проводить аудит после чистки Случайная выборка, взятая независимо с обеих сторон; фиксированный метод
Охват зависимостей Доля критических услуг, чьи восходящие и нисходящие зависимости нанесены на карту и пересмотрены критические услуги с картой зависимостей, пересмотренной за последние 90 дней / критические услуги процент Отношения CMDB и записи пересмотров Управление конфигурацией услуг; управление доступностью Пересмотр архитектуры и владения услугами Раз в квартал Помечать карты пересмотренными, не читая; наносить только тривиальные зависимости Доля попаданий прогноза воздействия; выборочно сверять карту с живым трафиком
Доля попаданий прогноза воздействия Доля инцидентов и изменений, где фактически затронутые услуги были в спрогнозированном CMDB воздействии инциденты или изменения, где все затронутые услуги были спрогнозированы / пересмотренные инциденты или изменения процент Пересмотры после инцидентов и записи об изменениях, сравненные с запросами к CMDB Управление инцидентами; управление изменениями (change enablement) Находка пересмотра без поиска виновных об отсутствующих зависимостях Раз в квартал Выбирать инциденты, прошедшие хорошо; записывать затронутые услуги узко Пересматривать все значимые инциденты; проверяющие вне владеющей команды
Доля дубликатов CI Доля CI, дублирующих другой CI CI, помеченные как дубликаты правилами сопоставления и подтверждённые в пересмотре / CI в области процент Отчёт сопоставления CMDB и выборка пересмотра Управление конфигурацией услуг Единый источник истины Раз в месяц Сливать различные CI, чтобы снизить долю; ослаблять правила сопоставления Выборочно проверять слияния на корректность; вести журнал правил слияния
Задержка обновления Задержка между изменением CI в реальном мире и его обновлением в CMDB медиана и 85-й перцентиль часов или дней от события изменения до обновления CMDB часы или дни События изменений и конвейера, сравненные с метками времени CMDB Управление конфигурацией услуг; управление изменениями Автоматическая регистрация в конвейере Раз в месяц Датировать события изменений задним числом; считать только автоматические обновления Сравнивать метки времени событий и обновлений из исходных систем; журнал аудита
Доля использования CMDB Доля инцидентов и изменений, ссылающихся на CI, и из них доля, где пользователи сообщают, что запись помогла записи, ссылающиеся на допустимый CI / инциденты и изменения в периоде; плюс доля пересмотренных записей, где данные CI помогли процент Инструмент ITSM, короткий запрос обратной связи Управление инцидентами; управление изменениями Команды, использующие общую запись в работе Раз в месяц Добавлять ссылки на CI для формальности; делать поле обязательным с любым значением Проверять, что указанные CI релевантны; вопрос обратной связи о полезности

7.5 Стоимость услуг и удельная экономика

Тема-источник: (см. тему 7.5, Стоимость услуг и удельная экономика).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Стоимость услуги Полная годовая стоимость названной услуги по документированным правилам распределения прямые затраты + распределённые общие затраты для услуги в периоде валюта в год Главная книга, данные центров затрат, облачные счета и счета за лицензии, данные о времени или видах деятельности Управление финансами услуг; управление каталогом услуг Стоимость постоянной продуктовой команды и её платформ Раз в квартал Переносить затраты на другие услуги правилом распределения; оставлять неблагоприятные затраты нераспределёнными Охват распределения; правила опубликованы и пересматриваются владельцами; сравнивать итоги с главной книгой
Удельная стоимость Стоимость на единицу того, что ценят пользователи, например на активного пользователя, транзакцию или решённый запрос стоимость услуги в периоде / единицы, доставленные в периоде валюта на единицу Стоимость услуги и данные об объёме Управление финансами услуг; управление уровнями услуг Стоимость обслуживания на результат Раз в квартал Поднимать знаменатель малоценными единицами; сокращать качество, чтобы сократить затраты; менять единицу Компаньон-мера качества; фиксированное определение единицы; проверки результата
Охват распределения Доля расходов на ИТ, отнесённая на названную услугу или объявленная общими накладными расходами расходы, отнесённые на услуги или объявленные накладными / общие расходы на ИТ процент Главная книга и модель распределения Управление финансами услуг Видимая стоимость работы каждой команды Раз в квартал Объявлять крупные суммы общими накладными расходами, чтобы избежать отнесения Сообщается доля накладных; пересмотр того, что объявлено накладным и почему
Разбивка на эксплуатацию, изменения и улучшение Доля расходов или ёмкости, идущая на эксплуатацию услуг, их изменение и их улучшение расходы или ёмкость в каждой категории / итого процент Метки главной книги, типы работ в трекере Управление финансами услуг; непрерывное улучшение Распределение ёмкости по типам работы Раз в квартал Переименовывать эксплуатационную работу в улучшение или изменение; помечать в конце периода Метка при приёме; выборочная проверка элементов на тип; сравнение с данными об инцидентах и запросах
Отклонение прогноза Разница между прогнозной и фактической стоимостью по услуге (факт минус прогноз) / прогноз процент Журнал прогнозов и главная книга Управление финансами услуг Точность прогноза Раз в месяц Накидывать запас в прогнозы; пересматривать прогноз поздно в периоде Прогноз записывается в начале; сравнивать диапазоны прогноза с фактом во времени
Доля споров по показу затрат Доля строк показа затрат (showback) или внутреннего счёта (chargeback), оспоренных владельцами услуг и изменённых строки, изменённые после оспаривания / выставленные строки процент Система показа затрат и журнал споров Управление финансами услуг Ретроспектива об общих затратах Раз в квартал Отбивать споры; менять строки без изменения правила Пересмотр споров и исходов; проверка, менялись ли правила после повторных споров
Доля финансирования постоянных команд Доля расходов на поставку и эксплуатацию, финансируемая как стабильная ёмкость команды для услуги расходы на постоянные команды услуг / общие расходы на поставку и эксплуатацию процент Главная книга и организационная схема Управление финансами услуг; организационные изменения Команды, построенные вокруг услуг и мотивированных людей Раз в год Переименовывать проекты в постоянные команды, не меняя финансирование или владение Проверка стабильности команд и владения во времени; меры здоровья услуги

7.6 Метрики FinOps и затрат на облако

Тема-источник: (см. тему 7.6, Метрики FinOps и затрат на облако).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Охват распределения Доля облачных расходов, отнесённая на владеющую команду или объявленный общий пул расходы с допустимым тегом владельца и услуги или в объявленном общем пуле / общие облачные расходы процент Выгрузка облачных счетов, политика тегов Управление финансами услуг; управление ИТ-активами Владение командой тем, что она ведёт Раз в неделю Помечать всё универсальным владельцем; объявлять крупные суммы общими Доля расходов, принадлежащих универсальным владельцам; размер общего пула и пересмотр; выборка подтверждения владельцами
Облачная удельная стоимость Стоимость облачных ресурсов на единицу того, что ценят пользователи облачная стоимость услуги в периоде / единицы, доставленные в периоде валюта на единицу Данные счетов, соединённые с объёмом услуги Управление финансами услуг; управление уровнями услуг Стоимость обслуживания на результат Раз в месяц Выбирать единицу, дёшево растущую; сокращать надёжность, чтобы сократить затраты Фиксированное определение единицы; компаньоны по надёжности и качеству
Доля потерь Доля расходов на ресурсы, простаивающие или явно избыточные по размеру расходы на простаивающие или избыточные ресурсы по согласованным правилам / общие расходы на ресурсы в области процент Метрики использования и счета Управление ёмкостью и производительностью; управление финансами Сокращение потерь в наборе инструментов Раз в неделю Сужать определение простаивающего; переносить потери в учётную запись вне области Правила в реестре; сканировать все учётные записи; выборка ресурсов, исключаемых правилами
Охват обязательствами Доля пригодного устойчивого использования, покрытая скидочными обязательствами пригодное использование, покрытое обязательствами / пригодное использование процент Отчёты по счетам и обязательствам Управление финансами услуг; управление поставщиками Планирование предсказуемого спроса Раз в месяц Брать обязательства по завышенным базовым уровням ради высокого процента Использование обязательств; сверка базового уровня с историей использования
Использование обязательств Доля купленных обязательств, которая была использована использованные часы обязательств / купленные часы обязательств процент Отчёты по обязательствам Управление финансами услуг; управление поставщиками Ценность от запланированного вложения Раз в месяц Добавлять ненужное пригодное использование, чтобы заполнить обязательства Сравнивать с ростом реального спроса; удельная стоимость
Отклонение прогноза Разница между прогнозными и фактическими облачными расходами по команде и в целом (факт минус прогноз) / прогноз процент Журнал прогнозов и данные счетов Управление финансами услуг Точность прогноза Раз в месяц Накидывать запас в прогнозы; пересматривать их поздно Записывать прогноз в начале; отслеживать ширину диапазона и долю попаданий
Время подтверждения аномалии Время от оповещения об аномалии затрат до записанного решения владельца медиана и 85-й перцентиль часов от оповещения до ответа владельца часы Оповещения об аномалиях и записи заявок Мониторинг и управление событиями; управление инцидентами Отзывчивость на продуктивный сигнал Раз в месяц Подтверждать оповещения, не глядя; закрывать оповещения автоматически Записывать решение и исход; выборочно проверять качество реакции на оповещения

7.7 Возврат инвестиций и бизнес-обоснование

Тема-источник: (см. тему 7.7, Возврат инвестиций и бизнес-обоснование).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Возврат инвестиций Чистый выигрыш относительно затрат за заявленный период (общие выгоды минус общие затраты) / общие затраты за период процент Бизнес-обоснование, главная книга, реестр выгод Управление финансами услуг; непрерывное улучшение Обзор результатов относительно финансирования При решении и на каждом пересмотре Выбирать длинный период или считать мягкие выгоды; опускать эксплуатационные затраты Фиксированные правила периода и области затрат; качество свидетельств выгод; независимый пересмотр
Общая стоимость владения Стоимость услуги или актива за всю жизнь за заявленный период затраты на приобретение + эксплуатацию + поддержку + изменения + обучение + утилизацию за период валюта Главная книга, модели затрат, контракты поставщиков Управление финансами услуг; управление ИТ-активами Стоимость постоянной команды и её платформ При решении и раз в год Опускать поддержку, обучение, усилия по изменениям или утилизацию; использовать оптимистичные объёмы Контрольный список категорий затрат; сравнение с фактической TCO похожей прошлой работы
Срок окупаемости Время, за которое накопленные чистые выгоды сравниваются с первоначальным вложением время, когда накопленные выгоды минус накопленные затраты достигают нуля месяцы Денежные потоки бизнес-обоснования Управление финансами услуг Время до первой ценности, расширенное до возмещения затрат При решении и на каждом пересмотре Определять начало поздно; считать выгоды, которые не реализуются Определение часов зафиксировано; сравнение с точностью реализованных выгод
Чистая приведённая стоимость Приведённая стоимость ожидаемых выгод минус приведённая стоимость затрат по заявленной ставке дисконтирования сумма по периодам (выгода минус затрата) / (1 + ставка дисконтирования) в степени периода валюта Денежные потоки бизнес-обоснования, финансовая политика о ставке дисконтирования Управление финансами услуг Приоритизация по ценности При решении Выбирать низкую ставку дисконтирования; продлевать горизонт Ставка дисконтирования задана финансовой политикой; показан анализ чувствительности
Точность оценки затрат Отношение фактических затрат к оценённым для завершённых инициатив фактические затраты / оценённые затраты при одобрении, по инициативе и как распределение отношение Записи бизнес-обоснований и главная книга Управление финансами услуг; непрерывное улучшение Точность прогноза Раз в квартал Пересматривать базовую оценку задним числом; исключать перерасход как изменение области Оценка заморожена при одобрении; изменения области записываются с одобрением; показывать общую стоимость завершения
Точность оценки выгод Отношение реализованных выгод к ожидаемым для завершённых инициатив по правилам свидетельств для выгод реализованная выгода / ожидаемая выгода при одобрении, по инициативе и как распределение отношение Записи бизнес-обоснований и реестр выгод Непрерывное улучшение; управление системой создания ценности Обзор результатов с заинтересованными сторонами Раз в квартал Считать выгоды, которые не измерялись; переопределять выгоду Правила реестра выгод; подтверждение владельцем вне команды поставки
Доля остановок по свидетельствам Доля финансируемых инициатив, остановленных или перестроенных на этапном рубеже, потому что свидетельства изменили картину инициативы, остановленные или перестроенные по свидетельствам на рубеже / инициативы, достигшие рубежа процент Журнал решений этапных рубежей Непрерывное улучшение; управление портфелем Обучение на выпущенной работе Раз в квартал Останавливать малоценную работу, чтобы раздуть долю; никогда ничего не останавливать Читать с мерами точности; пересматривать причины остановок и продолжений

Часть 8: Метрики безопасности, рисков, соответствия и поставщиков

8.1 Метрики инцидентов безопасности и уязвимостей

Тема-источник: (см. тему 8.1, Метрики инцидентов безопасности и уязвимостей).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Окно воздействия Время, в течение которого известная уязвимость остаётся открытой на активах в области, по полосе приоритета медиана и 85-й перцентиль дней от даты, когда стало известно, что она применима к активу, до даты проверенного исправления или принятого смягчения дни Сканер уязвимостей, система заявок, записи об изменениях Управление информационной безопасностью; управление проблемами Время исправления дефекта в бэклоге Раз в неделю Закрывать находки без проверки; менять дату начала; переклассифицировать серьёзность Шаг проверки кем-то вне исправляющей команды; правило даты начала в реестре; журнал изменений серьёзности
Соблюдение обновлений Доля активов в области, укладывающихся в окно политики обновлений для их класса активы, обновлённые в окне политики / активы в области, которым в периоде требовалось обновление процент Инструменты управления конечными точками и серверами, реестр активов Управление информационной безопасностью; управление релизами и развёртыванием Зависимости поддерживаются актуальными в конвейере Раз в неделю Исключать трудно обновляемые активы из области; засчитывать обновление применённым, когда систему не перезапустили Изменения области записываются; проверять установленную версию по активу, а не по заявке
Просроченные критические находки Число и возраст находок критического приоритета, просроченных относительно срока политики число критических находок за сроком; возраст самой старой число; дни Система управления уязвимостями Управление информационной безопасностью; управление рисками Дефекты безопасности, превышающие согласованный предел Раз в неделю Делить находки или сливать их; понижать серьёзность Считать по уникальной уязвимости и активу; пересматривать все изменения серьёзности
Охват сканированием Доля активов в области, оценённых в требуемый интервал активы, успешно просканированные в последнем интервале / активы в области процент Отчёты сканера, соединённые с реестром активов Управление информационной безопасностью; управление ИТ-активами Проверки конвейера выполняются при каждой сборке Раз в неделю Сканировать более узкий набор; засчитывать сканирование, не прошедшее аутентификацию Охват относительно реестра активов; качество сканирования (с аутентификацией, полное)
Время до сдерживания Время от обнаружения подтверждённого инцидента безопасности до сдерживания медиана и 85-й перцентиль часов от обнаружения до сдерживания часы Записи об инцидентах Управление инцидентами; управление информационной безопасностью Время восстановления услуги после сбоя По инциденту, пересмотр раз в месяц Запускать часы позже; объявлять сдерживание рано Часы запускаются при первом сигнале обнаружения; проверять сдерживание свидетельством
Возраст исключений по риску Возраст принятых исключений по риску и доля за датой пересмотра дни с одобрения; исключения за датой пересмотра / открытые исключения дни; процент Реестр исключений Управление рисками; управление информационной безопасностью Пересмотр технического долга Раз в месяц Автоматически продлевать исключения; делить исключения, чтобы снизить возраст Пересматривать продления исключений с причиной; ограничивать продления без новых свидетельств
Доля сообщений о безопасности Доля сообщённых персоналом подозрительных событий относительно подтверждённых событий безопасности как индикатор культуры сообщений сообщения от персонала в периоде / подтверждённые подозрительные события в периоде, с трендом уровня групп отношение Почтовый ящик безопасности, записи об инцидентах Управление информационной безопасностью; управление инцидентами Открытое поднятие препятствий Раз в месяц Поощрять малоценные сообщения; отбивать сообщения, чтобы улучшить другие числа Качество сообщений; чтение комментариев; опрос о том, чувствуют ли люди безопасность сообщать

8.2 Метрики рисков и контролей

Тема-источник: (см. тему 8.2, Метрики рисков и контролей).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Актуальность пересмотра рисков Доля открытых рисков, пересмотренных владельцем в согласованный интервал риски, пересмотренные в интервале / открытые риски процент Даты пересмотра реестра рисков Управление рисками; непрерывное улучшение Риски пересматриваются на планировании и обзорах Раз в месяц Помечать риски пересмотренными без обсуждения; менять интервал Выборочная проверка пересмотров на содержание; фиксированный интервал в реестре
Охват владельцами Доля открытых рисков с названным действующим владельцем, принявшим владение риски с подтверждённым действующим владельцем / открытые риски процент Реестр рисков, соединённый со справочником людей Управление рисками Принадлежащие командам риски в бэклоге Раз в месяц Назначать владельцев без их ведома; называть высокопоставленного человека без полномочий Подтверждение владельца; проверка, что владельцы могут действовать по ответу
Охват испытаниями контролей Доля ключевых контролей, испытанных на работу в требуемом цикле ключевые контроли, испытанные в цикле / ключевые контроли процент Реестр контролей и записи испытаний Управление рисками; управление информационной безопасностью Автоматизированные проверки в конвейере Раз в квартал Испытывать лёгкие контроли; засчитывать проверки проекта как испытания работы Список ключевых контролей фиксируется второй стороной; тип испытания записывается
Доля эффективности контролей Доля испытанных контролей, признанных работающими как задумано контроли, признанные эффективными / испытанные контроли процент Результаты испытаний Управление рисками; непрерывное улучшение Автоматизированные тесты проходят по верным причинам Раз в квартал Испытывать малые выборки; выбирать выборки, которые проходят Метод выборки независим от владельца; размер выборки записывается
Время реакции на нарушение KRI Время от пересечения ключевым индикатором риска своего порога до записанного решения медиана и 85-й перцентиль часов или дней от нарушения до решения часы или дни Мониторинг KRI и журнал решений Управление рисками; мониторинг и управление событиями Реакция на продуктивный сигнал Раз в месяц Менять порог после нарушения; записывать решение без содержания Журнал изменений порогов; выборка содержания решений
Своевременность планов обработки Доля обработок риска, завершённых к обещанной дате обработки, завершённые к дате / обработки, срок которых наступает в периоде процент Реестр рисков и трекер действий Управление рисками; непрерывное улучшение Доставленные действия по улучшению Раз в квартал Задавать лёгкие даты; переопределять завершение Даты согласуются с владельцем при одобрении; проверка, что оценка риска сдвинулась
Доля изменений на основе риска Доля изменений, утверждённых по путям на основе риска с приложенными свидетельствами контролей изменения, утверждённые по пути на основе риска с требуемыми свидетельствами / изменения в периоде процент Записи об изменениях Управление изменениями (change enablement); управление рисками Изменения, поставляемые непрерывно с автоматизированными проверками Раз в месяц Классифицировать изменения как низкого риска, чтобы избежать пересмотра; прикладывать свидетельства, не произведённые контролями Выборочная проверка классификации по правилам; автоматизированные свидетельства из конвейера

8.3 Метрики соответствия и аудита

Тема-источник: (см. тему 8.3, Метрики соответствия и аудита).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Охват обязательств Доля применимых обязательств, сопоставленных с контролем, владельцем и источником свидетельств обязательства, сопоставленные хотя бы с одним контролем с владельцем и источником свидетельств / применимые обязательства процент Реестр обязательств и реестр контролей Управление; управление информационной безопасностью; управление рисками Определение готовности включает свидетельства контроля Раз в квартал Сопоставлять обязательства со слабыми или нерелевантными контролями; определять обязательства узко Пересмотр релевантности контролей второй стороной; испытание контролей (см. тему 8.2, Метрики рисков и контролей)
Доля автоматизации свидетельств Доля свидетельств контролей в области, собираемая автоматически из учётных систем элементы свидетельств контролей, собранные автоматически / требуемые элементы свидетельств процент Реестр контролей, логи конвейера и систем Управление информационной безопасностью; управление изменениями (change enablement) Конвейер записывает рецензирование, тесты и развёртывание автоматически Раз в квартал Засчитывать снимки экрана или выгрузки как автоматические; сначала автоматизировать малоценные свидетельства Определять автоматическое как порождённое системой и защищённое от подделки; ранжировать по риску
Время подготовки свидетельств Время предоставления свидетельств, запрошенных аудитором или оценщиком медиана и 85-й перцентиль дней от запроса до принятого свидетельства дни Трекер запросов аудита Управление; управление информационной безопасностью Отзывчивость на вопрос заинтересованной стороны По аудиту Быстро предоставлять частичные свидетельства; торговаться о формулировке запроса Считать только принятые свидетельства; отслеживать дополнительные запросы
Время закрытия находок Время закрытия находок аудита по серьёзности медиана и 85-й перцентиль дней от выдачи находки до проверенного закрытия дни Трекер находок Непрерывное улучшение; управление рисками Время исправления дефекта Раз в месяц Закрывать находки без проверки; переклассифицировать серьёзность Независимая проверка; журнал изменений серьёзности
Доля повторных находок Доля находок, повторяющихся с предыдущего аудита или пересмотра находки, по существу совпадающие с ранее закрытой находкой / находки в периоде процент Трекер находок со связями причин Непрерывное улучшение; управление проблемами Повторяющийся дефект после исправления По циклу аудита Переформулировать находки, чтобы они не совпадали; закрывать более раннюю находку как другой тип Сопоставлять по причине с записанным правилом; пересмотр внутренним аудитом
Конфликты разделения обязанностей Число сочетаний доступа или утверждения, нарушающих правила разделения, и время разрешения обнаруженные конфликты; медиана дней до разрешения число; дни Инструменты управления идентификацией и доступом, записи об изменениях Управление информационной безопасностью; управление изменениями Независимый пересмотр изменений Раз в месяц Переносить конфликты в системы вне области; выдавать временный доступ, который не записывается Охватывать все системы с чувствительными процессами; пересматривать временный доступ
Усилия на аудит Человеко-часы, которые организация тратит на подготовку к циклу аудита и его поддержку, на единицу области часы, записанные на подготовку к аудиту и поддержку / контроли или системы в области часов на единицу Записи времени или оценки усилий Управление; непрерывное улучшение Цена работы, не являющейся поставкой По циклу аудита Не записывать часы; переносить усилия на другие бюджеты Выборочная проверка записей времени; сравнение с опросами команд

8.4 Метрики поставщиков и контрактов

Тема-источник: (см. тему 8.4, Метрики поставщиков и контрактов).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Выполнение уровней услуг поставщика Доля договорных мер уровня услуг, выполненных поставщиком, в паре с мерой опыта для той же услуги выполненные меры в периоде / договорные меры; сообщается рядом с оценкой опыта пользователей для услуги процент Отчёты поставщика, ваш собственный мониторинг, данные опросов Управление поставщиками; управление уровнями услуг Пересмотр вклада партнёра в цели Раз в месяц Поставщик исключает события из измерения; паузы часов; узкие определения Собственный мониторинг; мера опыта; аудит исключений
Время инцидентов, приписанное поставщику Часы воздействия на услугу, приписанные компоненту или действию поставщика сумма часов воздействия инцидентов, где отказ поставщика был подтверждённой причиной часы Записи об инцидентах с анализом причин, отчёты поставщика об инцидентах Управление инцидентами; управление поставщиками Время, потерянное на внешние блокировки Раз в месяц Оспаривание атрибуции; классификация неисправностей поставщика как стороны клиента Совместный разбор причин; нейтральный проверяющий для споров; отслеживание доли оспоренных
Охват реестра контрактов Доля поставщиков с действующим контрактом, названным внутренним владельцем и запланированным пересмотром поставщики со всеми тремя / поставщики в области процент Реестр контрактов, записи закупок Управление поставщиками; управление финансами Ясное владение внешними зависимостями Раз в квартал Называть владельцев, которые не знают; перечислять контракты без дат Подтверждение владельца; проверка, что совещания по пересмотру проводятся
Актуальность должной проверки Доля критических поставщиков, чья оценка риска в пределах цикла пересмотра критические поставщики, оценённые в цикле / критические поставщики процент Оценки рисков поставщиков Управление поставщиками; управление рисками; управление информационной безопасностью Регулярный пересмотр рисков Раз в квартал Оценки только анкетой; поставщики самосертифицируются Требование свидетельств для критических поставщиков; выборочная проверка
Готовность к выходу Доля критических поставщиков с документированным планом выхода, испытанным в согласованный период критические поставщики с испытанным планом выхода / критические поставщики процент Планы выхода и записи испытаний Управление поставщиками; управление непрерывностью услуг Отработанное восстановление зависимости Раз в год Писать план и называть его испытанным; учения без реальных шагов Записывать, что было отработано; независимый пересмотр учения
Концентрация Доля критических услуг, зависящих от единственного поставщика без испытанной альтернативы критические услуги с зависимостью от единственного поставщика и без испытанной альтернативы / критические услуги процент Карта зависимостей, реестр поставщиков Управление поставщиками; управление рисками Избегание единой точки отказа Раз в квартал Делить одного поставщика на несколько юридических лиц на бумаге Карта зависимостей до конечного провайдера; пересмотр общих платформ
Доля закрытия совместных действий Доля действий, согласованных на совместных пересмотрах с поставщиками и закрытых к сроку совместные действия, закрытые к дате / совместные действия, срок которых наступил процент Протоколы пересмотров и трекер действий Управление поставщиками; непрерывное улучшение Доставленные действия ретроспективы Раз в квартал Ставить лёгкие действия; закрывать без эффекта Пересматривать качество действий; проверять, улучшилась ли предполагаемая проблема

8.5 Регулируемая и государственная отчётность

Тема-источник: (см. тему 8.5, Регулируемая и государственная отчётность).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Охват обязательств отчётности Доля обязательств отчётности с названным владельцем, заявленным определением, источником данных и записью в календаре обязательства со всеми четырьмя / обязательства отчётности в области процент Реестр обязательств Измерение и отчётность; управление Рабочее соглашение с заинтересованными сторонами об информационных потребностях Раз в квартал Рассматривать обязательства узко; перечислять владельца без согласия Пересмотр реестра соответствием или внутренним аудитом; подтверждение владельцев
Своевременность отчётов Доля требуемых отчётов, поданных к сроку отчёты, поданные в срок или раньше / отчёты, срок которых наступает в периоде процент Календарь отчётности и записи подачи Измерение и отчётность Выполненные обязательства перед заинтересованными сторонами Раз в месяц Подавать неполные отчёты, чтобы уложиться в дату; засчитывать черновики как подачи Проверка полноты при подаче; считать только принятые отчёты; доля пересмотренных отчётов
Доля пересмотренных отчётов Доля поданных отчётов или цифр, позже исправленных отчёты или цифры, исправленные после подачи / поданные отчёты или цифры процент Журнал подач и журнал исправлений Измерение и отчётность; непрерывное улучшение Ускользнувшие дефекты Раз в квартал Подавлять исправления; делать исправления тихо Журнал исправлений пересматривается независимым читателем; низкая доля читается вместе с прослеживаемостью
Охват прослеживаемостью Доля сообщаемых цифр, которые можно проследить до учётной системы через документированные шаги цифры с документированным происхождением до учётной системы / сообщённые цифры процент Документация происхождения, спецификации отчётов Измерение и отчётность; управление знаниями Воспроизводимые сборки Раз в квартал Документировать происхождение поверхностно; включать только простые цифры Выборка происхождения повторным выполнением расчёта от источника
Согласованность определений Доля сообщаемых мер, для которых законодательное и внутреннее определения документированы и сверены меры с документированной сверкой / сообщаемые меры с законодательным определением процент Реестр метрик Измерение и отчётность; управление уровнями услуг Общее определение готовности Раз в квартал Объявлять определения согласованными без сверки; принимать законодательное определение только в отчёте Документ сверки пересматривается; показывать обе цифры рядом
Усилия на отчётность Человеко-часы, потраченные на производство повторяющегося отчёта записанные часы на цикл отчёта, с долей ручного извлечения и сборки часы Оценки времени, журналы усилий Измерение и отчётность; непрерывное улучшение Цена работы, не являющейся поставкой По циклу отчёта Не записывать часы; переносить работу в другие команды Сравнивать с обратной связью команды; включать всех участников в оценку
Соответствие опубликованного стандарту доступности Доля опубликованных отчётов и наборов данных, отвечающих требуемому стандарту доступности опубликованные элементы, прошедшие проверку доступности / опубликованные элементы процент Результаты тестов доступности Измерение и отчётность; управление знаниями Инклюзивное определение готовности Раз в квартал Запускать проверяющую программу, находящую лишь часть проблем; публиковать отдельную доступную версию, отстающую от основной Ручное тестирование со вспомогательными технологиями; проверка паритета между версиями

Часть 9: Метрики людей, команд и улучшений

9.1 Здоровье команды и опыт разработчиков

Тема-источник: (см. тему 9.1, Здоровье команды и опыт разработчиков).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Время петли обратной связи Время, за которое человек получает результат обычного действия, по типу петли медиана и 85-й перцентиль минут или часов для сборки, прогона тестов, ожидания рецензирования кода и развёртывания, по команде минуты или часы Метки времени конвейера и инструмента рецензирования, агрегированные по команде Управление релизами и развёртыванием; непрерывное улучшение Быстрая обратная связь в непрерывной поставке Раз в неделю Исключать медленные случаи; измерять быстрый путь, которым не идёт большая часть работы Сообщать 85-й перцентиль; определять начало и конец каждой петли в реестре
Доля времени сосредоточенности Доля рабочего времени в непрерывных блоках согласованной минимальной длины по сообщению команды сообщённые командой часы в блоках сосредоточенности / рабочие часы, собираемые в коротком пульсе процент Пульс команды; данные календаря только если команда согласна и они агрегированы Непрерывное улучшение; управление знаниями Защищённое время для глубокой работы Раз в месяц Блокировать время в календаре, не сосредотачиваясь; сообщать завышенную сосредоточенность, чтобы угодить руководителям Пульс во владении команды; сравнивать с причинами прерываний; нет индивидуальной отчётности
Оценка когнитивной нагрузки Оценка командой того, как трудно понять и изменить названную систему или процесс средняя оценка и разброс по короткой согласованной шкале, по системе пункты шкалы Короткий пульс, привязанный к системе или процессу Проектирование услуг; управление знаниями Общее понимание работы Раз в квартал Оценивать системы низко, чтобы избежать пристального внимания; выбирать лёгкие системы для оценки Оценивать фиксированный список систем; сравнивать со временем ввода в должность и закономерностями инцидентов
Время устранения препятствий Время от поднятия препятствия командой до его устранения или записанного решения не устранять медиана и 85-й перцентиль дней от поднятия до разрешения или решения дни Список препятствий или трекер Непрерывное улучшение; управление проблемами Устранённые препятствия Раз в месяц Закрывать препятствия, не исправляя; отказываться записывать препятствия Команда подтверждает разрешение; доля вновь открытых препятствий
Тренд проверки здоровья команды Собственная оценка команды по выбранным ею измерениям, отслеживаемая во времени изменение оценок выбранных командой измерений между проверками пункты шкалы Проверка здоровья команды, во владении команды Непрерывное улучшение Размышление команды о том, как стать эффективнее Раз в месяц или раз в квартал Руководители давят на хорошие оценки; команды подгоняют оценки, чтобы избежать внимания Результатами владеет команда; тренды разделяются только с согласия команды
Удовлетворённость инструментами и процессами Оценка командой удовлетворённости инструментами и процессами, которыми она пользуется ежедневно средняя оценка или доля благоприятных по каждому названному инструменту или процессу пункты шкалы или процент Короткий пульс Управление уровнями услуг; непрерывное улучшение Соответствие среды работе Раз в квартал Опрашивать довольных; натаскивать персонал на хорошие ответы Доля ответивших и состав; чтение комментариев; привязка к системным мерам
Охват измерениями Число измерений SPACE, охваченных мерами, которыми команда действительно пользуется число пяти измерений хотя бы с одной используемой мерой число (от 0 до 5) Реестр метрик Измерение и отчётность; управление Сбалансированные меры Раз в год Засчитывать измерение символической мерой Проверять, что каждая засчитанная мера используется в решении

9.2 Метрики удовлетворённости и благополучия

Тема-источник: (см. тему 9.2, Метрики удовлетворённости и благополучия).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Оценка устойчивого темпа Оценка командой того, можно ли удерживать текущий темп неограниченно долго средняя оценка и разброс по согласованной шкале для утверждения «мы могли бы работать в этом темпе неограниченно долго» пункты шкалы Анонимный пульс команды Непрерывное улучшение; управление персоналом и талантами Постоянный темп неограниченно долго Раз в месяц Руководители давят на хорошие оценки; команды сообщают ожидаемое Правила анонимности и размера группы; сравнивать с фактами нагрузки; читать комментарии
Оценка психологической безопасности Оценка командой того, насколько безопасно поднимать проблемы и идти на межличностный риск средняя оценка по короткому проверенному набору утверждений, по команде пункты шкалы Анонимный пульс команды Непрерывное улучшение; управление персоналом и талантами Доверие и открытая рефлексия Раз в квартал Опрашивать только безопасные команды; менять формулировки, чтобы поднять оценки Журнал фиксированных формулировок; доля ответивших и состав; сравнивать с частотой сообщений об инцидентах и ошибках
Оценка поддержки потребностей Оценка командой автономии, компетентности и связанности на работе средняя оценка по каждому из трёх утверждений, по команде пункты шкалы Анонимный пульс команды Управление персоналом и талантами; непрерывное улучшение Мотивированные люди с нужной им средой Раз в квартал Переопределять утверждения; натаскивать ответы Стабильные формулировки; интерпретация во владении команды; комментарии
Оценка напряжения нагрузки Оценка командой того, насколько требовательна нагрузка относительно ёмкости средняя оценка и доля, оценивающая нагрузку как неустойчивую пункты шкалы; процент Анонимный пульс команды Управление ёмкостью и производительностью; управление персоналом и талантами Устойчивая разработка Раз в месяц Занижать сообщаемое напряжение, чтобы избежать пристального внимания; подгонять область на бумаге Сравнивать с внеплановой работой и нагрузкой ротации; проверять скрытую работу
Недели длительной работы сверх часов Доля недель, в которые ротация или команда работала заметно сверх обычных часов, считаемая на уровне ротации или команды недели в периоде с продлёнными часами на уровне команды / недели в периоде процент Записи ротаций и журналы дежурств, агрегированные по команде; сообщения команды, по желанию Управление инцидентами; управление ёмкостью и производительностью Сверхурочная работа как сигнал перегрузки Раз в месяц Не записывать часы; переносить работу вне записей ротации Сравнивать с журналами инцидентов и комментариями команды; позволять сообщать без наказания
Добровольная текучесть и темы выходных бесед Доля членов команды, добровольно уходящих за период, с темами из выходных бесед добровольно ушедшие / средняя численность; счёты тем от согласившихся ушедших процент; счёты Кадровые записи, выходные беседы Управление персоналом и талантами Удержание опытных людей Раз в квартал Переклассифицировать увольнения по собственному желанию как недобровольные; направлять выходные беседы Ясные правила классификации; независимые выходные беседы; смотреть на долгие периоды
Время реакции на обратную связь о благополучии Время от поднятия командой опасения о благополучии до записанного ответа медиана и 85-й перцентиль дней от опасения до записанного решения или действия дни Журнал обратной связи команды Непрерывное улучшение Быстрая реакция на рефлексию команды Раз в квартал Записывать ответ без действия; быстро закрывать опасения Команда подтверждает, что ответ осмыслен; отслеживать, меняются ли оценки

9.3 Метрики сотрудничества и передачи работы

Тема-источник: (см. тему 9.3, Метрики сотрудничества и передачи работы).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Число передач Сколько раз рабочий элемент меняет владеющую команду до завершения медиана и 85-й перцентиль передач от команды к команде на завершённый элемент, по типу элемента передач на элемент История назначений ITSM или трекера, агрегированная по команде Управление инцидентами; управление запросами на обслуживание; управление изменениями (change enablement) Кросс-функциональные команды, несущие работу сквозь Раз в месяц Держать элементы назначенными одной команде, пока работают другие; переназначать в общую очередь, чтобы не считалось Проверять фактическую активность по командам; считать передачи по активности, а не только по назначению
Доля ожидания передач Доля прошедшего времени элемента, проведённая в ожидании после передачи до возобновления работы время между передачей и первым действием принимающей команды / общее прошедшее время, медиана по элементам процент Метки времени назначений и активности Управление инцидентами; управление запросами на обслуживание Эффективность потока; время в очереди Раз в месяц Записывать первое действие, являющееся лишь подтверждением; назначать верной команде поздно Определять «первое действие» как существенный шаг; сравнивать с удовлетворённостью и временем решения
Доля переназначений Доля элементов, переданных между командами более двух раз или возвращённых прежней команде элементы, переназначенные более двух раз или возвращённые / завершённые элементы процент История назначений Управление инцидентами; управление проблемами Переделки и отскакивающая работа Раз в месяц Отказываться переназначать, даже когда неверно; закрывать и вновь открывать элементы под другой командой Качество решения и доля повторных открытий; выборка отскакивающих элементов
Задержка из-за зависимостей Время, которое элементы проводят заблокированными в ожидании другой команды медиана и 85-й перцентиль дней в состоянии «заблокировано другой командой» с названной зависимостью дни Состояние блокировки и поле зависимости в трекере Управление изменениями; управление релизами и развёртыванием Возраст заблокированного рабочего элемента Раз в месяц Не записывать состояние блокировки; называть неверную зависимость Сравнивать со временем цикла и возрастом элементов; пересматривать поле зависимости с командами
Доля совместного решения Доля инцидентов, решённых людьми из нескольких команд, работающими вместе в реальном времени без последовательной эскалации инциденты с записанным сотрудничеством в реальном времени (например, общий канал или звонок), решённые без дальнейшей передачи / инциденты подходящего приоритета процент Записи об инцидентах с меткой сотрудничества Управление инцидентами; управление крупными инцидентами Рой вокруг проблем Раз в месяц Помечать каждый инцидент как совместный; создавать общие каналы без реальной работы Проверять, что звонок или канал включал решающих людей; время решения и исходы
Охват знаниями Доля критических компонентов, которые способно эксплуатировать и менять не менее заданного числа членов команды критические компоненты, которые способно эксплуатировать и менять не менее целевого числа людей / критические компоненты процент Карта навыков и владения, ведущаяся командой Управление знаниями; управление непрерывностью услуг Общее владение и коллективное владение кодом Раз в квартал Перечислять людей, которые теоретически могли бы выполнить работу; раздувать карту Свидетельства парной работы или учений; спрашивать, кто фактически выполнил последнее изменение
Время ответа заинтересованной стороны Время от вопроса команды заинтересованной стороне до пригодного ответа медиана и 85-й перцентиль часов от записанного вопроса до записанного ответа часы Журнал вопросов или поле трекера для открытых вопросов Управление уровнями услуг; управление отношениями с бизнесом Непрерывное вовлечение заинтересованных сторон Раз в месяц Записывать вопросы поздно; помечать ответ полученным, когда он непригоден Заинтересованная сторона подтверждает, что ответ пригоден; выборка вопросов

9.4 Метрики навыков и обучения

Тема-источник: (см. тему 9.4, Метрики навыков и обучения).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Доля защищённого времени на обучение Доля ёмкости команды, отложенная и фактически использованная для обучения часы или доля ёмкости, использованная для обучения в рабочее время / общая рабочая ёмкость, на уровне команды процент План ёмкости команды и тип работы в трекере Управление персоналом и талантами; непрерывное улучшение Время на размышление и техническое совершенство Раз в месяц Записывать обычную работу как обучение; планировать время, которое затем отменяется Считать только использованное время; сравнивать с записями типов работы и комментариями команды
Глубина перекрёстного обучения Доля критических задач, выполнявшихся хотя бы двумя людьми в последнем периоде критические задачи, выполненные двумя или более людьми в периоде / критические задачи процент Карта задач и владения команды, подтверждённая недавней работой Управление знаниями; управление непрерывностью услуг Коллективное владение работой Раз в квартал Перечислять людей, никогда не делавших задачу; засчитывать единичное наблюдение Свидетельства недавней работы; результаты учений
Время до первого вклада Время, за которое новый член команды завершает своё первое настоящее изменение или решённый случай медиана и 85-й перцентиль дней от даты начала до первого завершённого реального рабочего элемента в продуктиве дни Трекер ввода в должность и трекер работы Управление персоналом и талантами; управление знаниями Время, за которое новый член команды вносит первое изменение На найм, пересмотр раз в квартал Засчитывать тривиальные изменения; запускать часы поздно Определять «реальную» работу в реестре; спрашивать нового члена и его наставника
Участие в сообществах Доля членов команды, участвующих в сообществе практики в периоде по собственному выбору члены, посещавшие, вносившие вклад или выступавшие в периоде / члены команды, на уровне команды процент Записи сообществ, добровольные Управление знаниями; непрерывное улучшение Сообщества практики Раз в квартал Обязывать посещение; считать записи Только добровольно; спрашивать, что сообщество произвело
Доля применения обучения Доля обучающих опытов, где обучающийся или его команда сообщают об использовании усвоенного в работе в течение 90 дней обучающие опыты, о которых сообщено как о применённых / завершённые обучающие опыты процент Короткий вопрос обучающемуся, обезличенный до команды Управление персоналом и талантами; непрерывное улучшение Обучение, применённое к работе Раз в квартал Давить на обучающихся, чтобы они говорили, что применили; спрашивать только энтузиастов Анонимный агрегат; последующие вопросы на уровне команды; смотреть на наблюдаемые изменения
Охват нужными сертификациями Доля ролей, требующих сертификацию по правовым, договорным причинам или для входа, где требование выполнено роли с требуемой сертификацией / роли, требующие сертификацию процент Реестр требований к ролям, записи о сертификатах Управление персоналом и талантами; управление Выполнение договорных или регуляторных требований входа Раз в год Собирать сертификаты для ролей, которым они не нужны; рассматривать сертификацию как компетентность Ограничивать настоящими требованиями; проверять практическую способность другими свидетельствами
Уроки, разделённые между командами Число уроков из инцидентов или улучшений, разделённых вне исходной команды и использованных другой командой разделённые уроки с записанным использованием другой командой в периоде число Реестр уроков и заметки пересмотров Управление знаниями; непрерывное улучшение Обучение, разделяемое между командами Раз в квартал Делиться тривиальными уроками; считать публикации Требовать записанного использования другой командой; пересматривать качество

9.5 Метрики непрерывного улучшения

Тема-источник: (см. тему 9.5, Метрики непрерывного улучшения).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Доля доведённых до конца действий Доля действий по улучшению, согласованных на пересмотрах и завершённых к согласованной дате действия, завершённые к дате / действия, срок которых наступил в периоде процент Реестр улучшений или бэклог команды Непрерывное улучшение Доставленные действия рефлексии Раз в месяц Соглашаться на тривиальные действия; переносить сроки; закрывать, не делая Пересматривать размер и ценность действий; изменения дат записываются; доля проверенных эффектов
Возраст бэклога улучшений Возраст открытых элементов улучшения с вниманием к самым старым медиана и 85-й перцентиль возраста в днях открытых элементов; возраст самого старого дни Реестр улучшений Непрерывное улучшение Возраст бэклога Раз в месяц Закрывать старые элементы как «не будем» без решения; делить элементы, чтобы сбросить возраст Записывать причины закрытия; отслеживать элементы, закрытые без действия; пересматривать самые старые
Доля проверенных эффектов Доля завершённых улучшений, чей эффект проверен относительно базового уровня завершённые улучшения с записанной проверкой «до и после» / завершённые улучшения процент Реестр улучшений с полями базового уровня и результата Непрерывное улучшение; измерение и отчётность Обучение на экспериментах Раз в квартал Записывать проверку без базового уровня; проверять только успехи Базовый уровень датирован до изменения; включать нулевые и отрицательные результаты
Время от идеи до пробы Время от поднятия идеи улучшения до первой пробы в реальной работе медиана и 85-й перцентиль дней от поднятия до первой пробы дни Реестр улучшений Непрерывное улучшение Быстрая обратная связь по изменениям Раз в месяц Называть план пробой; пробовать тривиальные вариации Определять пробу как изменение в реальной работе; смотреть на важность испытанных идей
Доля идей с передовой Доля идей улучшения, поднятых людьми, делающими работу, считаемая на уровне команды идеи, поднятые членами команды, делающими работу / поднятые идеи процент Реестр улучшений Непрерывное улучшение Самоорганизующиеся команды Раз в квартал Руководители подают идеи под именами сотрудников; обязательные квоты идей Идеи по авторам записываются на уровне команды; нет квот; спрашивать команду
Доля повторных проблем Доля проблем, повторяющихся после улучшения, предназначенного убрать их причину проблемы, повторившиеся в заявленный период после закрытия связанного улучшения / улучшения, закрытые со связанной причиной процент Записи об инцидентах, проблемах и улучшениях, связанные по причине Управление проблемами; непрерывное улучшение Ускользнувший дефект после исправления Раз в квартал Записывать разные причины для той же проблемы; закрывать более раннюю запись как другой тип Сопоставлять по причине с записанным правилом; пересмотр кем-то вне команды
Доля ёмкости на улучшение Доля ёмкости команды, потраченная на работу по улучшению ёмкость или завершённые элементы с меткой улучшения / общая ёмкость или завершённые элементы процент Типы работ в трекере Непрерывное улучшение; управление ёмкостью и производительностью Время на размышление и техническое совершенство Раз в месяц Помечать обычную работу как улучшение; планировать время, затем используемое для поставки Выборка элементов на тип; сравнение с фактически потраченным временем

9.6 Метрики организационных изменений и внедрения

Тема-источник: (см. тему 9.6, Метрики организационных изменений и внедрения).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Ясность цели Доля членов команды, способных своими словами назвать цель практики и способ узнать, работает ли она члены, давшие ясную цель и индикатор в коротком анонимном опросе / опрошенные члены, на уровне команды процент Короткая анонимная проверка, агрегированная по команде Управление организационными изменениями; непрерывное улучшение Понимание командой, почему она работает так Раз в квартал Натаскивать людей на заучивание цели; задавать наводящие вопросы Анонимная проверка; просить пример, как они узнают; сравнивать с движением результата
Широта внедрения практики Доля команд, использующих определённую практику, по наблюдаемому поведению, а не по посещаемости команды, показывающие определённое поведение в последнем периоде, подтверждённое командой и наблюдателем / команды в области процент Самооценка команды, подтверждённая наблюдением Управление организационными изменениями Распространение практики Раз в квартал Считать доски и совещания; команды выступают для наблюдателя Определять по поведению и цели; наблюдение кем-то вне команды; движение результата
Движение результата относительно сравнения Изменение меры результата для внедряющих команд по сравнению с похожими невнедряющими командами за тот же период изменение результата у внедряющих минус изменение у команд сравнения единицы результата Меры результатов по командам (поток, стабильность, опыт) Непрерывное улучшение; измерение и отчётность Обучение на экспериментах Раз в квартал Выбирать выгодную группу сравнения или период; опускать другие изменения Выбирать сравнение и период заранее; перечислять другие изменения; показывать неопределённость
Нагрузка изменений Число значимых изменений, одновременно затрагивающих команду число значимых инициатив изменений, просящих команду изменить способ работы в периоде, на команду число Портфель изменений и вход от команд Управление организационными изменениями; управление изменениями (change enablement) Устойчивый темп Раз в квартал Делить инициативу на малые части; не считать изменения, приходящие неформально Считать по влиянию на работу команды; просить команды перечислить, что они поглощают
Доля вовлечения заинтересованных сторон Доля инициатив изменений, где затронутые люди участвовали в проектировании и пересмотре инициативы с записанным вовлечением затронутых людей / инициативы процент Записи инициатив и подтверждение затронутых команд Управление организационными изменениями; взаимодействие с заинтересованными сторонами Непрерывное вовлечение заинтересованных сторон Раз в квартал Приглашать людей на брифинг и называть это вовлечением; записывать только посещаемость Подтверждение затронутых команд, что они повлияли на проект; записывать изменения, внесённые в ответ
Доля добровольного принятия Доля внедряющих команд, выбравших практику, а не получивших указание внедряющие команды, сообщающие, что выбрали практику / внедряющие команды процент Сообщения команд Управление организационными изменениями Самоорганизующиеся команды Раз в год Представлять мандат как выбор; команды говорят, что выбрали, когда чувствовали, что должны Анонимное сообщение; спрашивать, что случилось бы, откажись они
Доля откатов Доля команд, бросивших практику в течение года после её принятия команды, остановившиеся в течение 12 месяцев / команды, принявшие процент Записи команд во времени Управление организационными изменениями; непрерывное улучшение Практики, брошенные как бесполезные Раз в год Делать отказ от практики дорогим или скрытым; переименовывать брошенную практику Пересматривать причины отказа; позволять безопасный отзыв

Часть 10: Метрики для ИИ, автоматизации и аналитики

10.1 ИИ в измерении управления услугами

Тема-источник: (см. тему 10.1, ИИ в измерении управления услугами).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Полнота базовых уровней Доля запланированных случаев использования ИИ с записанным дооперационным базовым уровнем по основным индикаторам случаи использования с датированным базовым уровнем / запланированные случаи использования процент Реестр случаев использования Непрерывное улучшение; измерение и отчётность Базовый уровень до эксперимента Раз в квартал Записывать базовые уровни постфактум; использовать удобные индикаторы Датированные базовые уровни; независимый пересмотр метода базового уровня
Охват использованием ИИ Доля подходящих рабочих элементов или задач, где использовался ИИ, по случаям использования элементы, где использовалась помощь ИИ / подходящие элементы, из логов инструмента или меток пользователей, на уровне команды процент Логи использования инструмента, метки Служба поддержки; управление инцидентами; управление релизами и развёртыванием Внедрение инструмента желающими командами Раз в месяц Обязывать использование; засчитывать тривиальные или автоматические вызовы Никогда не цель; сравнивать с движением результата; считать осмысленное использование
Доля принятия и отклонения предложений Доля предложений ИИ, принятых как есть, отредактированных или отклонённых предложения в каждой категории / предложенные предложения процент Логи инструмента, агрегированные по команде Служба поддержки; управление знаниями Рецензирование машинных предложений Раз в месяц Награждать принятие; делать отклонение обременительным Нет целей; точность проверенного вывода; спрашивать пользователей об их опыте
Точность проверенного вывода Доля выбранных выводов ИИ, признанных верными и пригодными квалифицированным проверяющим выводы, признанные верными / выбранные выводы процент Записи выборочных пересмотров Обеспечение качества; управление знаниями Определение готовности для вывода Раз в месяц Выбирать лёгкие выводы; снисходительные проверяющие Случайная выборка независимыми проверяющими; письменный стандарт; ротация проверяющих
Время задачи относительно базового уровня Время выполнения определённой задачи с ИИ по сравнению с базовым уровнем или группой сравнения медиана и 85-й перцентиль времени задачи с ИИ минус то же для базового уровня или сравнения минуты или часы Замеры задач, метки времени заявок Служба поддержки; управление инцидентами Время цикла задачи Раз в квартал Хронометрировать только порождение; выбирать лёгкие задачи Время до проверенного результата; выбирать задачи случайно; включать рецензирование и переделки
Стоимость задачи с помощью ИИ Общая стоимость работы с помощью ИИ на задачу, включая рецензирование и переделки (стоимость лицензий и использования + стоимость времени на рецензирование и переделки) / задачи, завершённые с ИИ валюта на задачу Счета поставщиков, оценки времени, трекер работы Управление финансами услуг Стоимость обслуживания на результат Раз в квартал Опускать время рецензирования или цену управления Контрольный список полной цены; сравнение с хронометражем
Движение результата относительно сравнения Изменение индикатора результата для работы с помощью ИИ по сравнению с похожей работой без помощи изменение индикатора для группы с ИИ минус изменение для группы сравнения единицы индикатора Меры результатов по случаям использования (качество, удовлетворённость, доля повторных открытий, дефекты) Непрерывное улучшение Обучение на экспериментах Раз в квартал Выбирать выгодные группы или периоды; игнорировать другие изменения Заранее согласованные сравнение и период; список других изменений

10.2 Измерение работы с помощью ИИ

Тема-источник: (см. тему 10.2, Измерение работы с помощью ИИ).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Доля сохранения Доля изменений с помощью ИИ, остающихся по существу неизменными через заявленный период изменения с помощью ИИ, где изменено или откачено менее заданной доли через 30 дней / изменения с помощью ИИ, слитые 30 дней назад процент История системы контроля версий, соединённая с метками помощи, на уровне команды Управление релизами и развёртыванием; управление изменениями (change enablement) Работа, которая держится; мало переделок Раз в месяц Избегать нужных изменений, чтобы держать число; метить как помощь только успешные изменения Метить по логам инструмента, а не по выбору автора; парить с ускользнувшими дефектами и переделками
Переделки после слияния Доля изменений, требующих последующего исправления в короткий период, для изменений с помощью и сравнения изменения со связанным последующим исправлением в течение 14 дней / слитые изменения, по группе процент Система контроля версий, трекер задач, записи об изменениях Управление изменениями; управление проблемами Ускользнувшие дефекты; переделки Раз в месяц Исправлять в другой заявке или новом несвязанном изменении; откладывать исправления за пределы окна Правило связывания в реестре; смотреть более длинное окно; продуктивные дефекты
Нагрузка рецензирования Усилия рецензента на изменение, для изменений с помощью и сравнения медиана и 85-й перцентиль времени рецензирования и раундов рецензирования на изменение, по группе часы; раунды Метки времени инструмента рецензирования, агрегированные по команде Управление релизами и развёртыванием Рецензирование как обратная связь и обучение Раз в месяц Поспешные рецензирования, снижающие измеренное время; одобрения без комментариев Выборка глубины рецензирования; ускользнувшие дефекты; опрос рецензентов
Доля ускользнувших дефектов Дефекты, найденные в продуктиве, на изменение, для изменений с помощью и сравнения дефекты, найденные после релиза и приписанные изменению / выпущенные изменения, по группе дефектов на изменение Трекер дефектов, связанный с изменениями Управление инцидентами; управление проблемами Качество выпускаемого Раз в квартал Не приписывать дефекты изменениям; переклассифицировать дефекты как улучшения Правило атрибуции; независимая выборка классификации дефектов
Доля прохождения проверки объяснения Доля выбранных изменений с помощью ИИ, чей автор может объяснить подход и компромиссы на рецензировании выбранные изменения, где автор объяснил к удовлетворению рецензента / выбранные изменения процент Заметки выборочного рецензирования Управление знаниями; управление изменениями Общее понимание кода Раз в квартал Авторы репетируют для проверки; снисходительные рецензенты Случайные неанонсированные выборки; ротация рецензентов; фокус на причинах проекта
Качество поддержки с помощью ИИ Доля повторных открытий и удовлетворённость пользователей для ответов поддержки с помощью ИИ по сравнению с ответами без помощи повторно открытые заявки с помощью / заявки с помощью, и благоприятные оценки / оценки, по группе процент Инструмент ITSM, опрос Служба поддержки; управление инцидентами Качество результатов услуг Раз в месяц Помогать только лёгким заявкам; натаскивать пользователей на высокие оценки Сопоставлять заявки по типу и трудности; доля ответивших и состав; читать комментарии
Оценка уверенности без инструмента Оценка командой уверенности в выполнении ключевых задач без инструмента средняя оценка и разброс по согласованной шкале, по команде пункты шкалы Анонимный пульс команды Управление персоналом и талантами; управление знаниями Способность команды и обучение Раз в квартал Завышенные оценки, чтобы избежать внимания; заниженные, чтобы аргументировать за больше инструментов Анонимность; сравнивать с наблюдаемой практикой на учениях; читать комментарии

10.3 Метрики ИИ-агентов и чат-ботов

Тема-источник: (см. тему 10.3, Метрики ИИ-агентов и чат-ботов).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Доля проверенного решения Доля разговоров с ботом, в которых пользователь подтвердил решение проблемы или не вернулся в заявленный период разговоры с подтверждённым решением или без возвратного обращения в течение 7 дней / разговоры, начавшиеся с разрешимого намерения процент Логи разговоров, подтверждение пользователя, данные заявок и обращений Служба поддержки; управление знаниями Рабочий результат для пользователя Раз в неделю Засчитывать любой конец разговора как решённый; задавать наводящие вопросы подтверждения Определять подтверждение нейтрально; доля возвратных обращений; выборка разговоров
Доля возвратных обращений Доля разговоров, завершённых ботом и сопровождаемых обращением по той же проблеме по любому каналу разговоры, за которыми следует связанное обращение в течение 7 дней / разговоры, завершённые без передачи процент Логи разговоров, соединённые с записями заявок и обращений Служба поддержки; управление инцидентами Ускользнувшие дефекты Раз в неделю Измерять только по одному каналу; короткие окна Соединять все каналы; использовать более длинное окно как проверку; выборка возвратов
Полнота контекста передачи Доля передач человеку, при которых у человека была нужная информация без просьбы к пользователю повторяться выбранные передачи, признанные полными принимающим исполнителем / выбранные передачи процент Выбранные передачи, обратная связь исполнителей Служба поддержки; управление знаниями Гладкое сотрудничество через границу Раз в месяц Передавать длинную расшифровку вместо резюме; выбирать лёгкие передачи Оценка принимающего исполнителя; случайная выборка; время до решения после передачи
Время до человека Время от просьбы пользователя о человеке или решения бота о передаче до принятия разговора человеком медиана и 85-й перцентиль минут минуты Логи разговоров, данные очередей Служба поддержки; управление инцидентами Отзывчивость, когда пользователю нужна помощь Раз в неделю Запускать часы после меню; засчитывать подтверждение очереди как принятие разговора Часы запускаются с просьбы; принятие означает, что человек активен в разговоре
Точность ответов Доля выбранных ответов бота, признанных верными, полными и безопасными квалифицированным проверяющим ответы, признанные верными / выбранные ответы процент Выборочное рецензирование Управление знаниями; обеспечение качества Определение готовности для ответа Раз в месяц Выбирать лёгкие разговоры; снисходительные проверяющие Случайная выборка независимыми проверяющими; состязательные тестовые случаи
Удовлетворённость и усилие по боту Оценка пользователем удовлетворённости и лёгкости после разговора, с комментариями благоприятные оценки / оценки; среднее усилие процент; пункты шкалы Короткий опрос после разговора Служба поддержки; клиентский опыт Обратная связь о работающем ПО Раз в неделю Опрашивать только завершённые разговоры; ставить опрос там, куда доходят только довольные Опрашивать и брошенные разговоры; доля ответивших и состав; читать комментарии
Доля отката действий агента Доля действий ИИ-агента, которые пришлось исправить, отменить или эскалировать действия, откатанные или исправленные / предпринятые действия, по типу действия и классу риска процент Журнал аудита действий, записи об изменениях Управление изменениями (change enablement); управление инцидентами Переделки и откат Раз в неделю Не записывать откаты; переклассифицировать исправления как новую работу Журнал аудита защищён от подделки; связывать откаты с действиями; пересмотр инцидентов

10.4 Инфляция метрик и разбавление качества

Тема-источник: (см. тему 10.4, Инфляция метрик и разбавление качества).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Отношение выпуска к результату Объём выпуска относительно результата, который он должен был произвести счёт выпуска (заявки, статьи, изменения) / мера результата (решённые проблемы, используемые статьи, сохранённые изменения), за тот же период, отслеживается как тренд отношение Трекер работы, база знаний, меры результатов Непрерывное улучшение; измерение и отчётность Работающее ПО важнее объёма документации Раз в месяц Выбирать меру результата, растущую с объёмом; менять период Результат зафиксирован в реестре; сравнивать с удовлетворённостью и долей повторных открытий
Доля полезных элементов Доля выбранных элементов, признанных полезными квалифицированным проверяющим выбранные элементы, признанные полезными (верные, релевантные, не дубликаты) / выбранные элементы процент Случайное выборочное рецензирование Управление знаниями; обеспечение качества Определение готовности для содержания Раз в месяц Выбирать лёгкие элементы; снисходительная рубрика; проверяющие под влиянием производителя Случайная выборка; письменная рубрика; независимые вращающиеся проверяющие
Бремя проверки Время людей на проверку и исправление порождённой работы на единицу выпуска часы рецензирования и исправления / единицы выпуска, отслеживается как тренд часов на единицу Оценки времени, данные инструмента рецензирования Управление финансами услуг; непрерывное улучшение Ёмкость рецензирования как ограничение Раз в месяц Не записывать время рецензирования; переносить проверку на нисходящие команды Включать нисходящие переделки; спрашивать проверяющих о нагрузке
Доля избыточности содержания Доля элементов знаний, дублирующих другой или существенно с ним пересекающихся элементы, помеченные как дубликаты или пересекающиеся при рецензировании или сопоставлением / элементы в базе знаний процент Рецензирование базы знаний, отчёты сопоставления Управление знаниями Единый источник истины Раз в квартал Узкие правила сопоставления, пропускающие дубликаты; слияние различных элементов Вручную выбирать дубликаты; вести журнал правил слияния
Доля рецензированных порождённых знаний Доля порождённых ИИ элементов знаний, которые квалифицированный человек рецензировал и одобрил до публикации порождённые элементы, опубликованные с одобренным рецензированием / опубликованные порождённые элементы процент Метаданные базы знаний Управление знаниями; управление изменениями (change enablement) Рецензирование до выпуска Раз в месяц Отмечать рецензирование завершённым без чтения; рецензировать оптом Выборка рецензирований на суть; время на рецензирование; доля ошибок в опубликованных элементах
Приток против решения в очередях Рост приходящей работы относительно роста решённой работы для очередей, затронутых ИИ (изменение созданных элементов) / (изменение решённых элементов), сравнивается с базовым уровнем до ИИ отношение История заявок и трекера Управление инцидентами; управление запросами на обслуживание Баланс потока Раз в месяц Автоматически закрывать элементы; делить элементы Проверять качество решения; доля повторных открытий; выборка закрытых элементов
Флаги дрейфа метрик Число метрик, чьё определение или распределение заметно сдвинулось после введения ИИ, пересмотренных и аннотированных метрики, помеченные при пересмотре / метрики в реестре число; процент Пересмотр реестра метрик, проверки распределений Измерение и отчётность Ретроспектива об измерении Раз в квартал Не помечать, чтобы избежать работы; помечать всё Пересматривать все метрики каждый квартал; требовать решения по каждому флагу

10.5 Метрики управления ИИ и рисков

Тема-источник: (см. тему 10.5, Метрики управления ИИ и рисков).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Охват реестра использований ИИ Доля использований ИИ, найденных независимыми средствами, находящихся в реестре с владельцем и классом риска использования в реестре с владельцем и классом риска / использования, найденные независимым обнаружением (закупки, расходы, идентификация, сеть и сообщения персонала) процент Реестр, данные закупок и расходов, логи идентификации, опросы Управление; управление ИТ-активами; управление рисками Видимая работа и ясное владение Раз в квартал Регистрировать тривиальные использования, чтобы поднять процент; ограничивать знаменатели тем, что зарегистрировано Независимое обнаружение для знаменателя; выборка записей реестра на качество; амнистия для незарегистрированных использований
Актуальность оценки риска Доля использований среднего и высокого риска с оценкой риска в требуемом цикле использования, оценённые в цикле / использования среднего и высокого риска процент Оценки рисков Управление рисками; управление информационной безопасностью Регулярная рефлексия о рисках Раз в квартал Поверхностные оценки, всегда проходящие; оценка использований низкого риска Пересматривать глубину оценок; проверять, что класс риска соответствует критериям
Охват контролем изменений Доля изменений моделей, промптов, инструментов и источников данных в продуктиве, прошедших контроль изменений с требуемыми тестами изменения с записью об изменении, тестами и утверждением, соразмерным риску / обнаруженные изменения процент Записи об изменениях, сравненные с историей версий и примечаниями к релизам поставщиков Управление изменениями (change enablement); управление релизами и развёртыванием Малые, контролируемые, обратимые изменения Раз в месяц Не обнаруживать изменения поставщика; записывать изменения постфактум Обнаружение через историю версий и уведомления поставщиков; записи об изменениях с меткой времени до релиза
Актуальность оценки качества Доля продуктивных использований с актуальной оценкой (точность, безопасность и справедливость, где релевантно) и результатами в пределах допуска использования с оценкой в цикле и приемлемыми результатами / продуктивные использования в области процент Записи оценок Обеспечение качества; управление рисками Определение готовности для поведения Раз в квартал Оценки на лёгких случаях; выбор допусков после просмотра результатов Тестовые наборы пересматриваются независимой стороной; пороги задаются заранее
Доля свидетельств человеческого надзора Доля выбранных существенных выводов или решений с записанным содержательным рецензированием человеком выбранные элементы с документированным рецензированием, которое могло изменить исход / выбранные элементы процент Записи выбранных решений Управление рисками; управление Рецензирование до выпуска Раз в месяц Нажимать «одобрить», не читая; документировать рецензирование, не могшее изменить исход Выборка рецензирований на суть; подложенные известные ошибки; нагрузка рецензента
Доля инцидентов ИИ и время до сдерживания Инциденты с участием ИИ (вредный вывод, раскрытие данных, небезопасное действие) на использование и время их сдерживания инциденты на продуктивное использование в квартал; медиана и 85-й перцентиль часов от обнаружения до сдерживания инциденты; часы Записи об инцидентах с меткой ИИ Управление инцидентами; управление информационной безопасностью Реакция и обучение без поиска виновных Раз в квартал Не сообщать об инцидентах; сужать определение Лёгкое сообщение без вины; сравнивать с жалобами пользователей и находками аудита
Актуальность должной проверки ИИ поставщиков Доля поставщиков, предоставляющих функции ИИ в критических услугах, чья специфическая для ИИ оценка актуальна поставщики с актуальной оценкой ИИ / критические поставщики с функциями ИИ процент Оценки поставщиков Управление поставщиками; управление рисками Регулярный пересмотр зависимостей Раз в квартал Анкеты, заполняемые маркетингом; оценки без свидетельств Требования свидетельств для критических поставщиков; независимая проверка

10.6 Метрики автоматизации и оркестрации

Тема-источник: (см. тему 10.6, Метрики автоматизации и оркестрации).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Доля успешных запусков автоматизации Доля запусков автоматизации, которые завершились и достигли намеренного результата, подтверждённого проверкой после запуска запуски с успешной проверкой после запуска / запуски, начатые за период; запуски без проверки после запуска исключаются и сообщаются отдельно процент Логи платформы оркестрации и автоматизации Управление запросами на обслуживание; управление релизами Определение готовности для автоматизированной работы Раз в месяц Считать запуск успешным, если он чисто завершился; удалять неудачные запуски из лога Независимая проверка после запуска; сравнивать логи с нисходящими записями
Охват автоматизацией задач Доля пригодных повторяющихся задач, которые автоматизированы задачи из согласованного списка пригодных, выполняемые автоматически / задачи в списке пригодных; список пересматривается каждый квартал процент Инвентарь задач и реестр ранбуков Непрерывное улучшение Бэклог кандидатов на автоматизацию Раз в квартал Сужать список пригодных, чтобы охват рос; автоматизировать сначала тривиальные задачи Пересматривать список пригодных со второй командой; взвешивать по объёму и времени
Доля ручного вмешательства Доля запусков автоматизации, где потребовалось вмешательство или исправление человека запуски с добавленным ручным шагом после начала / начатые запуски процент Логи автоматизации и связи с заявками Управление инцидентами Ускользнувшие дефекты в автоматизированной работе Раз в месяц Записывать ручные исправления отдельными заявками, чтобы запуск выглядел чистым Связывать заявки с идентификаторами запусков; выбирать запуски на скрытые исправления
Доля инцидентов, вызванных автоматизацией Инциденты, приписанные автоматизированному действию, на 1000 запусков инциденты с подтверждённой причиной в автоматизации / запуски автоматизации x 1000 число на 1000 запусков Записи об инцидентах, связанные с идентификаторами запусков Управление инцидентами; управление проблемами Доля сбоев изменений для автоматизированного изменения Раз в месяц Приписывать сбои автоматизации людям или инструментам; не связывать инциденты с запусками Требовать идентификатор запуска в записях об инцидентах; выбирать инциденты на пропущенные связи
Время отката Время отмены автоматизированного действия после признания необходимости медиана и 95-й перцентиль (время завершения отмены минус время решения об отмене) минуты Логи автоматизации и хронология инцидента Управление изменениями (change enablement) Возможность отката в определении готовности Раз в квартал Измерять только лёгкие откаты; запускать часы поздно Отрабатывать откат на учениях для самых трудных автоматизаций; определить начало часов
Проверенное сэкономленное время Часы ручной работы, убранные и проверенные выборкой автоматизированные задачи x (медианное ручное время задачи по выборке времени минус медианное остаточное ручное время) за период; дата выборки указана часы Выборки времени и счёты запусков Непрерывное улучшение Ценность, поставленная на единицу работы Раз в квартал Использовать оптимистичные времена задач; игнорировать цену поддержки и сбоев Выборки времени человеком вне команды; включать цену построения и поддержки
Актуальность владения автоматизацией Доля автоматизаций с владельцем, подтвердившим владение и пересмотревшим автоматизацию за последние 12 месяцев автоматизации с подтверждённым владельцем и пересмотром за 12 месяцев / автоматизации в реестре процент Реестр автоматизаций Управление; управление активами и конфигурацией Устав команды и владение Раз в квартал Назначать владельцем список рассылки или бывшего сотрудника Владелец подтверждает письменно; проверять, что владелец активен

10.7 Метрики конвейеров и автоматизированных изменений

Тема-источник: (см. тему 10.7, Метрики конвейеров и автоматизированных изменений).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Доля успешных запусков конвейера Доля запусков конвейера, завершившихся без сбоя, вызванного конвейером или его средой запуски, прошедшие или упавшие только из-за подлинного дефекта кода / начатые запуски; запуски, отменённые пользователем, исключаются и сообщаются процент Логи платформы конвейера Управление релизами; управление изменениями (change enablement) Здоровье непрерывной интеграции Раз в неделю Переклассифицировать сбои инфраструктуры как отменённые; перезапускать до зелёного и считать только последний запуск Считать все попытки; сообщать повторные запуски на изменение
Длительность конвейера Время прохождения изменения через конвейер медиана и 85-й перцентиль (время завершения последней стадии минус время начала запуска) для запусков, доходящих до развёртывания минуты Логи платформы конвейера Управление релизами Короткие петли обратной связи Раз в неделю Выносить медленные стадии за измеряемое окно; пропускать стадии Измерять сквозно от коммита до развёрнутого; сравнивать выполненные стадии с требуемыми
Доля нестабильных тестов Доля падений тестов, проходящих при повторном запуске без изменения кода падения, проходящие при повторном запуске / падения тестов процент Результаты тестов и логи повторных запусков Управление релизами Определение готовности; практика тестирования Раз в месяц Удалять или заглушать нестабильные тесты; помечать падения как известные Число тестов и тренд покрытия; пересматривать изолированные тесты с датой
Доля автоматического утверждения Доля изменений, утверждённых политикой конвейера без шага утверждения человеком изменения, утверждённые только политикой / развёрнутые изменения процент Записи конвейера и изменений Управление изменениями (change enablement) Разработка на основе магистрали с автоматизированными проверками Раз в месяц Расширять класс «стандартных», чтобы включить рискованные изменения Доля сбоев изменений для автоматически утверждённых изменений; выборка утверждённых изменений
Доля обхода Доля продуктивных изменений, не прошедших через конвейер продуктивные изменения вне конвейера, найденные сравнением записей развёртывания с записями конвейера / все продуктивные изменения процент Записи развёртывания, аудит конфигурации и логи конвейера Управление изменениями; управление конфигурацией Рабочие соглашения Раз в месяц Записывать аварийные ручные развёртывания как запуски конвейера; не сверять с продуктивом Сверять состояние продуктива с записями конвейера; выборка развёртываний
Полнота свидетельств Доля развёрнутых через конвейер изменений, чья запись показывает требуемые свидетельства изменения со всеми требуемыми элементами свидетельств (тесты, рецензирование, проверка, утверждение) / развёрнутые изменения процент Записи конвейера и изменений Управление изменениями; управление Определение готовности Раз в месяц Прикладывать пустые или нерелевантные свидетельства; ссылаться на общий отчёт Выборка содержания свидетельств; проверка соответствия изменению
Доля остановок политикой Доля запусков, остановленных проверкой политики, разделённая на подлинные нарушения и ошибки политики запуски, остановленные воротами политики / начатые запуски; причины классифицируются выборкой процент Логи конвейера и записи ворот Управление изменениями; управление рисками Критерии приёмки Раз в месяц Ослаблять политики, чтобы сократить падения; классифицировать подлинные нарушения как ошибки политики Выборка остановленных запусков; доля ускользнувших дефектов и находки аудита

10.8 Метрики аналитики и качества данных

Тема-источник: (см. тему 10.8, Метрики аналитики и качества данных).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Полнота обязательных полей Доля записей со всеми полями, требуемыми для использующих их метрик записи, где каждое обязательное поле присутствует и допустимо / записи в области процент Выгрузки исходных систем и проверки качества данных Измерение и отчётность; управление знаниями Определение готовности для записей Раз в месяц Заполнять поля заглушками или значениями по умолчанию; делать поля необязательными Проверки допустимости содержания; выборка записей на реальные значения
Свежесть данных Возраст самых свежих данных в наборе на момент чтения отчёта медиана и максимум (время чтения отчёта минус время последней загруженной записи) по наборам данных часы Логи конвейеров и метаданные наборов Измерение и отчётность Быстрая обратная связь Раз в неделю Ставить метку времени загрузки вместо события; загружать пустые обновления Сверять время события со временем загрузки; число строк на загрузку
Расхождение при сверке Разница между двумя источниками, которые должны совпадать по одной и той же величине абсолютная разница между источником A и источником B / источник A, для заданной выборки величин и периода процент Две исходные системы Измерение и отчётность; управление финансами Рабочие соглашения об определениях Раз в квартал Выбирать величины, которые случайно совпадают; подгонять один источник под другой Вращать величины; вести журнал аудита корректировок
Охват происхождением Доля отчётных метрик, чьи источник, преобразования и владелец документированы метрики в реестре с документированным происхождением / сообщаемые метрики процент Реестр метрик и каталог данных Управление Соглашения команды Раз в квартал Документировать происхождение поверхностно; копировать текст между записями Выборка записей и прослеживание одной метрики сквозь
Доля сбоев конвейера данных Доля запусков конвейера данных, которые падают или загружают неполные данные запуски конвейера данных, упавшие или загрузившие неполные данные / начатые запуски процент Логи конвейеров данных Измерение и отчётность Непрерывная интеграция для данных Раз в неделю Помечать упавшие запуски как повторённые или успешные; удалять логи Сравнивать числа записей с источником; оповещать о пропусках
Доля рецензированного анализа Доля опубликованных аналитических материалов, рецензированных вторым человеком до использования аналитические материалы с записанным рецензированием / аналитические материалы, опубликованные для аудитории, принимающей решения процент Реестр анализа и журнал рецензирования Измерение и отчётность; непрерывное улучшение Рецензирование коллегами Раз в квартал Формальные рецензирования; рецензирование после решения Проверять заметки рецензентов; требовать рецензирование до использования
Доля использования в решениях Доля сообщаемых метрик, процитированных в записанном решении за период метрики, процитированные в записи журнала решений / сообщаемые метрики процент Журнал решений и реестр метрик Непрерывное улучшение Действия из ретроспектив Раз в квартал Цитировать метрики в журнале без влияния на решение Спрашивать, что изменилось; выборка записей

10.9 Метрики прогнозирования и предиктивной аналитики

Тема-источник: (см. тему 10.9, Метрики прогнозирования и предиктивной аналитики).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Охват интервала прогноза Доля фактических исходов, попавших в заявленный интервал предсказания исходы внутри интервала / оценённые прогнозы; оценённые прогнозы суть те, чей исход известен процент Журнал прогнозов и фактические значения Управление ёмкостью и производительностью; управление финансами Прогноз диапазонами по пропускной способности Раз в квартал Расширять интервалы, пока охват не выглядит хорошо; оценивать только лёгкие прогнозы Сообщать ширину интервала вместе с охватом; оценивать все записанные прогнозы
Ошибка прогноза Типичный размер разницы между прогнозом и фактом медиана абсолютной ошибки и её 85-й перцентиль, где абсолютная ошибка = модуль (прогноз минус факт) / факт, по оценённым прогнозам процент Журнал прогнозов и фактические значения Управление ёмкостью и производительностью Пересмотр планирования Раз в квартал Пересматривать прогноз прямо перед исходом; выбирать окно оценки Использовать записанный исходный прогноз; задавать окно заранее
Мастерство относительно базового уровня Улучшение метода прогноза относительно простого базового уровня 1 минус (медианная абсолютная ошибка метода / медианная абсолютная ошибка базового уровня) по тем же прогнозам отношение Журнал прогнозов, журнал базового уровня и факты Непрерывное улучшение Экспериментируйте и сравнивайте Раз в квартал Выбирать слабый базовый уровень; настраивать метод на данных оценки Согласовать базовый уровень заранее; оценивать на данных, не использованных для настройки
Разрыв калибровки Разница между заявленной вероятностью и наблюдаемой частотой для каждой полосы вероятности модуль (заявленная вероятность минус наблюдаемая доля), усреднённый по полосам; полосы с числом случаев меньше заданного сообщаются отдельно процентные пункты Журнал вероятностных прогнозов и исходы Управление рисками; управление изменениями (change enablement) Ретроспектива об оценках Раз в квартал Использовать мало полос или мало случаев; сливать полосы, чтобы спрятать разрывы Сообщать число случаев на полосу; минимальные числа случаев
Точность и полнота оповещений Для предиктивного оповещения или оценки: доля верных оповещений и доля пойманных событий точность = истинно положительные / (истинно положительные + ложноположительные); полнота = истинно положительные / (истинно положительные + ложноотрицательные) процент Журнал предсказаний и исходы Управление инцидентами; управление событиями Определение готовности для модели Раз в месяц Переопределять события постфактум; считать дубликаты Задавать определение события заранее; убирать дубликаты; выборка оповещений
Сигнал дрейфа прогноза Рост ошибки со временем относительно опорного периода медианная абсолютная ошибка в последнем окне минус медианная абсолютная ошибка в опорном окне, с указанными размерами окон процентные пункты Журнал прогнозов и фактические значения Непрерывное улучшение; управление ёмкостью Инспекция и адаптация Раз в месяц Сбрасывать опорный период; игнорировать медленный дрейф Зафиксировать опорное окно и пересматривать его по графику
Связь прогнозов с решениями Доля прогнозов, процитированных в записанном решении прогнозы, процитированные в журнале решений / опубликованные прогнозы процент Журнал решений и журнал прогнозов Непрерывное улучшение; управление Действия по результатам пересмотра Раз в квартал Цитировать прогнозы в журнале без влияния на решение Спрашивать, что изменилось; выборка записей

10.10 Метрики наблюдаемости и телеметрии

Тема-источник: (см. тему 10.10, Метрики наблюдаемости и телеметрии).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Охват инструментированием Доля услуг и критических путей пользователя, выдающих согласованные основные сигналы услуги или пути с логами, метриками и трассами, отвечающими согласованному стандарту / услуги или пути в каталоге услуг процент Каталог услуг и инвентарь платформы телеметрии Мониторинг и управление событиями; управление конфигурацией услуг Определение готовности для новых услуг Раз в квартал Добавлять минимальный сигнал в каждую услугу, чтобы пройти стандарт; исключать трудные услуги из каталога Полнота трасс и инциденты слепых пятен; пересматривать каталог на пропуски
Полнота трасс Доля выбранных запросов с непрерывной трассой от входа до последней зависимости запросы, чья трасса охватывает все ожидаемые переходы / запросы в проверяемой выборке процент Платформа трассировки и выборочная проверка Мониторинг и управление событиями Проверка наблюдаемости в функции Раз в месяц Выбирать только простые запросы; считать частичные трассы полными Определять проверяемую выборку по типу запроса; проверять охват зависимостей
Доля корреляции сигналов Доля инцидентов, где логи, метрики и трассы удалось соединить по идентификатору инциденты с работающим соединением в разборе хронологии / пересмотренные инциденты процент Разборы инцидентов и платформа трассировки Управление инцидентами; управление проблемами Действия из ретроспектив Раз в квартал Пересматривать только удачные инциденты; считать соединение, существующее на бумаге Пересматривать случайную выборку инцидентов; проводить учения по соединению
Время до понимания Время от обнаружения до записанного работающего объяснения причины медиана и 85-й перцентиль (время записи первой работающей причины минус время обнаружения инцидента) для инцидентов с записанной причиной минуты Хронология инцидента и заметки разбора Управление инцидентами Разбор без поиска виновных Раз в квартал Записывать причину рано и приблизительно; оставлять причину пустой для трудных случаев Пересматривать записи причин на качество; сообщать инциденты без причины отдельно
Стоимость телеметрии на услугу Расходы на телеметрию, отнесённые к услуге, на единицу использования услуги стоимость телеметрии, выделенная услуге / заданная единица использования, например 1000 запросов валюта на единицу Биллинг телеметрии и данные использования Управление финансами Цена как вход проектирования Раз в месяц Отбрасывать сигналы, чтобы срезать цену; переносить цену на другой аккаунт Инциденты слепых пятен и время до понимания; сверять общие расходы
Чувствительные данные в телеметрии Число подтверждённых записей, содержащих данные, которых там быть не должно подтверждённые случаи, найденные сканированием или пересмотром за период число Сканирования и пересмотры телеметрии Управление информационной безопасностью Определение готовности; рецензирование приватности Раз в месяц Сканировать слишком узко; не сообщать находки Охват сканирования и независимый пересмотр; отслеживать время удаления
Инциденты слепых пятен Инциденты, о которых первыми сообщили пользователи, при том что телеметрия не показала признаков инциденты, о которых первыми сообщили пользователи, без связанного оповещения или сигнала / инциденты за период процент Записи об инцидентах и заметки разбора Управление инцидентами; мониторинг Действия из ретроспектив Раз в квартал Считать инцидент обнаруженным, когда оповещение сработало после сообщения пользователей; определять сигнал широко Сравнивать метки времени первого сигнала и первого сообщения пользователя; выборочные пересмотры

Часть 11: Построение программы метрик

11.1 Проектирование панели метрик услуг

Тема-источник: (см. тему 11.1, Проектирование панели метрик услуг).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Охват вопросов Доля перечисленных вопросов аудитории, на которые панель может ответить определённой мерой вопросы с мерой и определением / вопросы, перечисленные аудиторией процент Список вопросов из сессий с заинтересованными сторонами; карточки метрик Непрерывное улучшение; управление уровнем услуг Непрерывное вовлечение заинтересованных сторон Раз в квартал Писать узкие вопросы, на которые существующие меры уже отвечают; опускать трудные вопросы Включать заинтересованные стороны вне команды программы; явно пересматривать неотвеченные вопросы
Полнота определений Доля отображаемых мер с актуальным письменным определением, источником данных, владельцем и известными пределами меры со всеми четырьмя / отображаемые меры процент Карточки метрик или каталог Управление информацией и технологиями; управление знаниями Общее понимание; видимая работа Раз в квартал Заполнять поля шаблонным текстом; определения, которых никто не читает Выбирать определения на ясность с человеком вне команды; проверять, что определение соответствует реальному расчёту
Свежесть данных Доля отображаемых мер, обновлённых в ожидаемый интервал меры, обновлённые вовремя / отображаемые меры процент Логи конвейеров; метаданные панели Мониторинг и управление событиями Быстрая обратная связь Раз в неделю Обновлять устаревший источник неизменёнными данными; считать обновление успехом, когда фид источника упал Проверять метки времени источника так же, как времена обновления; сравнивать с числом записей и ожидаемым объёмом
Связь с решениями Доля пересмотренных мер, где недавний пересмотр привёл к записанному решению, действию или осознанному выбору ничего не делать меры со связанным решением за период / пересмотренные меры процент Заметки пересмотров; реестр улучшений Непрерывное улучшение Регулярная рефлексия Раз в квартал Записывать решения постфактум, чтобы заполнить поле; выдумывать действие, чтобы избежать пустоты Принимать «выбрали ничего не делать» как записанное решение; выбирать связи на реальное предшествующее обсуждение
Размер отображения Число мер на каждом виде для аудитории число на вид меры Конфигурация панели Непрерывное улучшение Простота Раз в квартал Прятать меры на второстепенных вкладках; дробить один вид на много Считать меры на аудиторию по всем вкладкам; спрашивать аудиторию, сколько чисел она действительно использует
Доля вывода Меры, убранные или замещённые за период, потому что перестали информировать решения выведенные меры / меры, отображаемые в начале процент Журнал изменений панели Непрерывное улучшение Постоянная эволюция Раз в год Выводить неудобные меры, показывающие плохие результаты Просматривать список выведенных на меры с неблагоприятными трендами; требовать заявленной причины
Охват аудитории (описательная) Доля предназначенных команд или ролей, открывших свой вид за период различные команды или роли, смотревшие / предназначенные команды или роли процент Логи доступа к панели, агрегированные до команды или роли Управление информацией и технологиями Непрерывное вовлечение заинтересованных сторон Раз в квартал Открывать страницу, чтобы поднять счёт; обязательный просмотр на встречах Держать описательной; читать вместе со связью с решениями; не сообщать отдельные просмотры

11.2 Обзор инструментов

Тема-источник: (см. тему 11.2, Обзор инструментов).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Охват источников Доля систем записи, нужных для согласованных мер, автоматически питающих хранилище метрик подключённые и проверенные источники / источники, нужные для согласованных мер процент Инвентарь источников; конфигурация конвейеров Управление информацией и технологиями; управление конфигурацией услуг Непрерывная поставка конвейера Раз в квартал Подключать лёгкие или нерелевантные источники; считать подключение, не несущее пригодных данных Считать по согласованным мерам; проверять полноту данных по источнику
Надёжность конвейера Доля плановых загрузок данных, завершающихся вовремя с пройденными проверками загрузки вовремя с пройденными проверками / плановые загрузки процент Логи конвейеров и результаты тестов Мониторинг и управление событиями Автоматизированные тесты и быстрая обратная связь Раз в неделю Ослаблять проверки, чтобы загрузки всегда проходили; планировать меньше загрузок Пересматривать проверки на строгость; отслеживать сверку и числа строк источника
Время до новой меры Прошедшее время от утверждённого запроса на новую меру до её доступности с карточкой определения дни от утверждения до публикации, медиана и 85-й перцентиль дни Записи запросов и релизов Управление запросами на обслуживание; управление изменениями (change enablement) Малые приращения ценности Раз в квартал Публиковать без определений или тестов; сужать, что считается новой мерой Требовать карточку определения и проверку сверки для завершения
Доля сверки Доля ключевых цифр, совпадающих между хранилищем метрик и исходной системой при выборочной проверке цифры, совпадающие в пределах допуска / проверенные цифры процент Проверки сверки Управление информацией и технологиями Достойная доверия обратная связь Раз в месяц Выбирать лёгкие цифры для проверки; расширять допуск после промаха Выбирать выборки до проверки; задавать допуск заранее; включать трудные цифры
Доля ручных усилий Доля усилий на повторяющиеся отчёты, потраченная на ручной сбор и чистку часы на ручные шаги / общие часы на повторяющиеся отчёты процент Оценки времени; опрос команды Непрерывное улучшение Устранение рутины Раз в квартал Преуменьшать ручную работу; прятать усилия в других бюджетах Спрашивать людей, делающих работу; сравнивать со временем, потраченным поздно в каждом цикле отчётности
Готовность к выходу Можно ли экспортировать определения, историю и панели в документированной пригодной форме проверенные полные экспорты / запланированные проверки экспорта процент Записи проверок экспорта Управление поставщиками; управление непрерывностью услуг Устойчивый выбор Раз в год Проверять частичный экспорт; считать документированный план готовностью Проводить полное восстановление в другой инструмент на выборке; проверять определения и историю
Стоимость инструментов на поддерживаемую команду Полная годовая цена инструментов программы, делённая на обслуживаемые ею команды (лицензии + инфраструктура + усилия по поддержке) / обслуживаемые команды валюта на команду Финансовые записи и записи усилий Управление финансами услуг Устойчивый темп Раз в год Исключать усилия по поддержке; добавлять команды на бумаге Включать время персонала; считать команды, активно пользующиеся своими видами

11.3 Внедрение метрик без создания страха

Тема-источник: (см. тему 11.3, Внедрение метрик без создания страха).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Охват хартией использования Доля участвующих команд, согласовавших письменное заявление о том, для чего используются и для чего никогда не используются их меры команды с согласованной хартией / участвующие команды процент Хартии, хранящиеся у программы Управление; управление организационными изменениями Рабочие соглашения Раз в квартал Подписывать хартии формально; руководители, игнорирующие их Проверять использование хартии на практике; сообщать инциденты использования на уровне отдельных людей; пересматривать хартии с командами
Доля владения команд Доля отображаемых команде мер, определения которых команда помогала писать или одобрила меры с одобрением команды / меры, отображаемые команде процент Каталог метрик; записи одобрения Непрерывное улучшение Самоорганизующиеся команды Раз в квартал Команды одобряют определения, которых не читали; программа представляет готовые определения на подпись Выбирать, как определения разрабатывались; отслеживать изменения, запрошенные и внесённые командами
Сигнал откровенности Остаётся ли сообщение о проблемах и почти-промахах стабильным или растёт после введения мер сообщения о почти-промахах или проблемах на команду в квартал до и после; тренд сообщения Записи об инцидентах, почти-промахах и разборах Управление инцидентами; непрерывное улучшение Рефлексия без поиска виновных Раз в квартал Давить на команды, чтобы сообщали больше или меньше проблем; переименовывать категории Читать вместе с тяжестью и содержанием разборов; сравнивать с проблемами, о которых сообщили клиенты
Срок ответа на оспаривание Время от оспаривания числа человеком или командой до разрешения, видимого им медиана и 85-й перцентиль дней от оспаривания до разрешения дни Журнал оспариваний Непрерывное улучшение; управление знаниями Реакция на обратную связь Раз в квартал Закрывать оспаривания без видимого разрешения; отговаривать от оспаривания Требовать видимого ответа; опрашивать оспаривавших; отслеживать повторные оспаривания
Воспринимаемая безопасность измерения (опрос) Согласие в опросе на уровне команды с утверждениями вроде «данные о нашей работе используются, чтобы нам помочь» процент согласных в опросе команды; показана доля ответивших процент Анонимный опрос команд, агрегированный Управление организационными изменениями Доверие и мотивированные люди Два раза в год Тренировать респондентов; низкая доля ответивших, прячущая недовольные команды Анонимность и минимальный размер группы; показывать долю ответивших; говорить с командами напрямую
Инциденты использования на уровне отдельных людей Случаи, когда данные показывались или использовались для ранжирования или оценки отдельных людей вопреки хартии число сообщённых случаев за квартал с исходами число Сообщения программе; пересмотр панелей и оценок Управление Уважение к людям Раз в квартал Не сообщать; переклассифицировать инциденты как что-то другое; обвинять сообщивших Лёгкое анонимное сообщение; защита сообщающих; пересмотр оценок и панелей на данные об отдельных людях
Добровольное внедрение Доля пригодных команд, выбравших участие в программе за период, до какого-либо мандата команды, вступившие по своему выбору / приглашённые пригодные команды процент Записи программы Управление организационными изменениями Пилоты и обучение Раз в квартал Давление, оформленное как приглашение; считать команды, вступившие, чтобы избежать проверки Спрашивать команды, почему они вступили; проверять использование на практике; держать период свободным от мандата

11.4 Модель зрелости для программ метрик

Тема-источник: (см. тему 11.4, Модель зрелости для программ метрик).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Участие в оценке Доля участвующих команд, завершивших самооценку с собственным обсуждением команды, завершившие и обсудившие / участвующие команды процент Записи оценок Непрерывное улучшение Рефлексия и ретроспективы Два раза в год Заполнять формы ради квоты; один человек заполняет за команду Требовать обсуждение командой; просить свидетельства за каждым заявлением
Профиль по измерениям Распределение самооценённых уровней команд в каждом измерении, показываемое как диапазон, а не одна оценка число команд на каждом уровне, по измерению команды на уровень Самооценки, агрегированные Непрерывное улучшение; управление Видимая работа Два раза в год Раздувать уровни ради вида; занижать, чтобы получить помощь Не связывать с финансированием или положением; просить свидетельства; калибровать открыто
Действия по улучшению из оценок Доля согласованных следующих шагов, которые завершены, отброшены с причиной или ещё выполняются действия, закрытые или обоснованно снятые / согласованные действия процент Реестр улучшений Непрерывное улучшение Малые эксперименты Раз в квартал Выбирать тривиальные шаги, чтобы закрыть; закрывать, не делая Пересматривать размер и ценность шага; проверять результаты на следующей оценке
Свидетельства решений Доля выбранных мер, где команда может назвать решение или осознанный выбор, о котором мера информировала в последнем квартале меры с названным решением / выбранные меры процент Интервью с командами; заметки пересмотров Непрерывное улучшение Свидетельства важнее церемоний Раз в квартал Выдумывать решения постфактум; перечислять решения без последствий Просить дату и вовлечённых людей; принимать «выбрали ничего не делать» как решение
Доверие к определениям и данным Согласие на уровне команды, что определения ясны, а данные верны процент согласных в коротком опросе команды; показана доля ответивших процент Анонимный опрос команд Управление знаниями; управление информацией Общее понимание Два раза в год Тренировать респондентов; низкая доля ответивших, прячущая недовольство Анонимность и минимальный размер группы; показывать долю ответивших; говорить с командами напрямую
Время до следующего уровня (описательная) Прошедшее время, за которое команда поднимает измерение на один уровень там, где выбрала это медиана месяцев от согласованного шага до переоценки командой месяцы История оценок Непрерывное улучшение Устойчивый темп Раз в год Спешить с заявлениями о прогрессе; прятать откат Держать описательной; читать вместе со свидетельствами; записывать откаты без наказания
Бремя оценки Часы, которые оценка занимает на команду медиана часов на команду часы Оценки времени от команд Непрерывное улучшение Устойчивый темп Два раза в год Пропускать обсуждение, чтобы срезать часы Отслеживать часы вместе с участием и качеством свидетельств

11.5 Поэтапная дорожная карта внедрения

Тема-источник: (см. тему 11.5, Поэтапная дорожная карта внедрения).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность Вектор манипуляции Ограждение
Время до первого полезного результата Прошедшее время от начала программы до первой меры, которая, по словам пилотной команды, помогла ей внести изменение дни от запуска до первого подтверждённого командой полезного использования дни Журнал программы; подтверждение команды Непрерывное улучшение Ранняя и непрерывная поставка ценности Один раз, затем на новую команду Объявлять тривиальное изменение полезным; спешить с показательным образцом Спрашивать команду, что изменилось; проверять, что изменение сохранилось
Команды, активно использующие меры Доля приглашённых команд, использовавших свои меры на пересмотре за период, по их собственным словам команды, использовавшие меры на пересмотре / приглашённые команды процент Подтверждение команд; заметки пересмотров Управление организационными изменениями Непрерывное вовлечение заинтересованных сторон Раз в месяц Проводить пересмотры для галочки; заявлять использование, которого не было Просить принятое решение; выбирать заметки пересмотров; говорить с командами
Улучшения, прослеженные до мер Число изменений, которые команды внесли и приписывают, с причинами, тому, что показала мера число сообщённых командами изменений с заявленной связью с мерой число Реестр улучшений Непрерывное улучшение Эксперименты на основе свидетельств Раз в квартал Выдумывать связи для достижения счёта; присваивать себе заслугу несвязанных изменений Держать описательной; просить у команды рассуждение; принимать неопределённые связи как таковые
Выведенные меры и отчёты Меры или отчёты, остановленные, потому что перестали информировать решения число выведенных за квартал число Журнал изменений каталога Непрерывное улучшение Постоянная эволюция Раз в квартал Выводить неудобные меры; выводить и вновь вводить под новыми именами Пересматривать список выведенных на неблагоприятные тренды; требовать заявленной причины
Охват базовым уровнем Доля согласованных мер с записанным базовым уровнем хотя бы за несколько месяцев меры с базовым уровнем / согласованные меры процент Каталог метрик Управление уровнем услуг; непрерывное улучшение Свидетельства важнее мнения Раз в квартал Выдумывать историю; использовать период, льстящий последующим результатам Записывать источник и период; хранить сырые данные; выбирать базовые уровни до изменений
Доля усилий программы Доля времени участвующих команд, потраченная на задачи измерения часы на сбор, отчётность и пересмотр / общие часы команды, по оценке процент Оценки времени команд Непрерывное улучшение Устойчивый темп Раз в квартал Преуменьшать усилия; переносить работу людям вне счёта Спрашивать людей, делающих работу; сравнивать с переработками в конце цикла
Завершение пересмотров этапов Доля плановых пересмотров этапов, проведённых с командами, с записанными изменениями пересмотры, проведённые с записанными изменениями / запланированные пересмотры процент Записи программы Непрерывное улучшение Регулярная рефлексия На этап Короткие формальные пересмотры; записывать изменения, которые никогда не происходят Проверять, что изменения выполняются; спрашивать команды, стоил ли пересмотр их времени