Справочник определений и формул метрик
Это приложение перечисляет каждую метрику, определённую в темах с содержанием, сгруппированную по части и теме. Каждая запись содержит определение, формулу, единицу, источник данных, связанную практику ITIL, Agile-аналог и периодичность из темы-источника вместе с соответствующими вектором манипуляции и ограждением. Оно порождается из двух разделов «Определения метрик» и «Векторы манипуляции и ограждения» каждой темы, так что тема-источник остаётся авторитетом. Если запись здесь отличается от её темы, верна тема, а приложение порождается заново.
Как пользоваться справочником
- Смотрите до принятия. Прежде чем поместить метрику на панель, прочтите её запись, включая вектор манипуляции и ограждение, и применяйте ограждение вместе с ней (см. тему 1.3, Результаты важнее выпуска: что выбрать для измерения).
- Измеряйте команды, услуги и системы. Ни одна запись не предназначена для ранжирования отдельных людей (см. тему 1.2, Закон Гудхарта и психология метрик).
- Для суждений предпочитайте тему-источник. Формулы здесь кратки. Определения терминов, заметки о выборках и практические примеры находятся в теме-источнике.
- Записывайте свои вариации. Если ваша организация меняет определение, запишите изменение и причину в своём реестре метрик (см. тему 1.4, Управление метриками и ответственность за них). Поможет карточка метрики (см. тему 12.4, Шаблоны).
- Иллюстративные цифры помечены. В этом приложении нет эталонных значений. Все цифры берутся из ваших собственных базовых уровней.
Часть 1: Основы измерения
1.1 Зачем измерять управление услугами
Тема-источник: (см. тему 1.1, Зачем измерять управление услугами).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Доля метрик, связанных с решениями | Доля отчётных метрик, у которых есть записанный вопрос и названное решение, которое они информируют | метрики с записанным вопросом и решением / метрики, отчётные на панели на конец квартала | процент | Реестр метрик (см. тему 1.4, Управление метриками и ответственность за них) | Измерение и отчётность; непрерывное улучшение | Действия ретроспективы; рабочие соглашения | Раз в квартал | Задним числом писать правдоподобный вопрос и решение для каждой метрики, чтобы поднять процент | Выборочно проверять журнал решений: спросить, что изменилось благодаря метрике, и сверить дату записи с датой первого появления метрики |
| Охват базовыми линиями | Доля услуг и команд в области охвата, у которых записано исходное значение для каждого из согласованных основных показателей | пары «услуга и показатель» с базовой линией, записанной за последние 12 месяцев / все пары «услуга и показатель» в области охвата; услуги вне каталога исключаются | процент | Каталог услуг и реестр метрик | Управление уровнями услуг; измерение и отчётность | Обзор заинтересованными сторонами; панели команд | Раз в квартал | Записать базовую линию один раз и никогда не обновлять или выбрать удобный спокойный период | Требовать указания диапазона дат и размера выборки для каждой базовой линии; пересматривать базовые линии после крупных изменений в услуге |
| Трудозатраты на измерение | Время сотрудников, затраченное на ручной сбор, очистку и отчётность по метрикам | часы, записанные на ручной сбор и отчётность за месяц, без времени на действия по результатам | часы на команду в месяц | Заметки о времени или короткий опрос команды | Измерение и отчётность | Бюджет времени ретроспективы | Раз в квартал | Выводить работу по сбору «за скобки», выполняя её без записи или перекладывая на поставщика | Сравнивать с коротким опросом о том, сколько, по словам людей, занимает отчётность; включать трудозатраты поставщика в обзор |
| Возраст данных на момент обзора | Насколько стара самая новая точка данных, когда группа собирается её обсуждать | метка времени совещания минус метка времени последней точки данных на панели; считается по каждой метрике, сообщается как медиана и 85-й перцентиль | дни | Журнал обновления панели | Измерение и отчётность | Обзор заинтересованными сторонами | На каждый обзор | Обновлять панель прямо перед совещанием, пока записи под ней остаются устаревшими | Сообщать возраст самой новой записи в исходной системе, а не только время обновления |
| Доведение улучшений до конца | Доля действий по улучшению, возникших на обзорах метрик, которые выполнены или осознанно закрыты в согласованный срок | действия, выполненные или закрытые с причиной в течение 90 дней после постановки / действия, поставленные за период, с даты записи в реестре улучшений | процент | Реестр или бэклог непрерывного улучшения | Непрерывное улучшение | Пункты действий ретроспективы | Раз в квартал | Закрывать действия с причиной «более неактуально», чтобы выйти на процент, или дробить действия на тривиальные части | Ежеквартально проверять причины закрытых действий и отслеживать, сдвинулся ли показатель, на который действие было нацелено |
1.2 Закон Гудхарта и психология метрик
Тема-источник: (см. тему 1.2, Закон Гудхарта и психология метрик).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Охват ограждениями | Доля отчётных метрик, у которых есть названное, отслеживаемое ограждение | метрики с ограждением / отчётные метрики | процент | Реестр метрик (см. тему 1.4, Управление метриками и ответственность за них) | Измерение и отчётность; непрерывное улучшение | Ретроспектива рабочих соглашений | Раз в квартал | Называть ограждение на бумаге, никогда его не отслеживая | Проверять реестр: ограждение засчитывается, только если его последнее значение показано на той же панели |
| Доля повторно открытых | Доля закрытых заявок или рабочих элементов, повторно открытых в заданном окне | элементы, повторно открытые в течение 14 дней / элементы, закрытые за период | процент | История статусов в инструменте ITSM или трекере задач | Управление инцидентами; управление проблемами | Определение готовности; ушедшие дефекты | Раз в месяц | Закрывать заявку и заводить новую вместо повторного открытия; удлинять окно, пока повторные открытия не выпадут за него | Доля дубликатов и связанных заявок; повторяемость одной и той же причины в разных заявках |
| Число изменений определений | Число изменений определений метрик или рабочих процессов статусов за период, с причинами | число записей в журнале изменений определений | число | Журнал изменений реестра метрик | Измерение и отчётность | Рабочие соглашения | Раз в квартал | Не записывать изменения, чтобы счёт оставался низким; менять рабочий процесс, никому не говоря | Сравнивать модель статусов в инструменте с реестром на каждом обзоре |
| Доля метрик в использовании | Доля отчётных метрик, на которые ссылались в решении в течение периода | метрики, упомянутые в записанном решении / отчётные метрики | процент | Журнал решений или заметки обзоров | Непрерывное улучшение | Действия ретроспективы | Раз в квартал | Формально указывать каждую метрику в журнале решений | Спрашивать, что изменилось из-за ссылки; выборочно проверять журнал |
| Разрыв восприятия | Разница между результатом опроса удовлетворённости и уровнем услуги, полученным по заявкам, для одной и той же услуги | доля по опросу минус доля по трекеру | процентные пункты | Инструмент опросов и инструмент ITSM | Управление уровнями услуг | Обратная связь по итогам обзора заинтересованных сторон | Раз в квартал | Опрашивать только довольных пользователей; направлять опросы на время после удачного взаимодействия | Доля ответивших на опрос и состав респондентов; открытые комментарии, прочитанные вслух на обзоре |
1.3 Результаты важнее выпуска: что выбрать для измерения
Тема-источник: (см. тему 1.3, Результаты важнее выпуска: что выбрать для измерения).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Охват результатами | Доля отчётных метрик, связанных в реестре метрик с записанным результатом для названного клиента или услуги | метрики с записанной связью с результатом / метрики, отчётные за период. Учитываются только метрики, показанные в регулярном отчёте; исключаются показатели рабочего представления, которые ведёт одна команда | процент | Реестр метрик (см. тему 1.4, Управление метриками и ответственность за них) | Измерение и отчётность; непрерывное улучшение | Цель продукта и цель поставки | Раз в квартал | Писать расплывчатое предложение о результате («улучшить сервис») для каждой метрики, чтобы связь существовала на бумаге | Выборочно проверять реестр: предложение должно называть человека или услугу и перемену; проверять, что решение было принято благодаря показателю |
| Доля внедрения функции | Доля подходящих пользователей, которые используют новую или изменённую возможность в заданное окно после релиза | различные подходящие пользователи, использовавшие возможность в течение 30 дней после релиза / различные подходящие пользователи за этот период. Часы запускаются при общей доступности; исключаются внутренние тестовые учётные записи и пользователи, не имевшие доступа к возможности | процент | Продуктовая аналитика, журналы использования каталога услуг | Проектирование услуг; управление релизами | Обратная связь по итогам обзора заинтересованных сторон; продуктовый показатель результата | Раз в месяц в течение 3 месяцев после релиза, затем раз в квартал | Засчитывать принудительное или автоматическое первое использование как внедрение; сужать группу подходящих пользователей; делать возможность по умолчанию, чтобы она «использовалась» без выбора | Выполнение задач или удовлетворённость среди пользователей возможности; удержание использования через 30 и 90 дней; читать открытые комментарии |
| Доля повторных обращений | Доля обращений одного пользователя по одной и той же услуге в заданное окно после закрытия более раннего обращения | новые обращения того же пользователя по той же услуге в течение 14 дней после закрытого обращения / закрытые обращения за период. Часы запускаются при закрытии; исключаются обращения, открытые как плановое продолжение | процент | История обращений и заявок в инструменте ITSM | Служба поддержки; управление инцидентами | Ушедшие дефекты; определение готовности | Раз в месяц | Говорить пользователям завести новый запрос через другой канал; закрывать обращение как дубликат несвязанного; удлинять закрытие, чтобы избежать повторного обращения внутри окна | Обращения по каналам для одной и той же услуги; выборочная проверка записей о закрытии; доля «проблема решена» по сообщениям пользователей |
| Доля подтверждённых опережающих индикаторов | Доля используемых опережающих индикаторов, движение которых предшествовало движению связанного с ними запаздывающего индикатора за период обзора | опережающие индикаторы с подтверждённым опережением над запаздывающим / используемые опережающие индикаторы. Оценивается командой в документированном обзоре по данным не менее чем за четыре периода; исключаются индикаторы с данными менее чем за четыре периода | процент | Реестр метрик и история трендов | Непрерывное улучшение | Действия ретроспективы по экспериментам | Дважды в год | Объявлять опережающие индикаторы подтверждёнными после неформального взгляда; выбирать индикаторы, которые тривиально движутся вместе с результатом | Письменная запись обзора с нанесёнными данными; приглашать кого-то вне команды оспорить один результат за цикл |
| Доля завершённых обзоров пользы | Доля профинансированных изменений или улучшений, предполагаемый результат которых был рассмотрен относительно его показателя после согласованной задержки | изменения с завершённым обзором результата в течение 90 дней после запланированной даты обзора / изменения, дата обзора которых пришлась на период. Исключаются изменения, отозванные до релиза | процент | Запись об изменении, реестр улучшений, заметки обзоров | Непрерывное улучшение; управление изменениями | Обзор заинтересованными сторонами; обзор приращения продукта | Раз в квартал | Проводить обзор только по названию или задавать предполагаемый результат задним числом, чтобы он всегда достигался | Сравнивать результат в обзоре с заявлением, сделанным при финансировании изменения; отслеживать долю обзоров, которые привели к изменению плана |
1.4 Управление метриками и ответственность за них
Тема-источник: (см. тему 1.4, Управление метриками и ответственность за них).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Охват владельцами | Доля отчётных метрик с названным, актуальным владельцем | отчётные метрики с владельцем, который всё ещё занимает роль на конец периода / отчётные метрики на конец периода; исключаются метрики, используемые только на частной доске одной команды | процент | Реестр метрик | Измерение и отчётность | Рабочие соглашения | Раз в квартал | Назвать владельцем менеджера или список рассылки, чтобы достичь 100 %, при том что нет никого, кто может объяснить или изменить метрику | Просить каждого владельца объяснить одно недавнее движение числа; отслеживать вопросы, оставшиеся без ответа более недели |
| Актуальность определений | Доля отчётных метрик, определение которых было пересмотрено в согласованный интервал | метрики с датой пересмотра за последние 6 месяцев / отчётные метрики; часы запускаются при последнем записанном пересмотре и останавливаются в конце периода | процент | Журнал изменений реестра метрик | Измерение и отчётность; непрерывное улучшение | Действия ретроспективы | Раз в квартал | Менять дату пересмотра, не читая определения | Выбирать три записи в квартал и сверять письменное определение с реальной настройкой инструмента |
| Соответствие источнику | Доля отчётных метрик, вычисляемых ровно из одного названного источника | метрики с одним авторитетным источником и без известного параллельного расчёта / отчётные метрики; параллельные расчёты находят выборочной проверкой панелей и отчётов | процент | Реестр плюс выборка панелей и отчётов | Измерение и отчётность; управление уровнями услуг | Определение готовности метрики | Раз в квартал | Объявлять источник авторитетным, пока электронные таблицы продолжают ходить и расходиться | Считать различные цифры для одной и той же метрики в выборке отчётов; сверять различия на пересмотре |
| Доля выведенных метрик | Число метрик, выведенных из обращения или объединённых за период, относительно отчётных | метрики, выведенные или объединённые за период / отчётные метрики на начало периода; метрика, перенесённая в частное представление команды, считается выведенной из отчётного набора | процент | Журнал изменений реестра метрик | Непрерывное улучшение | Действия ретроспективы | Раз в квартал | Выводить тривиальные или неиспользуемые метрики, чтобы выглядеть дисциплинированно, или переименовывать метрику, чтобы она считалась новой | Проверять журнал выведенных метрик на то, что было убрано; отслеживать общее число отчётных метрик и цифру связи с решениями рядом |
| Актуальность проверки доступа | Доля ограниченных представлений метрик, список аудитории которых был проверен в течение интервала | ограниченные представления с проверкой аудитории за последние 6 месяцев / ограниченные представления; представления, открытые всей организации, исключаются | процент | Список доступа или выгрузка прав в инструменте BI | Управление информационной безопасностью; измерение и отчётность | Рабочие соглашения | Раз в полгода | Утверждать существующий список аудитории, не читая его | Сравнивать список с текущим составом команд и ролями; сообщать число найденных удалений |
| Связь с решениями | Доля отчётных метрик, связанных в реестре с решением, которое они информируют | метрики с записанным решением или вопросом / отчётные метрики; связь засчитывается, только если решение принято за последние 12 месяцев | процент | Реестр метрик и журнал решений | Непрерывное улучшение | Обзор заинтересованными сторонами и результаты улучшений | Раз в квартал | Писать расплывчатое решение вроде «улучшить сервис», чтобы удовлетворить поле | Требовать датированное решение или вопрос и выборочно проверять журнал решений на то, обращались ли к метрике на самом деле |
1.5 Источники данных и инструментирование
Тема-источник: (см. тему 1.5, Источники данных и инструментирование).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Охват источниками | Доля услуг и команд в области охвата, чьи события автоматически попадают в хранилище метрик | услуги или команды с автоматической подачей / услуги или команды в области охвата; «область охвата» перечислена в реестре метрик | процент | Реестр метрик и настройка конвейера | Измерение и отчётность; управление конфигурацией услуг | Рабочее соглашение команды об инструментах | Раз в квартал | Считать услугу охваченной после подключения подачи, даже если она несёт почти ноль событий; оставлять трудные услуги вне области охвата | Объём событий на охваченную услугу в сравнении с её известной активностью; сверять список области охвата с каталогом услуг |
| Полнота меток времени | Доля закрытых рабочих элементов, несущих все метки времени, нужные для часов метрики | закрытые элементы со всеми нужными метками смены состояний / элементы, закрытые за период; всё ещё открытые элементы исключаются | процент | История инструмента ITSM или трекера задач | Управление инцидентами; управление запросами на обслуживание | История доски или рабочего процесса | Раз в месяц | Заполнять обязательные метки временем закрытия, чтобы пройти проверку | Распределение разрывов между соседними состояниями; выборочно проверять закрытые элементы на правдоподобие времён |
| Доля записей задним числом | Доля изменений состояния, записанных постфактум, измеряемая разрывом между временем события и временем ввода | изменения состояния, введённые более чем через 24 часа после времени события / изменения состояния за период; часы запускаются при событии и останавливаются при вводе | процент | След аудита трекера или время события в конвейере против времени ввода | Управление изменениями; управление инцидентами | Определение готовности | Раз в месяц | Вводить изменения как раз внутри порога; расширять порог; записывать все изменения одним массовым обновлением | Распределение времени ввода по часам; доля изменений, сделанных автоматикой, против сделанных вручную; аудит массовых правок |
| Свежесть данных | Насколько стары самые новые данные на панели в момент просмотра | время просмотра минус время самого нового загруженного события; сообщайте медиану и 95-й перцентиль | часы | Журнал запусков конвейера и журнал загрузки панели | Измерение и отчётность | Подготовка к обзору заинтересованными сторонами | Раз в неделю | Показывать время последнего обновления вместо времени самого нового события | Показывать на панели время самого нового события; тревога, когда подача не приносит новых событий |
| Расхождение при сверке | Несовпадение двух источников для одного и того же подсчёта | абсолютная разница двух подсчётов / подсчёт в системе учёта за фиксированный период и область | процент | Система учёта и слой отчётности | Управление уровнями услуг; управление финансами | Проверки отчёта о релизе | Раз в месяц | Выбирать период или область, которые сходятся; подгонять слой отчётности под источник, не найдя причины | Заранее фиксировать область и период; записывать каждую найденную причину и пересматривать причины раз в квартал |
| Дрейф модели статусов | Число различных названий статусов или переходов в использовании по сравнению с документированной моделью | недокументированные статусы или переходы, замеченные за период (число); документированные исключаются | число | Настройка рабочего процесса трекера и история событий | Непрерывное улучшение | Рабочие соглашения о рабочем процессе | Раз в квартал | Использовать существующий статус для нового смысла, чтобы не попасть в отметку; добавлять статусы, не записывая их | Сравнивать настройку рабочего процесса с реестром на каждом пересмотре; читать выборку элементов в необычных состояниях |
| Доля ответивших на опрос | Доля приглашённых людей, заполнивших опрос | полученные ответы / доставленные приглашения; недоставленные приглашения исключаются | процент | Инструмент опросов | Управление уровнями услуг; клиентский опыт | Обзор заинтересованными сторонами и обратная связь по улучшениям | За каждую волну опроса | Приглашать только тех, кто скорее всего ответит; слать напоминания довольным пользователям; предлагать вознаграждения, смещающие ответы | Состав ответивших в сравнении с совокупностью пользователей; распределение ответов по волнам; чтение открытых комментариев на пересмотре |
1.6 Статистическая грамотность для метрик услуг
Тема-источник: (см. тему 1.6, Статистическая грамотность для метрик услуг).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Медианное время решения | Среднее по порядку время решения инцидентов, решённых за период | 50-й перцентиль (метка решения минус метка создания) по инцидентам, решённым за период; часы запускаются при создании заявки и останавливаются при решении; паузы сообщаются отдельно, а не вычитаются; отменённые и дублирующие заявки исключаются | часы или дни | История статусов инструмента ITSM | Управление инцидентами; измерение и отчётность | Медианное время цикла | Раз в неделю или в месяц | Закрывать быстрые заявки первыми и оставлять трудные открытыми; делить заявку на несколько лёгких; останавливать часы в состоянии ожидания клиента | Время решения по высокому перцентилю и возраст самого старого открытого элемента; доля времени в состояниях паузы; доля связанных заявок |
| Время решения по высокому перцентилю | Время, в пределах которого решается большинство инцидентов, с названным перцентилем | 85-й (или 95-й) перцентиль того же прошедшего времени, что выше; вычисляется, только если решено не менее 20 элементов, иначе перечисляются сами элементы | часы или дни | История статусов инструмента ITSM | Управление инцидентами; управление уровнями услуг | Прогноз по перцентилю времени цикла | Раз в неделю или в месяц | Выбирать перцентиль, льстящий результату, или менять его между отчётами; исключать долгие случаи как «выбросы» или переклассифицировать их | Перцентиль зафиксирован в реестре; список исключённых элементов с причинами; возраст самого старого открытого элемента |
| Возраст самого старого открытого элемента | Возраст самого старого ещё открытого элемента плюс число элементов старше высокого перцентиля | сейчас минус метка создания для открытых элементов, без вычета паузы; считаются все открытые элементы в очереди услуги, включая ожидающие клиента | дни | Инструмент ITSM или трекер задач | Управление инцидентами; управление проблемами | Возраст рабочего элемента | Раз в неделю | Закрывать или объединять самый старый элемент, не решив его; переносить в другую очередь или категорию | Доля повторного открытия; выборочный аудит самых старых закрытых элементов; число переводов между очередями |
| Охват отчётности по долям | Доля отчётных долей, показывающих числитель, знаменатель и проверку минимального числа | доли, отчитанные со счётами и признаком выборки / отчитанные доли; считаются только доли, опубликованные в пакете обзора периода | процент | Реестр метрик (см. тему 1.4, Управление метриками и ответственность за них) | Измерение и отчётность | Рабочие соглашения | Раз в квартал | Прикреплять счёт мелким шрифтом, пока заголовки по-прежнему ведут с процента; задавать минимальное число так низко, что оно никогда не срабатывает | Проверять реальную панель, а не реестр; пересматривать минимальное число вместе с шириной интервала |
| Доля сигналов контрольной карты | Доля точек на контрольной карте показателя, сигнализирующих об особой причине вариации по письменным правилам команды | точки, отмеченные по правилам / нанесённые точки, за последние 20 и более точек; правила фиксируются заранее и записываются | процент | Инструмент контрольных карт или электронная таблица | Непрерывное улучшение | Ретроспективная инспекция процесса | Раз в месяц | Расширять пределы, добавлять правила или перезапускать базовую линию, чтобы сигналы исчезли; двигать точки изменением показателя | Правила и пределы в реестре с историей изменений; сравнение с сырой гистограммой |
| Ширина интервала | Ширина заявленного диапазона неопределённости для главной доли | верхняя граница минус нижняя граница интервала, по методу, названному в реестре, для главной доли периода | процентные пункты | Вычисляется по счётам ITSM | Управление уровнями услуг | Диапазон прогноза в планировании | Раз в месяц | Выбирать метод или окно, дающие узкий диапазон; объединять непохожие услуги, чтобы увеличить выборку | Метод назван в реестре; разбивка по услугам по запросу; сравнение объединённых и необъединённых результатов |
1.7 Рамки измерения
Тема-источник: (см. тему 1.7, Рамки измерения).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Прослеживаемость целей | Доля отчётных метрик, прослеживаемых до письменной цели и вопроса | метрики с записанной целью и вопросом / отчётные метрики | процент | Реестр метрик (см. тему 1.4, Управление метриками и ответственность за них) | Измерение и отчётность; непрерывное улучшение | Цель поставки; цель продукта | Раз в квартал | Писать цель и вопрос после того, как метрика уже существует, чтобы запись выглядела полной; расплывчатые цели, оправдывающие любую метрику | Выбирать пять записей в квартал и спрашивать, мог ли вопрос привести к другой метрике; проверять, что названы аудитория и решение |
| Распределение оценок ключевых результатов | Разброс итоговых оценок ключевых результатов за период, показанный как доля в каждой полосе | ключевые результаты в каждой полосе оценок (например, от 0,0 до 0,3, от 0,4 до 0,6, от 0,7 до 1,0) / ключевые результаты, оценённые за период; исключаются ключевые результаты, снятые с записанной причиной | процент по полосе | Инструмент отслеживания OKR или документ команды | Непрерывное улучшение; управление уровнями услуг | Квартальное планирование; обзор | Раз в квартал | Писать лёгкие ключевые результаты, чтобы оценки кучковались около 1,0; щедро переоценивать; снимать идущие плохо ключевые результаты, не записав причину | Число снятых ключевых результатов с причинами; сравнение ключевых результатов с итогами предыдущего периода; обзор медианной амбициозности с руководством |
| Охват перспектив | Доля из четырёх перспектив сбалансированной системы показателей, где есть хотя бы один показатель с актуальным значением | перспективы с показателем, сообщённым за последний период / четыре | процент | Система показателей или панель | Измерение и отчётность; управление системой создания ценности услуг | Обзор заинтересованными сторонами (взгляды клиента и обучения) | Раз в квартал | Добавлять показатель для вида в перспективу, чтобы она считалась охваченной; выбирать показатели, которые не могут двигаться | Проверять, что каждый показатель перспективы менял значение за последний год и имеет приложенное письменное решение |
| Возраст пересмотра индикатора | Время с последнего пересмотра определения и целевого значения каждого KPI | дата пересмотра минус дата предыдущего пересмотра; часы запускаются при последнем записанном пересмотре и останавливаются в дату отчёта; сообщайте медиану и самый старый | дни | Журнал изменений реестра метрик | Непрерывное улучшение; измерение и отчётность | Действия ретроспективы | Раз в квартал | Записывать пересмотр, не читая индикатор; менять только дату | Требовать письменный исход (оставлен, изменён, выведен) с каждым пересмотром и выборочно проверять журнал |
| Охват CSF показателями KPI | Доля критических факторов успеха, у которых есть хотя бы один сейчас отчётный KPI | CSF с актуальным KPI / CSF, определённые для услуги или практики | процент | Документация практики или услуги; реестр метрик | Подход CSF и KPI в руководствах по практикам ITIL | Определение готовности; рабочие соглашения | Раз в квартал | Назначать KPI, не связанный с CSF, чтобы достичь полного охвата; выбирать KPI, который не может выявить сбой | Спрашивать для каждой пары, какое значение показало бы, что CSF нарушается; искать KPI, ни разу не бывшие красными |
1.8 Измерение ITIL 5 и результаты для ценности
Тема-источник: (см. тему 1.8, Измерение ITIL 5 и результаты для ценности).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Охват имущества владельцами | Доля перечисленных услуг, цифровых продуктов, платформ и систем ИИ с названным, действующим владельцем | элементы с названным владельцем, подтверждённым за последние 12 месяцев / элементы на карте имущества, считая на конец периода | процент | Каталог услуг, записи конфигурации и карта имущества | Управление каталогом услуг; управление | Владелец продукта и хартия команды | Раз в квартал | Назвать менеджера или список рассылки владельцем всего; не включать трудные элементы в карту | Подтверждение владельцем самим владельцем и обход обнаружения, сравнивающий карту с контрактами и облачными учётными записями |
| Охват заявлениями о результате | Доля услуг и продуктов с письменным результатом и хотя бы одним названным сигналом-свидетельством | услуги и продукты с заявлением о результате, пересмотренным за последние 12 месяцев, и сигналом-свидетельством / услуги и продукты на карте имущества | процент | Каталог услуг и заметки пересмотров | Управление уровнями услуг; непрерывное улучшение | Цели продукта и критерии приёмки | Раз в квартал | Писать расплывчатое предложение вроде «повысить эффективность»; копировать один результат на все услуги | Выборочно проверять результаты с клиентами и спрашивать, узнают ли они их; возраст свидетельств результата |
| Возраст свидетельств результата | Возраст самого последнего пересмотра свидетельств для каждого результата | медиана и 85-й перцентиль (дата конца периода минус дата последнего пересмотра свидетельств) по результатам | дни | Журнал пересмотров | Измерение и отчётность | Регулярный обзор с заинтересованными сторонами | Раз в квартал | Менять дату пересмотра, не пересматривая; пересматривать только лёгкие результаты | Читать заметки пересмотра по выборке; сообщать долю результатов, чей сигнал действительно двинулся или остался ровным |
| Охват инвентаризации систем ИИ | Доля известных функций и систем с ИИ, у которых есть владелец, точка проверки человеком и запись в реестре рисков | системы ИИ со всеми тремя / системы ИИ, найденные последним обходом обнаружения | процент | Инвентарь ИИ и реестр рисков | Управление рисками; управление | Определение готовности для функций ИИ | Раз в квартал | Считать только системы, которые команда решила заявить; классифицировать функции ИИ как обычное программное обеспечение | Независимый обход обнаружения; сравнение с записями поставщиков и контрактов |
| Доля проверенных утверждений | Доля утверждений об ITIL 5, используемых в планах и политиках, прослеженных до собственной публикации владельца | утверждения с датированной ссылкой на владельца / утверждения об ITIL 5, использованные в документах решений за период | процент | Журнал проверки | Управление знаниями; управление | н/д: практика уровня организации без прямого аналога в Agile | Раз в квартал | Ссылаться на страницу поставщика как на владельца; записывать утверждение как проверенное, не прочитав источник | Проверять выборку записей журнала по странице-источнику; правило «источник только от владельца» |
Часть 2: Метрики потока и непрерывной поставки
2.1 Показатели потока
Тема-источник: (см. тему 2.1, Показатели потока).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Работа в процессе (WIP) | Рабочие элементы, начатые, но не завершённые | Число элементов, у которых метка начала задана, а метка завершения пуста, на заявленный момент (например, конец каждого дня); невзятые в работу элементы бэклога и завершённые элементы исключаются | элементы | История состояний в трекере задач или инструменте ITSM | Управление инцидентами; управление запросами на обслуживание; управление изменениями | Ограничение WIP; бэклог команды в работе | Ежедневный снимок, пересматривается раз в неделю | Держать элементы в бэклоге или в колонке «готово к работе» до последнего момента, чтобы они не считались начатыми; закрывать и вновь открывать элементы; прятать работу вне доски | Сверять элементы доски с полученными запросами; выборочно сравнивать доску с реальной работой команды; отслеживать возраст элементов в первой колонке |
| Пропускная способность | Рабочие элементы, завершённые за единицу времени | Число элементов, у которых метка завершения попадает в период (например, календарную неделю, с понедельника по воскресенье); элементы, завершённые и затем открытые заново, считаются снова, только если они новые элементы | элементы в неделю | История состояний в трекере задач или инструменте ITSM | Управление инцидентами; выполнение запросов на обслуживание | Пропускная способность; завершённые элементы | Раз в неделю | Дробить элементы на крошечные части; закрывать элементы до готовности; брать сначала лёгкие элементы | Смотреть на распределение размеров элементов и долю повторного открытия; считать ушедшие дефекты и инциденты, связанные с недавними элементами; пересматривать состав завершённых типов работ |
| Возраст рабочего элемента | Прошедшее время, которое незавершённый элемент находится в процессе | Текущее время минус метка начала для элементов, ещё находящихся в процессе; часы идут сквозь время блокировки; ещё не начатые элементы исключаются | дни | История состояний в трекере задач или инструменте ITSM | Управление инцидентами; управление проблемами | Возраст рабочего элемента; ежедневная сверка команды | Ежедневно, пересматривается на каждой сверке команды | Переводить устаревший элемент в «готово» или в новое состояние, чтобы сбросить часы; тихо отменять старые элементы; создавать свежую копию старого элемента | Проверять переходы состояний назад и отменённые элементы; сообщать отменённые элементы и их возраст; искать дубликаты, созданные вблизи предела возраста |
| Время цикла | Прошедшее время от начала до завершения завершённого элемента | Метка завершения минус метка начала в календарных днях, включительно; часы запускаются при первом переходе в начатое состояние и останавливаются при переходе в завершённое состояние; сообщайте медиану и 85-й и 95-й перцентили | дни | История состояний в трекере задач или инструменте ITSM | Управление инцидентами; выполнение запросов на обслуживание; управление изменениями | Время цикла; длительность элемента | Раз в неделю, со скользящим окном от 8 до 12 недель | Запускать часы поздно, переводя элементы в «в процессе» лишь когда работа почти готова; останавливать их рано, помечая элементы готовыми до проверки или релиза | Сравнивать время начала с первым коммитом или первой активностью; сообщать время между «готово» и релизом; выборочно проверять завершённые элементы на подлинное завершение |
| Достижение SLE | Доля завершённых элементов, уложившихся в ожидание команды по уровню услуги | Завершённые элементы со временем цикла не больше SLE / все элементы, завершённые в окне; всё ещё открытые элементы исключаются | процент | Производная от времени цикла | Управление уровнями услуг | Ожидание по уровню услуги | Раз в месяц | Задавать щедрый SLE; исключать трудные элементы как «особые»; закрывать элементы, чтобы не выйти за предел | Держать SLE на перцентиле прошлых данных и пересматривать его каждый квартал; сообщать исключённые элементы и причину; читать 95-й перцентиль и самые старые открытые элементы |
| Доля времени блокировки | Доля дней в процессе, которые элементы провели помеченными как заблокированные | Элементо-дни в состоянии блокировки / элементо-дни в процессе, за окно; часы для обоих запускаются с метки начала | процент | Флаги трекера задач или статус блокировки в инструменте ITSM | Управление инцидентами; управление проблемами; управление поставщиками | Блокирующие факторы; препятствия, поднятые на ежедневных сверках команды | Раз в неделю | Никогда не помечать блокировки, чтобы доля выглядела низкой; помечать всё как заблокированное, чтобы объяснить задержку | Сравнивать долю блокировки с возрастом элементов в процессе; пересматривать причины блокировок по категориям; выборочно проверять заблокированные элементы на каждую причину |
2.2 Время выполнения, время цикла и эффективность потока
Тема-источник: (см. тему 2.2, Время выполнения, время цикла и эффективность потока).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Время выполнения | Прошедшее время от поступления запроса до его доставки запросившему | метка доставки минус метка поступления запроса, на рабочий элемент; часы запускаются, когда запрос записан, и останавливаются, когда запросивший может использовать результат; всё ещё открытые элементы и элементы, отменённые до доставки, исключаются и считаются отдельно | дни или часы | История инструмента ITSM или трекера задач | Управление запросами на обслуживание; управление инцидентами; управление изменениями | Время выполнения на доске команды; время от запроса до релиза | Раз в неделю, пересмотр раз в месяц | Откладывать создание записи запроса, чтобы часы запускались поздно; закрывать и вновь открывать элементы, чтобы перезапустить часы; делить один запрос на множество крошечных | Сравнивать записи запросов с первым контактом в почте или чате по выборке; отслеживать долю повторного открытия; отслеживать размер и число элементов на запрос |
| Время цикла | Прошедшее время от момента, когда команда начинает работу, до момента её завершения | метка завершения минус метка начала, на рабочий элемент; часы запускаются при первом переходе в активное рабочее состояние, останавливаются при первом переходе в состояние «сделано»; время до начала и после состояния «сделано» исключается | дни или часы | История состояний трекера или доски | Управление инцидентами; управление запросами на обслуживание; управление изменениями | Время цикла (см. тему 2.1, Показатели потока) | Раз в неделю | Запускать часы поздно, переводя элементы в «в процессе» лишь в конце; не вносить элементы на доску, пока они почти не готовы; нарезать работу на части, не дающие ценности сами по себе | Возраст рабочих элементов для открытых элементов (см. тему 2.1, Показатели потока); проверять, что готовые элементы пригодны запросившему; сравнивать время выполнения с временем цикла |
| Время работы с элементом | Время, в которое человек или автоматика активно работает над элементом | сумма интервалов, которые элемент проводит в состояниях, отнесённых к активной работе; состояния ожидания, блокировки и очереди исключаются | часы | История состояний трекера, где каждое состояние отнесено к активным или ожидающим | Управление инцидентами; управление запросами на обслуживание | Время обработки на карте потока создания ценности | Ежемесячная выборка | Относить ожидающие состояния к активным или записывать активность, чтобы казаться занятым | Пересматривать классификацию состояний с командой каждый квартал; выборочно сравнивать записанную активность с коммитами, комментариями и календарями |
| Время ожидания | Время, в которое элемент находится в очереди, заблокирован или приостановлен | время цикла минус время работы с элементом, на рабочий элемент; н/д для элементов без записанного начала | дни или часы | История состояний трекера | Управление инцидентами; управление уровнями услуг | Время ожидания или время блокировки на доске | Раз в месяц | Создавать новые статусы, чтобы время ожидания попало в неизмеряемый промежуток; переносить ожидающие элементы в статус вне рабочего процесса | Считать недокументированные статусы и переходы (см. тему 1.5, Источники данных и инструментирование); проверять по выборке, что время цикла равно времени работы плюс времени ожидания |
| Эффективность потока | Доля времени цикла, потраченная на активную работу | сумма времени работы с элементом / сумма времени цикла, для элементов, завершённых за период; элементы с отсутствующей историей состояний исключаются и считаются отдельно | процент | История состояний трекера | Непрерывное улучшение; управление запросами на обслуживание | Эффективность потока из бережливой практики | Раз в месяц | Переклассифицировать ожидание как активность; выбирать для выборки только быстрые элементы; завершать лёгкие элементы первыми, чтобы поднять отношение | Фиксированная классификация состояний с журналом изменений; вычислять по всем завершённым элементам; сообщать вместе с 85-м перцентилем времени цикла и возрастом открытых элементов |
| Доля пауз часов | Доля времени цикла, в течение которой формальные часы услуги были приостановлены | сумма длительностей пауз / сумма времени цикла, для элементов, завершённых за период; паузы суть статусы, определённые в письменных правилах часов | процент | История статусов инструмента ITSM | Управление уровнями услуг; управление инцидентами | Время в колонке блокировки или удержания | Раз в месяц | Приостанавливать формальные часы услуги по причинам, не зависящим от клиента, например внутренним передачам, чтобы уложиться в SLA | Проверять причины пауз по выборке; сообщать прошедшее время и время SLA рядом; пересматривать собственный взгляд клиента на время решения (см. тему 5.1, Метрики SLA, OLA и XLA) |
2.3 Работа в процессе и теория очередей
Тема-источник: (см. тему 2.3, Работа в процессе и теория очередей).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Работа в процессе | Число элементов, начатых и не завершённых внутри согласованной границы | Число элементов в статусах «в процессе» на момент снимка; элементы в бэклоге или в очереди «готово к работе» до первого рабочего статуса и уже сделанные элементы исключаются | элементы | История статусов трекера задач или инструмента ITSM | Управление инцидентами; управление запросами на обслуживание | Счёт WIP на доске | Ежедневный снимок, пересматривается раз в неделю | Переводить элементы в статус «припарковано» или «на удержании», чтобы остаться под лимитом; дробить элементы, чтобы они выглядели меньше; начинать работу вне доски | Число элементов в припаркованных статусах и их возраст; выборочно сверять доску с реальной работой; сообщать самый старый элемент в процессе |
| Длина очереди | Число элементов, ждущих начала работы или ждущих между этапами | Число элементов в статусах ожидания (например, «новый», «ожидает сортировки», «ожидает проверки») на момент снимка; заблокированные элементы сообщаются отдельно, а не добавляются | элементы | История статусов трекера или инструмента ITSM | Управление инцидентами; управление изменениями | Колонка «готово к работе» и колонки очередей на доске | Ежедневный снимок, пересматривается раз в неделю | Закрывать и вновь открывать элементы; отклонять новые элементы на входе; переименовывать статусы ожидания, чтобы они выпали из счёта | Доля повторного открытия и доля отклонений рядом с длиной очереди; пересмотр определений статусов на каждом пересмотре метрик |
| Время в очереди | Прошедшее время, которое элемент ждёт до начала работы, по этапам | Часы запускаются, когда элемент входит в статус ожидания, и останавливаются, когда он входит в следующий активный статус; время в статусе «заблокирован на клиенте» исключается и сообщается как отдельная цифра; сообщайте медиану и 85-й перцентиль | часы или дни | Метки времени переходов статусов в трекере или инструменте ITSM | Служба поддержки; управление инцидентами; управление изменениями | Время ожидания в потоке создания ценности; время в колонках очередей | Раз в неделю | Запускать часы поздно, создавая запись после того, как работа готова; приостанавливать часы через статусы блокировки или ожидания клиента; помечать элемент как в процессе, когда он только открыт | Распределение времени в статусах блокировки и паузы; доля элементов, созданных после начала; сообщаемое запросившим ожидание из короткого опроса |
| Интенсивность поступления и выбытия | Элементы, входящие в систему и покидающие её за период, и их разность как чистый рост очереди | Поступления = элементы, вошедшие в границу за период; выбытия = элементы, завершённые за период; чистый рост = поступления минус выбытия; вновь открытые элементы считаются поступлениями, только если так определила команда | элементы в неделю | Метки создания и решения в трекере или инструменте ITSM | Мониторинг и управление событиями; управление инцидентами | Пропускная способность и кумулятивная диаграмма потока | Раз в неделю | Быстро закрывать элементы, чтобы поднять выбытия; делить один запрос на множество, чтобы поднять оба счёта; считать дубликаты поступлениями | Показатели качества и повторного открытия по закрытым элементам (см. тему 3.3, Время реагирования на инциденты и их устранения); распределение размеров элементов; проверка результата для клиента |
| Коэффициент загрузки команды | Доля ёмкости команды, которую потребила бы плановая и ожидаемая работа | Часы спроса, ожидаемые за период (поступления на среднее усилие на элемент) / часы доступной ёмкости после отпусков и фиксированных обязательств; команда заявляет, как оценивает усилие; отдельные люди никогда не сообщаются | процент | План ёмкости, история усилий в трекере, график дежурств | Управление ёмкостью и производительностью; управление персоналом и талантами | Ёмкость команды в плановой работе | Раз в месяц и на каждом событии планирования | Занижать усилие, чтобы показать свободную ёмкость, или завышать спрос, чтобы оправдать штат; сообщать отношение за благоприятный период | Сравнивать оценённое и фактическое усилие на элемент; показывать отношение с трендом и долей прерываний; экспертная проверка метода оценки |
| Доля нарушений лимита WIP | Доля дней, когда этап или система превышает согласованный лимит WIP | Дни с WIP выше лимита / рабочие дни периода; дни, когда команда записала сознательное исключение с причиной, сообщаются отдельно | процент дней | Ежедневные снимки WIP и журнал исключений | Непрерывное улучшение; управление инцидентами | Рабочее соглашение о лимите WIP | Раз в неделю | Поднимать лимит, чтобы остановить нарушения; прятать нарушения, убирая элементы с доски; свободно давать исключения | Число и причины исключений; история изменений лимита с датами; перцентиль времени цикла рядом с долей нарушений |
| Коэффициент согласованности по закону Литтла | Проверка того, что три числа потока согласуются друг с другом | Средний WIP за период / (выбытия в день на среднее время цикла в днях) для той же границы и периода; отношение около 1 означает, что определения согласованы, отношение далеко от 1 означает, что граница или часы несогласованы | отношение | Те же данные трекера, что и для других показателей потока | Измерение и отчётность | Проверка здравого смысла показателей потока на ретроспективе | Раз в месяц | Подгонять границу или период, пока отношение не приблизится к 1; исключать долгоживущие элементы как выбросы | Заранее фиксировать границу и период; публиковать исключённые элементы и их число; пересматривать изменения границы с причиной |
2.4 Метрики потока создания ценности
Тема-источник: (см. тему 2.4, Метрики потока создания ценности).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Время выполнения потока создания ценности | Прошедшее время от запроса клиента до момента, когда клиент может использовать результат | время подтверждения доставки минус время регистрации запроса; отменённые или отозванные элементы исключаются; сообщайте медиану и 85-й и 95-й перцентили | дни | Записи инструмента ITSM, объединённые с событиями доставки из конвейера или системы выполнения | Управление запросами на обслуживание; управление изменениями | Время выполнения на доске команды | Раз в месяц | Запускать часы позже, например при сортировке вместо запроса; закрывать элементы до того, как клиент может их использовать; делить один запрос на несколько малых | Фиксированные правила часов, записанные в реестре метрик; подтверждение доставки клиентом; число вновь открытых элементов и связанных дочерних элементов |
| Время обработки | Время, когда над элементом активно работают, по этапам и для потока | сумма интервалов, в которых элемент находится в активном состоянии, по этапам; очередь, ожидание согласования и заблокированные состояния исключаются | часы или дни | История статусов трекера; записи учёта времени там, где состояния слишком грубы | Управление инцидентами; управление запросами на обслуживание | Время цикла в колонках «в процессе» | Раз в месяц | Записывать простой или заблокированное состояние как активное, чтобы время обработки росло и поток выглядел эффективным; или записывать ожидание как работу, чтобы казаться занятым | Наблюдение за выборкой элементов; сравнение времени обработки с записями учёта времени, где они есть; пересмотр определений состояний с командой |
| Время ожидания | Время, когда элемент сидит между активной работой, по этапам и для потока | прошедшее время этапа минус время обработки этого этапа; включает очереди, согласования, передачи и время блокировки | дни | История статусов трекера и смены состояний инструмента ITSM | Управление изменениями; служба поддержки | Время в колонках очередей; время блокировки | Раз в месяц | Переносить ожидание в неотслеживаемое состояние, например в побочный разговор, электронную таблицу или статус «ожидает», останавливающий часы | Сообщать использование статусов паузы и блокировки; сравнивать возраст заявки с метками времени этапов; выборочно проверять элементы на ожидание вне системы |
| Эффективность процесса | Доля времени выполнения, составляющая время обработки | сумма времени обработки по этапам / время выполнения потока для тех же элементов; всё ещё открытые элементы исключаются | процент | Производная от времени обработки и времени выполнения | Непрерывное улучшение | Эффективность потока | Раз в квартал | Сокращать время выполнения срочной обработкой измеряемых элементов или раздувать время обработки, чтобы поднять отношение | Показывать время выполнения и время обработки рядом с отношением; сообщать долю срочной обработки; никогда не задавать цель по самому отношению |
| Процент полного и точного (этап) | Доля элементов, которые получает этап и может использовать без исправления, дополнения или возврата | элементы, принятые как полученные / элементы, полученные за период; элементы, возвращённые по любой причине, считаются непринятыми | процент | События возврата и повторного открытия в трекере или инструменте ITSM; выборочные проверки приёмки | Управление запросами на обслуживание; управление изменениями; управление проблемами | Определение готовности; доля переделок | Раз в месяц | Принимающий этап снижает планку приёмки, чтобы возвращалось меньше элементов, или отправляющий этап проталкивает работу неформальными обходными путями | Письменное условие приёмки; счёты дефектов и переделок ниже по потоку; выборка принятых элементов, проверенная третьей стороной |
| Совокупный процент полного и точного | Доля элементов, проходящих каждый этап чисто | произведение значений %C/A этапов для одного потока и периода (например, 0,90 × 0,85 × 0,95); этапы вне потока исключаются | процент | Производная от значений этапов | Непрерывное улучшение | Доля ушедших дефектов и переделок по конвейеру | Раз в квартал | Сливать этапы, чтобы возвраты происходили внутри этапа и исчезали из числа передач; выбирать благоприятный список этапов | Заранее фиксировать список этапов; записывать изменения этапов в журнале решений; сравнивать с долей переделок для всего потока |
| Число передач | Сколько раз элемент переходит между командами или очередями | число смен владеющей команды или очереди от запроса до доставки, на элемент; сообщайте медиану и 85-й перцентиль | число | История назначений в инструменте ITSM или трекере | Служба поддержки; управление запросами на обслуживание | Зависимости между командами | Раз в квартал | Переназначать элементы в общую очередь или универсальному владельцу, чтобы избежать счёта смен владельца; прятать передачи в единой «команде», охватывающей несколько | Считать по очередям и ролям; читать историю назначений выбранных элементов; отслеживать число переназначений на элемент |
| Отношение к такту | Соответствует ли темп потока спросу | медианный наблюдаемый интервал между завершениями / такт, где такт есть доступное рабочее время, делённое на востребованные элементы за тот же период; отношение выше 1 означает, что поток медленнее спроса | отношение | Подсчёт спроса из очереди приёма и события завершения | Управление ёмкостью и производительностью; управление уровнями услуг | Пропускная способность против спроса; прогноз | Раз в квартал | Считать отложенный или отклонённый спрос невостребованным; считать частичные завершения завершениями | Сообщать спрос, отклонённый спрос и возраст бэклога рядом с отношением; считать завершения, только когда клиент подтверждает |
2.5 Метрики прогнозирования и планирования поставки
Тема-источник: (см. тему 2.5, Метрики прогнозирования и планирования поставки).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Доля попаданий прогноза | Доля прогнозов, где фактический результат попал внутрь заявленного диапазона | прогнозы, чей фактический исход был в заявленном диапазоне / сделанные прогнозы | процент | Журнал прогнозов и записи поставки | Управление ёмкостью и производительностью; непрерывное улучшение | Точность прогнозирования в разговорах о планировании | Раз в месяц | Указывать очень широкие диапазоны, чтобы каждый прогноз попадал; пересчитывать прогноз постфактум | Ширина диапазона прогноза; хранить исходный прогноз в журнале; сравнивать диапазоны с историей коллег |
| Ширина диапазона прогноза | Насколько широк был заявленный диапазон относительно медианного прогноза | (верхняя граница минус нижняя граница) / медианный прогноз | отношение | Журнал прогнозов | Управление ёмкостью и производительностью | Сужение конуса неопределённости | Раз в месяц | Сужать диапазоны, чтобы выглядеть уверенно | Доля попаданий прогноза; требовать построения диапазона из записанной истории |
| Успех цели поставки | Доля заявленных целей поставки, достигнутых за период, оцениваемая по результату | достигнутые цели / поставленные цели | процент | Записи целей, согласованных с заинтересованными сторонами | Управление уровнями услуг; непрерывное улучшение | Обзор результата с заинтересованными сторонами | Раз в месяц или на каждый релиз цели | Ставить лёгкие цели; переопределять цель постфактум; принимать выпуск за результат | Результат судят заинтересованные стороны; формулировки целей хранятся в журнале; проверять данные об использовании доставленного изменения |
| Доля изменений объёма | Доля обязательной работы, добавленной, убранной или переоценённой после того, как прогноз был сделан | элементы, добавленные или убранные после прогноза / элементы в исходном прогнозе | процент | История изменений трекера работ | Управление изменениями; управление уровнями услуг | Адаптация бэклога к обратной связи | Раз в месяц | Замораживать объём, отказываясь от обоснованных изменений; прятать изменение объёма переоценкой элементов | Удовлетворённость заинтересованных сторон отзывчивостью; причины изменений записываются |
| Распределение ёмкости | Доля ёмкости команды, потраченная на изменения, операционную работу и улучшение | завершённые элементы или часы в каждой категории / все завершённые элементы или часы | процент | Трекер работ с типом работы | Управление ёмкостью и производительностью; управление инцидентами | Распределение типов работ | Раз в месяц | Неверно помечать операционную работу как улучшение; прятать операционную нагрузку, работая вне доски | Сверять с записями инцидентов и запросов; выборочно проверять элементы на тип |
| Стабильность пропускной способности | Вариация недельной пропускной способности | стандартное отклонение недельной пропускной способности / среднее недельной пропускной способности | отношение | Трекер работ | Управление ёмкостью и производительностью | Предсказуемость потока | Раз в месяц | Дробить элементы на тривиальные части, чтобы поднять счёт; закрывать элементы, не завершив их | Распределение размеров элементов; доля повторного открытия; выборка на поставленную ценность |
| Локальная скорость | Завершённая работа одной команды в её собственной единице оценки за период планирования | сумма оценок элементов, отвечающих определению готовности в периоде | очки, определённые командой | Трекер работ | Управление ёмкостью и производительностью | Вспомогательное средство планирования ёмкости команды | За период планирования | Раздувать оценки; делить истории, чтобы заявить очки; сравнивать команды | Держать её частной для команды; сравнивать с пропускной способностью и временем цикла; никогда не ставить цель |
2.6 Метрики бэклога и его уточнения
Тема-источник: (см. тему 2.6, Метрики бэклога и его уточнения).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Размер бэклога | Число открытых элементов в названном бэклоге на момент времени | Число элементов со статусом «открыт» или «готов» на дату снимка; элементы в работе и закрытые элементы исключаются | элементы | Снимок трекера задач или инструмента ITSM | Управление инцидентами; управление запросами на обслуживание; управление проблемами | Бэклог продукта; входная очередь | Раз в неделю | Массово закрывать элементы как устаревшие, делить элементы, чтобы выглядеть занятым, или прятать работу в побочных списках и электронных таблицах | Доля отбрасывания бэклога с причинами ухода; периодическое сравнение инструмента с реальным списком запросов; обратная связь клиентов по отброшенным элементам |
| Возраст бэклога | Распределение того, как долго ждали открытые элементы | Для каждого открытого элемента дата снимка минус дата его входа в бэклог; сообщайте медиану, 85-й перцентиль и самый старый элемент | дни | История создания и статусов трекера задач или ITSM | Управление инцидентами; управление проблемами; непрерывное улучшение | Здоровье бэклога; пересмотр старых элементов | Раз в неделю | Сбрасывать дату входа клонированием или пересозданием старых элементов; переносить элементы между бэклогами; вновь открывать вместо повторного поднятия, чтобы изменить часы | Аудит клонированных и перенесённых элементов; пересмотр самых старых элементов; возраст, измеряемый с первого создания по связанным записям |
| Глубина готовой работы | Насколько далеко вперёд у команды есть готовая работа | Элементы, отвечающие определению готовности / среднее число элементов, завершаемых в неделю за последние шесть периодов | недели | Флаг готовности в трекере задач и история пропускной способности | Бизнес-анализ; управление запросами на обслуживание | Определение готовности; уточнение | За период планирования | Помечать элементы готовыми без проверки; раздувать глубину, записывая детальные элементы для малоценной работы | Выборка готовых элементов, прочитанных относительно определения; доля переделок или возврата на уточнение, когда работа начинается |
| Охват уточнением | Доля ближайшего окна, которая готова | Элементы в ближайших двух двухнедельных периодах ожидаемой работы (или первые N по порядку), отвечающие определению готовности / элементы в этом окне | процент | Порядок, флаг готовности и плановая работа в трекере задач | Бизнес-анализ; управление изменениями (для плановых изменений) | Уточнение бэклога продукта | За период планирования | Ставить флаг готовности, чтобы выполнить число; сужать окно, чтобы считалось меньше элементов | Число элементов, возвращённых после планирования; успех цели поставки и изменение объёма в середине периода (см. тему 2.5, Метрики прогнозирования и планирования поставки) |
| Отношение поступления к выбытию бэклога | Приходят ли элементы быстрее, чем уходят | Элементы, добавленные за период / элементы, убранные из бэклога завершением или отбрасыванием за тот же период; отношение выше 1 означает рост | отношение | События создания и решения в трекере задач или ITSM | Управление инцидентами; управление запросами на обслуживание; управление ёмкостью и производительностью | Интенсивность поступления и выбытия | Раз в неделю | Быстро закрывать лёгкие элементы, чтобы поднять выбытие, или отказывать новым элементам на входе, чтобы удержать поступление | Возраст самых старых элементов; доля отбрасывания; доля запросов, отклонённых без причины; неудовлетворённые нужды по сообщениям клиентов |
| Доля отбрасывания бэклога | Доля уходящих элементов, удалённых без поставки | Элементы, закрытые как «не будем делать», дубликат или устаревшее / все элементы, покинувшие бэклог за период; исключает элементы, закрытые как «сделано» | процент | Поле решения в трекере задач | Непрерывное улучшение; управление проблемами (пересмотр известных ошибок) | Подрезка бэклога; упорядочение владельцем продукта | Раз в месяц | Отбрасывать элементы, которые пользователи всё ещё хотят, чтобы сократить размер; или избегать отбрасывания, чтобы число выглядело мягким | Пересмотр выборки отброшенных элементов вместе с запросившим; доля повторного открытия и повторного поднятия отброшенных элементов |
| Доля сервисного бэклога сверх цели | Доля открытых сервисных элементов старше согласованного окна реагирования или решения | Открытые элементы, чьё прошедшее время превышает целевое значение услуги / все открытые элементы в очереди; часы идут с регистрации и приостанавливаются только в состояниях, которые разрешает письменное определение | процент | Инструмент ITSM с часами уровня услуги | Управление уровнями услуг; управление инцидентами; управление запросами на обслуживание | Полоса срочных задач; ожидание по уровню услуги | Ежедневно или еженедельно | Приостанавливать часы состоянием «ожидание клиента», понижать приоритет или закрывать и вновь открывать, чтобы сбросить окно | Доля времени в состояниях паузы; доля повторного открытия (см. тему 1.2, Закон Гудхарта и психология метрик); удовлетворённость пользователей по закрытым заявкам |
2.7 Метрики запросов на слияние и проверки кода
Тема-источник: (см. тему 2.7, Метрики запросов на слияние и проверки кода).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Время до первой проверки | Ожидание между готовностью запроса на слияние к проверке и первым содержательным ответом человека | Часы запускаются, когда запрос на слияние выходит из статуса черновика или открыт готовым, и останавливаются на первом комментарии проверки, запросе изменений или утверждении кем-то, кроме автора; комментарии ботов и автора и чистые смены меток исключаются. Сообщайте медиану и 85-й перцентиль в рабочих часах | рабочие часы | История событий платформы контроля версий | Разработка и управление программным обеспечением; управление изменениями | Рабочее соглашение об отзывчивости проверки; поток работы в процессе | Раз в неделю | Писать быстрое «выглядит хорошо» или смайлик как первый ответ; назначать бота или дружелюбного проверяющего; помечать запрос на слияние готовым лишь после того, как кто-то заранее согласился посмотреть | Доля исправлений после слияния; выборка утверждений без комментариев; требовать в рабочем соглашении, чтобы первые ответы были содержательными |
| Время цикла проверки | Полное время от готовности к проверке до слияния | Часы запускаются, когда запрос на слияние готов к проверке, и останавливаются на слиянии; запросы на слияние, закрытые без слияния, исключаются и считаются отдельно. Сообщайте медиану и 85-й перцентиль в рабочих часах | рабочие часы | История событий платформы контроля версий | Управление развёртыванием; управление изменениями | Время цикла этапа проверки на доске команды | Раз в неделю | Сливать, не дожидаясь проверки; делить изменение на крошечные части, чтобы проходило быстрее; закрывать и вновь открывать запрос на слияние, чтобы сбросить часы | Число закрытых и вновь открытых запросов на слияние; раунды проверки; доля исправлений после слияния; правила защищённых веток, требующие утверждения |
| Размер запроса на слияние | Объём изменения в запросе на слияние | Добавленные строки плюс удалённые строки, исключая сгенерированные файлы, файлы блокировок, сторонний код и чистые переименования, как перечислено в правилах игнорирования репозитория. Сообщайте медиану и 85-й перцентиль на слитый запрос на слияние | изменённые строки | Статистика различий платформы контроля версий | Разработка и управление программным обеспечением | Малый размер партии; нарезка историй | Раз в неделю | Исключать файлы из счёта; делить одно изменение на части, не понятные по отдельности; раздувать размер сгенерированным кодом | Пересматривать правила игнорирования каждый квартал; проверять, что разделённые части собираются и проходят тесты в одиночку; читать выборку самых малых и самых больших |
| Раунды проверки | Число циклов отправки автора и ответа проверяющего до слияния | Число различных циклов «запрошены изменения» или «комментарий, затем отправка» на слитый запрос на слияние; первая отправка есть нулевой раунд, а сбои автоматических проверок исключаются. Сообщайте медиану и 85-й перцентиль | число | События проверки и отправки платформы контроля версий | Непрерывное улучшение; разработка и управление программным обеспечением | Сигнал переделок на этапе проверки; определение готовности | Раз в неделю | Утверждать с первого прохода, чтобы держать счёт низким; переносить обсуждение в чат, чтобы оно не оставляло следа; авторы отправляют много правок одним коммитом, чтобы спрятать раунды | Доля исправлений после слияния; выборка запросов на слияние с нулём раундов; держать обсуждение в запросе на слияние |
| Концентрация нагрузки проверки | Насколько неравномерно распределена работа по проверке в команде | Доля завершённых проверок команды, обработанных двумя самыми загруженными проверяющими за скользящие 4 недели; проверки собственного запроса на слияние и проверки ботов исключаются. Сообщается для команды, никогда по именам | процент | События проверки платформы контроля версий, агрегированные до команды | Непрерывное улучшение; управление знаниями | Общее владение кодом; коллективное владение | Раз в месяц | Делить проверки на много малых утверждений, чтобы распределить счёт; назначать проверки тем, у кого есть свободное время, но нет знаний | Проверять знание проверяющего для рискованных областей; следить за долей исправлений после слияния по областям; держать показатель на уровне команды |
| Число застоявшихся запросов на слияние | Запросы на слияние, открытые дольше согласованного командой предела | Запросы на слияние, всё ещё открытые и не черновики, чей возраст с момента готовности к проверке превышает предел команды, считаются на момент снимка; черновики исключаются | число | Список открытых запросов на слияние платформы контроля версий | Управление изменениями; непрерывное улучшение | Возраст рабочего элемента; ограничение WIP | Раз в неделю | Закрывать застоявшиеся запросы на слияние без слияния; превращать их в черновики, чтобы спрятать; поднимать предел застоя | Число запросов на слияние, закрытых неслитыми; число долго живущих черновиков; пересматривать предел с командой каждый квартал |
| Доля исправлений после слияния | Доля слитых запросов на слияние, за которыми вскоре следует исправляющее изменение | Слитые запросы на слияние, за которыми в течение 14 дней последовало исправление, откат или срочное исправление, связанные с тем же изменением / слитые запросы на слияние за период; плановая последующая работа, помеченная как таковая, исключается | процент | История контроля версий, связанные задачи и записи об инцидентах или изменениях | Управление изменениями; управление инцидентами | Встроенное качество; определение готовности | Раз в месяц | Записывать исправления под новым рабочим элементом без связи; помечать исправляющую работу как плановое продолжение; избегать показателя, откладывая исправление за пределы окна | Сравнивать с данными об инцидентах и сбоях изменений; выборка последующих элементов; аудит используемых меток |
2.8 Метрики DORA
Тема-источник: (см. тему 2.8, Метрики DORA).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Время выполнения изменения | Время, за которое зафиксированное изменение попадает в продуктив | Часы запускаются при первом коммите изменения (или при его слиянии в основную ветку, если так сказано в определении) и останавливаются, когда развёртывание в продуктив успешно завершено; сообщайте медиану и 85-й перцентиль изменений, развёрнутых в периоде; никогда не развёрнутые изменения исключаются и сообщаются отдельно как работа в процессе | Часы или дни | Система контроля версий, объединённая с конвейером развёртывания | Управление развёртыванием; управление релизами; управление изменениями | Время цикла; время до продуктива | Раз в неделю или на релиз, пересматривается раз в месяц | Сдвигать начало часов позже, например начиная со слияния вместо первого коммита; рано сливать в долгоживущую ветку; исключать трудные изменения как «не код»; пропускать через конвейер тривиальные изменения, чтобы опустить медиану | Перцентиль и возраст работы в процессе; фиксированное письменное начало часов; выборка самых медленных 10 % изменений каждый квартал; распределение размеров изменений |
| Частота развёртываний | Как часто команда развёртывает в продуктив | Число успешных развёртываний приложения в продуктив за период / дни в периоде; неудачные или откатанные развёртывания исключаются из счёта успехов; развёртывания в тестовые среды исключаются | Развёртываний в день или в неделю | Журнал событий конвейера развёртывания | Управление развёртыванием; управление релизами | Непрерывная поставка; выпуск в конце каждого приращения | Раз в неделю | Дробить одно изменение на множество тривиальных развёртываний; повторно развёртывать неизменённые сборки; считать развёртывания в промежуточную среду или пустые изменения конфигурации | Размер изменения на развёртывание; доля развёртываний, содержащих изменение, видимое пользователю; рядом доля сбоев изменений и доля переделок |
| Время восстановления после неудачного развёртывания | Сколько времени занимает восстановление, когда развёртывание вызывает сбой в продуктиве | Часы запускаются, когда сбой обнаружен или о нём сообщено (по одному и тому же правилу каждый раз), и останавливаются, когда услуга восстановлена для пользователей; сообщайте медиану и 85-й перцентиль для неудачных развёртываний периода; инциденты, не вызванные развёртыванием, исключаются | Минуты или часы | Запись об инцидентах, объединённая с событиями развёртывания и оповещениями мониторинга | Управление инцидентами; управление непрерывностью услуг | Время восстановления; работа по восстановлению | На каждый сбой, пересматривается раз в месяц | Запускать часы поздно или закрывать инциденты рано; переклассифицировать сбой как новый инцидент после частичного исправления; повышать порог серьёзности для «сбоя» | Повторение того же инцидента в заявленном окне; начало часов берётся из оповещений мониторинга; длительность воздействия по сообщениям клиентов |
| Доля сбоев изменений | Доля развёртываний в продуктив, вызывающих сбой, требующий исправления | Развёртывания, потребовавшие срочного исправления, отката, патча или реагирования на инцидент / все развёртывания в продуктив за период; правило, связывающее сбой с его развёртыванием, записано и применяется одинаково каждый раз | Процент | События развёртывания, объединённые с инцидентами, откатами и развёртываниями срочных исправлений | Управление изменениями; управление инцидентами | Определение готовности; ушедшие дефекты | Раз в месяц | Не связывать инциденты с развёртываниями; считать только сбои, вызывающие полный отказ; расширять окно так, чтобы сбои выпадали из него; исправлять вперёд и называть это новым изменением | Каждый квартал сверять выборку инцидентов с журналом развёртываний; отслеживать долю инцидентов с записанной связью с развёртыванием; доля переделок развёртываний |
| Доля переделок развёртываний | Доля развёртываний в продуктив, которые были внеплановыми и сделаны для исправления проблемы, видимой пользователям | Внеплановые развёртывания в ответ на проблему в продуктиве / все развёртывания в продуктив за период; плановые развёртывания, которые случайно содержат исправление, исключаются; правило «внеплановое» записано | Процент | Журнал конвейера, помеченный причиной развёртывания, связанный с записями об инцидентах или дефектах | Управление изменениями; управление проблемами | Внеплановая работа; исправление ошибки, выпущенное вне плана | Раз в месяц | Помечать исправления как плановую работу; включать исправление в плановый релиз; избегать развёртываний исправлений, откладывая исправление | Счёты дефектов и ушедших дефектов из трекера; возраст открытых дефектов в продуктиве; аудит меток по выборке развёртываний |
2.9 Операционная и внеплановая работа
Тема-источник: (см. тему 2.9, Операционная и внеплановая работа).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Доля внеплановой работы | Доля завершённых рабочих элементов по счёту, которых не было в плане в начале периода | элементы, завершённые в периоде, вошедшие на доску или в бэклог после начала периода / все элементы, завершённые в периоде; часы запускаются на событии планирования и останавливаются в конце периода; отменённые элементы и всё ещё открытые исключаются | процент | Трекер задач с временем создания элементов и снимком планирования | Управление инцидентами; управление запросами на обслуживание | Изменение объёма; типы рабочих элементов | Раз в месяц | Поздно добавлять элементы в снимок планирования, чтобы они считались плановыми; оставлять срочную работу неотслеживаемой, чтобы она никогда не считалась; помечать плановые элементы как внеплановые, чтобы оправдать невыполненный план | Замороженный снимок планирования с меткой времени; число неклассифицированных; выборка закрытых элементов, читаемая каждый квартал, чтобы сравнить метку с тем, что произошло |
| Соблюдение распределения ёмкости | Насколько точно фактическое усилие соответствует заявленному разделению между работой по изменениям, по эксплуатации и по улучшению | для каждой категории абсолютная разность фактической и согласованной доли, суммируется и делится пополам; фактическая доля есть завершённые элементы (или записанное усилие, где команда его фиксирует) в этой категории / все завершённые элементы; элементы без категории сообщаются отдельно и не отбрасываются | процентные пункты | Поле типа работы в трекере задач и записи учёта времени, где они есть | Непрерывное улучшение; управление ёмкостью и производительностью | Распределение или планирование ёмкости | Раз в месяц | Переносить элементы между категориями, чтобы соответствовать согласованному разделению; делить один элемент на несколько, чтобы сдвинуть доли; выбирать разделение, которое команда и так выполняет | Фиксированные определения категорий, записанные в рабочем соглашении; выборка описаний элементов против их категорий; надёжность планового обязательства |
| Интенсивность прерываний | Как часто требования вне плана доходят до команды и до людей, делающих плановую работу | прерывания, полученные командой в периоде / рабочие дни периода, где прерывание есть любая заявка, вызов, запрос в сообщении или просьба, записанные в канале приёма команды и ещё не бывшие в плане; дубликаты одного и того же лежащего в основе требования считаются один раз | прерываний в рабочий день | Журнал канала приёма, очередь ITSM, система оповещений и журнал прерываний команды | Управление инцидентами; управление запросами на обслуживание; мониторинг и управление событиями | Журнал прерываний или рабочее соглашение команды | Раз в неделю | Превращать прерывания в молчаливые услуги, никогда не доходящие до журнала; объединять несколько требований в одну запись; отбивать у людей охоту просить | Сравнивать журнал с трафиком канала приёма и историей оповещений; спрашивать команду на ретроспективе, соответствует ли журнал их опыту |
| Доля срочных задач | Доля завершённых элементов, использовавших полосу срочных задач | элементы, завершённые в периоде и вошедшие в полосу срочных задач / все элементы, завершённые в периоде; часы запускаются, когда элемент помечен срочным, и останавливаются на завершении; элементы, выведенные из полосы до начала работы, считаются отдельно | процент | История полосы доски или поля приоритета | Управление инцидентами; управление изменениями (экстренное изменение) | Класс обслуживания «срочный» | Раз в месяц | Держать срочную работу вне полосы, чтобы выглядеть дисциплинированно, или помещать в неё всё ради скорости; переопределять срочное как «важное» | Лимит полосы с входным тестом; доля срочных элементов, прошедших тест на пересмотре; вытеснение плановой работы |
| Вытеснение плановой работы | Число плановых элементов, вытолкнутых или брошенных, чтобы освободить место для внеплановой работы | плановые элементы, убранные из периода, отложенные или оставленные незавершёнными с записанной причиной «вытеснено внеплановой работой» в периоде (число); элементы, убранные потому что цель изменилась, исключаются | число элементов | История изменений доски с полем причины | Управление изменениями; непрерывное улучшение | Защита цели поставки; согласование объёма | Раз в месяц | Записывать вытеснение как изменение объёма по выбору; позволять плановым элементам тихо проваливаться без причины; избегать плановых элементов, вероятно подлежащих вытеснению | Обязательное поле причины на каждом убранном или незавершённом элементе; надёжность планового обязательства; пересмотр причин на ретроспективе |
| Доля повторяющейся внеплановой работы | Доля внеплановых элементов, чья причина совпадает с более ранним внеплановым элементом в окне просмотра назад | внеплановые элементы, завершённые в периоде и связанные с той же записью о проблеме, правилом оповещения или меткой причины, что и более ранний элемент в окне просмотра назад (например, 90 дней) / все внеплановые элементы, завершённые в периоде; элементы без метки причины сообщаются отдельным числом неклассифицированных | процент | Записи об инцидентах и проблемах ITSM, метки причин в трекере | Управление проблемами; управление известными ошибками | Действия ретроспективы; метки повторяющихся дефектов | Раз в месяц | Использовать грубую метку причины, чтобы повторы прятались, или тонкую, чтобы ничто не повторялось; закрывать запись о проблеме, чтобы убрать связь | Таксономия меток причин пересматривается каждый квартал; число неклассифицированных; проверка повторения после закрытия записи о проблеме |
| Надёжность планового обязательства | Доля элементов, которые команда планировала на период и завершила в периоде | плановые элементы, завершённые в периоде / плановые элементы в начале периода; элементы, добавленные после начала, исключаются из обоих счётов | процент | Снимок планирования и история завершения в трекере | Управление уровнями услуг; управление изменениями | Надёжность прогноза | Раз в месяц | Планировать мало, чтобы завершить всё; накачивать оценки; считать частичный элемент выполненным; сбрасывать трудные элементы до начала периода | Размер и ценность запланированных элементов, сравниваемые во времени; проверка результата цели поставки; доля внеплановой работы, чтобы высокое значение не читалось как здоровье, когда план был робким |
Часть 3: Метрики службы поддержки, инцидентов и запросов
3.1 Метрики службы поддержки
Тема-источник: (см. тему 3.1, Метрики службы поддержки).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Объём обращений | Число обращений, полученных службой поддержки, по каналу и периоду | число обращений, созданных в периоде, по каналу; внутренние тестовые обращения, дубликаты автоответов электронной почты и исходящие звонки, сделанные службой, исключаются | число | Журнал телефонной или чат-платформы; записи обращений инструмента ITSM | Служба поддержки | Сигнал спроса при уточнении бэклога | Раз в неделю | Операторы отбивают охоту регистрировать, направляя пользователей в каналы, которые не считаются, или делят одно обращение на несколько, чтобы очередь выглядела занятой; менеджеры ставят цель на меньший объём | Интенсивность обращений на 100 пользователей и периодическая сверка телефонных счётов со счётами заявок; фиксированное правило, что каждый канал считается |
| Интенсивность обращений | Обращения относительно размера обслуживаемой совокупности, чтобы рост не принимали за проблему | обращения в периоде / активные пользователи или активные учётные записи в периоде, приведённые к 100 пользователям; число пользователей берётся за тот же период, а определение «активный» записано | обращений на 100 пользователей | Записи обращений и система учёта идентичностей или лицензий | Служба поддержки; управление уровнями услуг | Спрос с поправкой на использование на обзоре продукта | Раз в месяц | Знаменатель выбирается постфактум (например, широкое определение «активный»), чтобы доля выглядела лучше | Письменное датированное определение «активных пользователей» и сырые счёты, показанные рядом с долей |
| Время до ответа | Ожидание с момента, когда обращение входит в очередь, до момента, когда включается человек или автоматический ответ | часы запускаются, когда обращение поставлено в очередь, и останавливаются на первом ответе человека; брошенные обращения исключаются из этого показателя и считаются в отказе от ожидания; сообщайте медиану и 85-й перцентиль | секунды (телефон, чат); минуты или часы (электронная почта, портал) | Телефонная платформа; чат-платформа; метки времени инструмента ITSM | Служба поддержки | Рабочее соглашение об отзывчивости | Ежедневно в окнах пересмотра, еженедельно в тренде | Обращения отвечаются автоприветствием или передачей в тихую очередь, либо звонок берётся и ставится на удержание; электронная почта получает автоответ, засчитываемый как ответ | Определить часы как первый ответ человека и отслеживать рядом отказ от ожидания и повторные обращения |
| Доля отказов от ожидания | Доля обращений, заканчивающихся пользователем до того, как кто-либо включился | обращения, завершённые пользователем до первого ответа человека / обращения, поставленные в очередь; обращения, завершённые в течение короткого льготного периода (указанного в определении, например пять секунд), исключаются как случайные | процент | Телефонная платформа; чат-платформа | Служба поддержки | Сигнал цены задержки на обзоре услуги | Раз в неделю | Звонящих сбрасывают до постановки в очередь, льготный период растягивают, либо предложение обратного звонка засчитывают как отвеченное обращение | Перцентили времени до ответа, доля завершённых обратных звонков и опубликованный льготный период |
| Время обработки | Время, которое служба тратит на обращение | часы запускаются, когда включается человек, и останавливаются, когда он заканчивает обращение, включая работу по документированию после обращения; ожидание пользователя включается, только если так сказано в определении; сообщайте медиану и 85-й перцентиль с разбивкой по типу обращения | минуты | Телефонная платформа; чат-платформа; журнал работ инструмента ITSM | Служба поддержки; управление инцидентами | Сигнал усилия при уточнении и планировании ёмкости | Раз в неделю | Звонки торопят, рано передают или обрывают до решения проблемы; заметки оставляют скудными; работу переносят во время после обращения, которое часы исключают | Решение с первого контакта, доля повторных обращений и выборочная проверка командой качества документации |
| Доля решения с первого контакта | Доля обращений, решённых при первом контакте без последующего обращения по тому же вопросу | обращения, решённые во время обращения и не сопровождаемые повторным обращением по той же проблеме от того же пользователя в окне повторного обращения / подходящие обращения; звонки, где требуется только перенаправление, и звонки, которые служба не должна решать, исключаются | процент | Поля решения и связи инструмента ITSM; подтверждение пользователя, где собирается | Служба поддержки; управление инцидентами | Проверка определения готовности, решено при первом касании | Раз в месяц | Заявки закрывают во время звонка независимо от результата, «тот же вопрос» читают узко, либо трудные обращения классифицируют как «не должны решаться» | Доля повторных обращений, подтверждение пользователя одним вопросом и периодические аудиты исключений командой |
| Доля повторных обращений | Доля решённых обращений, за которыми следует другое обращение по тому же вопросу | обращения, за которыми в окне повторного обращения (например, семь дней, задаётся в определении) последовало другое обращение от того же пользователя по той же услуге или проблеме / обращения, решённые в более раннем периоде; обращения о новой проблеме исключаются | процент | Связь и история повторного открытия инструмента ITSM; записи обращений | Служба поддержки; управление инцидентами | Доля ушедших дефектов | Раз в месяц | Пользователей просят завести новую заявку для продолжения, либо продолжения записывают под другой категорией, чтобы они не связывались | Правила связывания в инструменте, выборочный аудит несвязанных повторных обращений и решение по сообщению пользователей |
3.2 Объём и приоритет инцидентов
Тема-источник: (см. тему 3.2, Объём и приоритет инцидентов).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Объём инцидентов по услуге | Число инцидентов, открытых по услуге за период | инциденты со временем открытия внутри периода, отнесённые к затронутой услуге; запросы на обслуживание, дубликаты, слитые в родительскую запись, и записи, отменённые как созданные по ошибке, исключаются | число | Записи об инцидентах инструмента ITSM | Управление инцидентами | Дефекты в продуктиве или внеплановые рабочие элементы на команду | Раз в неделю, пересмотр раз в месяц | Регистрировать инциденты как запросы, сливать несвязанные заявки, отбивать у пользователей охоту сообщать или закрывать дубликаты как «сбой не найден» | Объём обращений пользователей и объём запросов рядом с объёмом инцидентов; удовлетворённость и отказ от ожидания в службе поддержки; выборка запросов, читающихся как сбои |
| Нормированная интенсивность инцидентов | Инциденты относительно использования услуги | инциденты, открытые в периоде / показатель использования за тот же период и область (активные пользователи, сеансы или транзакции, выбираются и записываются по услуге) × 1000; показатель использования должен идти из источника, отличного от инструмента инцидентов | инцидентов на 1000 единиц использования | Инструмент ITSM плюс данные об использовании из аналитики или мониторинга | Управление инцидентами; управление уровнями услуг | Плотность дефектов на релиз или на пользователя | Раз в месяц | Выбирать знаменатель, дающий лучшую цифру, или менять определение использования между периодами | Фиксированный показатель использования на услугу, записанный в реестре; сырые счёты рядом с долей |
| Состав приоритетов | Доля открытых инцидентов на каждом уровне приоритета | инциденты с приоритетом, записанным при открытии / все инциденты, открытые в периоде, показанные для каждого уровня; переклассифицированные инциденты считаются по приоритету открытия и показываются снова по приоритету закрытия | процент по уровню | Инструмент ITSM, включая историю смен приоритета | Управление инцидентами | Распределение серьёзности дефектов; состав классов обслуживания | Раз в месяц | Понижать приоритеты, чтобы выглядеть спокойно, или повышать, чтобы привлечь внимание; присваивать низкий приоритет, чтобы избежать цели реагирования | Доля переклассификации приоритета; ежемесячная выборочная проверка относительно матрицы воздействия и срочности; воздействие по сообщениям клиентов |
| Доля переклассификации приоритета | Доля инцидентов, чей приоритет изменился между открытием и закрытием | инциденты, закрытые в периоде, чей приоритет закрытия отличается от приоритета открытия / инциденты, закрытые в периоде | процент | След аудита инструмента ITSM | Управление инцидентами | Доля повторной сортировки в бэклоге дефектов | Раз в месяц | Не менять приоритет, когда следует, чтобы доля выглядела стабильной; менять его только при закрытии, чтобы подогнать под цель | Выборка записей, где воздействие изменилось в ходе инцидента; пересмотры хронологии инцидентов |
| Концентрация категорий | Доля объёма инцидентов, приходящаяся на самые крупные категории | инциденты в пяти главных категориях по счёту / все категоризированные инциденты в периоде; некатегоризированные инциденты сообщаются отдельно как собственная доля | процент | Поля категории и услуги инструмента ITSM | Управление инцидентами; управление проблемами | Кластеры дефектов по компоненту или эпику | Раз в месяц | Использовать универсальную категорию или делить большую категорию на несколько, чтобы спрятать концентрацию | Доля некатегоризированных записей и записей «другое»; периодический пересмотр списка категорий; сверка категорий с заметками о решении |
| Доля повторяющихся инцидентов | Доля инцидентов, повторяющихся для той же услуги, конфигурационной единицы и категории в заявленном окне | инциденты в периоде, у которых есть более ранний закрытый инцидент для той же услуги, CI и категории в предшествующем окне (например, 30 дней, задаётся один раз и записывается) / инциденты, открытые в периоде; вновь открытая запись считается повторным открытием, а не повтором | процент | Инструмент ITSM и связи CMDB | Управление инцидентами; управление проблемами | Доля регрессий или ушедших дефектов | Раз в месяц | Открывать новый инцидент с другой формулировкой или CI, чтобы избежать связи; закрывать рано, чтобы избежать повторного открытия | Пересмотр почти дублирующих записей по тексту и услуге; доля повторного открытия; доля связей с записями о проблемах |
| Доля повторного открытия | Доля закрытых инцидентов, которые были открыты заново | инциденты, закрытые в периоде и позже открытые заново в заявленном окне (например, 7 дней) / инциденты, закрытые в периоде | процент | История статусов инструмента ITSM | Управление инцидентами | Вновь открытые дефекты; переделки | Раз в месяц | Просить пользователей завести новую заявку вместо повторного открытия; закрывать заявки поздно, чтобы избежать повторных открытий | Число новых заявок, ссылающихся на недавно закрытую; подтверждение решения клиентом; распределение времени до закрытия |
| Доля обнаруженных мониторингом | Доля инцидентов, впервые поднятых мониторингом раньше, чем сообщил пользователь | инциденты, чьё первое событие есть автоматическое оповещение / все инциденты, открытые в периоде; инциденты, открытые человеком по оповещению, считаются по времени оповещения | процент | Инструмент ITSM, интеграция с мониторингом | Мониторинг и управление событиями; управление инцидентами | Дефекты, обнаруженные оповещением, против сообщённых клиентами | Раз в месяц | Создавать шумные оповещения, автоматически открывающие инциденты, или позволять людям перемечать сообщения пользователей как оповещения | Показатели качества оповещений, такие как доля применимых оповещений (см. тему 5.5, Метрики мониторинга и качества оповещений); аудит источника инцидентов |
3.3 Время реагирования на инциденты и их устранения
Тема-источник: (см. тему 3.3, Время реагирования на инциденты и их устранения).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Время обнаружения | Как долго сбой влиял на пользователей, прежде чем организация узнала | Часы запускаются в первый момент воздействия на пользователей (берётся из данных мониторинга или подтверждённого начала воздействия, записанного на разборе); останавливаются на первом оповещении или сообщении пользователя. Сообщается как медиана и 95-й перцентиль по услуге. Инциденты без известного начала считаются и сообщаются отдельно, а не отбрасываются | минуты | Платформа мониторинга и оповещений; запись об инциденте с полем начала воздействия | Управление инцидентами; мониторинг и управление событиями | Работа над наблюдаемостью и качеством оповещений (см. тему 5.5, Метрики мониторинга и качества оповещений) | Раз в месяц | Ставить начало воздействия позже, чем оно было; расширять пороги оповещений, чтобы меньше сбоев считалось инцидентами; считать только инциденты, пойманные монитором | Доля инцидентов, о которых впервые сообщили пользователи, а не мониторинг; периодический пересмотр оценок начала воздействия по данным мониторинга |
| Время подтверждения | Как долго поднятое оповещение или заявка ждут, пока человек не станет владельцем | Часы запускаются, когда срабатывает оповещение или регистрируется заявка; останавливаются, когда названный человек или команда принимает её. Автоназначение не останавливает часы. Сообщается как медиана и 95-й перцентиль по приоритету | минуты | Инструмент вызова; история назначений инструмента ITSM | Управление инцидентами; служба поддержки | Реагирование дежурного в ротации SRE | Раз в месяц | Автоназначать или автоподтверждать, чтобы остановить часы; подтверждать оповещение и затем ничего не делать | Время первого ответа и время восстановления для тех же инцидентов; выборка подтверждённых оповещений без последующей активности |
| Время первого ответа | Как долго пользователь ждёт первого полезного ответа человека | Часы запускаются, когда инцидент зарегистрирован; останавливаются на первом сообщении или действии человека, отвечающем на обращение. Автоподтверждения и шаблонные квитанции исключаются. Указаны часы рабочего времени | минуты или рабочие часы | Журнал коммуникации инструмента ITSM | Служба поддержки; управление инцидентами | Своевременная обратная связь пользователю, как в рабочем соглашении | Раз в неделю | Отправлять шаблонный или односложный ответ, чтобы остановить часы | Пересмотр выборки первых ответов на содержательность; повторные обращения и комментарии опросов |
| Время восстановления | Как долго пользователи были без работающей услуги | Часы запускаются в начале воздействия на пользователей; останавливаются, когда пользователи снова могут пользоваться услугой, в том числе обходным путём или откатом. Причина, исправленная позже, его не удлиняет. Сообщается как медиана и 95-й перцентиль по приоритету и услуге | минуты или часы | Запись об инциденте с метками начала воздействия и восстановления; мониторинг | Управление инцидентами | Среднее время восстановления в терминах DORA, читаемое как распределение (см. тему 2.8, Метрики DORA) | Раз в месяц | Объявлять услугу восстановленной, прежде чем пользователи могут ей пользоваться; восстанавливать, подавляя симптом; регистрировать сбои как плановое обслуживание | Повторение в окне; воздействие по сообщениям пользователей после времени восстановления; доля инцидентов, перемеченных постфактум |
| Время решения | Как долго запись об инциденте была открыта до закрытия | Часы запускаются, когда инцидент зарегистрирован; останавливаются, когда он закрыт после восстановления и подтверждения пользователя или честного ожидания. Время в «ожидании клиента» показывается как отдельная сообщаемая доля и не вычитается из главного числа. Сообщается как медиана и 95-й перцентиль по приоритету | часы или рабочие часы | История статусов инструмента ITSM | Управление инцидентами | Время цикла для внеплановой работы (см. тему 2.2, Время выполнения, время цикла и эффективность потока) | Раз в месяц | Переводить заявки в «ожидание клиента» или «на удержании»; закрывать после одной попытки связаться; делить инцидент на дочерние, чтобы рано закрыть родителя | Доля времени в состояниях пауз; доля повторного открытия; возраст самого старого открытого инцидента; чтение выборки заметок о закрытии |
| Возраст самого старого открытого инцидента | Как долго открыт самый давний открытый инцидент | Сейчас минус время регистрации для каждого открытого инцидента, с перечислением нескольких самых старых по приоритету. Состояния пауз не вычитаются | дни | Список открытых инцидентов инструмента ITSM | Управление инцидентами | Возраст рабочего элемента на доске команды (см. тему 2.1, Показатели потока) | Раз в неделю | Закрывать и вновь поднимать самую старую заявку; переклассифицировать её в проблему или запрос, чтобы убрать из списка | Связывать дубликаты с оригиналами и сообщать связанный возраст; число инцидентов, преобразованных в проблемы или запросы за период |
| Доля активного времени | Доля прошедшего времени инцидента, потраченная на активную работу, а не на ожидание | Сумма времени в активных состояниях / общее время от регистрации до закрытия, для инцидентов, закрытых в периоде. Активные состояния суть те, где человек работает над инцидентом; состояния ожидания перечислены в определении | процент | История статусов инструмента ITSM | Управление инцидентами | Эффективность потока (см. тему 2.2, Время выполнения, время цикла и эффективность потока) | Раз в квартал | Записывать краткую, бессмысленную работу, чтобы отметить время как активное; переходить в активные состояния без усилия | Сравнивать активное время с результатами, такими как время восстановления; выборка заметок о работе |
| Число переназначений | Сколько раз инцидент меняет владеющую команду до восстановления | Число смен группы назначения от регистрации до восстановления, сводится как медиана и доля инцидентов с тремя или более. Считается по услуге и приоритету, никогда по оператору | число | История назначений инструмента ITSM | Управление инцидентами; служба поддержки | Число передач (см. тему 9.3, Метрики сотрудничества и передачи работы) | Раз в месяц | Повторно открывать в той же команде вместо передачи; передавать работу по побочному каналу, чтобы инструмент не показывал передачи | Время восстановления и удовлетворённость пользователей; периодическое наблюдение за тем, как работа движется между командами |
3.4 Метрики крупных инцидентов
Тема-источник: (см. тему 3.4, Метрики крупных инцидентов).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Число крупных инцидентов | Крупные инциденты, объявленные за период, по услуге | Число инцидентов, отвечавших критериям объявления и объявленных в периоде, по времени объявления; инциденты, понижённые в течение первого часа, перечисляются отдельно и исключаются | число за квартал | Записи об инцидентах инструмента ITSM с флагом крупного инцидента | Управление инцидентами | Обзор здоровья команды или услуги | Ежемесячный отчёт, квартальный тренд | Повышать порог объявления, держать инциденты на «высоком» приоритете, чтобы они никогда не объявлялись, делить одно событие на несколько записей или сливать несколько в одну | Фиксированные версионированные критерии; квартальная выборка обычных инцидентов с высоким воздействием; воздействие на клиентов и время до объявления отслеживаются рядом со счётом |
| Длительность крупного инцидента | Время, в течение которого клиенты были затронуты | Время восстановления услуги минус время начала воздействия, на инцидент. Начало воздействия есть самое раннее свидетельство в мониторинге или первое сообщение пользователя, что раньше. Частичное восстановление записывается как отдельное событие, а полное восстановление останавливает часы | минуты, на инцидент | Хронология мониторинга, хронология инцидента в инструменте ITSM | Управление инцидентами; управление уровнями услуг | Время восстановления в показателях поставки (см. тему 2.8, Метрики DORA) | На инцидент; медиана и максимум по длинному окну ежеквартально | Переносить часы на более позднее начало воздействия, объявлять «восстановлено», пока пользователи ещё получают сбои, или закрывать и открывать новую запись | Начало воздействия берётся из мониторинга; восстановление подтверждается индикатором, видимым пользователям; вновь открытые и связанные записи считаются одним инцидентом |
| Время до объявления | Задержка между началом воздействия и объявлением крупного инцидента | Время объявления минус время начала воздействия, на инцидент. Никогда не объявленные инциденты находятся квартальным пересмотром обычных инцидентов с высоким воздействием и включаются со временем объявления «н/д (никогда не объявлен)» | минуты, на инцидент | Хронология мониторинга, след аудита инструмента ITSM | Управление инцидентами; мониторинг и управление событиями | Определение готовности для эскалации в рабочих соглашениях команд | На инцидент | Объявлять рано на всё, чтобы выглядеть быстро, или датировать объявление задним числом началом воздействия | Доля объявленных инцидентов, позже понижённых; след аудита времени объявления; выборка хронологий против сырого мониторинга |
| Воздействие на клиентов | Сколько пользователей и сколько использования было затронуто | Затронутые пользователи (или неудачные запросы), умноженные на минуты воздействия, на инцидент. Считаются только пользователи, пытавшиеся пользоваться услугой в окне воздействия. Плановое обслуживание исключается | пользователе-минуты или неудачные запросы | Телеметрия услуги, записи обращений в поддержку | Управление уровнями услуг; управление инцидентами | Индикаторы уровня услуги, видимые пользователям (см. тему 5.2, SLI, SLO и бюджеты ошибок) | На инцидент | Сужать определение «затронутый», считать только пользователей, подавших заявку, или измерять зависимость, оставшуюся в работе | Воздействие выводится из телеметрии, а также из обращений; заявление о воздействии простым языком, пересматриваемое на пересмотре инцидента |
| Своевременность коммуникации | Были ли затронутые стороны проинформированы вовремя | Доля крупных инцидентов, где первое уведомление клиентам ушло в пределах цели после объявления, и доля запланированных обновлений, отправленных в пределах согласованного интервала. Часы запускаются при объявлении. Сообщения только для внутреннего пользования исключаются | процент инцидентов; процент обновлений | История страницы статуса, журнал коммуникации в инструменте ITSM | Управление инцидентами; управление уровнями услуг | Коммуникация с заинтересованными сторонами в рабочем соглашении команды | На инцидент; квартальная сводка | Публиковать расплывчатое уведомление, чтобы запустить часы, отправлять обновления без содержания или считать внутренние сообщения | Проверка содержания выборки обновлений; обратная связь клиентов о ясности; считаются только уведомления клиентам |
| Своевременность завершения пересмотра | Состоялся ли пересмотр достаточно рано, чтобы быть полезным | Доля крупных инцидентов с опубликованным пересмотром в пределах согласованного числа рабочих дней после восстановления. Часы останавливаются при публикации, а не при первом черновике. Инциденты, ещё внутри окна, исключаются | процент | Репозиторий пересмотров, инструмент ITSM | Непрерывное улучшение; управление проблемами | Последующая работа по улучшению | Раз в квартал | Публиковать тонкий документ, чтобы уложиться в дату, или объявлять пересмотр «ненужным» | Качество пересмотра, прочитанное коллегой по выборке (см. тему 4.2, Метрики разборов и обучения); показывается доля отказов от пересмотра |
| Доведение действий до конца | Выполняются ли действия пересмотра | Действия пересмотра, завершённые к сроку / действия пересмотра, срок которых пришёлся на период. Действия, закрытые как «не будем делать», считаются отдельно с причиной, а не прячутся | процент; число просроченных | Трекер задач, связанный с пересмотром | Непрерывное улучшение; управление проблемами | Элементы бэклога из ретроспектив | Раз в месяц | Писать расплывчатые или тривиальные действия, которые легко закрыть, закрывать действия, не сделав работу, или перемечать как «не будем делать» | Выборка качества действий; закрытые действия сверяются с изменением системы; пересматриваются доля «не будем делать» и причины |
| Доля повторяющихся крупных инцидентов | Повторение той же причины | Крупные инциденты в периоде, чья записанная причина совпадает с причиной более раннего крупного инцидента за предыдущие двенадцать месяцев / крупные инциденты в периоде. Сопоставление идёт по полю причины, проверяемому вручную | процент, с показанным числом | Записи пересмотров, записи о проблемах | Управление проблемами | Профилактическая работа в бэклоге | Раз в квартал | Записывать каждую причину как новую, выбирая иные формулировки, или приписывать всё «человеческой ошибке» | Короткая таксономия причин с определениями; поля причин проверяет кто-то вне инцидента; «человеческая ошибка» как причина не принимается без объяснения системой |
3.5 Метрики выполнения запросов на обслуживание
Тема-источник: (см. тему 3.5, Метрики выполнения запросов на обслуживание).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Время выполнения запроса | Прошедшее время доставки запроса, показанное как медиана и 95-й перцентиль по элементу каталога | часы запускаются, когда пользователь подаёт запрос, и останавливаются, когда пользователь подтверждает доставку или доставка записана; запросы, отменённые пользователем, исключаются; время ожидания пользователя сообщается отдельно, а не убирается | рабочие дни или часы | История запросов инструмента ITSM | Управление запросами на обслуживание | Время цикла на доске команды (см. тему 2.2, Время выполнения, время цикла и эффективность потока) | Раз в неделю, тренд раз в месяц | Приостанавливать часы для «ожидания пользователя», является ли пользователь причиной или нет; закрывать запросы до доставки и открывать их как новые; делить один запрос на несколько малых | Доля приостановленного времени по элементу с выборочным аудитом причин пауз; доля повторного открытия; подтверждение доставки пользователем перед закрытием |
| Выполнение в пределах цели | Доля запросов, доставленных в пределах цели, согласованной для их элемента каталога | запросы, выполненные в пределах цели / запросы, выполненные в периоде; часы как выше, всё ещё открытые элементы исключаются и считаются вместо этого в возрасте бэклога | процент | История запросов инструмента ITSM; таблица целей по элементам каталога | Управление уровнями услуг | Ожидание по уровню услуги | Раз в месяц | Переопределять цель на более лёгкую; считать только запросы, которые заканчиваются, и игнорировать старые открытые; выбирать быстрые элементы для набора целей | Возраст бэклога для открытых запросов; изменения целей записываются в реестр метрик с причиной; набор целей покрывает все элементы по объёму |
| Бэклог запросов и возраст | Число открытых запросов и возраст самых старых, по элементу каталога | открытые запросы на конец периода (число); возраст каждого открытого запроса = дата отчёта минус дата подачи; сообщайте число, медианный возраст и самый старый возраст | число и дни | Очередь открытых запросов инструмента ITSM | Управление запросами на обслуживание | Работа в процессе и стареющие рабочие элементы (см. тему 2.3, Работа в процессе и теория очередей) | Раз в неделю | Закрывать старые запросы как «нет ответа» или «устарело»; переносить запросы в другую очередь или категорию, чтобы они покинули считаемую очередь | Число запросов, закрытых без доставки, по причинам; переводы по категориям и очередям пересматриваются на ежемесячной встрече |
| Время ожидания согласования | Время, которое запрос проводит в ожидании согласования | часы запускаются, когда согласование запрошено, и останавливаются, когда оно дано или отклонено; запросы без шага согласования исключаются | часы | Журнал согласований инструмента ITSM | Управление запросами на обслуживание; управление изменениями | Время блокировки или колонка «ожидание» на доске | Раз в месяц | Согласующие утверждают, не читая, чтобы держать своё время низким; запросившие подгоняют согласующих вне системы, так что записанное ожидание коротко | Выборочная проверка утверждённых запросов на соответствие политике; доля повторного открытия и исключения безопасности для утверждённых элементов; число шагов согласования по элементу |
| Объём запросов по элементу каталога | Число запросов, поданных на каждый элемент, с его долей от всех запросов | запросы, поданные на элемент за период; запросы, повторно поданные как дубликаты, если выявлены, исключаются; сообщайте число и долю от итога | число и процент | Записи запросов инструмента ITSM | Управление каталогом услуг | Анализ спроса для формирования бэклога | Раз в месяц | Сокращать объём, делая каталог труднее для поиска или отбивая охоту просить; переклассифицировать запросы как инциденты или «общие вопросы» | Удовлетворённость каталогом; доля обращений, классифицированных как «другое»; данные о внедрении услуги (см. тему 6.3, Метрики внедрения услуг и каталога) |
| Доля автоматизации | Часть запросов, выполненных без ручного шага после подачи | запросы, выполненные от начала до конца автоматизацией / запросы, выполненные в периоде; запрос, которого коснулся человек на любом шаге выполнения, считается ручным; согласования человеком не считаются ручными шагами выполнения, если их требует политика | процент | Записи выполнения инструмента ITSM и журналы платформы автоматизации | Управление запросами на обслуживание; автоматизация в цепочке создания ценности услуг | Автоматизация в определении готовности | Раз в месяц | Автоматизировать тривиальные элементы, чтобы поднять процент; считать автоматизированным скриптовый запрос, который человек всё равно проверяет вручную; прятать ручные шаги в отдельной заявке | Доля, взвешенная по объёму запросов и по убранному времени работы; доля сбоев автоматизации и возврата к ручному; выборка «автоматизированных» запросов, прослеженных от начала до конца |
| Доля повторного открытия запросов | Доля выполненных запросов, которые пользователь открывает заново или поднимает снова, потому что результат был неверным или неполным | запросы, открытые заново или поднятые снова по тому же элементу тем же пользователем в течение 7 дней после выполнения / запросы, выполненные в периоде; окно в 7 дней есть пример, который команда записывает | процент | История запросов инструмента ITSM | Управление запросами на обслуживание | Доля переделок; ушедшие дефекты | Раз в месяц | Отбивать охоту открывать заново, затрудняя это; говорить пользователям открыть новый запрос, что сбрасывает счётчик | Повторные запросы от того же пользователя по тому же элементу в окне; удовлетворённость пользователей по элементу; повторное открытие разрешено из уведомления |
3.6 Метрики управления знаниями
Тема-источник: (см. тему 3.6, Метрики управления знаниями).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Доля ссылок на знания | Доля решённых обращений, у которых есть хотя бы одна статья знаний, прикреплённая в момент решения | обращения, решённые в периоде и имеющие хотя бы одну связанную статью / обращения, решённые в периоде. Считается по дате решения; крупные инциденты, обращения, закрытые как дубликаты, и обращения, автоматически закрытые без работы человека, исключаются | процент | Инструмент ITSM: таблицы связей обращений и статей | Управление знаниями; управление инцидентами | Определение готовности включает фиксацию усвоенного | Раз в неделю для команды; раз в месяц для пересмотра | Прикреплять любую статью, часто общую или очень популярную, к каждому обращению перед закрытием; связывать постфактум оптом | Ежемесячная выборка уместности связанных обращений; доля ссылок, идущих на одни и те же немногие статьи; метка времени связи против метки времени решения |
| Доля повторного использования | Доля ссылок на статьи, указывающих на существующую статью, а не на созданную в ходе этого обращения | ссылки на статьи, существовавшие до открытия обращения / все ссылки на статьи, сделанные на решённых обращениях в периоде. Ссылки, добавленные после закрытия обращения, исключаются | процент | Инструмент ITSM: дата создания статьи против даты открытия обращения | Управление знаниями; непрерывное улучшение | Повторное использование вместо переделки; общее владение кодом и документацией | Раз в месяц | Создавать новую статью для каждого обращения и сразу связывать её, чтобы в следующий раз она считалась повторным использованием; либо никогда не создавать, чтобы доля выглядела идеально | Доля дубликатов статей, выявляемая периодическим поиском; доля обращений, закрытых с причиной «статьи не существовало» |
| Свежесть статей | Доля используемых статей, которые были пересмотрены или использованы и подтверждены верными в заявленном окне пересмотра | используемые статьи с датой пересмотра или подтверждённого использования внутри окна / используемые статьи. Статья используется, если она была связана с обращением или просмотрена читателем за последние 12 месяцев (выбор команды); черновики и выведенные статьи исключаются | процент | Метаданные базы знаний и журнал просмотров | Управление знаниями; служба поддержки | Уточнение бэклога документации; действия ретроспективы | Раз в месяц | Помечать статьи пересмотренными, не проверяя их; сбрасывать дату пересмотра тривиальными правками; считать только легко пересматриваемые статьи | Выборка недавно пересмотренных статей, проверенных против реальной услуги; доля полезности и письменные комментарии к тем же статьям |
| Доля поисков без результата | Доля поисков знаний, не возвращающих ни одной статьи | поиски с нулём результатов / все поиски. Поиски ботами и автоматические проверки исключаются; каждый поиск считается один раз, даже если повторен в пределах минуты | процент | Журнал поиска базы знаний или портала | Управление знаниями; служба поддержки; управление запросами на обслуживание | Выявление неудовлетворённой потребности пользователей; вход в бэклог | Раз в неделю | Добавлять расплывчатые или универсальные статьи, совпадающие с любым запросом; набивать ключевые слова; исключать неудобные поисковые термины из журнала | Переход по ссылке с последующим обращением по той же теме в коротком окне; доля полезности; ручное чтение главных поисковых терминов |
| Доля полезности | Доля обратной связи читателей, говорящей, что статья помогла, показанная вместе с долей ответивших | голоса «полезно» / (голоса «полезно» + голоса «не полезно») для статей в периоде; доля ответивших = голоса обратной связи / просмотры статей | процент, с долей ответивших | Виджет обратной связи базы знаний и журнал просмотров | Управление знаниями; клиентский опыт | Обратная связь заинтересованных сторон на обзоре по документации | Раз в месяц | Приглашать голосовать только довольных читателей; прятать вариант «не полезно»; голосовать изнутри команды | Доля ответивших и состав ответивших показываются с долей; письменные комментарии; доля обращений после прочтения статьи |
| Время до публикации | Прошедшее время с момента создания черновика статьи до момента, когда она пересмотрена и видна своей аудитории | часы запускаются при создании черновика и останавливаются при публикации (или при первом утверждённом видимом состоянии). Время в состоянии «на удержании, ожидает релиза продукта» исключается; сообщается как медиана и 85-й перцентиль | дни (медиана и 85-й перцентиль) | История рабочего процесса базы знаний | Управление знаниями | Время выполнения рабочего элемента от начала до готовности (см. тему 2.2, Время выполнения, время цикла и эффективность потока) | Раз в месяц | Публиковать тонкую заготовку, чтобы остановить часы; делить статью на части; переводить черновики в состояние, которое часы исключают | Уместность и полезность недавно опубликованных статей; число и возраст черновиков в исключаемых состояниях |
| Ширина вклада | Распределение создания и улучшения статей по команде, измеряемое без названия людей | различные участники, создавшие или улучшившие статью в периоде / члены команды, решавшие обращения в периоде. Сообщается только для команды, никогда как список имён | процент | История правок базы знаний, объединённая с составом команды | Управление знаниями; непрерывное улучшение | Коллективное владение; работа в паре и роем | Раз в квартал | Делать тривиальные правки, чтобы все выглядели участниками; просить людей добавить предложение, чтобы выполнить квоту | Выборка размера и содержательности правок; повторное использование и полезность внесённых статей; в отчёте нет имён |
3.7 Метрики самообслуживания и автоматизации
Тема-источник: (см. тему 3.7, Метрики самообслуживания и автоматизации).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Доля успеха самообслуживания | Доля сеансов самообслуживания, где потребность пользователя удовлетворена без обращения к персоналу | Сеансы, закончившиеся завершённым результатом (запрос подан и выполнен, статья помечена полезной, сброс завершён) без обращения к персоналу по той же потребности в течение 7 дней, делённые на все сеансы, начавшие задачу. Часы запускаются при первом осмысленном действии на портале и останавливаются при завершении или отказе. Трафик ботов, тестовые учётные записи и чистый просмотр исключаются | Процент | Журналы портала и идентификации, система заявок, аналитика сеансов | Управление запросами на обслуживание; управление знаниями | Контур обратной связи с клиентами; критерии приёмки на основе результата | Раз в месяц | Считать успехом любую завершённую форму или любой просмотр страницы; убирать подсказку «помогло ли это», когда оценки падают; исключать трудные темы из знаменателя | Доля провалов на следующий уровень и выборка закрытых сеансов, прочитанных человеком; сообщать правила знаменателя |
| Оценённая доля отвода обращений | Оценённая доля спроса, решённого на уровне 0 и иначе дошедшего бы до персонала | Сравните интенсивность обращений на 1000 активных пользователей для услуги до и после изменения самообслуживания или против контрольной группы с поправкой на известные сдвиги спроса. Указывается как оценка с названным методом. Обращения, перешедшие в другой канал, исключаются | Процент (оценка) | Система заявок, численность пользователей, данные эксперимента или когорты | Служба поддержки; управление инцидентами | Эксперимент с контрольной группой; A/B-тест | Раз в квартал | Прятать маршрут обращения; добавлять шаги перед обращением; классифицировать всё уменьшение заявок как отвод независимо от причины | Обращения на 1000 активных пользователей, удовлетворённость пользователей затронутой услугой и метод, записанный рядом с числом |
| Доля провалов на следующий уровень | Доля неудачных попыток самообслуживания, заканчивающихся обращением к персоналу по той же потребности | Обращения к персоналу, открытые в течение 7 дней после брошенного или неудачного сеанса самообслуживания тем же пользователем по той же теме, делённые на неудачные сеансы. Часы запускаются в конце сеанса. Несвязанные обращения исключаются | Процент | Журналы портала, объединённые с системой заявок по пользователю и теме | Служба поддержки; управление знаниями | Путь эскалации в определении готовности; обратная связь от поддержки | Раз в месяц | Определять окно сопоставления настолько коротким, чтобы возвраты выпадали из него; закрывать последующее обращение как дубликат | Доля повторных обращений по всем каналам; пересмотр выборки вернувшихся обращений |
| Внедрение самообслуживания (доля «сначала портал») | Доля подходящих запросов и сообщений об инцидентах, поднятых через каналы самообслуживания | Элементы, созданные через портал, бота или API, делённые на все элементы для записей каталога, предлагающих маршрут самообслуживания. Элементы, для которых маршрута самообслуживания нет, исключаются | Процент | Поле канала в системе заявок, настройка каталога | Управление запросами на обслуживание; управление каталогом услуг | Отслеживание внедрения после релиза | Раз в месяц | Загонять все запросы в портал независимо от пригодности; перемечать заявки, созданные по телефону, как заявки портала | Доля успеха самообслуживания и усилие пользователя; доля запросов, у которых нет рабочего маршрута через портал |
| Охват автоматизацией | Доля подходящей повторяющейся работы, выполненной автоматизацией без ручного шага | Элементы, выполненные автоматизированным потоком от начала до конца, делённые на все элементы видов, признанных автоматизируемыми. Вид считается автоматизируемым, только если его называет письменный список кандидатов. Разовая работа и элементы, отвергнутые автоматизацией, исключаются | Процент | Система заявок, журналы платформы автоматизации, список кандидатов | Управление запросами на обслуживание; управление развёртыванием | Автоматизация определения готовности; конвейер как код | Раз в месяц | Выбирать лёгкие элементы для списка кандидатов; раздувать знаменатель тривиальными задачами; считать автоматизированными частично ручные потоки | Письменный список кандидатов, пересматриваемый каждый квартал; доля сбоев и переделок автоматизации; время ручной работы по оставшимся элементам |
| Доля сбоев и переделок автоматизации | Доля автоматических запусков, давших сбой, потребовавших ручной починки или давших результат, позже исправленный | Автоматические запуски, закончившиеся ошибкой, откатом или сопровождаемые ручным исправлением в течение 7 дней, делённые на все автоматические запуски. Часы запускаются при старте запуска. Плановые пробные запуски исключаются | Процент | Журналы платформы автоматизации, система заявок, записи об изменениях | Управление изменениями; управление инцидентами | Доля сбоев изменений; стабильность сборки и тестов | Раз в неделю | Исключать ручные починки из счёта; позволять сбойным запускам тихо повторяться, пока не получатся; помечать сбои как «плановые пробные запуски» | Записи об инцидентах и оповещениях, связанные с потоками; время обнаружения сбойного запуска; выборочный аудит результатов |
| Время ручной работы по виду запроса | Усилие персонала на вид запроса, являющийся кандидатом на автоматизацию | Минуты работы, записанные персоналом по элементам вида за период, сводятся как медиана и 85-й перцентиль на элемент. Оценивается выборкой там, где время не записывается. Время ожидания исключается | Минут на элемент | Выборка времени, журналы работ заявок | Управление запросами на обслуживание | Отслеживание рутинной работы; потери в потоке создания ценности | Раз в квартал | Не записывать время для элементов, выглядящих ручными; относить время к другой категории; брать выборку только в тихие дни | Письменный и пересматриваемый план выборки; сравнение со временем цикла и возрастом очереди для того же вида |
| Распределение по уровням (доля сдвига влево) | Где в цепочке поддержки решаются элементы | Элементы, решённые на каждом уровне (0, 1, 2, 3), делённые на все решённые элементы за период. Уровень есть самый высокий ярус, выполнявший работу руками. Элементы, отменённые до сортировки, исключаются | Процент по уровню | Группа исполнителей и история назначений в системе заявок | Управление инцидентами; служба поддержки | Работа роем и образцы эскалации; кросс-функциональные команды | Раз в месяц | Поднимать долю, решённую на уровне 1, перемечая эскалации или закрывая элементы на уровне 1 и открывая на уровне 2 как новые | Доля повторного открытия и доля связанных заявок; выборка качества решений; удовлетворённость клиентов по уровню |
Часть 4: Метрики проблем, изменений и релизов
4.1 Метрики управления проблемами
Тема-источник: (см. тему 4.1, Метрики управления проблемами).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Открытые и закрытые проблемы | Поток записей о проблемах в открытое состояние и из него, по услуге | Число открытых в периоде и число закрытых в периоде, каждое по коду закрытия (исправлено, принятый риск, дубликат, не воспроизводится); дубликаты показываются, но исключаются из счёта «исправлено» | число за период | Записи о проблемах ITSM | Управление проблемами | Приток в бэклог и пропускная способность | Раз в месяц | Открывать много тривиальных записей; делить одну проблему на несколько; закрывать записи как дубликаты или «не воспроизводится», чтобы очистить список | Состав кодов закрытия; доля повторения после исправления; выборка закрытых записей, читаемая каждый квартал |
| Возраст бэклога проблем | Как долго открытые проблемы ждут | Для каждой открытой проблемы дата снимка минус дата создания записи; сообщайте медиану и 85-й перцентиль открытых проблем и самую старую, по приоритету | дни | Записи о проблемах ITSM | Управление проблемами | Возраст рабочего элемента на доске | Раз в месяц | Закрывать самые старые записи без исправления; открывать заново как новую запись, чтобы сбросить часы; переклассифицировать проблему в запрос | Связывать новые записи с их оригиналами и сообщать возраст с первой записи; список закрытий по причинам; пересмотр принятых рисков |
| Доля связей инцидента с проблемой | Доля инцидентов, указывающих на проблему или известную ошибку там, где ожидается | Инциденты в периоде со связанной проблемой или известной ошибкой / инциденты в периоде с приоритетом высоким или выше, либо вновь открытые, либо в повторяющейся категории; инциденты, закрытые как ошибка пользователя или дубликаты, исключаются | процент | Записи об инцидентах и проблемах ITSM | Управление инцидентами; управление проблемами | Выявление закономерностей на ретроспективе | Раз в месяц | Связывать каждый инцидент с расплывчатой универсальной проблемой, чтобы поднять долю | Доля связей, указывающих на пять самых больших проблем; выборка связей, проверенная на настоящее совпадение; повторение связанных симптомов |
| Время до первопричины | Сколько времени диагностируемая проблема достигает записанной причины | Часы запускаются, когда запись о проблеме создана, и останавливаются, когда причина записана и второй человек её проверил; проблемы, закрытые без причины, исключаются и считаются отдельно; сообщайте медиану и 85-й перцентиль | дни | Записи о проблемах ITSM и их след аудита | Управление проблемами | Исследование или ограниченное по времени расследование | Раз в месяц | Записывать быструю поверхностную причину, чтобы остановить часы; называть «человеческая ошибка»; пропускать второго проверяющего | Доля повторения после исправления; таксономия причин, где «человеческая ошибка» не принимается одна; пересмотр выборки причин относительно свидетельств |
| Доля повторного использования известных ошибок | Как часто известная ошибка используется, когда приходит инцидент | Инциденты, решённые со связанной известной ошибкой или её обходным путём / инциденты в периоде, чей симптом совпадает с известной ошибкой, существовавшей в то время; инциденты без совпадающей известной ошибки исключаются | процент | Связи инцидентов в ITSM; использование статей знаний | Управление знаниями; управление проблемами | Использование руководства или сценария команды | Раз в месяц | Считать связь, добавленную после закрытия инцидента; добавлять известную ошибку к каждому инциденту услуги | Время между закрытием инцидента и связью; обратная связь исполнителей о том, помогла ли запись; пересмотр записей, не использованных 90 дней |
| Время до постоянного исправления | Сколько времени проблема остаётся открытой от диагностики до исправления в продуктиве | Часы запускаются, когда причина записана, и останавливаются, когда связанное изменение с исправлением внедрено и подтверждено; проблемы, закрытые как принятый риск, исключаются и считаются отдельно; сообщайте медиану и 85-й перцентиль | дни | Записи о проблемах; записи об изменениях или события развёртывания конвейера | Управление проблемами; управление изменениями | Время цикла элемента исправления | Раз в месяц | Помечать изменение внедрённым до проверки исправления; закрывать как принятый риск, чтобы избежать работы | Доля повторения после исправления; список принятых рисков с владельцем и датой пересмотра; шаг проверки до остановки часов |
| Доля повторения после исправления | Доля исправленных проблем, чьи связанные симптомы вернулись | Проблемы, закрытые как исправленные в квартальной когорте, с новым совпадающим инцидентом в течение 90 дней после запуска исправления / проблемы, закрытые как исправленные в том квартале; окно в 90 дней есть пример и указывается на графике | процент | Записи об инцидентах и проблемах ITSM; события развёртывания | Управление проблемами; непрерывное улучшение | Доля ушедших дефектов или регрессий | Раз в квартал | Определять симптомы узко, чтобы повторения не совпадали; расширять окно закрытия, чтобы исправления падали в более ранние когорты; откладывать связывание | Таксономия причин, пересматриваемая кем-то вне владеющей команды; доля связей инцидентов; окно, заявленное заранее |
| Доля проблем только с обходным путём | Доля известных проблем, защищённых только обходным путём | Открытые проблемы в состоянии известной ошибки без запланированного исправления / открытые проблемы в состоянии известной ошибки; проблемы с принятым риском, имеющие названного владельца и дату пересмотра, показываются отдельной группой | процент | Записи о проблемах ITSM | Управление проблемами; управление рисками | Реестр технического долга | Раз в месяц | Планировать формальное исправление без настоящей даты; переводить проблемы в принятый риск; понижать приоритет проблемы | Возраст запланированных исправлений, которые сдвинулись; список принятых рисков, пересматриваемый с названным руководителем-владельцем; цена повторяющихся инцидентов по проблеме |
4.2 Метрики разборов и обучения
Тема-источник: (см. тему 4.2, Метрики разборов и обучения).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Охват пересмотрами | Доля подходящих событий, получивших завершённый пересмотр | Подходящие события с опубликованным пересмотром в согласованном окне / подходящие события, закрытые в периоде. Подходящие события суть те, что отвечают письменным триггерам. События внутри окна, ещё открытые на конец периода, исключаются. | процент | Записи об инцидентах инструмента ITSM, объединённые с репозиторием пересмотров | Управление инцидентами; управление проблемами | Регулярная рефлексия команды; рабочие соглашения команд | Раз в месяц | Сужать триггеры; понижать серьёзность, чтобы события выпадали из них; подавать однострочный «пересмотр», чтобы поставить галочку | Оценка качества пересмотра; сравнение числа инцидентов по серьёзности с воздействием по сообщениям клиентов; аудит понижений |
| Оценка качества пересмотра | Отвечает ли опубликованный пересмотр короткому письменному стандарту | Пересмотры в выборке, отвечающие хотя бы [согласованному числу] пунктов контрольного списка / пересмотры в выборке. Выборка есть фиксированное число пересмотров, случайно берущихся каждый квартал, оцениваемых кем-то вне владеющей команды. | процент | Квартальная выборка репозитория пересмотров с листом оценки | Непрерывное улучшение; управление проблемами | Определение готовности для пересмотра | Раз в квартал | Писать под контрольный список шаблонным текстом; оценивать силами владеющей команды; предсказуемая выборка | Внешний оценщик; случайная выборка; чтение двух пересмотров вслух каждый квартал; отслеживание того, завершаются ли действия из высоко оценённых пересмотров |
| Доля закрытия действий | Доля действий пересмотра, завершённых к сроку | Действия, завершённые или формально отклонённые (с причиной) к сроку / действия, срок которых пришёлся на период. Часы запускаются, когда пересмотр опубликован, и останавливаются, когда владеющая команда помечает действие сделанным и проверяющий подтверждает. Действия, закрытые как «не будем делать», считаются отдельно и сообщаются. | процент | Бэклог команды или реестр улучшений ITSM, связанный с пересмотром | Непрерывное улучшение; управление проблемами | Бэклог команды; действия по улучшению | Раз в месяц | Ставить сроки далеко; дробить действия на тривиальные части; закрывать действия без проверки; объявлять «не будем делать», чтобы очистить список | Возраст открытых действий; доля отклонённых с причинами; подтверждение проверяющим, что изменение работает; доля повторения причин |
| Возраст открытых действий | Возраст действий пересмотра, ещё открытых | Для каждого открытого действия сегодня минус дата публикации его пересмотра. Сообщайте медиану, 85-й перцентиль и самое старое. | дни | Бэклог команды или реестр улучшений | Непрерывное улучшение | Возраст рабочего элемента; стареющая работа в процессе | Раз в месяц | Закрывать и вновь открывать или пересоздавать действие, чтобы сбросить его возраст; переносить действия в отдельный список «идей» | Связывать новые действия с исходным пересмотром и сохранять первую дату; число действий, перенесённых в идеи |
| Доля повторения причин | Доля событий, чей класс причины совпадает с более ранним событием для той же услуги | События в периоде, чей основной класс причины совпадает с пересмотром, закрытым за предыдущие двенадцать месяцев для той же услуги / события с записанным классом причины в периоде. События без записанного класса причины исключаются и считаются отдельно. | процент | Поле класса причины репозитория пересмотров, объединённое с записями об инцидентах | Управление проблемами; управление инцидентами | Анализ ушедших дефектов; темы ретроспектив | Раз в квартал | Записывать расплывчатые или вечно меняющиеся классы причин, чтобы ничто не совпадало; использовать широкий класс «другое»; связывать повтор с другим классом | Доля событий в «другом»; периодическое перечитывание пересмотров по классам; пересмотр самого списка классов |
| Доля сообщений о почти-инцидентах | Объём почти-инцидентов и слабых сигналов, о которых люди выбирают сообщать | Почти-инциденты, записанные в периоде / активные услуги, показанные как тренд по услуге и никогда по человеку. Доля призвана расти рано в здоровой программе, а затем выравниваться. | число на услугу | Журнал почти-инцидентов или помеченное поле в трекере задач | Управление инцидентами; управление рисками | Проверка здоровья команды; доска препятствий | Раз в месяц | Просить сообщать, чтобы выполнить число; записывать тривиальные события; либо, в другую сторону, читать число как провал и подавлять сообщения | Доля почти-инцидентов, давших изменение; нет целей на счёт; обратная связь из пульса «безопасно говорить» |
| Охват обучения | Как далеко пересмотр доходит за пределы команды, которая его написала | Пересмотры, представленные или обсуждённые вне владеющей команды (общий форум, межкомандная сессия или документированное прочтение зависимой командой) в течение [согласованного числа] дней после публикации / пересмотры, опубликованные в периоде | процент | Записи форума или совещаний и репозиторий пересмотров | Непрерывное улучшение; управление знаниями | Обзор заинтересованными сторонами; сообщества практики | Раз в квартал | Добавлять имена в список рассылки; выступать на плохо посещаемых сессиях; считать ссылку прочтением | Посещаемость или фактические заметки обсуждения; спрашивать зависимые команды, что они изменили после последнего пересмотра |
| Перенос действий ретроспективы | Доля действий ретроспективы команды, завершённых к следующей ретроспективе | Действия ретроспективы, завершённые до следующей ретроспективы / действия ретроспективы, согласованные на предыдущей. Действия, сознательно отброшенные с причиной, убираются из обоих счётов. | процент | Заметки или доска ретроспективы, хранимые в бэклоге команды | Непрерывное улучшение | Регулярная рефлексия команды | За период пересмотра, просматривается раз в квартал | Соглашаться только на тривиальные действия, которые легко закончить; пропускать ретроспективу; помечать элементы завершёнными | Воздействие действий по оценке команды; доля проведённых ретроспектив; появляется ли одна и та же тема несколько недель |
| Пульс «безопасно говорить» | Верят ли люди, что могут описывать ошибки без обвинения | Доля ответов на уровне [согласованного уровня] или выше на коротком наборе анонимных вопросов (например, «я могу описать ошибку в пересмотре, не опасаясь обвинения») / полученные ответы. Пульс сообщается только для групп, достаточно крупных, чтобы защитить анонимность. | процент | Анонимный пульсовый опрос | Непрерывное улучшение; организационные изменения | Проверка здоровья команды; проверка психологической безопасности | Раз в квартал | Давить на отвечающих; опрашивать только уверенных; сообщать среднее, прячущее группу с низкой оценкой | Доля ответивших и состав ответивших; минимальный размер группы; открытые комментарии читаются целиком; меняется ли язык пересмотров |
4.3 Метрики управления изменениями
Тема-источник: (см. тему 4.3, Метрики управления изменениями).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Объём изменений по типам | Число завершённых изменений с разбивкой на стандартные, обычные и экстренные | Число записей об изменениях, достигших статуса внедрённого в периоде, сгруппированных по типу на момент согласования; отменённые и отозванные изменения исключаются и сообщаются отдельно; сообщайте по услуге, не по человеку | Изменений в неделю или месяц, по типу | Записи об изменениях в инструменте ITSM, объединённые с событиями развёртывания конвейера | Управление изменениями | Пропускная способность завершённых рабочих элементов; содержимое релиза на приращение | Раз в неделю, пересмотр раз в месяц | Делить одно изменение на много малых записей, чтобы выглядеть занятым, сливать многие в одну, чтобы выглядеть спокойно, или оставлять неформальные изменения вне учёта | Ежемесячно сверять счёты с событиями развёртывания конвейера; отслеживать долю развёртываний без соответствующей записи об изменении |
| Доля стандартных изменений | Доля завершённых изменений, пошедших заранее разрешённым путём | Стандартные изменения, завершённые в периоде / все изменения, завершённые в периоде; изменение, переклассифицированное постфактум, считается под своим итоговым типом, а переклассификация записывается | Процент | Записи об изменениях с типом и историей переклассификации | Управление изменениями | Рутинная работа, охваченная рабочим соглашением команды и определением готовности | Раз в месяц | Переклассифицировать рискованную работу в стандартную, чтобы достичь цели, или писать широкие стандартные процедуры, покрывающие что угодно | Квартальный выборочный пересмотр классификации; доля сбоев изменений по типу (см. тему 4.4, Сбои изменений и переделки); журнал переклассификаций |
| Время согласования | Время, которое изменение ждёт решения о санкционировании | Часы запускаются, когда запрос подан как готовый к оценке, и останавливаются, когда решение о санкционировании записано; время ожидания, пока запросивший предоставит информацию, исключается и показывается отдельно; сообщайте медиану и 85-й перцентиль для обычных изменений в периоде; стандартные изменения без шага согласования исключаются | Часы или рабочие дни | Метки времени на записях об изменениях или событиях согласования в конвейере | Управление изменениями | Время ожидания в рабочем процессе; время в колонке проверки | Раз в неделю, пересмотр раз в месяц | Запускать часы поздно, останавливать рано, приостанавливать для вопросов, которые не нужно было задавать, или утверждать, не читая | 85-й перцентиль рядом с медианой; выборочный пересмотр согласований на содержательность; доля сбоев изменений по группе согласующих, никогда по человеку |
| Доля автоматических согласований | Доля решений о санкционировании, принятых и записанных контролями конвейера или предварительно разрешённой политикой | Изменения, чьё согласование дано записанной автоматической проверкой или записанной проверкой коллегой по письменной политике / все изменения, завершённые в периоде; ручное подписание советом или менеджером считается неавтоматическим | Процент | Журналы конвейера, записи проверки кода и записи об изменениях | Управление изменениями; управление развёртыванием | Автоматические ворота качества; проверка коллегами как часть определения готовности | Раз в месяц | Добавлять автоматические проверки, всегда проходящие, или считать проверку коллегой без комментариев гарантией | Выборочный пересмотр автоматических согласований и согласований коллегами; ушедшие дефекты и доля сбоев для автоматически согласованных изменений; число обходов |
| Возраст очереди согласования | Как долго ожидающие запросы ждут прямо сейчас | Возраст каждого изменения, сейчас ожидающего решения, измеренный от подачи до момента снимка; сообщайте самый старый элемент и 85-й перцентиль открытой очереди; завершённые согласования исключаются | Часы или рабочие дни | Записи об изменениях с открытым статусом согласования | Управление изменениями | Возраст рабочего элемента; стареющая работа в процессе | Ежедневный снимок, пересмотр раз в неделю | Закрывать или отзывать старые запросы, чтобы очередь выглядела короткой, или переносить их в новый запрос со свежей меткой времени | Число отозванных и повторно поданных запросов; возраст запроса, измеряемый с первой подачи |
| Полнота записи об изменении | Доля завершённых изменений, чья запись может ответить, кто, что, зачем, когда и какая услуга | Изменения со всеми заполненными обязательными полями и связанные с затронутой услугой или конфигурационной единицей / все изменения, завершённые в периоде; обязательные поля перечислены в определении; записи, созданные после внедрения изменения, помечаются | Процент | Записи об изменениях, связи с системой контроля версий, данные конфигурации | Управление изменениями; управление конфигурацией услуг | Прослеживаемость от коммита к заявке и к развёртыванию | Раз в месяц | Заполнять обязательные поля текстом-заглушкой или создавать записи после изменения, чтобы удовлетворить отчёт | Помечать записи, созданные после внедрения; выборочный пересмотр качества свободного текста; доля связей с коммитом |
4.4 Сбои изменений и переделки
Тема-источник: (см. тему 4.4, Сбои изменений и переделки).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Доля сбоев изменений | Доля изменений в продуктив, вызывающих деградацию услуги или требующих исправления | изменения, потребовавшие отката, срочного исправления, исправления вперёд или связанного инцидента в окне сбоя / все изменения в продуктив, завершённые в периоде; окно запускается при завершении изменения и останавливается через фиксированное число дней (например, 7), записанное в реестре метрик; изменения, ещё внутри окна, сообщаются отдельно и исключаются из доли, пока окно не закроется | процент | Записи об изменениях или журнал развёртываний, объединённые с инструментом инцидентов и списком срочных исправлений | Управление изменениями; управление инцидентами | Определение готовности; ушедшие дефекты | Раз в месяц, по скользящему окну 90 дней | Сужать окно сбоя; не связывать инциденты с изменениями; классифицировать плохое изменение как «запрос на обслуживание» или «обслуживание»; исправлять вперёд и называть это новым изменением; собирать много правок в одно изменение, чтобы один сбой покрывал их | Доля связей изменения с инцидентом; квартальный выборочный аудит против списка инцидентов; согласие по определению сбоя; рядом время выполнения и частота развёртываний |
| Доля экстренных изменений | Доля изменений, сделанных экстренным путём | изменения, записанные как экстренные / все изменения, завершённые в периоде; экстренное означает, что обычная оценка была обойдена или сокращена по срочности, а заранее разрешённые стандартные изменения исключаются из обоих счётов | процент | Поле типа в записи об изменении | Управление изменениями | Внеплановая работа и класс обслуживания «срочный» | Раз в месяц | Пускать срочную работу по стандартному пути с ложной оценкой риска; пускать обычную работу как экстренную, чтобы избежать согласования; делить экстренное на несколько обычных изменений | Квартальное чтение всех экстренных изменений; причины сортируются и пересматриваются; доля стандартных изменений и время согласования (см. тему 4.3, Метрики управления изменениями) |
| Доля откатов | Доля изменений, обращённых к предыдущей версии | изменения, отменённые после попадания в продуктив / все изменения в продуктив за период; откат, сделанный до того, как изменение дошло до каких-либо пользователей (например, канареечный релиз, остановленный на первом шаге), считается отдельно | процент | Журнал развёртываний и инструмент релизов | Управление релизами; управление развёртыванием | Практики конвейера и релизов | Раз в месяц | Исправлять вперёд, чтобы не записывать откат; держать сломанную версию в работе; удерживать изменения от продуктива, чтобы нечего было откатывать | Рядом доля срочных исправлений и доля переделок; распределение времени восстановления; выборка инцидентов против журнала развёртываний |
| Доля срочных исправлений | Доля изменений, являющихся срочными патчами, применяемыми вне обычного потока релизов | изменения, помеченные или выделенные в ветку как срочные исправления / все изменения в продуктив за период; знаменатель включает сами срочные исправления | процент | Ветки или метки системы контроля версий и журнал развёртываний | Управление изменениями; управление инцидентами | Внеплановая работа; срочные задачи | Раз в месяц | Не помечать срочные исправления; пропускать их через обычную ветку; называть срочное исправление «небольшим улучшением» | Доля переделок развёртываний; аудит веток и меток; доля внеплановой работы (см. тему 2.9, Операционная и внеплановая работа) |
| Доля переделок развёртываний | Доля развёртываний, являвшихся внеплановыми исправлениями проблемы более раннего развёртывания | развёртывания в продуктив, исправляющие дефект или сбой недавнего более раннего развёртывания в том же окне сбоя / все развёртывания в продуктив за период; плановая последующая работа из дорожной карты исключается | процент | Журнал развёртываний со связью или меткой «исправляет» и трекер работ | Управление изменениями; непрерывное улучшение | Переделки; ушедшие дефекты; спрос от сбоев | Раз в месяц | Не связывать исправления с исходным развёртыванием; помечать исправление как «плановое»; собирать исправление вместе с новыми функциями | Обязательная связь «исправляет» на исправляющих развёртываниях; выборочный пересмотр развёртываний, помеченных плановыми; рядом доля сбоев изменений |
| Доля связей изменения с инцидентом | Доля решённых инцидентов, записывающих, вызвало ли их изменение, и какое | инциденты с заполненным полем «вызвано изменением» (да или нет, плюс идентификатор изменения при «да») / инциденты, решённые в периоде; часы останавливаются, когда инцидент закрыт | процент | Инструмент инцидентов и записи об изменениях | Управление инцидентами; управление изменениями | Пересмотр после инцидента; определение готовности | Раз в месяц | Заполнять поле «нет», не проверив; оставлять поле по умолчанию «нет»; закрывать инциденты оптом, чтобы поднять процент | Выборочная проверка ответов «нет» на пересмотре после инцидента; нет значения по умолчанию; комментарии проверяющих по выборке |
| Согласие по определению сбоя | Согласие двух проверяющих о том, дало ли сбой изменение из выборки | выборочные изменения, где два независимых проверяющих приходят к одному вердикту о сбое по письменному определению / выборочные изменения; выборка не менее 20 изменений, случайно берущихся каждый квартал | процент | Лист пересмотра выборки, хранимый вместе с реестром метрик | Непрерывное улучшение; измерение и отчётность | Ретроспектива | Раз в квартал | Выбирать лёгкие примеры для выборки; проверяющие, являющиеся измеряемыми людьми; ослаблять определение, чтобы все соглашались | Случайная выборка, берущаяся кем-то вне команды; намеренно включать пограничные случаи; публиковать расхождения и исправлять определение |
4.5 Метрики релизов и развёртывания
Тема-источник: (см. тему 4.5, Метрики релизов и развёртывания).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Частота развёртываний | Как часто услуга получает успешное развёртывание в продуктив | Число успешных развёртываний услуги в продуктив за период / дни в периоде; развёртывания в тестовые или промежуточные среды, неудачные или откатанные развёртывания и повторные развёртывания неизменённой сборки исключаются; развёртывания только конфигурации считаются в отдельном ряду | Развёртываний в день или в неделю | Журнал событий конвейера развёртывания | Управление развёртыванием | Непрерывная поставка; выпуск работающего приращения | Раз в неделю | Делить одно изменение на тривиальные развёртывания; повторно развёртывать неизменённые сборки; считать развёртывания в промежуточную среду; считать развёртывания только конфигурации в основном ряду | Размер партии релиза и доля развёртываний с изменением, видимым пользователю; отдельный ряд конфигурации; рядом доля сбоев изменений |
| Частота релизов | Как часто пользователи получают изменение, которого могут достичь | Число событий релиза за период / дни в периоде; событие релиза есть момент, когда изменение или группа изменений становятся достижимыми для предполагаемых пользователей (флаг, включённый для всех пользователей, последний этап прогрессивного развёртывания или развёртывание изменения без флага); тёмный запуск, развёртывание, остановленное на частичном этапе, и изменение флага, затрагивающее только внутренних пользователей, исключаются | Релизов в неделю или в месяц | Журнал аудита службы флагов, объединённый с журналом конвейера и календарём релизов | Управление релизами | Выпуск в конце каждого приращения; потенциально поставляемое приращение сделано доступным | Раз в неделю, пересмотр раз в месяц | Перемечать развёртывания как релизы; считать релизом флаг, включённый для внутренних сотрудников; выпускать пустые или косметические изменения, чтобы выполнить цель; считать каждый этап развёртывания отдельным релизом | Письменное определение релиза; ежеквартальная выборка релизов, сверяемая с изменениями, видимыми пользователям; размер партии и число изменений для клиентов |
| Время выполнения релиза | Как долго готовое изменение ждёт, прежде чем пользователи смогут его достичь | Часы запускаются, когда изменение слито в основную линию и прошло автоматические проверки (или, если так записала ваша команда, при первом коммите) и останавливаются, когда изменение выпущено, как определено выше; сообщайте медиану и 85-й перцентиль изменений, выпущенных в периоде; ещё не выпущенные изменения исключаются и сообщаются как возраст ждущей работы | Часы или дни | Система контроля версий, объединённая с конвейером и журналом аудита флагов | Управление релизами; управление развёртыванием | Время выполнения от «готово» до «доставлено»; время до клиента | Раз в неделю, пересмотр раз в месяц | Запускать часы позже, например при согласовании вместо слияния; исключать долго ждавшие изменения как «заблокированные»; выпускать сначала тривиальное изменение, чтобы опустить медиану; останавливать часы на развёртывании | 85-й перцентиль и возраст самого старого ждущего изменения; фиксированное письменное начало; ежеквартальный пересмотр самых медленных 10 % изменений |
| Разрыв между развёртыванием и релизом | Как долго развёрнутый код остаётся тёмным, прежде чем пользователи смогут его достичь | Часы запускаются, когда изменение развёрнуто в продуктив, и останавливаются, когда оно выпущено; сообщайте медиану и 85-й перцентиль; изменения, выпущенные в момент развёртывания, имеют разрыв ноль и включаются; изменения, развёрнутые и позже убранные без релиза, исключаются и считаются отдельно | Часы или дни | Журнал конвейера, объединённый с журналом аудита флагов | Управление релизами; управление развёртыванием | Тёмный запуск; отделение развёртывания от релиза | Раз в месяц | Включать флаг для символического пользователя, чтобы записать релиз рано; оставлять долго тёмный код вне выборки, называя его «не релизом»; удалять тёмный код, чтобы избежать долгого разрыва | Доля охвата при релизе (порог того, что считается выпущенным); число изменений, развёрнутых и убранных без релиза; число устаревших флагов |
| Размер партии релиза | Сколько изменений выходит вместе в одном релизе | Медиана и 85-й перцентиль числа слитых изменений (запросов на слияние или рабочих элементов) на релиз в периоде; единица изменения записана; каждое изменение считается один раз, в релизе, сделавшем его достижимым | Изменений на релиз | Система контроля версий и трекер задач, объединённые с событием релиза | Управление релизами; управление изменениями | Малые партии; вертикальные срезы работы | На релиз, пересмотр раз в месяц | Делить работу на искусственные запросы на слияние; сливать несвязанные изменения в одно, чтобы снизить число релизов; считать только крупное изменение в связке | Медианный размер изменения в строках или файлах как контекстный показатель; пересмотр выборки релизов на несвязанные связки; частота рядом с размером |
| Охват флагами функций | Доля видимых пользователю изменений, выпущенных за флагом | Видимые пользователю изменения, выпущенные в периоде, у которых был флаг на момент релиза / все видимые пользователю изменения, выпущенные в периоде; изменения инфраструктуры и исправления дефектов, которые нельзя поставить за флаг, исключаются, а правило «видимое пользователю» записано | Процент | Служба флагов, объединённая с трекером задач и журналом релизов | Управление релизами; управление изменениями | Прогрессивная поставка; разработка, управляемая экспериментами | Раз в месяц | Добавлять флаги к тривиальным изменениям, чтобы поднять долю; ставить за флаг только безопасные изменения и выпускать рискованные без флага; создавать флаг, который на практике нельзя выключить | Результаты проверки выключения для выборки флагов; число устаревших флагов; причины инцидентов, где флага не было |
| Число устаревших флагов | Сколько флагов пережили свою цель | Число флагов релиза, всё ещё присутствующих в коде или конфигурации спустя заявленное число дней после того, как изменение, которое они охраняют, достигло всех пользователей; постоянные операционные флаги (выключатели аварийной остановки, флаги прав) помечаются и исключаются; предел возраста записан по типу флага | Флаги и медианный возраст флагов релиза в днях | Инвентарь службы флагов, объединённый с поиском по коду | Управление релизами; управление знаниями | Очистка технического долга; критерий готовности «убрать флаг» | Раз в месяц | Перемечать флаги релиза как постоянные, чтобы уйти из счёта устаревших; удалять запись о флаге, оставляя его в коде; продлевать даты истечения без пересмотра | Периодический поиск по коду против реестра; пересмотр каждой смены типа флага; возраст самого старого флага релиза |
4.6 Технический долг и известные ошибки
Тема-источник: (см. тему 4.6, Технический долг и известные ошибки).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Возраст бэклога известных ошибок | Как долго открытые известные ошибки ждали постоянного исправления | Часы запускаются, когда запись о проблеме помечена «известная ошибка»; останавливаются, когда постоянное исправление выпущено в продуктив; элементы, закрытые как «принятый риск», сообщаются отдельно и исключаются. Сообщайте число, медианный возраст и возраст 85-го перцентиля по услуге | дни (распределение) | Записи ITSM о проблемах и известных ошибках, записи релизов | Управление проблемами | График стареющих рабочих элементов; возраст бэклога дефектов | Раз в месяц | Закрывать старые записи как «принятый риск» или «не будем исправлять»; делить одну старую запись на новые молодые; сбрасывать часы повторной регистрацией | Число и возраст принятых рисков сообщаются на той же странице; пересмотр закрытий кем-то вне владеющей команды; происхождение записей сохраняется |
| Охват обходными путями | Доля открытых известных ошибок, у которых есть документированный, проверенный обходной путь, которому может следовать оператор | открытые известные ошибки с обходным путём, пересмотренным за последние 6 месяцев / открытые известные ошибки; закрытые элементы и элементы с принятым риском исключаются | процент | База знаний, связанная с записями об известных ошибках | Управление проблемами; управление знаниями | Руководство по эксплуатации или определение готовности для эксплуатационной пригодности | Раз в месяц | Писать расплывчатый обходной путь, чтобы удовлетворить поле; считать обходной путь, который ни один оператор никогда не пробовал | Использование обходных путей и доля сбоев в связанных инцидентах; периодическая проверка выборки обходных путей |
| Инциденты, связанные с открытыми известными ошибками | Инциденты, чья причина есть открытая известная ошибка, прямая мера процентов, уплачиваемых в нарушении услуги | инциденты в периоде, связанные с известной ошибкой, бывшей открытой, когда инцидент начался / все инциденты в периоде; инциденты без связи с причиной сообщаются как несвязанные, а не считаются | процент и число | Связи инцидент-проблема в инструменте ITSM | Управление инцидентами; управление проблемами | Ушедшие дефекты; приток ошибок в продуктиве | Раз в месяц | Оставлять инциденты несвязанными или связывать с другой причиной, чтобы доля падала | Доля несвязанных инцидентов сообщается рядом; выборочный пересмотр закрытых инцидентов на пропущенные связи |
| Запас долга | Число и оценённый размер зарегистрированных элементов технического долга, остающихся открытыми | открытые элементы в реестре долга на конец периода; размер есть сумма грубых полос усилия (часы, дни, недели), присвоенных при регистрации; незарегистрированный или подозреваемый долг исключается | число и полосы усилия | Реестр долга в трекере, помеченный по услуге | Непрерывное улучшение; проектирование услуг | Элементы продуктового бэклога, помеченные как долг | Раз в месяц | Не регистрировать долг, чтобы запас выглядел малым; сливать многие элементы в один большой; регистрировать мелочи, чтобы выглядеть усердным | Пересмотр реестра против выборки проверок кода и разборов после инцидентов; проверки размера и конкретности элементов |
| Проценты по долгу | Дополнительная работа, вызванная открытым долгом и известными ошибками, во времени команды | часы, записанные в периоде на рабочие элементы, помеченные ссылкой на долг или известную ошибку (обходные пути, ручные шаги, переделки и дополнительное усилие на затронутых изменениях) / общие рабочие часы команды в периоде; сама работа по ремонту исключается и считается в доле ёмкости | процент рабочего времени | Метки времени или усилия на рабочих элементах, хранимые на уровне команды | Непрерывное улучшение; управление проблемами | Доля внеплановой работы и переделок | Раз в месяц | Ставить меньше меток, чем нужно, чтобы избежать пристального взгляда, или больше, чтобы выиграть бюджет ремонта; читать цифру как оценку команды | Выборочный аудит помеченных и непомеченных элементов; вид только уровня команды, без сравнения между командами; проценты читаются вместе со связями инцидентов |
| Доля ёмкости на долг | Доля ёмкости поставки, потраченная на погашение долга и известных ошибок | ёмкость (число элементов или усилие) завершённых рабочих элементов, помеченных как ремонт долга или исправление известной ошибки / все завершённые рабочие элементы в периоде; элементы без метки исключаются | процент | Трекер, завершённые элементы по метке | Непрерывное улучшение; управление изменениями | Распределение ёмкости | За период планирования, пересматривается раз в месяц | Метить обычную работу над функциями как ремонт; выбирать лёгкие косметические элементы, чтобы заполнить долю | Проверка результата: падающий возраст самых старых элементов с высокими процентами и связей инцидентов; пересмотр того, что исправлено, относительно ранжирования |
| Чистое изменение долга | Растёт или сокращается журнал | зарегистрированные в периоде элементы долга и известных ошибок минус элементы, разрешённые в периоде; разрешённый значит исправление выпущено, а не слито; элементы, закрытые как «не будем исправлять», считаются отдельной строкой | число (со знаком) | Реестр долга и записи об известных ошибках | Непрерывное улучшение | Изменение бэклога по категориям | Раз в месяц | Разрешать много крошечных элементов, чтобы компенсировать несколько больших; закрывать элементы как «не будем исправлять», чтобы счёт падал | Чистое изменение показывается по полосе размера и по процентам; строка «не будем исправлять» сообщается; проверка повторения на разрешённых элементах |
Часть 5: Метрики уровня услуг, доступности и надёжности
5.1 Метрики SLA, OLA и XLA
Тема-источник: (см. тему 5.1, Метрики SLA, OLA и XLA).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Доля выполнения SLA | Доля измеренных элементов (инцидентов, запросов или временных окон), отвечавших заявленной цели SLA в периоде | Элементы, отвечавшие цели, делённые на измеренные элементы. Часы запускаются в записанное время, определённое в соглашении (например, создание заявки), и останавливаются на определённом событии конца (например, подтверждённое восстановление). Исключаются: элементы, отменённые как дубликаты, и время внутри согласованных исключений, таких как плановое обслуживание. Сообщайте счёт рядом с долей | Процент, с n | Метки времени инструмента ITSM; данные мониторинга для целей по времени | Управление уровнями услуг; управление инцидентами; управление запросами на обслуживание | Выполнение цели уровня услуги по скользящему окну (см. тему 5.2, SLI, SLO и бюджеты ошибок) | Раз в месяц, с еженедельным внутренним видом | Выбирать цель лёгкой; закрывать заявки рано и открывать заново позже; переклассифицировать приоритет вниз; исключать трудные случаи как «вне области» | Доля повторного открытия и доля переклассификации приоритета; выборка закрытых заявок, прочитанная вместе с клиентом; пересмотр списка исключений каждый квартал |
| Доля почти-промахов | Доля элементов, отвечавших цели, но завершившихся внутри последней десятой части отведённого времени | Элементы, завершённые на 90 % целевого времени или позже и всё ещё в пределах, делённые на элементы, отвечавшие цели. Те же часы, что у SLA. н/д для временных окон (применимо только к показателям времени до цели) | Процент | Метки времени инструмента ITSM | Управление уровнями услуг | Доля работы близко к ожиданию по уровню услуги на графике потока (см. тему 2.1, Показатели потока) | Раз в месяц | Останавливать часы за минуту до предела, затем продолжать работу неофициально; делить заявку на две более короткие | Время от последнего контакта с клиентом до подтверждённого восстановления; число связанных или дочерних заявок на инцидент |
| Доля пауз часов | Доля общего прошедшего времени заявки, проведённая в состояниях, останавливающих часы SLA | Общее время пауз, делённое на общее прошедшее время от начала до конца, для элементов в области. Исключаются элементы, где не использовалось состояние паузы. Сообщайте по состоянию паузы | Процент | История статусов инструмента ITSM | Управление уровнями услуг; управление инцидентами | Время блокировки и время ожидания на виде потока (см. тему 2.4, Метрики потока создания ценности) | Раз в месяц | Использовать состояния пауз на заявках, не ждущих клиента; переносить работу в состояние, не входящее в счёт | Причины пауз проверяются по выборке; доля пауз, отклонённых клиентом; оценка опыта для приостановленных заявок |
| Доля выполнения OLA | Доля внутренних передач, отвечавших цели OLA между двумя командами | Передачи, завершённые в пределах цели OLA, делённые на полученные передачи. Часы запускаются, когда назначена принимающая команда, и останавливаются, когда она возвращает или закрывает элемент. Исключаются: элементы, переназначенные по ошибке, считаются отдельно | Процент, с n | История назначений инструмента ITSM | Управление уровнями услуг; управление инцидентами | Время ожидания передачи и заблокированная работа между командами (см. тему 9.3, Метрики сотрудничества и передачи работы) | Раз в месяц | Отклонять передачи обратно отправителю, чтобы перезапустить часы; помечать элементы принятыми, не начав работу | Число возвратов на элемент и общее время до восстановления между командами; сквозной результат SLA |
| Время ожидания передачи (85-й перцентиль) | Время, которое элемент ждёт в очереди принимающей команды до начала работы | 85-й перцентиль времени между назначением принимающей команде и первым записанным действием этой команды. Исключаются: элементы, ждущие клиента | Часы или минуты | История назначений и активности инструмента ITSM | Управление уровнями услуг; управление инцидентами | Время в очереди на виде потока (см. тему 2.3, Работа в процессе и теория очередей) | Раз в неделю | Назначать на человека, а не в очередь команды, чтобы спрятать ожидание; записывать символическое первое действие | Качество первого действия, проверяемое по выборке; время от назначения до первого видимого клиенту обновления |
| Оценка опыта по пути | Оценка клиентом или пользователем того, как услуга поддержала определённый путь, например получение нового ноутбука или восстановление после сбоя | Среднее и распределение оценок опроса по фиксированной шкале для завершённых путей в периоде. Сообщайте долю ответивших и состав ответивших. Исключаются: частичные опросы. Не единое среднее, поэтому показывайте распределение | Шкала оценок, с долей ответивших | Короткий опрос после взаимодействия; события пути из инструмента ITSM | Управление уровнями услуг; практики удовлетворённости клиентов (см. тему 6.1, Метрики удовлетворённости клиентов) | Обратная связь клиентов и показатели результата | Раз в месяц, с показом каждой волны | Отправлять опросы только довольным пользователям; задавать наводящие вопросы; натаскивать исполнителей на высокие оценки | Состав ответивших против совокупности; доля ответивших показана рядом с оценкой; открытые комментарии читаются на пересмотре |
| Разрыв-арбуз | Доля периодов или услуг, где SLA читается как выполненное, а показатель опыта или воздействия на пользователей читается как плохой | Услуги (или периоды) с выполнением SLA на цели или выше и опытом ниже согласованного уровня, делённые на услуги (или периоды) с выполнением SLA на цели или выше. Уровень опыта должен быть согласован до оценки периода | Процент зелёных услуг | Выполнение SLA и оценка опыта вместе | Управление уровнями услуг; непрерывное улучшение | Ретроспектива результатов относительно итогов | Раз в квартал | Задавать уровень опыта низким, чтобы разрыв оставался малым; менять показатель опыта, когда он проседает | Уровень опыта согласован заранее, изменения записываются с причинами; тренд всего распределения |
| Охват и актуальность соглашений | Доля действующих услуг, чьи SLA, OLA и контракты поставщиков существуют и были пересмотрены в согласованный интервал | Услуги со всеми тремя слоями, документированными и пересмотренными в интервале, делённые на действующие услуги в каталоге услуг. Интервал задаёт организация. Исключаются: услуги на выводе | Процент | Каталог услуг и реестр соглашений | Управление уровнями услуг; управление каталогом услуг; управление поставщиками | Рабочие соглашения и хартии команд, пересматриваемые в регулярном ритме | Раз в квартал | Помечать соглашение пересмотренным без настоящего пересмотра; считать документ-заглушку SLA | Свидетельство пересмотра (участники, изменения, решения); выборка соглашений, читаемых на настоящее содержание и подпись клиента |
5.2 SLI, SLO и бюджеты ошибок
Тема-источник: (см. тему 5.2, SLI, SLO и бюджеты ошибок).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Выполнение SLI | Доля допустимых событий, бывших хорошими, для одного индикатора одной услуги | хорошие события / допустимые события, за окно от начала до конца отчётного периода; события, исключённые документом SLO (нагрузочные тесты, заранее объявленное плановое обслуживание, если так говорит SLO), убираются и из числителя, и из знаменателя | процент | Телеметрия балансировщика нагрузки, приложения или синтетической пробы; платформа мониторинга или наблюдаемости | Управление уровнями услуг; мониторинг и управление событиями | Определение готовности для эксплуатационной пригодности; обзор здоровья услуги заинтересованными сторонами | Непрерывно, сообщается ежедневно и по окну | Сужать «допустимые» события, пока сбои не выпадут, например исключать повторённые запросы или целые классы ошибок; измерять только самый здоровый компонент; пробовать только из выгодного места | Публиковать определение SLI и исключения в документе SLO с журналом изменений; сравнивать SLI с обращениями в поддержку и жалобами пользователей; регулярный пересмотр исключённых событий и их объёма |
| Соблюдение SLO | Уложился ли SLI в цель за окно SLO и за сколько недавних окон | окна, в которых выполнение SLI было на цели или выше / оценённые окна, за последние 12 месяцев; окно, ещё открытое, исключается | процент окон | История выполнения SLI | Управление уровнями услуг; непрерывное улучшение | Цель команды или рабочее соглашение о надёжности | Раз в месяц, с квартальным трендом | Задавать цель настолько низко, чтобы всегда проходить; менять длину окна после плохого периода; переопределять нарушение как период обслуживания | Цель задана с участием пользователей и пересматривается по графику; окно зафиксировано в документе; число исключений и внеплановых изменений окна сообщается рядом с соблюдением |
| Остаток бюджета ошибок | Часть бюджета, ещё не израсходованная в текущем окне | 1 минус (плохие события к настоящему моменту / допустимые плохие события за всё окно), где допустимые плохие события = (1 минус SLO) × ожидаемые допустимые события за всё окно; часы запускаются в начале окна и останавливаются в конце окна | процент бюджета | Выполнение SLI и прогноз объёма | Управление уровнями услуг; управление рисками | Проверка готовности к релизу; вход в плановую работу | Ежедневно, пересматривается раз в неделю | Переклассифицировать плохие события как исключённые; завышать ожидаемый объём, чтобы допустимое число плохих выглядело больше; сбрасывать окно рано | Допустимые плохие события вычисляются по фактическому объёму на конец окна; объём исключённых событий показывается рядом с бюджетом; даты окна фиксируются заранее |
| Скорость сгорания | Скорость, с которой тратится бюджет, относительно ровного темпа расхода | (плохие события / допустимые события за период ретроспективы) / (1 минус SLO); период ретроспективы указывается, например 1 час или 6 часов | отношение (1 означает ровно по бюджету) | Телеметрия SLI с мелким разрешением по времени | Мониторинг и управление событиями; управление инцидентами | Правила оповещения дежурных; триггер роя | Непрерывно, вычисляется в правилах оповещений | Настраивать пороги оповещений так, чтобы сгорание никогда не срабатывало; использовать ретроспективу настолько длинную, что быстрые сгорания усредняются | Проверка охвата оповещениями по прошлым инцидентам («вызвало бы это правило?»); доля применимых оповещений и число пропущенных обнаружений (см. тему 5.5, Метрики мониторинга и качества оповещений) |
| Соблюдение политики бюджета | Как часто было применено согласованное последствие, когда достигнут триггер политики бюджета ошибок | триггеры в периоде, где действие по политике предпринято в согласованное время / триггеры, достигнутые в периоде; триггеры, формально снятые с записанной причиной, считаются отдельно, а не убираются | процент | Документ политики, журнал решений и история бэклога | Управление уровнями услуг; управление изменениями | Рабочее соглашение; доведение до конца действий ретроспективы | Раз в квартал | Регулярно давать исключения; писать политику с триггерами, которых никогда не достичь; засчитывать символическую заявку о надёжности как действие по политике | Исключения считаются и пересматриваются отдельно; доля исключений в периоде; завершённая работа над надёжностью (см. тему 4.1, Метрики управления проблемами) |
| Охват SLO | Доля критических путей пользователей или услуг в области, у которых есть действующая SLO и работающий SLI | услуги или пути в области, имеющие хотя бы одну SLO, чьи данные SLI поступили за последние 7 дней / услуги или пути в области; «в области» перечислено в каталоге услуг | процент | Каталог услуг, реестр SLO и настройка мониторинга | Управление каталогом услуг; управление уровнями услуг | Список владения услугами команды | Раз в квартал | Добавлять тривиальную SLO к каждой услуге, чтобы поднять процент; засчитывать путь охваченным, когда данные не поступают | Проверка свежести данных SLI (данные поступили за последние 7 дней); пересмотр того, покрывает ли SLO критический путь, а не второстепенную конечную точку |
5.3 Метрики доступности
Тема-источник: (см. тему 5.3, Метрики доступности).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Доступность по времени | Доля времени в области, в которой услуга отвечала письменному определению «работает» | (минуты в области в окне минус минуты внепланового простоя) / минуты в области в окне. Часы запускаются при первой неудавшейся пробе, позже подтверждённой как воздействие на пользователей, или при подтверждённом начале воздействия, записанном в пересмотре инцидента; останавливаются, когда услуга снова отвечает определению. Плановый простой внутри согласованных часов услуги показывается отдельно, а время вне согласованных часов услуги исключается из знаменателя | процент | Результаты синтетического мониторинга; запись об инциденте с метками начала воздействия и восстановления | Управление доступностью; управление уровнями услуг | SLI по времени для отдельной системы (см. тему 5.2, SLI, SLO и бюджеты ошибок) | Раз в месяц | Пробовать тривиальную страницу, остающуюся доступной, пока настоящий путь падает; удлинять интервал проб, чтобы короткие сбои проваливались между проверками; сокращать часы в области; считать сбои деградацией | Доступность с весами пользователей и мониторинг реальных пользователей; интервал проб указан рядом с цифрой; выборка инцидентов сверяется с записью мониторинга |
| Доступность по запросам | Доля допустимых запросов, закончившихся успешно | успешные допустимые запросы / все допустимые запросы в окне. Допустимые запросы исключают искажённые запросы и клиентские ошибки, вызванные вызывающей стороной; сбои, вызванные услугой, включая тайм-ауты, считаются неудачами. Сообщается по услуге и по пути пользователя | процент | Логи и метрики балансировщика нагрузки, шлюза или приложения | Управление доступностью; мониторинг и управление событиями | SLI доли успеха с SLO и бюджетом ошибок (см. тему 5.2, SLI, SLO и бюджеты ошибок) | Ежедневный тренд, месячный отчёт | Включать лёгкие запросы (проверки здоровья, кэшированные ресурсы) в знаменатель, чтобы разбавить сбои; классифицировать серверные ошибки как клиентские; исключать повторы, которые пользователи переживали как неудачи | Доля успеха по критическому пути, а не по запросу; пересмотр списка исключений; сравнение с инцидентами, о которых сообщили пользователи |
| Доступность с весами пользователей | Доступность, взвешенная затронутыми пользователями или путями, так что сбой в пик считается больше ночного | 1 минус (неудавшиеся сеансы пользователей или неудавшиеся пути / все сеансы пользователей или пути) в окне. Сеанс считается неудавшимся, если не удался определённый критический шаг; частичный успех сообщается как отдельная доля деградации, а не вливается | процент | Мониторинг реальных пользователей; логи сеансов приложения; события аналитики | Управление доступностью; управление уровнями услуг | SLI на основе путей и показатели опыта из темы 6.2 (см. тему 6.2, Соглашения об уровне опыта) | Раз в месяц | Выбирать веса так, чтобы сбои в пик весили мало; определять «успешный» сеанс так слабо, что сломанные шаги всё равно проходят | Публиковать правило весов и список путей; сравнивать с объёмом жалоб и обращений в поддержку во время сбоев |
| Внеплановый простой | Минуты, в которые услуга была недоступна без заранее одобренного уведомления | Сумма длительностей сбоев в окне, от подтверждённого начала воздействия до подтверждённого восстановления, для сбоев, не объявленных и не одобренных через управление изменениями до их начала. Пересекающиеся сбои одной услуги сливаются, а не суммируются. Сообщается как общие минуты, число сбоев, медиана и 95-й перцентиль длительности сбоя | минуты | Запись об инциденте с метками начала воздействия и восстановления | Управление инцидентами; управление доступностью | Время восстановления, читаемое как распределение (см. тему 3.3, Время реагирования на инциденты и их устранения) | Раз в месяц | Переклассифицировать сбои как плановые постфактум; откладывать подтверждённое начало воздействия; делить один сбой на два, чтобы он выглядел короче | Доля планового простоя с правилом, что сбой, объявленный после начала, внеплановый; сравнение начала воздействия с данными мониторинга |
| Доля планового простоя | Доля всего простоя, объявленная и одобренная заранее | минуты планового простоя / (минуты планового плюс внепланового простоя) в окне. Сбой считается плановым, только если он был одобрен записью об изменении до начала и его время начала и конца было сообщено пользователям; превышение одобренного окна переклассифицируется как внеплановое с момента окончания окна | процент | Запись об изменении с одобренным окном; запись об инциденте; история страницы статуса | Управление изменениями (change enablement); управление доступностью | Практики релизов и обслуживания, предпочитающие развёртывание без простоя (см. тему 4.3, Метрики управления изменениями) | Раз в месяц | Оформлять изменения как одобренные окна, чтобы превышения и сбои считались плановыми; раздувать долю планового, планируя ненужное обслуживание | Минуты превышения переклассифицируются как внеплановые; доля сбоев изменений и доля срочных изменений (см. тему 4.4, Сбои изменений и переделки) |
| Частота сбоев и интервалы между ними | Как часто начинаются сбои и как долго услуга работает между ними | Число сбоев, начавшихся в окне; и для каждой пары последовательных сбоев минуты работы между восстановлением первого и началом второго, сводимые как медиана и 5-й перцентиль. Не сообщается как единое среднее, если интервалов меньше десяти | число; минуты | Запись об инциденте; история мониторинга | Управление инцидентами; управление проблемами | Сигнал стабильности рядом с долей сбоев изменений (см. тему 4.4, Сбои изменений и переделки) | Раз в месяц | Сливать инциденты или открывать новый только после долгой паузы, чтобы держать счёт низким; подавлять оповещения, чтобы короткие сбои не записывались | Выборка оповещений и инцидентов против сырых событий мониторинга; охват мониторингом и качество оповещений (см. тему 5.5, Метрики мониторинга и качества оповещений) |
| Доля деградации | Время, в которое услуга работала, но ниже согласованного качества | Минуты, в которые индикатор задержки, ошибок или правильности нарушил свой порог, исключая минуты, уже посчитанные как простой / минуты в области. Порог указывается по услуге, например в SLO | процент | Мониторинг и измерения SLI | Управление доступностью; управление ёмкостью и производительностью | SLI задержки (см. тему 5.4, Метрики ёмкости и производительности) | Раз в месяц | Задавать порог настолько мягким, что медленная работа его никогда не нарушает; объявлять деградированное время как работающее | Перцентили задержки и сообщения пользователей о медлительности пересматриваются рядом с цифрой (см. тему 5.4, Метрики ёмкости и производительности) |
| Охват измерения | Какую часть пользовательского поведения услуги измерение доступности действительно наблюдает | Критические пути пользователей с активной пробой или измерением реальных пользователей / критические пути пользователей, перечисленные в определении услуги | процент | Определение услуги; настройка мониторинга | Мониторинг и управление событиями; управление доступностью | Охват наблюдаемости и качество оповещений (см. тему 5.5, Метрики мониторинга и качества оповещений) | Раз в квартал | Перечислять только пути, которые легко пробовать, чтобы охват читался как 100 %; считать путь охваченным пробой, которая никогда не запускается | Список путей согласован с владельцем услуги и пользователями; история запусков проб проверяется выборкой каждый квартал |
5.4 Метрики ёмкости и производительности
Тема-источник: (см. тему 5.4, Метрики ёмкости и производительности).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Загрузка ресурса | Доля ёмкости ресурса, используемая за интервал, сообщаемая как высокий перцентиль ряда интервалов | занятая ёмкость / полная ёмкость, на интервал от 1 до 5 минут; сообщайте медиану и 95-й перцентиль за окно пересмотра; окна обслуживания, когда ресурс слит, исключаются | процент | Мониторинг инфраструктуры и метрики облачной платформы | Управление ёмкостью и производительностью; мониторинг и управление событиями | Эксплуатационные критерии приёмки в определении готовности; ресурсные сигналы SRE | Раз в неделю | Усреднять по длинным интервалам, чтобы спрятать пики; считать простаивающую зарезервированную ёмкость «используемой»; сообщать только самые тихие ресурсы | 95-й перцентиль в часы пик рядом со средним; мера насыщения; список ресурсов в области сверяется с картой услуг |
| Насыщение | Объём работы, ждущей ресурс, который полностью занят | длина очереди, очередь на выполнение, ожидающие запросы или задушенные запросы, на интервал; сообщайте 95-й перцентиль и долю интервалов с любым ожиданием; интервалы без спроса исключаются | число или процент интервалов | Телеметрия приложений и инфраструктуры | Управление ёмкостью и производительностью; мониторинг и управление событиями | Сигнал насыщения SRE; ограничение работы в процессе на очереди услуги | Раз в неделю | Поднимать лимиты очередей, чтобы ничего не сообщалось как отклонённое или задушенное; переносить ожидание в другую очередь, которая не измеряется | Перцентиль задержки и доля ошибок для той же операции; сквозное время в очереди, а не одной стадии; пересмотр всех очередей на пути |
| Перцентиль задержки | Время ответа на запрос для одной пользовательской операции, сообщаемое на медиане, p95 и p99 | время ответа от получения запроса на краю до отправки последнего байта, на успешный запрос; неудавшиеся запросы сообщаются как ошибки, а не как быстрые ответы; измеряется по скользящему окну | миллисекунды | Логи балансировщика нагрузки или шлюза, трассировка, мониторинг реальных пользователей | Управление уровнями услуг; управление ёмкостью и производительностью | Индикатор задержки SRE и цель уровня услуги | Непрерывно, пересматривается раз в неделю | Сообщать только среднее или медиану; убирать медленные или неудавшиеся запросы из выборки; измерять из быстрого внутреннего места; исключать «выбросы» | p95 и p99 всегда показаны; доля ошибок и тайм-аутов показана рядом с задержкой; мониторинг реальных пользователей сравнивается с серверными замерами; показан сырой размер выборки |
| Запас | Оставшаяся нагрузка, которую услуга может нести, прежде чем нарушит свои цели | (испытанная или смоделированная нагрузка отказа минус текущая пиковая нагрузка) / текущая пиковая нагрузка; пик есть самый загруженный час в окне; нагрузка отказа есть нагрузка, при которой цель по задержке впервые нарушается в испытании, а не предел оборудования | процент или дни при текущем росте | Результаты нагрузочных тестов и телеметрия трафика | Управление ёмкостью и производительностью; управление уровнями услуг | Нефункциональные требования и тесты производительности в конвейере | Раз в месяц и перед крупными запусками | Выбирать мягкую нагрузку теста; испытывать более крупную среду, чем продуктив; определять точку отказа как предел оборудования | Нагрузка теста сверяется с формой продуктивного трафика; письменный список отличий теста от продуктива; запас повторно проверяется после значимых изменений |
| Ошибка прогноза | Разница между прогнозным и фактическим спросом за период | абсолютное (прогнозный пик минус фактический пик) / фактический пик, для заявленного горизонта; прогноз замораживается в начале горизонта и не пересматривается позже; незапланированные разовые события перечисляются, а не убираются | процент | Реестр прогнозов и телеметрия трафика | Управление ёмкостью и производительностью; связанное со спросом планирование в управлении финансами услуг | Прогнозирование релизов и дорожной карты; прогнозирование спроса SRE | Раз в квартал | Пересматривать прогноз задним числом; задавать очень широкие диапазоны, чтобы любой исход был «в диапазоне»; убирать месяцы с сюрпризами как «незапланированные события» | Прогноз заморожен и датирован в реестре; ширина диапазона сообщается с ошибкой; каждое исключённое событие перечислено и пересмотрено |
| Время выполнения ёмкости | Время, нужное, чтобы ввести новую ёмкость в работу после принятия потребности | часы запускаются, когда запрос на ёмкость одобрен, и останавливаются, когда ёмкость несёт трафик продуктива; сообщайте медиану и 85-й перцентиль; отменённые запросы исключаются | дни | Записи запросов в инструменте ITSM, записи об изменениях, логи подготовки | Управление ёмкостью и производительностью; управление запросами на обслуживание; управление изменениями (change enablement) | Время выполнения элемента бэклога платформы (см. тему 2.2, Время выполнения, время цикла и эффективность потока) | Раз в квартал | Запускать часы позже, откладывая записи об одобрении; закрывать запросы при размещении заказа, а не когда ёмкость несёт трафик; делить запросы | Часы определены от одобрения до несения трафика; выборка закрытых запросов сравнивается с логами подготовки; число повторно открытых запросов |
| Охват тестами производительности | Доля критических услуг с недавним реалистичным нагрузочным тестом | критические услуги с пройденным нагрузочным тестом моложе заявленного возраста, на репрезентативной среде и нагрузке / критические услуги в реестре; предел возраста записан | процент | Хранилище результатов тестов и реестр услуг | Управление ёмкостью и производительностью; управление релизами | Нефункциональные тесты в конвейере непрерывной поставки | Раз в квартал | Запускать тривиальный тест ради заявления об охвате; сокращать список критических услуг; держать в учёте старый пройденный тест | Возраст теста и реалистичность нагрузки записаны; список критических услуг сверяется с каталогом услуг и историей инцидентов; неудавшиеся тесты сообщаются так же, как пройденные |
5.5 Метрики мониторинга и качества оповещений
Тема-источник: (см. тему 5.5, Метрики мониторинга и качества оповещений).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Объём оповещений | Число оповещений, уведомивших человека, с разбивкой на вызовы и заявки | Число различных уведомлений, доставленных ротации или очереди за период; повторы одного и того же открытого оповещения группируются в одно; оповещения, обработанные целиком автоматикой без уведомления человека, исключаются; сообщайте на ротацию в неделю и долю вне рабочих часов отдельно | оповещений на ротацию в неделю | Инструмент вызова и маршрутизации оповещений | Мониторинг и управление событиями | Рабочее соглашение команды о дежурствах | Раз в неделю | Поднимать пороги, добавлять длинные задержки или переносить оповещения из вызовов в тихую очередь, чтобы счёт падал, пока проблемы остаются невидимыми; делить или сливать оповещения, чтобы менять счёт | Доля обнаружения мониторингом и время обнаружения; правило, что каждое понижение записывается с причиной и пересматривается через квартал |
| Доля применимых оповещений | Доля оповещений, после которых человек выполнил полезное действие | Оповещения с записанным действием (исправление, смягчение, эскалация или изменение правила оповещения) / оповещения, пересмотренные за период; оповещения, автоматически закрытые до какого-либо подтверждения, считаются неприменимыми; непересмотренные оповещения сообщаются отдельным числом, а не отбрасываются | процент | Запись оповещений, соединённая с меткой пересмотра, заявкой или инцидентом | Мониторинг и управление событиями; управление инцидентами | Действие команды по улучшению эксплуатации | Еженедельный пересмотр, месячный тренд | Помечать оповещения применимыми постфактум или выполнять тривиальное действие (комментарий, подтверждение), чтобы подойти; оставлять шумные оповещения непересмотренными, чтобы они не попадали в знаменатель | Число непересмотренных оповещений показано рядом с долей; выборочная проверка кем-то вне ротации; записанное определение «полезного действия» |
| Доля ложных срабатываний | Доля оповещений, сработавших, когда проблемы не было | Оповещения, помеченные в пересмотре как ложные срабатывания / оповещения, пересмотренные за период; «ложное срабатывание» означает, что состояние не было неисправностью и никто не захотел бы об этом знать; реальная проблема, слишком мелкая для действия, не есть ложное срабатывание | процент | Метки пересмотра оповещений | Мониторинг и управление событиями | Ретроспективный пересмотр шума | Раз в месяц | Определять ложные срабатывания узко, чтобы «реальные, но бессмысленные» оповещения считались истинными; закрывать шумные оповещения без метки | Доля применимых оповещений и метка «реальное, но не стоящее вызова» отслеживаются отдельно; периодическая выборка закрытых оповещений |
| Охват обнаружения | Доля услуг в области, имеющих хотя бы одно проверенное оповещение о пользовательском симптоме | Услуги с оповещением о симптоме, испытанным тестом или реальным событием за последние 12 месяцев / услуги в области каталога услуг; список услуг в области фиксируется в начале периода | процент | Каталог услуг, инвентарь правил оповещений, записи тестов | Управление конфигурацией услуг; мониторинг и управление событиями | Определение готовности для новой услуги | Раз в квартал | Добавлять тривиальное оповещение (ping) к каждой услуге ради заявления об охвате; считать оповещения, никогда не испытанные | Требование, чтобы оповещение следило за пользовательским симптомом и испытывалось за последние 12 месяцев; доля обнаружения мониторингом |
| Доля обнаружения мониторингом | Доля инцидентов, обнаруженных мониторингом раньше, чем о них сообщили пользователь или коллега | Инциденты, чьим первым сигналом было оповещение / инциденты за период; часы есть время открытия инцидента, а инциденты без записанного первого сигнала сообщаются как неизвестные, а не как обнаруженные | процент | Запись об инциденте с полем первого сигнала, хронология оповещений | Управление инцидентами | Пересмотр инцидента (обучение после инцидента) | Раз в месяц | Записывать каждый инцидент как «обнаружен мониторингом», даже когда пользователь сообщил первым; создавать оповещение постфактум и затем ссылаться на него; оставлять поле первого сигнала пустым, чтобы избежать плохого числа | Число неизвестных показано рядом с долей; свидетельство первого сигнала берётся из хронологии оповещений, а не из памяти; инциденты, о которых сообщили клиенты, связываются из записи поддержки |
| Время обнаружения (TTD) | Прошедшее время между началом воздействия на пользователей и первым оповещением, уведомившим человека | Время первого оповещения, уведомившего человека, минус время начала воздействия, где начало воздействия есть самое раннее время нарушения индикатором уровня услуги, установленное в пересмотре инцидента; сообщайте медиану и 95-й перцентиль; инциденты без оповещения исключаются и считаются отдельно | минуты | Пересмотр инцидента, хронология оповещений, история индикатора уровня услуги | Управление инцидентами; мониторинг и управление событиями | Пересмотр после инцидента | Раз в месяц, по инциденту | Объявлять начало воздействия позже, чем оно было; исключать инциденты без оповещения; сообщать среднее, чтобы спрятать хвост | Начало воздействия берётся из истории индикатора уровня услуги; инциденты без оповещения считаются и показываются; медиана и 95-й перцентиль сообщаются вместе |
| Концентрация оповещений | Доля объёма оповещений, производимая несколькими самыми шумными правилами | Оповещения от пяти правил с наибольшим числом оповещений / все оповещения за период; одно оповещение группируется один раз; число правил пять есть соглашение, которое команда может изменить, указав причину | процент | Инвентарь правил оповещений и запись вызовов | Непрерывное улучшение; мониторинг и управление событиями | Бэклог улучшений ретроспективы | Раз в месяц | Делить одно шумное правило на несколько, чтобы ни одно не попало в пятёрку; переименовывать правила | Сообщать концентрацию по лежащей в основе неисправности или услуге так же, как по правилу; отслеживать общий объём и долю применимых оповещений рядом |
| Актуальность правил оповещений | Доля правил вызова, имеющих владельца, ссылку на ранбук и пересмотр в согласованный интервал | Правила вызова, удовлетворяющие всем трём условиям / все правила вызова; правила, отключённые за период, исключаются | процент | Инвентарь правил оповещений | Управление знаниями; мониторинг и управление событиями | Рабочее соглашение об эксплуатационной готовности | Раз в квартал | Добавлять номинальных владельцев, пустые ссылки на ранбуки или формальный пересмотр, чтобы выполнить условие | Выборочная проверка того, что ссылка на ранбук открывается и использовалась в реальном реагировании; практика испытания ранбука на учениях |
5.6 Метрики непрерывности услуг
Тема-источник: (см. тему 5.6, Метрики непрерывности услуг).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Доля выполнения RTO | Доля учений по восстановлению, в которых услуга была восстановлена в пределах заявленного RTO | учения со временем восстановления <= RTO / проведённые учения. Часы запускаются при объявленном начале сбоя учения (момент внесения сбоя или объявления сценария) и останавливаются, когда услуга проходит согласованную проверку здоровья для реальных или синтетических пользователей. Настольные учения и учения без замеренного восстановления исключаются и считаются отдельно | процент, с показанным числом учений | Отчёт об учении, хронология из мониторинга, реестр услуг с RTO | Управление непрерывностью услуг; управление доступностью | Исход game day; время восстановления в показателях поставки | По учению; сводка раз в квартал | Выбирать малый тестовый набор данных, лёгкий сценарий или отрепетированный сценарий; запускать часы поздно, после начала работы команды; ослаблять проверку здоровья, чтобы «восстановлено» наступало раньше; задавать щедрое RTO, чтобы каждое испытание проходило | Записывать размер данных, неожиданность сценария и определение проверки здоровья с каждым результатом; сравнивать RTO с BIA; показывать каждое учение отдельной строкой, включая неудачи |
| Доля выполнения RPO | Доля учений по восстановлению, в которых потеря данных осталась в пределах заявленного RPO | учения с замеренным отрезком потери данных <= RPO / учения, восстанавливающие данные. Отрезок потери данных есть время между последней записью, присутствующей после восстановления, и моментом сбоя. Учения, не восстанавливающие состояние, исключаются | процент, с показанным числом учений | Отчёт об учении, сравнение восстановленных данных с источником или журналом записей | Управление непрерывностью услуг; управление информационной безопасностью | Учение по восстановлению как часть определения готовности | По учению; сводка раз в квартал | Измерять потерю только для основной таблицы, а не для всего состояния; испытывать реплику, синхронную потому что нагрузка не идёт; переопределять RPO после пропущенного результата | Проверять потерю данных по журналу записей по всем хранилищам в области; испытывать под реалистичной нагрузкой записи; вести журнал изменений целей с причинами |
| Охват испытанного восстановления | Доля услуг уровней 1 и 2, у которых было практическое испытание восстановления в пределах согласованного интервала испытаний | услуги с подходящим испытанием внутри интервала / услуги в области. Подходящее испытание практическое (не только настольное) и восстанавливает услугу в тестовой или продуктивной среде. Интервал задаётся по уровню | процент, по уровню | Реестр услуг, календарь и отчёты учений | Управление непрерывностью услуг; управление каталогом услуг | График game day | Раз в месяц | Засчитывать настольные обсуждения как испытания; испытывать тривиально малую услугу, чтобы поднять процент; сокращать список в области, переклассифицируя услуги в более низкий уровень | Требовать практические испытания для счёта уровня 1; сообщать охват, взвешенный по критичности услуги; проверять изменения уровней относительно BIA |
| Дней с последнего успешного испытания восстановления | Возраст самого недавнего пройденного испытания восстановления для каждой критической услуги | дата отчёта минус дата последнего испытания, выполнившего и RTO, и RPO. Неудавшееся испытание не сбрасывает часы. Услуги, никогда не испытывавшиеся, показываются как «никогда», а не как ноль | дни, по услуге, с выделением самой старой | Отчёты об учениях, реестр услуг | Управление непрерывностью услуг | График game day; возраст рабочего элемента | Раз в месяц | Повторно запускать лёгкое испытание, чтобы сбросить возраст; помечать частичное испытание как пройденное; сбрасывать дату после бумажного пересмотра | Показывать область последнего пройденного испытания; показывать самый большой возраст и услуги, никогда не испытывавшиеся; требовать, чтобы выполнялись и RTO, и RPO |
| Доля успешных восстановлений из резервных копий | Доля предпринятых восстановлений из резервной копии, завершившихся проверенными пригодными данными | восстановления, завершившиеся и прошедшие проверку данных / предпринятые восстановления, по автоматическим и ручным испытаниям восстановления. Один успех задания резервного копирования исключается, потому что отработавшее задание не есть восстановление, которое сработало | процент, по уровню данных | Логи системы резервного копирования, результаты автоматической проверки восстановления | Управление непрерывностью услуг; управление инфраструктурой и платформой | Учение по восстановлению; критерии эксплуатационной пригодности в определении готовности | Раз в неделю для автоматических испытаний; раз в месяц на пересмотре | Сообщать успех задания резервного копирования как успех восстановления; испытывать только копии, заведомо хорошие; проверять проверкой, которая не может не пройти | Отслеживать восстановления случайно отобранных копий; требовать результат проверки данных; пересматривать саму проверку на каждом аудите |
| Доля закрытия находок учений | Доля находок учений по восстановлению, закрытых в согласованное время, с разбивкой по серьёзности | находки, закрытые в пределах цели / находки, срок которых наступил в периоде. Часы запускаются, когда находка записана в отчёте об учении, и останавливаются при проверенном исправлении, то есть повторном испытании или пересмотре, его подтверждающем. Находки, принятые как риски названным владельцем, считаются отдельно | процент, с числом просроченных находок | Отчёт об учении, трекер задач | Управление непрерывностью услуг; непрерывное улучшение | Действия ретроспективы; возраст элемента бэклога | Раз в месяц | Закрывать находки без исправления; понижать серьёзность, чтобы ослабить срок; делить одну находку на много лёгких; записывать мало находок с самого начала | Проверять закрытие повторным испытанием; сообщать находки на учение рядом с долей закрытия, поскольку падающий счёт может означать более мягкие учения; пересматривать изменения серьёзности |
| Актуальность плана | Доля планов непрерывности и ранбуков, пересмотренных после последнего существенного изменения их услуги или в пределах интервала пересмотра | планы с датой пересмотра позже последнего существенного изменения и внутри интервала / планы в области. Существенное изменение означает запись об изменении, помеченную как меняющую архитектуру, хранилища данных, зависимости или поставщиков | процент, с возрастом самого старого непересмотренного плана | Репозиторий планов (система контроля версий), записи об изменениях, реестр услуг | Управление непрерывностью услуг; управление изменениями (change enablement) | Определение готовности включает обновление ранбука | Раз в квартал | Обновлять дату пересмотра, не читая план; помечать изменения как несущественные; набивать план общим текстом, который никогда не устаревает | Выборочно проверять планы, разбирая их с тем, кто их не писал; сравнивать долю пометки существенных изменений с историей архитектурных изменений; связывать актуальность с результатами испытаний |
5.7 Рутинная работа и метрики дежурств
Тема-источник: (см. тему 5.7, Рутинная работа и метрики дежурств).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Вызовов за смену | Число вызовов, доставленных ротации за одну смену | Число вызовов, доставленных между началом и концом смены, один счёт на смену, после слияния дублирующих вызовов для той же группы оповещений в пределах 5 минут (окно слияния есть настройка команды). Тестовые вызовы и вызовы, отправленные по ошибке, исключаются. Сообщайте медиану и 90-й перцентиль по сменам, плюс самую загруженную смену | вызовов за смену | Инструмент вызова; расписание дежурств | Управление инцидентами; мониторинг и управление событиями | Политика внеплановой работы; устойчивый темп | Еженедельный пересмотр, месячный тренд | Поднимать пороги оповещений или заглушать оповещения, чтобы счёт падал; сливать несвязанные оповещения в один вызов; переносить вызовы в очередь заявок, за которой никто не следит | Охват обнаружения и инциденты, о которых сообщили клиенты, а мониторинг пропустил (см. тему 5.5, Метрики мониторинга и качества оповещений); время обнаружения (см. тему 3.3, Время реагирования на инциденты и их устранения) |
| Доля вызовов вне рабочих часов | Доля вызовов, приходящих вне письменного рабочего окна | Вызовы, доставленные вне рабочего окна / все доставленные вызовы за период. Окно задаётся по ротации в местном времени; праздники считаются вне окна | процент | Инструмент вызова; календарь ротации | Управление инцидентами; мониторинг и управление событиями | Рабочее соглашение о доступности | Раз в месяц | Переопределять рабочее окно шире; переносить задания и развёртывания так, чтобы вызовы сдвигались в рабочие часы, не сокращаясь; переклассифицировать вызовы как «низкой срочности» | Общий объём вызовов рядом с долей; письменное рабочее окно под контролем изменений; пересмотр того, что переместилось |
| Частота ночных прерываний | Как часто смена включает хотя бы один вызов в защищённое окно сна | Смены с хотя бы одним вызовом в защищённом окне сна (например, с 22:00 до 07:00 по местному времени, задаётся командой) / все смены за период. Вызов, подтверждённый автоматически без реакции человека, исключается | процент смен | Инструмент вызова; журнал подтверждений | Управление инцидентами; управление персоналом и талантами | Устойчивый темп; проверка здоровья команды | Раз в месяц | Откладывать подтверждение до утра; автоматически подтверждать вызовы; считать только вызовы, дошедшие до человека | Время до подтверждения по часам (см. тему 3.3, Время реагирования на инциденты и их устранения); вызовы без реакции человека сообщаются отдельно; воздействие на клиентов ночью |
| Доля времени на рутинную работу | Доля рабочего времени ротации, потраченная на рутинную работу | Часы, записанные ротацией на работу, классифицированную как рутинная / общие рабочие часы, записанные ротацией, за месяц. Совещания, обучение и отпуск исключаются и из числителя, и из знаменателя. Классификация следует шести характеристикам рутинной работы, применяемым командой | процент времени | Выборочный замер времени или метки задач в трекере работы; пересмотр классификации командой | Непрерывное улучшение; управление развёртыванием; управление запросами на обслуживание | Доля внеплановой работы; распределение ёмкости в плановой работе | Раз в месяц, с квартальным пересмотром классификации | Переклассифицировать рутину как «инженерию» или «проектную работу»; записывать меньше, чем потрачено; помечать только то, что легко описать | Периодический аудит классифицированных элементов кем-то вне ротации; собственное мнение команды о том, как ощущалась неделя; доля времени на плановую работу по улучшению |
| Рутинная работа по источникам | Распределение часов рутинной работы по названным источникам, таким как ручные перезапуски, запросы доступа, продление сертификатов и сортировка заявок | Часы рутинной работы по каждому источнику / общие часы рутинной работы, с перечислением пяти главных источников и группы «прочее». Те же исключения, что у доли времени на рутинную работу | процент часов рутинной работы по источнику | Выборочный замер времени или метки задач в трекере работы | Управление проблемами; управление запросами на обслуживание | Бэклог элементов улучшения | Раз в квартал | Делить крупный источник на несколько малых, чтобы ни один не выделялся; оставлять источник безымянным в «прочем» | Предел группы «прочее» (например, менее пятой части часов рутинной работы, настройка команды); выборка элементов «прочего» каждый квартал |
| Доля повторных вызовов | Доля вызовов, вызванных условием, которое уже вызывало ротацию раньше в заявленном окне | Вызовы, чья группа оповещений или код причины совпадает с более ранним вызовом в пределах 30 дней / все вызовы за период. Код причины ставит респондент при закрытии; неустановленные коды сообщаются отдельно | процент | Инструмент вызова; коды причин в записях об инцидентах | Управление проблемами; управление инцидентами | Действия ретроспективы; бэклог технического долга | Раз в месяц | Закрывать вызовы каждый раз с новым кодом причины, чтобы совпадения пропускались; расширять коды причин, пока всё не станет различным; удлинять или сокращать окно | Аудит кодов причин по выборке; повторение той же группы оповещений между инцидентами (см. тему 4.1, Метрики управления проблемами) |
| Глубина ротации | Сколько квалифицированных респондентов делят пейджер по сравнению с числом мест, которые нужно заполнить | Число людей, прошедших готовность к дежурству и доступных для смен / число мест в смене за цикл ротации. Отпуск и командировка уменьшают доступность. Сообщается как отношение по ротации, никогда по человеку | отношение | Расписание ротации; контрольный список готовности | Управление персоналом и талантами | Кросс-функциональная команда; матрица навыков | Раз в квартал | Считать людей, не прошедших готовность; считать людей, редко доступных; раздувать график | Доля смен, фактически покрытых номинальным пулом; фактическое число смен по месту, без имён; выполнение контрольного списка готовности |
| Устранённая рутинная работа | Повторяющиеся часы рутинной работы, убранные из работы ротации автоматизацией или изменением проекта | Оценочные месячные часы рутинной работы источника до изменения минус те же после изменения, измеренные не менее чем за два цикла после поставки. Часы, сэкономленные разовой чисткой, исключаются | часов в месяц | Выборочный замер времени до и после; заявка на улучшение | Непрерывное улучшение; управление проблемами | Доставленный элемент улучшения | Раз в квартал | Засчитывать разовые чистки как повторяющуюся экономию; игнорировать усилия на создание и поддержку автоматизации; заявлять экономию без замеров до и после | Часы до и после, измеренные за два цикла; усилия на поддержку автоматизации; доля времени на рутинную работу в следующие кварталы |
Часть 6: Метрики клиентов и опыта
6.1 Метрики удовлетворённости клиентов
Тема-источник: (см. тему 6.1, Метрики удовлетворённости клиентов).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| CSAT | Доля ответов, являющихся удовлетворёнными, для определённого типа взаимодействия | ответы с оценкой 4 или 5 по пятибалльной шкале / допустимые ответы | процент | Опрос после взаимодействия, привязанный к заявке или релизу | Служба поддержки; управление инцидентами; управление уровнями услуг | Обратная связь на обзоре для заинтересованных сторон | Раз в неделю или раз в месяц | Исполнители натаскивают пользователей на высшие оценки; опросы отправляются только после лёгких заявок; трудные заявки закрываются без опроса | Автоматический опрос на каждую подходящую заявку; доля ответивших и состав ответивших; доля повторных открытий |
| NPS | Промоутеры минус критики для определённой услуги и аудитории | процент ответивших 9 или 10 минус процент ответивших от 0 до 6 | пункты, диапазон от -100 до 100 | Опрос об отношениях, отправляемый с фиксированным интервалом | Непрерывное улучшение; управление уровнями услуг | Обзор результатов продукта | Раз в квартал | Опрашивать только дружелюбных пользователей; ставить время опроса после хорошего события; спрашивать лицом к лицу; переименовывать пункты шкалы | Фиксированная аудитория и график в реестре; охват ответивших; читать комментарии критиков |
| CES | Среднее или доля благоприятных оценок того, насколько легко было что-то сделать | благоприятные ответы / допустимые ответы или средняя оценка | процент или среднее | Опрос после взаимодействия, привязанный к заявке, запросу или релизу | Управление запросами на обслуживание; служба поддержки | Обратная связь по удобству на уточнении | Раз в месяц | Убирать шаги из формы так, что работа переезжает в другое место; спрашивать только после гладких запросов | Число обращений на проблему; время выполнения запросов и переделки (см. тему 3.5, Метрики выполнения запросов на обслуживание) |
| Доля ответивших на опрос | Доля приглашённых пользователей, ответивших | полученные ответы / доставленные опросы | процент | Инструмент опросов и система заявок | Измерение и отчётность | Участие в обратной связи на обзорах | Раз в месяц | Приглашать только тех, кто вероятно ответит; отправлять опрос каждый раз по другому списку | Правило приглашения записано; сравнение приглашённых с населением пользователей |
| Охват ответивших | Насколько близко состав ответивших соответствует составу пользователей по согласованным измерениям | доля ответивших в каждой группе по сравнению с долей пользователей в этой группе, по группам | процентные пункты | Инструмент опросов, соединённый со справочником пользователей или данными заявок | Измерение и отчётность | Карта заинтересованных сторон | Раз в квартал | Убирать труднодоступные группы из сравнения; перевзвешивать без упоминания | Публиковать измерения и метод; показывать невзвешенный результат рядом со взвешенным |
| Доля тем комментариев | Доля свободных комментариев, отнесённых к каждой теме | комментарии в теме / закодированные комментарии | процент | Закодированные комментарии опросов | Непрерывное улучшение | Темы ретроспективы | Раз в месяц | Кодировать комментарии, чтобы избегать плохих тем; сливать темы, чтобы ни одна не выглядела большой | Второй человек кодирует выборку; держать список тем стабильным и записывать изменения |
| Время реакции на критика | Время от низкой оценки до документированного контакта с пользователем | метка времени заметки о реакции минус метка времени низкой оценки, медиана и 85-й перцентиль | часы или дни | Инструмент опросов и система заявок | Управление инцидентами; непрерывное улучшение | Петля обратной связи в рабочем соглашении | Раз в месяц | Записывать заметку без контакта с пользователем; связываться с пользователем, чтобы попросить лучшую оценку | Проверять содержание заметок о реакции; спрашивать пользователя в следующем опросе, связывался ли кто-нибудь с ним |
6.2 Соглашения об уровне опыта
Тема-источник: (см. тему 6.2, Соглашения об уровне опыта).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Оценка опыта | Средняя оценка согласованного утверждения об опыте для услуги и аудитории | средняя оценка по допустимым ответам на одно утверждение по фиксированной шкале | пункты шкалы | Короткий пульсовый опрос, отправляемый по графику | Управление уровнями услуг; непрерывное улучшение | Обратная связь на обзоре для заинтересованных сторон; обзор результатов продукта | Раз в месяц | Опрашивать только довольных пользователей; ставить время опроса после хороших событий; переформулировать утверждение, чтобы с ним было легче согласиться | Доля ответивших и состав ответивших; журнал стабильности формулировок; чтение комментариев |
| Тренд тональности | Направление тона в свободных комментариях об услуге | доля комментариев, закодированных положительными, минус доля, закодированных отрицательными, за период | процентные пункты | Закодированные комментарии опросов и комментарии в заявках | Непрерывное улучшение | Темы ретроспективы | Раз в месяц | Настраивать инструмент или список тем, пока тренд не вырастет; исключать отрицательные каналы | Человеческая проверка месячной выборки; фиксированное руководство по кодированию и запись изменений |
| События трения на пользователя | Число сигналов того, что пользователь столкнулся с трудностью, нормированное на активных пользователей | (повторные обращения + повторно открытые элементы + неудавшиеся входы сверх заданного числа + брошенные запросы) / активные пользователи | событий на пользователя | Система заявок, логи идентификации, портал запросов | Служба поддержки; управление инцидентами | Дефекты, найденные в использовании | Раз в месяц | Переопределять события, чтобы считалось меньше; отбивать повторные обращения, затрудняя доступ к службе поддержки | Объём обращений по каналам; доля отказов в службе поддержки (см. тему 3.1, Метрики службы поддержки) |
| Время, потерянное на ИТ-проблемы | Оценочное время, теряемое пользователями на проблемы услуги за период | сообщённые самими пользователями потерянные минуты на пользователя или измеренное время в деградированном состоянии, взвешенное затронутыми пользователями | минут на пользователя | Пульсовый опрос; мониторинг, соединённый со счётом пользователей | Управление доступностью; управление инцидентами | Время цикла, потерянное на блокировки | Раз в квартал | Спрашивать так, чтобы закреплять низкие оценки; считать только крупные инциденты | Сравнивать сообщённое самими временем с измеренным временем деградации; пересмотр формулировки опроса |
| Доля завершённых путей | Доля пользователей, завершивших определённый путь без отказа и без обращения за помощью | пользователи, завершившие путь без обращения за помощью / пользователи, начавшие путь | процент | Аналитика портала; связи с заявками | Управление запросами на обслуживание; управление каталогом услуг | Успех задач в тестах удобства | Раз в месяц | Определять путь настолько узко, что сбой выходит за область; направлять трудные случаи в другой канал | Определение пути в реестре; доля обращений за помощью и эскалации |
| Достижение XLA | Доля согласованных целей по опыту, достигнутых в периоде | достигнутые цели / согласованные цели | процент | Реестр XLA | Управление уровнями услуг | Достижение цели поставки | Раз в квартал | Задавать цели, уже выполненные; определять очень малый набор целей | Пересмотр постановки целей с пользователями; показ достижения с трендом и историей целей |
| Разрыв опыта | Разница между выполнением SLA и оценкой опыта для той же услуги | ранг выполнения SLA минус ранг оценки опыта по услугам или письменное сравнение | разница рангов или заметка | Отчёты SLA и пульсовый опрос | Управление уровнями услуг | Определение готовности против обратной связи пользователей | Раз в квартал | Выбирать услуги или периоды, выглядящие лучше всего; менять, какие SLA сравниваются | Фиксированный набор сравнения, согласованный заранее; показ всех услуг |
6.3 Метрики внедрения услуг и каталога
Тема-источник: (см. тему 6.3, Метрики внедрения услуг и каталога).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Доля внедрения | Доля подходящих пользователей, воспользовавшихся услугой хотя бы раз за период | различные подходящие пользователи хотя бы с одним завершённым использованием / подходящие пользователи | процент | Логи использования услуги, соединённые со справочником пользователей | Управление каталогом услуг; управление уровнями услуг | Внедрение функции; обзор результатов продукта | Раз в месяц | Обязывать использование; считать входы или просмотры страниц использованием; сужать «подходящих пользователей» до тех, кто уже пользуется | Определение завершённого результата; сравнение с оценками удовлетворённости и усилия; публикация правила подходящих пользователей |
| Доля активного использования | Доля внедривших, продолжающих пользоваться услугой во времени | пользователи, активные в периоде, также пользовавшиеся услугой в предыдущем периоде / пользователи, активные в предыдущем периоде | процент | Логи использования; таблицы когорт | Непрерывное улучшение | Удержание в продуктовой аналитике | Раз в месяц | Автоматически записывать пользователей, чтобы они выглядели активными; отправлять уведомления, засчитываемые как активность | Считать только завершённые действия по инициативе пользователя; выборочные интервью с отпавшими пользователями |
| Охват каталога | Доля запросов, приходящих через каталог, а не через разовые каналы | запросы, созданные через каталог / все запросы из всех каналов | процент | Инструмент управления запросами; метки почтового ящика и чата | Управление запросами на обслуживание; управление каталогом услуг | Элементы бэклога с письменным определением | Раз в месяц | Вталкивать каждый запрос в общую позицию каталога; закрывать запросы по почте словами «пожалуйста, используйте портал» | Доля брошенных запросов и удовлетворённость; считать, сколько запросов подано повторно другим каналом |
| Доля брошенных запросов | Доля начатых запросов, которые пользователь не отправляет | запросы, начатые, но не отправленные в течение 24 часов / начатые запросы | процент | Аналитика портала | Управление запросами на обслуживание | Отказ от задач в тестах удобства | Раз в месяц | Убирать нужные поля формы, что переносит работу на выполнение; считать брошенные запросы только после долгого окна | Доля переделок и уточнений при выполнении (см. тему 3.5, Метрики выполнения запросов на обслуживание) |
| Доля успешных поисков | Доля поисков по каталогу, завершающихся запросом или просмотренным ответом | поиски, за которыми в сеансе последовал запрос или просмотр знания / поиски | процент | Логи поиска портала | Управление знаниями; управление каталогом услуг | Находимость в исследовании пользователей | Раз в месяц | Засчитывать любой клик как успех; добавлять нерелевантные статьи, подходящие под любой запрос | Проверять, что результат использован (запрос подан, статья оценена как полезная); читать поиски без результата |
| Доля устаревших позиций | Доля позиций каталога с просроченной датой пересмотра или без использования в заданный период | позиции, просроченные для пересмотра или с нулём запросов за 12 месяцев / позиции в каталоге | процент | Реестр каталога | Управление каталогом услуг | Возраст бэклога и обрезка | Раз в квартал | Помечать позиции пересмотренными, не читая; сбрасывать даты пересмотра оптом | Выборочно проверять пересмотренные позиции на точность; показывать дату последнего реального изменения |
| Концентрация запросов | Доля запросов, приходящаяся на самые запрашиваемые позиции | запросы на пять главных позиций / все запросы каталога | процент | Инструмент управления запросами | Управление запросами на обслуживание | Парето работы по типам | Раз в квартал | Делить популярные позиции на много; сливать несвязанные позиции, чтобы спрятать спрос длинного хвоста | Фиксированная таксономия позиций с журналом изменений; смотреть на хвост по категориям |
6.4 Опыт пользователей и сотрудников
Тема-источник: (см. тему 6.4, Опыт пользователей и сотрудников).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Доля готовности в первый день | Доля новых сотрудников, чьи устройства, учётные записи и доступ полностью готовы и работают к началу | новые сотрудники со всеми согласованными элементами, работающими на старте / новые сотрудники в периоде | процент | Запросы на ввод в должность, система идентификации, подтверждение нового сотрудника | Управление запросами на обслуживание; управление каталогом услуг | Рабочее соглашение команды о вводе в должность | Раз в месяц | Сокращать согласованный список; помечать элементы готовыми, пока они не работают; откладывать официальную дату начала | Письменный список в реестре; подтверждение нового сотрудника; время до продуктивности |
| Время до продуктивности | Прошедшее время от даты начала до момента, когда у нового сотрудника есть всё нужное для первой настоящей задачи | медиана и 85-й перцентиль дней от даты начала до подтверждения от нового сотрудника и его руководителя | дни | Трекер ввода в должность; короткий вопрос-подтверждение | Управление запросами на обслуживание; непрерывное улучшение | Время, за которое новый член команды вносит первое изменение | Раз в месяц | Запускать часы позже; рано закрывать запись о вводе в должность | Определение часов в реестре; подтверждают и руководитель, и новый сотрудник |
| Распространённость обходных путей | Доля опрошенного персонала, использующего неутверждённые инструменты или ручные шаги в обход официальной услуги | ответившие, сообщающие об обходном пути для услуги / допустимые ответившие | процент | Пульсовый опрос; отчёты об обнаружении санкционированных инструментов | Управление уровнями услуг; непрерывное улучшение | Препятствия, поднимаемые на ежедневных проверках команды | Раз в квартал | Отбивать честные ответы намёками на последствия; спрашивать только довольные группы | Заявление об анонимности; доля ответивших и состав ответивших; соблюдение гарантий приватности |
| Минуты принудительных прерываний | Время, в которое людей прерывают плановые ИТ-действия, такие как принудительные перезапуски, обновления и запросы входа | общие минуты прерываний, вызванных плановыми действиями / активные пользователи в группе | минут на человека в месяц | Логи управления конечными точками, агрегированные по группам | Управление изменениями (change enablement); управление релизами и развёртыванием | Рабочее время без прерываний | Раз в месяц | Считать только некоторые виды прерываний; переносить прерывания в группу, которая не измеряется | Определить все типы плановых прерываний; сообщать по группам, включая удалённый персонал и работников по сменам |
| Время решения запросов о доступности | Время решения запросов, связанных с потребностями доступности | медиана и 85-й перцентиль часов от запроса до подтверждённого работающего решения | часы | Система запросов с меткой доступности | Управление запросами на обслуживание; управление инцидентами | Инклюзивное определение готовности | Раз в месяц | Закрывать запросы частичным исправлением; помечать запросы иначе, чтобы избежать часов | Подтверждение заявителя, что решение работает; пересмотр непомеченных запросов |
| Пульсовая оценка инструмента | Оценка одного названного инструмента или услуги по короткому согласованному вопросу | средняя оценка или доля благоприятных по допустимым ответам, по инструменту | пункты шкалы или процент | Пульсовый опрос, чередующий инструменты | Управление уровнями услуг; непрерывное улучшение | Обратная связь членов команды об их инструментах | Раз в квартал | Опрашивать только довольных пользователей; менять вопрос; натаскивать персонал на хорошие ответы | Журнал стабильности формулировок; доля ответивших и состав; чтение комментариев |
| Соблюдение гарантий приватности | Доля отчётов об опыте, соответствующих правилам подавления и агрегации | отчёты, соответствующие правилам / опубликованные отчёты | процент | Проверка опубликованных отчётов на соответствие правилам приватности | Управление информационной безопасностью; измерение и отчётность | Рабочее соглашение об использовании данных | Раз в квартал | Сообщать соответствие без независимой проверки; расширять группы, чтобы скрыть проблемы | Периодическая проверка кем-то вне команды; публикация правил (значение k и подавление) |
6.5 Реализация ценности и бизнес-результаты
Тема-источник: (см. тему 6.5, Реализация ценности и бизнес-результаты).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Доля реализованных выгод | Доля ожидаемых выгод, наблюдавшихся к согласованной дате пересмотра | выгоды с измеренным результатом на согласованном пороге или выше / ожидаемые выгоды с датой пересмотра в периоде | процент | Реестр выгод с владельцами, базовыми уровнями и датами пересмотра | Непрерывное улучшение; управление системой создания ценности | Обзор результатов с заинтересованными сторонами | Раз в квартал | Задавать низкие пороги; переносить дату пересмотра; переопределять выгоду постфактум | Порог и дата фиксируются при одобрении; доля качества свидетельств; владелец вне команды поставки |
| Время до первой ценности | Время от начала работы до первой измеримой выгоды для пользователей | дни от начала первой работы до первой даты, когда индикатор выгоды сдвинулся как ожидалось | дни | Трекер работы и индикатор выгоды | Проектирование услуг; управление релизами и развёртыванием | Непрерывная поставка ценности | По инициативе | Выбирать ранний индикатор, двигающийся по неверной причине; запускать часы поздно | Индикатор и часы определены в реестре; подтверждение владельцем выгоды |
| Доля проверенных гипотез | Доля выпущенных изменений, чья заявленная гипотеза ценности была проверена после релиза | изменения с записанной проверкой после релиза / выпущенные изменения, несшие гипотезу | процент | Журнал гипотез, связанный с записями релизов | Непрерывное улучшение; управление изменениями (change enablement) | Обучение на выпущенной работе | Раз в месяц | Писать расплывчатые гипотезы, которые всегда проходят; проверять только успешные изменения | Выборочная проверка гипотез на проверяемость; включение нулевых и неудавшихся результатов в пересмотр |
| Доля качества свидетельств | Доля заявленных выгод, имеющих базовый уровень и заявленный метод сравнения | заявления о выгодах с базовым уровнем и методом / сообщённые заявления о выгодах | процент | Пересмотр реестра выгод | Измерение и отчётность | Честная отчётность о результатах | Раз в квартал | Задним числом заполнять базовые уровни; описывать любое сравнение как метод | Базовый уровень датирован до изменения; пересмотр кем-то вне команды |
| Движение индикатора результата | Изменение выбранного индикатора результата относительно его базового уровня и относительно сравнения, где доступно | (индикатор после минус индикатор до), с изменением группы сравнения, сообщаемым рядом | единицы индикатора | Продуктовая аналитика, данные услуг, финансы | Управление уровнями услуг; непрерывное улучшение | Прогресс ключевого результата | Раз в месяц | Выбирать выгодный период или группу; игнорировать искажающие факторы | Заранее зарегистрированные период и группа; список рассмотренных искажающих факторов |
| Часы бизнес-воздействия | Часы, в которые бизнес-процесс был деградирован или остановлен из-за проблем услуги | часы деградированного или остановленного процесса, приписанные владельцами процессов причинам услуг ИТ | часы | Записи об инцидентах, соединённые с подтверждением владельца процесса | Управление инцидентами; управление доступностью | Обзор бизнес-воздействия | Раз в месяц | Владельцы процессов раздувают или занижают атрибуции; инциденты переклассифицируются, чтобы избежать атрибуции | Правила атрибуции записаны и ведутся в журнале; сравнение с записями об инцидентах и доступности |
| Доля ёмкости, связанной с результатом | Доля ёмкости команды, потраченная на работу, связанную с заявленным результатом | ёмкость на элементы, связанные с записанным результатом / общая ёмкость | процент | Трекер работы с полем результата | Система создания ценности; управление портфелем | Работа, согласованная с целью продукта | Раз в квартал | Помечать всю работу общим результатом; выдумывать результаты для рутинной работы | Список результатов пересматривается с заинтересованными сторонами; выборка элементов на качество связи |
Часть 7: Метрики активов, конфигурации и финансов
7.1 Метрики управления ИТ-активами
Тема-источник: (см. тему 7.1, Метрики управления ИТ-активами).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Точность инвентаря | Доля выбранных активов, чья запись совпадает с найденным | выбранные активы, у которых запись совпадает с физическим или техническим свидетельством по всем согласованным полям / выбранные активы | процент | Выборка аудита, сравненная с реестром активов и данными обнаружения | Управление ИТ-активами; управление конфигурацией | Определение готовности включает регистрацию актива | Раз в квартал | Выбирать лёгкие активы; проводить аудит только после чистки; засчитывать совпадение по меньшему числу полей | Случайная выборка, взятая кем-то вне команды; фиксированный список полей; выборка в обе стороны |
| Охват обнаружения | Доля ожидаемых активов, увиденных обнаружением в периоде | активы, увиденные хотя бы одним источником обнаружения за последние 30 дней / активы в реестре, которые обнаружение может видеть | процент | Отчёты инструмента обнаружения, соединённые с реестром | Управление ИТ-активами; мониторинг и управление событиями | Состояние инфраструктуры как кода соответствует реальности | Раз в месяц | Сужать «ожидаемые активы» до того, что видит обнаружение; исключать труднодоступные для сканирования сети | Документировать исключения; сравнивать с закупками и облачными счетами |
| Доля сверки | Доля активов, сопоставленных между независимыми источниками | активы, сопоставленные и в реестре, и во втором источнике (например, закупки, идентификация или облачные счета) / активы в любом из источников | процент | Выгрузки реестра, закупок, идентификации, облачных счетов | Управление ИТ-активами; управление поставщиками | Единый источник истины для сред | Раз в месяц | Выбирать второй источник, производный от первого; автосопоставлять по слабым ключам | Использовать действительно независимые источники; вручную проверять совпадения выборочно |
| Доля бесхозных активов | Доля активов без названного действующего владельца | активы без владельца или с владельцем, который ушёл / активы в реестре | процент | Реестр, соединённый со справочником людей | Управление ИТ-активами; управление информационной безопасностью | Ясное владение услугами и компонентами | Раз в месяц | Назначать владельцем команду-универсал; вносить фиктивного человека | Число активов, принадлежащих командам-универсалам; выборка подтверждения владельцев |
| Полнота стадии жизненного цикла | Доля активов с текущей стадией жизненного цикла и датами, которых эта стадия требует | активы с записанными стадией и нужными датами / активы в реестре | процент | Реестр | Управление ИТ-активами; управление релизами и развёртыванием | Жизненный цикл среды отслеживается в конвейере | Раз в месяц | Заполнять даты по умолчанию; ставить каждому активу «используется» | Сравнивать стадию со свидетельствами при аудите; смотреть на распределение возрастов |
| Время до записи | Задержка между изменением актива и обновлением в реестре | медиана и 85-й перцентиль часов или дней от события изменения до обновления реестра | дни | События изменений, закупок или конвейера, сравненные с метками времени реестра | Управление ИТ-активами; управление изменениями (change enablement) | Автоматическая регистрация в конвейере | Раз в месяц | Датировать события изменений задним числом; записывать время события как время записи | Сравнивать с метками времени исходной системы; журнал аудита правок |
| Доля неучтённых активов | Доля ожидаемых активов, которые не удаётся найти или объяснить при аудите | активы ожидаемые, но не найденные и не объяснённые одобренной утилизацией / ожидаемые активы | процент | Результаты аудита | Управление ИТ-активами; управление информационной безопасностью | Находка ретроспективы о потерянных предметах | По аудиту | Списывать активы без одобрения; переклассифицировать их как утилизированные | Доля утилизаций с одобрением и свидетельством; сравнивать списания с финансовыми записями |
7.2 Метрики программных активов и лицензий
Тема-источник: (см. тему 7.2, Метрики программных активов и лицензий).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Эффективная позиция по лицензиям | Сравнение имеющихся прав с найденным использованием по продукту, в собственной единице счёта лицензии | имеющиеся права минус найденные развёртывания или пользователи, по продукту | единицы (излишек положителен, нехватка отрицательна) | Записи о правах, инструмент обнаружения, система идентификации | Управление ИТ-активами; управление поставщиками | Видимый каталог и данные об использовании для команд | Раз в месяц для ключевых продуктов; раз в квартал для остальных | Считать в выгодной единице; оставлять теневые развёртывания вне обнаружения | Считать в собственной единице лицензии; сравнивать с данными расходов и идентификации; юридический пересмотр правила счёта |
| Доля использования лицензий | Доля оплаченных прав, находящихся в активном использовании | права с активностью за последние 90 дней / оплаченные права | процент | Отчёты поставщиков об использовании, логи идентификации, записи о правах | Управление ИТ-активами; управление финансами | Ретроспектива о ценности инструмента | Раз в месяц | Сокращать окно активности; засчитывать входы ботов или служебных учётных записей как использование | Фиксированное окно в реестре; исключать нечеловеческие учётные записи; сравнивать с отчётом поставщика об использовании |
| Стоимость неиспользуемых лицензий (shelfware) | Годовая стоимость прав, оплаченных и неиспользуемых | сумма (неиспользуемые права умножить на цену единицы) | валюта в год | Записи о правах, данные об использовании, счета | Управление ИТ-активами; управление финансами | Сокращение потерь в наборе инструментов | Раз в квартал | Пересматривать или отменять непосредственно перед пересмотром, чтобы уменьшить число; игнорировать подписки на картах | Включать все источники расходов; отслеживать стоимость в начале окна уведомления |
| Число неутверждённых приложений | Число используемых приложений ПО, отсутствующих в утверждённом каталоге | приложения, замеченные в данных расходов, логах единого входа или сетевых данных и отсутствующие в каталоге | число | Отчёты о расходах, провайдер идентификации, сетевые данные и данные конечных точек | Управление ИТ-активами; управление информационной безопасностью | Команды выбирают инструменты при видимой поддержке | Раз в месяц | Одобрять всё в каталог, чтобы уменьшить счёт; прятать использование через личные учётные записи | Критерии пересмотра каталога; смотреть данные расходов и идентификации; спрашивать команды, что им нужно |
| Готовность к продлению | Доля продлений, для которых был пересмотр использования до даты уведомления | продления с завершённым пересмотром использования не менее чем за 90 дней до даты уведомления / продления, срок которых наступает в периоде | процент | Реестр контрактов и записи пересмотров | Управление поставщиками; управление финансами | Планирование изменений заранее | Раз в квартал | Проводить формальный пересмотр; переносить дату уведомления на более позднюю | Контрольный список пересмотра с обязательными входами; даты контрактов держат закупки |
| Охват SBOM | Доля продуктивных услуг с актуальным перечнем компонентов ПО | услуги с SBOM, сформированным в последнем цикле релиза / продуктивные услуги | процент | Выходы конвейера сборки, каталог услуг | Управление ИТ-активами; управление информационной безопасностью | Определение готовности включает видимость зависимостей | Раз в месяц | Формировать SBOM без транзитивных зависимостей; считать выход сборки, не выпущенный в релиз | Определить глубину в реестре; выборочно сверять SBOM с развёрнутым артефактом |
| Охват проверки открытого кода | Доля компонентов в продуктиве с записанной идентификацией лицензии и решением по политике | компоненты с записанными лицензией и решением / компоненты, найденные в SBOM | процент | Инструмент анализа состава ПО, реестр политик | Управление ИТ-активами; управление поставщиками | Проверка зависимостей в конвейере | Раз в месяц | Помечать компоненты как пересмотренные без решения; принимать «неизвестные» лицензии | Считать компоненты с неизвестной лицензией; пересматривать выборку решений |
7.3 Метрики жизненного цикла аппаратных активов
Тема-источник: (см. тему 7.3, Метрики жизненного цикла аппаратных активов).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Возрастной профиль | Распределение возраста устройств по классу и доля сверх запланированного срока | медианный возраст и возраст 85-го перцентиля; доля устройств старше запланированного срока для класса | годы; процент | Даты покупки и развёртывания из реестра активов | Управление ИТ-активами; управление ёмкостью и производительностью | Обзор технического здоровья | Раз в квартал | Заменять здоровые устройства, чтобы снизить среднее; исключать старые устройства, переклассифицируя их как запасные | Доля отказов по возрастной полосе; доля простаивающих устройств; пересмотр переклассификации |
| Доля обновлений в срок | Доля устройств, достигших запланированной замены и замещённых в запланированное окно | устройства, замененные в окне / устройства, достигшие запланированной замены в периоде | процент | Реестр активов и план обновления | Управление ИТ-активами; управление запросами на обслуживание | Плановое обслуживание рабочей среды | Раз в квартал | Расширять запланированное окно; откладывать запланированные даты правкой плана | Изменения плана записываются с причинами; сравнивать с отказами и обратной связью пользователей |
| Доля отказов по модели | Отказы на 100 устройств в год по модели и возрастной полосе | аппаратные отказы в периоде / среднее число устройств в работе, приведённое к году, умноженное на 100 | отказов на 100 в год | Записи об инцидентах и ремонте, соединённые с реестром | Управление инцидентами; управление ИТ-активами | Дефекты рабочей среды | Раз в квартал | Кодировать отказы как повреждение пользователем или программные неисправности; откладывать записи о ремонте | Выборочная проверка кодирования отказов; сравнивать записи о ремонте с записями об инцидентах |
| Доля простаивающих устройств | Доля выданных устройств без активности в заданный период | устройства без входа или сетевой активности за 60 дней / выданные устройства | процент | Логи управления конечными точками, агрегированные по классам | Управление ИТ-активами; управление финансами | Сокращение потерь | Раз в месяц | Засчитывать плановую фоновую активность как использование; переназначать простаивающие устройства на фиктивных пользователей | Использовать вход человека как сигнал активности; выборочно проверять назначения |
| Время замены | Время замены отказавшего или потерянного устройства на работающее | медиана и 85-й перцентиль часов или дней от сообщения до момента, когда у пользователя есть работающее устройство | дни | Записи об инцидентах и запросах | Управление инцидентами; управление запросами на обслуживание | Время разблокировки члена команды | Раз в месяц | Останавливать часы при отправке; закрывать запрос, пока у пользователя нет работающего устройства | Часы заканчиваются подтверждением пользователя; опрос недавних замен |
| Завершение безопасной утилизации | Доля выведенных устройств с записанным свидетельством стирания данных или уничтожения | выведенные устройства со свидетельством стирания или уничтожения / выведенные устройства | процент | Записи об утилизации и сертификаты стирания | Управление информационной безопасностью; управление ИТ-активами | Определение готовности для вывода оборудования | Раз в месяц | Записывать стирание без свидетельства; сертификаты, не сопоставленные с серийными номерами | Сопоставлять сертификаты с серийными номерами; проверять выборку вместе с партнёром по утилизации |
| Доля повторного использования и переработки | Доля выведенных устройств, повторно использованных, восстановленных или переработанных через одобренный канал | устройства, повторно использованные, восстановленные или переработанные через одобренный канал / выведенные устройства | процент | Записи об утилизации и партнёрах | Управление ИТ-активами; управление поставщиками | Цель устойчивости в планировании | Раз в квартал | Считать переработанными устройства, отправленные брокеру с неизвестной дальнейшей обработкой | Требовать сертифицированных партнёров и отчётность по дальнейшей цепочке; выборочные аудиты |
7.4 Метрики качества конфигурации и CMDB
Тема-источник: (см. тему 7.4, Метрики качества конфигурации и CMDB).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Полнота CI | Доля CI в области со всеми обязательными атрибутами, заполненными допустимыми значениями | CI в области с каждым обязательным атрибутом допустимым / CI в области | процент | CMDB, правила атрибутов | Управление конфигурацией услуг; управление ИТ-активами | Определение готовности включает описание услуги | Раз в месяц | Заполнять обязательные атрибуты значениями по умолчанию или заглушками; сужать список обязательных | Считать значения по умолчанию и заглушки; фиксированный список обязательных; выборка точности |
| Точность CI | Доля выбранных CI, чья запись совпадает со свидетельством по обязательным атрибутам | выбранные CI, совпадающие по всем обязательным атрибутам / выбранные CI | процент | Выборка аудита, сравненная с живой системой | Управление конфигурацией услуг | Состояние инфраструктуры как кода соответствует реальности | Раз в квартал | Брать лёгкие классы; проводить аудит после чистки | Случайная выборка, взятая независимо с обеих сторон; фиксированный метод |
| Охват зависимостей | Доля критических услуг, чьи восходящие и нисходящие зависимости нанесены на карту и пересмотрены | критические услуги с картой зависимостей, пересмотренной за последние 90 дней / критические услуги | процент | Отношения CMDB и записи пересмотров | Управление конфигурацией услуг; управление доступностью | Пересмотр архитектуры и владения услугами | Раз в квартал | Помечать карты пересмотренными, не читая; наносить только тривиальные зависимости | Доля попаданий прогноза воздействия; выборочно сверять карту с живым трафиком |
| Доля попаданий прогноза воздействия | Доля инцидентов и изменений, где фактически затронутые услуги были в спрогнозированном CMDB воздействии | инциденты или изменения, где все затронутые услуги были спрогнозированы / пересмотренные инциденты или изменения | процент | Пересмотры после инцидентов и записи об изменениях, сравненные с запросами к CMDB | Управление инцидентами; управление изменениями (change enablement) | Находка пересмотра без поиска виновных об отсутствующих зависимостях | Раз в квартал | Выбирать инциденты, прошедшие хорошо; записывать затронутые услуги узко | Пересматривать все значимые инциденты; проверяющие вне владеющей команды |
| Доля дубликатов CI | Доля CI, дублирующих другой CI | CI, помеченные как дубликаты правилами сопоставления и подтверждённые в пересмотре / CI в области | процент | Отчёт сопоставления CMDB и выборка пересмотра | Управление конфигурацией услуг | Единый источник истины | Раз в месяц | Сливать различные CI, чтобы снизить долю; ослаблять правила сопоставления | Выборочно проверять слияния на корректность; вести журнал правил слияния |
| Задержка обновления | Задержка между изменением CI в реальном мире и его обновлением в CMDB | медиана и 85-й перцентиль часов или дней от события изменения до обновления CMDB | часы или дни | События изменений и конвейера, сравненные с метками времени CMDB | Управление конфигурацией услуг; управление изменениями | Автоматическая регистрация в конвейере | Раз в месяц | Датировать события изменений задним числом; считать только автоматические обновления | Сравнивать метки времени событий и обновлений из исходных систем; журнал аудита |
| Доля использования CMDB | Доля инцидентов и изменений, ссылающихся на CI, и из них доля, где пользователи сообщают, что запись помогла | записи, ссылающиеся на допустимый CI / инциденты и изменения в периоде; плюс доля пересмотренных записей, где данные CI помогли | процент | Инструмент ITSM, короткий запрос обратной связи | Управление инцидентами; управление изменениями | Команды, использующие общую запись в работе | Раз в месяц | Добавлять ссылки на CI для формальности; делать поле обязательным с любым значением | Проверять, что указанные CI релевантны; вопрос обратной связи о полезности |
7.5 Стоимость услуг и удельная экономика
Тема-источник: (см. тему 7.5, Стоимость услуг и удельная экономика).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Стоимость услуги | Полная годовая стоимость названной услуги по документированным правилам распределения | прямые затраты + распределённые общие затраты для услуги в периоде | валюта в год | Главная книга, данные центров затрат, облачные счета и счета за лицензии, данные о времени или видах деятельности | Управление финансами услуг; управление каталогом услуг | Стоимость постоянной продуктовой команды и её платформ | Раз в квартал | Переносить затраты на другие услуги правилом распределения; оставлять неблагоприятные затраты нераспределёнными | Охват распределения; правила опубликованы и пересматриваются владельцами; сравнивать итоги с главной книгой |
| Удельная стоимость | Стоимость на единицу того, что ценят пользователи, например на активного пользователя, транзакцию или решённый запрос | стоимость услуги в периоде / единицы, доставленные в периоде | валюта на единицу | Стоимость услуги и данные об объёме | Управление финансами услуг; управление уровнями услуг | Стоимость обслуживания на результат | Раз в квартал | Поднимать знаменатель малоценными единицами; сокращать качество, чтобы сократить затраты; менять единицу | Компаньон-мера качества; фиксированное определение единицы; проверки результата |
| Охват распределения | Доля расходов на ИТ, отнесённая на названную услугу или объявленная общими накладными расходами | расходы, отнесённые на услуги или объявленные накладными / общие расходы на ИТ | процент | Главная книга и модель распределения | Управление финансами услуг | Видимая стоимость работы каждой команды | Раз в квартал | Объявлять крупные суммы общими накладными расходами, чтобы избежать отнесения | Сообщается доля накладных; пересмотр того, что объявлено накладным и почему |
| Разбивка на эксплуатацию, изменения и улучшение | Доля расходов или ёмкости, идущая на эксплуатацию услуг, их изменение и их улучшение | расходы или ёмкость в каждой категории / итого | процент | Метки главной книги, типы работ в трекере | Управление финансами услуг; непрерывное улучшение | Распределение ёмкости по типам работы | Раз в квартал | Переименовывать эксплуатационную работу в улучшение или изменение; помечать в конце периода | Метка при приёме; выборочная проверка элементов на тип; сравнение с данными об инцидентах и запросах |
| Отклонение прогноза | Разница между прогнозной и фактической стоимостью по услуге | (факт минус прогноз) / прогноз | процент | Журнал прогнозов и главная книга | Управление финансами услуг | Точность прогноза | Раз в месяц | Накидывать запас в прогнозы; пересматривать прогноз поздно в периоде | Прогноз записывается в начале; сравнивать диапазоны прогноза с фактом во времени |
| Доля споров по показу затрат | Доля строк показа затрат (showback) или внутреннего счёта (chargeback), оспоренных владельцами услуг и изменённых | строки, изменённые после оспаривания / выставленные строки | процент | Система показа затрат и журнал споров | Управление финансами услуг | Ретроспектива об общих затратах | Раз в квартал | Отбивать споры; менять строки без изменения правила | Пересмотр споров и исходов; проверка, менялись ли правила после повторных споров |
| Доля финансирования постоянных команд | Доля расходов на поставку и эксплуатацию, финансируемая как стабильная ёмкость команды для услуги | расходы на постоянные команды услуг / общие расходы на поставку и эксплуатацию | процент | Главная книга и организационная схема | Управление финансами услуг; организационные изменения | Команды, построенные вокруг услуг и мотивированных людей | Раз в год | Переименовывать проекты в постоянные команды, не меняя финансирование или владение | Проверка стабильности команд и владения во времени; меры здоровья услуги |
7.6 Метрики FinOps и затрат на облако
Тема-источник: (см. тему 7.6, Метрики FinOps и затрат на облако).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Охват распределения | Доля облачных расходов, отнесённая на владеющую команду или объявленный общий пул | расходы с допустимым тегом владельца и услуги или в объявленном общем пуле / общие облачные расходы | процент | Выгрузка облачных счетов, политика тегов | Управление финансами услуг; управление ИТ-активами | Владение командой тем, что она ведёт | Раз в неделю | Помечать всё универсальным владельцем; объявлять крупные суммы общими | Доля расходов, принадлежащих универсальным владельцам; размер общего пула и пересмотр; выборка подтверждения владельцами |
| Облачная удельная стоимость | Стоимость облачных ресурсов на единицу того, что ценят пользователи | облачная стоимость услуги в периоде / единицы, доставленные в периоде | валюта на единицу | Данные счетов, соединённые с объёмом услуги | Управление финансами услуг; управление уровнями услуг | Стоимость обслуживания на результат | Раз в месяц | Выбирать единицу, дёшево растущую; сокращать надёжность, чтобы сократить затраты | Фиксированное определение единицы; компаньоны по надёжности и качеству |
| Доля потерь | Доля расходов на ресурсы, простаивающие или явно избыточные по размеру | расходы на простаивающие или избыточные ресурсы по согласованным правилам / общие расходы на ресурсы в области | процент | Метрики использования и счета | Управление ёмкостью и производительностью; управление финансами | Сокращение потерь в наборе инструментов | Раз в неделю | Сужать определение простаивающего; переносить потери в учётную запись вне области | Правила в реестре; сканировать все учётные записи; выборка ресурсов, исключаемых правилами |
| Охват обязательствами | Доля пригодного устойчивого использования, покрытая скидочными обязательствами | пригодное использование, покрытое обязательствами / пригодное использование | процент | Отчёты по счетам и обязательствам | Управление финансами услуг; управление поставщиками | Планирование предсказуемого спроса | Раз в месяц | Брать обязательства по завышенным базовым уровням ради высокого процента | Использование обязательств; сверка базового уровня с историей использования |
| Использование обязательств | Доля купленных обязательств, которая была использована | использованные часы обязательств / купленные часы обязательств | процент | Отчёты по обязательствам | Управление финансами услуг; управление поставщиками | Ценность от запланированного вложения | Раз в месяц | Добавлять ненужное пригодное использование, чтобы заполнить обязательства | Сравнивать с ростом реального спроса; удельная стоимость |
| Отклонение прогноза | Разница между прогнозными и фактическими облачными расходами по команде и в целом | (факт минус прогноз) / прогноз | процент | Журнал прогнозов и данные счетов | Управление финансами услуг | Точность прогноза | Раз в месяц | Накидывать запас в прогнозы; пересматривать их поздно | Записывать прогноз в начале; отслеживать ширину диапазона и долю попаданий |
| Время подтверждения аномалии | Время от оповещения об аномалии затрат до записанного решения владельца | медиана и 85-й перцентиль часов от оповещения до ответа владельца | часы | Оповещения об аномалиях и записи заявок | Мониторинг и управление событиями; управление инцидентами | Отзывчивость на продуктивный сигнал | Раз в месяц | Подтверждать оповещения, не глядя; закрывать оповещения автоматически | Записывать решение и исход; выборочно проверять качество реакции на оповещения |
7.7 Возврат инвестиций и бизнес-обоснование
Тема-источник: (см. тему 7.7, Возврат инвестиций и бизнес-обоснование).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Возврат инвестиций | Чистый выигрыш относительно затрат за заявленный период | (общие выгоды минус общие затраты) / общие затраты за период | процент | Бизнес-обоснование, главная книга, реестр выгод | Управление финансами услуг; непрерывное улучшение | Обзор результатов относительно финансирования | При решении и на каждом пересмотре | Выбирать длинный период или считать мягкие выгоды; опускать эксплуатационные затраты | Фиксированные правила периода и области затрат; качество свидетельств выгод; независимый пересмотр |
| Общая стоимость владения | Стоимость услуги или актива за всю жизнь за заявленный период | затраты на приобретение + эксплуатацию + поддержку + изменения + обучение + утилизацию за период | валюта | Главная книга, модели затрат, контракты поставщиков | Управление финансами услуг; управление ИТ-активами | Стоимость постоянной команды и её платформ | При решении и раз в год | Опускать поддержку, обучение, усилия по изменениям или утилизацию; использовать оптимистичные объёмы | Контрольный список категорий затрат; сравнение с фактической TCO похожей прошлой работы |
| Срок окупаемости | Время, за которое накопленные чистые выгоды сравниваются с первоначальным вложением | время, когда накопленные выгоды минус накопленные затраты достигают нуля | месяцы | Денежные потоки бизнес-обоснования | Управление финансами услуг | Время до первой ценности, расширенное до возмещения затрат | При решении и на каждом пересмотре | Определять начало поздно; считать выгоды, которые не реализуются | Определение часов зафиксировано; сравнение с точностью реализованных выгод |
| Чистая приведённая стоимость | Приведённая стоимость ожидаемых выгод минус приведённая стоимость затрат по заявленной ставке дисконтирования | сумма по периодам (выгода минус затрата) / (1 + ставка дисконтирования) в степени периода | валюта | Денежные потоки бизнес-обоснования, финансовая политика о ставке дисконтирования | Управление финансами услуг | Приоритизация по ценности | При решении | Выбирать низкую ставку дисконтирования; продлевать горизонт | Ставка дисконтирования задана финансовой политикой; показан анализ чувствительности |
| Точность оценки затрат | Отношение фактических затрат к оценённым для завершённых инициатив | фактические затраты / оценённые затраты при одобрении, по инициативе и как распределение | отношение | Записи бизнес-обоснований и главная книга | Управление финансами услуг; непрерывное улучшение | Точность прогноза | Раз в квартал | Пересматривать базовую оценку задним числом; исключать перерасход как изменение области | Оценка заморожена при одобрении; изменения области записываются с одобрением; показывать общую стоимость завершения |
| Точность оценки выгод | Отношение реализованных выгод к ожидаемым для завершённых инициатив по правилам свидетельств для выгод | реализованная выгода / ожидаемая выгода при одобрении, по инициативе и как распределение | отношение | Записи бизнес-обоснований и реестр выгод | Непрерывное улучшение; управление системой создания ценности | Обзор результатов с заинтересованными сторонами | Раз в квартал | Считать выгоды, которые не измерялись; переопределять выгоду | Правила реестра выгод; подтверждение владельцем вне команды поставки |
| Доля остановок по свидетельствам | Доля финансируемых инициатив, остановленных или перестроенных на этапном рубеже, потому что свидетельства изменили картину | инициативы, остановленные или перестроенные по свидетельствам на рубеже / инициативы, достигшие рубежа | процент | Журнал решений этапных рубежей | Непрерывное улучшение; управление портфелем | Обучение на выпущенной работе | Раз в квартал | Останавливать малоценную работу, чтобы раздуть долю; никогда ничего не останавливать | Читать с мерами точности; пересматривать причины остановок и продолжений |
Часть 8: Метрики безопасности, рисков, соответствия и поставщиков
8.1 Метрики инцидентов безопасности и уязвимостей
Тема-источник: (см. тему 8.1, Метрики инцидентов безопасности и уязвимостей).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Окно воздействия | Время, в течение которого известная уязвимость остаётся открытой на активах в области, по полосе приоритета | медиана и 85-й перцентиль дней от даты, когда стало известно, что она применима к активу, до даты проверенного исправления или принятого смягчения | дни | Сканер уязвимостей, система заявок, записи об изменениях | Управление информационной безопасностью; управление проблемами | Время исправления дефекта в бэклоге | Раз в неделю | Закрывать находки без проверки; менять дату начала; переклассифицировать серьёзность | Шаг проверки кем-то вне исправляющей команды; правило даты начала в реестре; журнал изменений серьёзности |
| Соблюдение обновлений | Доля активов в области, укладывающихся в окно политики обновлений для их класса | активы, обновлённые в окне политики / активы в области, которым в периоде требовалось обновление | процент | Инструменты управления конечными точками и серверами, реестр активов | Управление информационной безопасностью; управление релизами и развёртыванием | Зависимости поддерживаются актуальными в конвейере | Раз в неделю | Исключать трудно обновляемые активы из области; засчитывать обновление применённым, когда систему не перезапустили | Изменения области записываются; проверять установленную версию по активу, а не по заявке |
| Просроченные критические находки | Число и возраст находок критического приоритета, просроченных относительно срока политики | число критических находок за сроком; возраст самой старой | число; дни | Система управления уязвимостями | Управление информационной безопасностью; управление рисками | Дефекты безопасности, превышающие согласованный предел | Раз в неделю | Делить находки или сливать их; понижать серьёзность | Считать по уникальной уязвимости и активу; пересматривать все изменения серьёзности |
| Охват сканированием | Доля активов в области, оценённых в требуемый интервал | активы, успешно просканированные в последнем интервале / активы в области | процент | Отчёты сканера, соединённые с реестром активов | Управление информационной безопасностью; управление ИТ-активами | Проверки конвейера выполняются при каждой сборке | Раз в неделю | Сканировать более узкий набор; засчитывать сканирование, не прошедшее аутентификацию | Охват относительно реестра активов; качество сканирования (с аутентификацией, полное) |
| Время до сдерживания | Время от обнаружения подтверждённого инцидента безопасности до сдерживания | медиана и 85-й перцентиль часов от обнаружения до сдерживания | часы | Записи об инцидентах | Управление инцидентами; управление информационной безопасностью | Время восстановления услуги после сбоя | По инциденту, пересмотр раз в месяц | Запускать часы позже; объявлять сдерживание рано | Часы запускаются при первом сигнале обнаружения; проверять сдерживание свидетельством |
| Возраст исключений по риску | Возраст принятых исключений по риску и доля за датой пересмотра | дни с одобрения; исключения за датой пересмотра / открытые исключения | дни; процент | Реестр исключений | Управление рисками; управление информационной безопасностью | Пересмотр технического долга | Раз в месяц | Автоматически продлевать исключения; делить исключения, чтобы снизить возраст | Пересматривать продления исключений с причиной; ограничивать продления без новых свидетельств |
| Доля сообщений о безопасности | Доля сообщённых персоналом подозрительных событий относительно подтверждённых событий безопасности как индикатор культуры сообщений | сообщения от персонала в периоде / подтверждённые подозрительные события в периоде, с трендом уровня групп | отношение | Почтовый ящик безопасности, записи об инцидентах | Управление информационной безопасностью; управление инцидентами | Открытое поднятие препятствий | Раз в месяц | Поощрять малоценные сообщения; отбивать сообщения, чтобы улучшить другие числа | Качество сообщений; чтение комментариев; опрос о том, чувствуют ли люди безопасность сообщать |
8.2 Метрики рисков и контролей
Тема-источник: (см. тему 8.2, Метрики рисков и контролей).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Актуальность пересмотра рисков | Доля открытых рисков, пересмотренных владельцем в согласованный интервал | риски, пересмотренные в интервале / открытые риски | процент | Даты пересмотра реестра рисков | Управление рисками; непрерывное улучшение | Риски пересматриваются на планировании и обзорах | Раз в месяц | Помечать риски пересмотренными без обсуждения; менять интервал | Выборочная проверка пересмотров на содержание; фиксированный интервал в реестре |
| Охват владельцами | Доля открытых рисков с названным действующим владельцем, принявшим владение | риски с подтверждённым действующим владельцем / открытые риски | процент | Реестр рисков, соединённый со справочником людей | Управление рисками | Принадлежащие командам риски в бэклоге | Раз в месяц | Назначать владельцев без их ведома; называть высокопоставленного человека без полномочий | Подтверждение владельца; проверка, что владельцы могут действовать по ответу |
| Охват испытаниями контролей | Доля ключевых контролей, испытанных на работу в требуемом цикле | ключевые контроли, испытанные в цикле / ключевые контроли | процент | Реестр контролей и записи испытаний | Управление рисками; управление информационной безопасностью | Автоматизированные проверки в конвейере | Раз в квартал | Испытывать лёгкие контроли; засчитывать проверки проекта как испытания работы | Список ключевых контролей фиксируется второй стороной; тип испытания записывается |
| Доля эффективности контролей | Доля испытанных контролей, признанных работающими как задумано | контроли, признанные эффективными / испытанные контроли | процент | Результаты испытаний | Управление рисками; непрерывное улучшение | Автоматизированные тесты проходят по верным причинам | Раз в квартал | Испытывать малые выборки; выбирать выборки, которые проходят | Метод выборки независим от владельца; размер выборки записывается |
| Время реакции на нарушение KRI | Время от пересечения ключевым индикатором риска своего порога до записанного решения | медиана и 85-й перцентиль часов или дней от нарушения до решения | часы или дни | Мониторинг KRI и журнал решений | Управление рисками; мониторинг и управление событиями | Реакция на продуктивный сигнал | Раз в месяц | Менять порог после нарушения; записывать решение без содержания | Журнал изменений порогов; выборка содержания решений |
| Своевременность планов обработки | Доля обработок риска, завершённых к обещанной дате | обработки, завершённые к дате / обработки, срок которых наступает в периоде | процент | Реестр рисков и трекер действий | Управление рисками; непрерывное улучшение | Доставленные действия по улучшению | Раз в квартал | Задавать лёгкие даты; переопределять завершение | Даты согласуются с владельцем при одобрении; проверка, что оценка риска сдвинулась |
| Доля изменений на основе риска | Доля изменений, утверждённых по путям на основе риска с приложенными свидетельствами контролей | изменения, утверждённые по пути на основе риска с требуемыми свидетельствами / изменения в периоде | процент | Записи об изменениях | Управление изменениями (change enablement); управление рисками | Изменения, поставляемые непрерывно с автоматизированными проверками | Раз в месяц | Классифицировать изменения как низкого риска, чтобы избежать пересмотра; прикладывать свидетельства, не произведённые контролями | Выборочная проверка классификации по правилам; автоматизированные свидетельства из конвейера |
8.3 Метрики соответствия и аудита
Тема-источник: (см. тему 8.3, Метрики соответствия и аудита).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Охват обязательств | Доля применимых обязательств, сопоставленных с контролем, владельцем и источником свидетельств | обязательства, сопоставленные хотя бы с одним контролем с владельцем и источником свидетельств / применимые обязательства | процент | Реестр обязательств и реестр контролей | Управление; управление информационной безопасностью; управление рисками | Определение готовности включает свидетельства контроля | Раз в квартал | Сопоставлять обязательства со слабыми или нерелевантными контролями; определять обязательства узко | Пересмотр релевантности контролей второй стороной; испытание контролей (см. тему 8.2, Метрики рисков и контролей) |
| Доля автоматизации свидетельств | Доля свидетельств контролей в области, собираемая автоматически из учётных систем | элементы свидетельств контролей, собранные автоматически / требуемые элементы свидетельств | процент | Реестр контролей, логи конвейера и систем | Управление информационной безопасностью; управление изменениями (change enablement) | Конвейер записывает рецензирование, тесты и развёртывание автоматически | Раз в квартал | Засчитывать снимки экрана или выгрузки как автоматические; сначала автоматизировать малоценные свидетельства | Определять автоматическое как порождённое системой и защищённое от подделки; ранжировать по риску |
| Время подготовки свидетельств | Время предоставления свидетельств, запрошенных аудитором или оценщиком | медиана и 85-й перцентиль дней от запроса до принятого свидетельства | дни | Трекер запросов аудита | Управление; управление информационной безопасностью | Отзывчивость на вопрос заинтересованной стороны | По аудиту | Быстро предоставлять частичные свидетельства; торговаться о формулировке запроса | Считать только принятые свидетельства; отслеживать дополнительные запросы |
| Время закрытия находок | Время закрытия находок аудита по серьёзности | медиана и 85-й перцентиль дней от выдачи находки до проверенного закрытия | дни | Трекер находок | Непрерывное улучшение; управление рисками | Время исправления дефекта | Раз в месяц | Закрывать находки без проверки; переклассифицировать серьёзность | Независимая проверка; журнал изменений серьёзности |
| Доля повторных находок | Доля находок, повторяющихся с предыдущего аудита или пересмотра | находки, по существу совпадающие с ранее закрытой находкой / находки в периоде | процент | Трекер находок со связями причин | Непрерывное улучшение; управление проблемами | Повторяющийся дефект после исправления | По циклу аудита | Переформулировать находки, чтобы они не совпадали; закрывать более раннюю находку как другой тип | Сопоставлять по причине с записанным правилом; пересмотр внутренним аудитом |
| Конфликты разделения обязанностей | Число сочетаний доступа или утверждения, нарушающих правила разделения, и время разрешения | обнаруженные конфликты; медиана дней до разрешения | число; дни | Инструменты управления идентификацией и доступом, записи об изменениях | Управление информационной безопасностью; управление изменениями | Независимый пересмотр изменений | Раз в месяц | Переносить конфликты в системы вне области; выдавать временный доступ, который не записывается | Охватывать все системы с чувствительными процессами; пересматривать временный доступ |
| Усилия на аудит | Человеко-часы, которые организация тратит на подготовку к циклу аудита и его поддержку, на единицу области | часы, записанные на подготовку к аудиту и поддержку / контроли или системы в области | часов на единицу | Записи времени или оценки усилий | Управление; непрерывное улучшение | Цена работы, не являющейся поставкой | По циклу аудита | Не записывать часы; переносить усилия на другие бюджеты | Выборочная проверка записей времени; сравнение с опросами команд |
8.4 Метрики поставщиков и контрактов
Тема-источник: (см. тему 8.4, Метрики поставщиков и контрактов).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Выполнение уровней услуг поставщика | Доля договорных мер уровня услуг, выполненных поставщиком, в паре с мерой опыта для той же услуги | выполненные меры в периоде / договорные меры; сообщается рядом с оценкой опыта пользователей для услуги | процент | Отчёты поставщика, ваш собственный мониторинг, данные опросов | Управление поставщиками; управление уровнями услуг | Пересмотр вклада партнёра в цели | Раз в месяц | Поставщик исключает события из измерения; паузы часов; узкие определения | Собственный мониторинг; мера опыта; аудит исключений |
| Время инцидентов, приписанное поставщику | Часы воздействия на услугу, приписанные компоненту или действию поставщика | сумма часов воздействия инцидентов, где отказ поставщика был подтверждённой причиной | часы | Записи об инцидентах с анализом причин, отчёты поставщика об инцидентах | Управление инцидентами; управление поставщиками | Время, потерянное на внешние блокировки | Раз в месяц | Оспаривание атрибуции; классификация неисправностей поставщика как стороны клиента | Совместный разбор причин; нейтральный проверяющий для споров; отслеживание доли оспоренных |
| Охват реестра контрактов | Доля поставщиков с действующим контрактом, названным внутренним владельцем и запланированным пересмотром | поставщики со всеми тремя / поставщики в области | процент | Реестр контрактов, записи закупок | Управление поставщиками; управление финансами | Ясное владение внешними зависимостями | Раз в квартал | Называть владельцев, которые не знают; перечислять контракты без дат | Подтверждение владельца; проверка, что совещания по пересмотру проводятся |
| Актуальность должной проверки | Доля критических поставщиков, чья оценка риска в пределах цикла пересмотра | критические поставщики, оценённые в цикле / критические поставщики | процент | Оценки рисков поставщиков | Управление поставщиками; управление рисками; управление информационной безопасностью | Регулярный пересмотр рисков | Раз в квартал | Оценки только анкетой; поставщики самосертифицируются | Требование свидетельств для критических поставщиков; выборочная проверка |
| Готовность к выходу | Доля критических поставщиков с документированным планом выхода, испытанным в согласованный период | критические поставщики с испытанным планом выхода / критические поставщики | процент | Планы выхода и записи испытаний | Управление поставщиками; управление непрерывностью услуг | Отработанное восстановление зависимости | Раз в год | Писать план и называть его испытанным; учения без реальных шагов | Записывать, что было отработано; независимый пересмотр учения |
| Концентрация | Доля критических услуг, зависящих от единственного поставщика без испытанной альтернативы | критические услуги с зависимостью от единственного поставщика и без испытанной альтернативы / критические услуги | процент | Карта зависимостей, реестр поставщиков | Управление поставщиками; управление рисками | Избегание единой точки отказа | Раз в квартал | Делить одного поставщика на несколько юридических лиц на бумаге | Карта зависимостей до конечного провайдера; пересмотр общих платформ |
| Доля закрытия совместных действий | Доля действий, согласованных на совместных пересмотрах с поставщиками и закрытых к сроку | совместные действия, закрытые к дате / совместные действия, срок которых наступил | процент | Протоколы пересмотров и трекер действий | Управление поставщиками; непрерывное улучшение | Доставленные действия ретроспективы | Раз в квартал | Ставить лёгкие действия; закрывать без эффекта | Пересматривать качество действий; проверять, улучшилась ли предполагаемая проблема |
8.5 Регулируемая и государственная отчётность
Тема-источник: (см. тему 8.5, Регулируемая и государственная отчётность).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Охват обязательств отчётности | Доля обязательств отчётности с названным владельцем, заявленным определением, источником данных и записью в календаре | обязательства со всеми четырьмя / обязательства отчётности в области | процент | Реестр обязательств | Измерение и отчётность; управление | Рабочее соглашение с заинтересованными сторонами об информационных потребностях | Раз в квартал | Рассматривать обязательства узко; перечислять владельца без согласия | Пересмотр реестра соответствием или внутренним аудитом; подтверждение владельцев |
| Своевременность отчётов | Доля требуемых отчётов, поданных к сроку | отчёты, поданные в срок или раньше / отчёты, срок которых наступает в периоде | процент | Календарь отчётности и записи подачи | Измерение и отчётность | Выполненные обязательства перед заинтересованными сторонами | Раз в месяц | Подавать неполные отчёты, чтобы уложиться в дату; засчитывать черновики как подачи | Проверка полноты при подаче; считать только принятые отчёты; доля пересмотренных отчётов |
| Доля пересмотренных отчётов | Доля поданных отчётов или цифр, позже исправленных | отчёты или цифры, исправленные после подачи / поданные отчёты или цифры | процент | Журнал подач и журнал исправлений | Измерение и отчётность; непрерывное улучшение | Ускользнувшие дефекты | Раз в квартал | Подавлять исправления; делать исправления тихо | Журнал исправлений пересматривается независимым читателем; низкая доля читается вместе с прослеживаемостью |
| Охват прослеживаемостью | Доля сообщаемых цифр, которые можно проследить до учётной системы через документированные шаги | цифры с документированным происхождением до учётной системы / сообщённые цифры | процент | Документация происхождения, спецификации отчётов | Измерение и отчётность; управление знаниями | Воспроизводимые сборки | Раз в квартал | Документировать происхождение поверхностно; включать только простые цифры | Выборка происхождения повторным выполнением расчёта от источника |
| Согласованность определений | Доля сообщаемых мер, для которых законодательное и внутреннее определения документированы и сверены | меры с документированной сверкой / сообщаемые меры с законодательным определением | процент | Реестр метрик | Измерение и отчётность; управление уровнями услуг | Общее определение готовности | Раз в квартал | Объявлять определения согласованными без сверки; принимать законодательное определение только в отчёте | Документ сверки пересматривается; показывать обе цифры рядом |
| Усилия на отчётность | Человеко-часы, потраченные на производство повторяющегося отчёта | записанные часы на цикл отчёта, с долей ручного извлечения и сборки | часы | Оценки времени, журналы усилий | Измерение и отчётность; непрерывное улучшение | Цена работы, не являющейся поставкой | По циклу отчёта | Не записывать часы; переносить работу в другие команды | Сравнивать с обратной связью команды; включать всех участников в оценку |
| Соответствие опубликованного стандарту доступности | Доля опубликованных отчётов и наборов данных, отвечающих требуемому стандарту доступности | опубликованные элементы, прошедшие проверку доступности / опубликованные элементы | процент | Результаты тестов доступности | Измерение и отчётность; управление знаниями | Инклюзивное определение готовности | Раз в квартал | Запускать проверяющую программу, находящую лишь часть проблем; публиковать отдельную доступную версию, отстающую от основной | Ручное тестирование со вспомогательными технологиями; проверка паритета между версиями |
Часть 9: Метрики людей, команд и улучшений
9.1 Здоровье команды и опыт разработчиков
Тема-источник: (см. тему 9.1, Здоровье команды и опыт разработчиков).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Время петли обратной связи | Время, за которое человек получает результат обычного действия, по типу петли | медиана и 85-й перцентиль минут или часов для сборки, прогона тестов, ожидания рецензирования кода и развёртывания, по команде | минуты или часы | Метки времени конвейера и инструмента рецензирования, агрегированные по команде | Управление релизами и развёртыванием; непрерывное улучшение | Быстрая обратная связь в непрерывной поставке | Раз в неделю | Исключать медленные случаи; измерять быстрый путь, которым не идёт большая часть работы | Сообщать 85-й перцентиль; определять начало и конец каждой петли в реестре |
| Доля времени сосредоточенности | Доля рабочего времени в непрерывных блоках согласованной минимальной длины по сообщению команды | сообщённые командой часы в блоках сосредоточенности / рабочие часы, собираемые в коротком пульсе | процент | Пульс команды; данные календаря только если команда согласна и они агрегированы | Непрерывное улучшение; управление знаниями | Защищённое время для глубокой работы | Раз в месяц | Блокировать время в календаре, не сосредотачиваясь; сообщать завышенную сосредоточенность, чтобы угодить руководителям | Пульс во владении команды; сравнивать с причинами прерываний; нет индивидуальной отчётности |
| Оценка когнитивной нагрузки | Оценка командой того, как трудно понять и изменить названную систему или процесс | средняя оценка и разброс по короткой согласованной шкале, по системе | пункты шкалы | Короткий пульс, привязанный к системе или процессу | Проектирование услуг; управление знаниями | Общее понимание работы | Раз в квартал | Оценивать системы низко, чтобы избежать пристального внимания; выбирать лёгкие системы для оценки | Оценивать фиксированный список систем; сравнивать со временем ввода в должность и закономерностями инцидентов |
| Время устранения препятствий | Время от поднятия препятствия командой до его устранения или записанного решения не устранять | медиана и 85-й перцентиль дней от поднятия до разрешения или решения | дни | Список препятствий или трекер | Непрерывное улучшение; управление проблемами | Устранённые препятствия | Раз в месяц | Закрывать препятствия, не исправляя; отказываться записывать препятствия | Команда подтверждает разрешение; доля вновь открытых препятствий |
| Тренд проверки здоровья команды | Собственная оценка команды по выбранным ею измерениям, отслеживаемая во времени | изменение оценок выбранных командой измерений между проверками | пункты шкалы | Проверка здоровья команды, во владении команды | Непрерывное улучшение | Размышление команды о том, как стать эффективнее | Раз в месяц или раз в квартал | Руководители давят на хорошие оценки; команды подгоняют оценки, чтобы избежать внимания | Результатами владеет команда; тренды разделяются только с согласия команды |
| Удовлетворённость инструментами и процессами | Оценка командой удовлетворённости инструментами и процессами, которыми она пользуется ежедневно | средняя оценка или доля благоприятных по каждому названному инструменту или процессу | пункты шкалы или процент | Короткий пульс | Управление уровнями услуг; непрерывное улучшение | Соответствие среды работе | Раз в квартал | Опрашивать довольных; натаскивать персонал на хорошие ответы | Доля ответивших и состав; чтение комментариев; привязка к системным мерам |
| Охват измерениями | Число измерений SPACE, охваченных мерами, которыми команда действительно пользуется | число пяти измерений хотя бы с одной используемой мерой | число (от 0 до 5) | Реестр метрик | Измерение и отчётность; управление | Сбалансированные меры | Раз в год | Засчитывать измерение символической мерой | Проверять, что каждая засчитанная мера используется в решении |
9.2 Метрики удовлетворённости и благополучия
Тема-источник: (см. тему 9.2, Метрики удовлетворённости и благополучия).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Оценка устойчивого темпа | Оценка командой того, можно ли удерживать текущий темп неограниченно долго | средняя оценка и разброс по согласованной шкале для утверждения «мы могли бы работать в этом темпе неограниченно долго» | пункты шкалы | Анонимный пульс команды | Непрерывное улучшение; управление персоналом и талантами | Постоянный темп неограниченно долго | Раз в месяц | Руководители давят на хорошие оценки; команды сообщают ожидаемое | Правила анонимности и размера группы; сравнивать с фактами нагрузки; читать комментарии |
| Оценка психологической безопасности | Оценка командой того, насколько безопасно поднимать проблемы и идти на межличностный риск | средняя оценка по короткому проверенному набору утверждений, по команде | пункты шкалы | Анонимный пульс команды | Непрерывное улучшение; управление персоналом и талантами | Доверие и открытая рефлексия | Раз в квартал | Опрашивать только безопасные команды; менять формулировки, чтобы поднять оценки | Журнал фиксированных формулировок; доля ответивших и состав; сравнивать с частотой сообщений об инцидентах и ошибках |
| Оценка поддержки потребностей | Оценка командой автономии, компетентности и связанности на работе | средняя оценка по каждому из трёх утверждений, по команде | пункты шкалы | Анонимный пульс команды | Управление персоналом и талантами; непрерывное улучшение | Мотивированные люди с нужной им средой | Раз в квартал | Переопределять утверждения; натаскивать ответы | Стабильные формулировки; интерпретация во владении команды; комментарии |
| Оценка напряжения нагрузки | Оценка командой того, насколько требовательна нагрузка относительно ёмкости | средняя оценка и доля, оценивающая нагрузку как неустойчивую | пункты шкалы; процент | Анонимный пульс команды | Управление ёмкостью и производительностью; управление персоналом и талантами | Устойчивая разработка | Раз в месяц | Занижать сообщаемое напряжение, чтобы избежать пристального внимания; подгонять область на бумаге | Сравнивать с внеплановой работой и нагрузкой ротации; проверять скрытую работу |
| Недели длительной работы сверх часов | Доля недель, в которые ротация или команда работала заметно сверх обычных часов, считаемая на уровне ротации или команды | недели в периоде с продлёнными часами на уровне команды / недели в периоде | процент | Записи ротаций и журналы дежурств, агрегированные по команде; сообщения команды, по желанию | Управление инцидентами; управление ёмкостью и производительностью | Сверхурочная работа как сигнал перегрузки | Раз в месяц | Не записывать часы; переносить работу вне записей ротации | Сравнивать с журналами инцидентов и комментариями команды; позволять сообщать без наказания |
| Добровольная текучесть и темы выходных бесед | Доля членов команды, добровольно уходящих за период, с темами из выходных бесед | добровольно ушедшие / средняя численность; счёты тем от согласившихся ушедших | процент; счёты | Кадровые записи, выходные беседы | Управление персоналом и талантами | Удержание опытных людей | Раз в квартал | Переклассифицировать увольнения по собственному желанию как недобровольные; направлять выходные беседы | Ясные правила классификации; независимые выходные беседы; смотреть на долгие периоды |
| Время реакции на обратную связь о благополучии | Время от поднятия командой опасения о благополучии до записанного ответа | медиана и 85-й перцентиль дней от опасения до записанного решения или действия | дни | Журнал обратной связи команды | Непрерывное улучшение | Быстрая реакция на рефлексию команды | Раз в квартал | Записывать ответ без действия; быстро закрывать опасения | Команда подтверждает, что ответ осмыслен; отслеживать, меняются ли оценки |
9.3 Метрики сотрудничества и передачи работы
Тема-источник: (см. тему 9.3, Метрики сотрудничества и передачи работы).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Число передач | Сколько раз рабочий элемент меняет владеющую команду до завершения | медиана и 85-й перцентиль передач от команды к команде на завершённый элемент, по типу элемента | передач на элемент | История назначений ITSM или трекера, агрегированная по команде | Управление инцидентами; управление запросами на обслуживание; управление изменениями (change enablement) | Кросс-функциональные команды, несущие работу сквозь | Раз в месяц | Держать элементы назначенными одной команде, пока работают другие; переназначать в общую очередь, чтобы не считалось | Проверять фактическую активность по командам; считать передачи по активности, а не только по назначению |
| Доля ожидания передач | Доля прошедшего времени элемента, проведённая в ожидании после передачи до возобновления работы | время между передачей и первым действием принимающей команды / общее прошедшее время, медиана по элементам | процент | Метки времени назначений и активности | Управление инцидентами; управление запросами на обслуживание | Эффективность потока; время в очереди | Раз в месяц | Записывать первое действие, являющееся лишь подтверждением; назначать верной команде поздно | Определять «первое действие» как существенный шаг; сравнивать с удовлетворённостью и временем решения |
| Доля переназначений | Доля элементов, переданных между командами более двух раз или возвращённых прежней команде | элементы, переназначенные более двух раз или возвращённые / завершённые элементы | процент | История назначений | Управление инцидентами; управление проблемами | Переделки и отскакивающая работа | Раз в месяц | Отказываться переназначать, даже когда неверно; закрывать и вновь открывать элементы под другой командой | Качество решения и доля повторных открытий; выборка отскакивающих элементов |
| Задержка из-за зависимостей | Время, которое элементы проводят заблокированными в ожидании другой команды | медиана и 85-й перцентиль дней в состоянии «заблокировано другой командой» с названной зависимостью | дни | Состояние блокировки и поле зависимости в трекере | Управление изменениями; управление релизами и развёртыванием | Возраст заблокированного рабочего элемента | Раз в месяц | Не записывать состояние блокировки; называть неверную зависимость | Сравнивать со временем цикла и возрастом элементов; пересматривать поле зависимости с командами |
| Доля совместного решения | Доля инцидентов, решённых людьми из нескольких команд, работающими вместе в реальном времени без последовательной эскалации | инциденты с записанным сотрудничеством в реальном времени (например, общий канал или звонок), решённые без дальнейшей передачи / инциденты подходящего приоритета | процент | Записи об инцидентах с меткой сотрудничества | Управление инцидентами; управление крупными инцидентами | Рой вокруг проблем | Раз в месяц | Помечать каждый инцидент как совместный; создавать общие каналы без реальной работы | Проверять, что звонок или канал включал решающих людей; время решения и исходы |
| Охват знаниями | Доля критических компонентов, которые способно эксплуатировать и менять не менее заданного числа членов команды | критические компоненты, которые способно эксплуатировать и менять не менее целевого числа людей / критические компоненты | процент | Карта навыков и владения, ведущаяся командой | Управление знаниями; управление непрерывностью услуг | Общее владение и коллективное владение кодом | Раз в квартал | Перечислять людей, которые теоретически могли бы выполнить работу; раздувать карту | Свидетельства парной работы или учений; спрашивать, кто фактически выполнил последнее изменение |
| Время ответа заинтересованной стороны | Время от вопроса команды заинтересованной стороне до пригодного ответа | медиана и 85-й перцентиль часов от записанного вопроса до записанного ответа | часы | Журнал вопросов или поле трекера для открытых вопросов | Управление уровнями услуг; управление отношениями с бизнесом | Непрерывное вовлечение заинтересованных сторон | Раз в месяц | Записывать вопросы поздно; помечать ответ полученным, когда он непригоден | Заинтересованная сторона подтверждает, что ответ пригоден; выборка вопросов |
9.4 Метрики навыков и обучения
Тема-источник: (см. тему 9.4, Метрики навыков и обучения).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Доля защищённого времени на обучение | Доля ёмкости команды, отложенная и фактически использованная для обучения | часы или доля ёмкости, использованная для обучения в рабочее время / общая рабочая ёмкость, на уровне команды | процент | План ёмкости команды и тип работы в трекере | Управление персоналом и талантами; непрерывное улучшение | Время на размышление и техническое совершенство | Раз в месяц | Записывать обычную работу как обучение; планировать время, которое затем отменяется | Считать только использованное время; сравнивать с записями типов работы и комментариями команды |
| Глубина перекрёстного обучения | Доля критических задач, выполнявшихся хотя бы двумя людьми в последнем периоде | критические задачи, выполненные двумя или более людьми в периоде / критические задачи | процент | Карта задач и владения команды, подтверждённая недавней работой | Управление знаниями; управление непрерывностью услуг | Коллективное владение работой | Раз в квартал | Перечислять людей, никогда не делавших задачу; засчитывать единичное наблюдение | Свидетельства недавней работы; результаты учений |
| Время до первого вклада | Время, за которое новый член команды завершает своё первое настоящее изменение или решённый случай | медиана и 85-й перцентиль дней от даты начала до первого завершённого реального рабочего элемента в продуктиве | дни | Трекер ввода в должность и трекер работы | Управление персоналом и талантами; управление знаниями | Время, за которое новый член команды вносит первое изменение | На найм, пересмотр раз в квартал | Засчитывать тривиальные изменения; запускать часы поздно | Определять «реальную» работу в реестре; спрашивать нового члена и его наставника |
| Участие в сообществах | Доля членов команды, участвующих в сообществе практики в периоде по собственному выбору | члены, посещавшие, вносившие вклад или выступавшие в периоде / члены команды, на уровне команды | процент | Записи сообществ, добровольные | Управление знаниями; непрерывное улучшение | Сообщества практики | Раз в квартал | Обязывать посещение; считать записи | Только добровольно; спрашивать, что сообщество произвело |
| Доля применения обучения | Доля обучающих опытов, где обучающийся или его команда сообщают об использовании усвоенного в работе в течение 90 дней | обучающие опыты, о которых сообщено как о применённых / завершённые обучающие опыты | процент | Короткий вопрос обучающемуся, обезличенный до команды | Управление персоналом и талантами; непрерывное улучшение | Обучение, применённое к работе | Раз в квартал | Давить на обучающихся, чтобы они говорили, что применили; спрашивать только энтузиастов | Анонимный агрегат; последующие вопросы на уровне команды; смотреть на наблюдаемые изменения |
| Охват нужными сертификациями | Доля ролей, требующих сертификацию по правовым, договорным причинам или для входа, где требование выполнено | роли с требуемой сертификацией / роли, требующие сертификацию | процент | Реестр требований к ролям, записи о сертификатах | Управление персоналом и талантами; управление | Выполнение договорных или регуляторных требований входа | Раз в год | Собирать сертификаты для ролей, которым они не нужны; рассматривать сертификацию как компетентность | Ограничивать настоящими требованиями; проверять практическую способность другими свидетельствами |
| Уроки, разделённые между командами | Число уроков из инцидентов или улучшений, разделённых вне исходной команды и использованных другой командой | разделённые уроки с записанным использованием другой командой в периоде | число | Реестр уроков и заметки пересмотров | Управление знаниями; непрерывное улучшение | Обучение, разделяемое между командами | Раз в квартал | Делиться тривиальными уроками; считать публикации | Требовать записанного использования другой командой; пересматривать качество |
9.5 Метрики непрерывного улучшения
Тема-источник: (см. тему 9.5, Метрики непрерывного улучшения).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Доля доведённых до конца действий | Доля действий по улучшению, согласованных на пересмотрах и завершённых к согласованной дате | действия, завершённые к дате / действия, срок которых наступил в периоде | процент | Реестр улучшений или бэклог команды | Непрерывное улучшение | Доставленные действия рефлексии | Раз в месяц | Соглашаться на тривиальные действия; переносить сроки; закрывать, не делая | Пересматривать размер и ценность действий; изменения дат записываются; доля проверенных эффектов |
| Возраст бэклога улучшений | Возраст открытых элементов улучшения с вниманием к самым старым | медиана и 85-й перцентиль возраста в днях открытых элементов; возраст самого старого | дни | Реестр улучшений | Непрерывное улучшение | Возраст бэклога | Раз в месяц | Закрывать старые элементы как «не будем» без решения; делить элементы, чтобы сбросить возраст | Записывать причины закрытия; отслеживать элементы, закрытые без действия; пересматривать самые старые |
| Доля проверенных эффектов | Доля завершённых улучшений, чей эффект проверен относительно базового уровня | завершённые улучшения с записанной проверкой «до и после» / завершённые улучшения | процент | Реестр улучшений с полями базового уровня и результата | Непрерывное улучшение; измерение и отчётность | Обучение на экспериментах | Раз в квартал | Записывать проверку без базового уровня; проверять только успехи | Базовый уровень датирован до изменения; включать нулевые и отрицательные результаты |
| Время от идеи до пробы | Время от поднятия идеи улучшения до первой пробы в реальной работе | медиана и 85-й перцентиль дней от поднятия до первой пробы | дни | Реестр улучшений | Непрерывное улучшение | Быстрая обратная связь по изменениям | Раз в месяц | Называть план пробой; пробовать тривиальные вариации | Определять пробу как изменение в реальной работе; смотреть на важность испытанных идей |
| Доля идей с передовой | Доля идей улучшения, поднятых людьми, делающими работу, считаемая на уровне команды | идеи, поднятые членами команды, делающими работу / поднятые идеи | процент | Реестр улучшений | Непрерывное улучшение | Самоорганизующиеся команды | Раз в квартал | Руководители подают идеи под именами сотрудников; обязательные квоты идей | Идеи по авторам записываются на уровне команды; нет квот; спрашивать команду |
| Доля повторных проблем | Доля проблем, повторяющихся после улучшения, предназначенного убрать их причину | проблемы, повторившиеся в заявленный период после закрытия связанного улучшения / улучшения, закрытые со связанной причиной | процент | Записи об инцидентах, проблемах и улучшениях, связанные по причине | Управление проблемами; непрерывное улучшение | Ускользнувший дефект после исправления | Раз в квартал | Записывать разные причины для той же проблемы; закрывать более раннюю запись как другой тип | Сопоставлять по причине с записанным правилом; пересмотр кем-то вне команды |
| Доля ёмкости на улучшение | Доля ёмкости команды, потраченная на работу по улучшению | ёмкость или завершённые элементы с меткой улучшения / общая ёмкость или завершённые элементы | процент | Типы работ в трекере | Непрерывное улучшение; управление ёмкостью и производительностью | Время на размышление и техническое совершенство | Раз в месяц | Помечать обычную работу как улучшение; планировать время, затем используемое для поставки | Выборка элементов на тип; сравнение с фактически потраченным временем |
9.6 Метрики организационных изменений и внедрения
Тема-источник: (см. тему 9.6, Метрики организационных изменений и внедрения).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Ясность цели | Доля членов команды, способных своими словами назвать цель практики и способ узнать, работает ли она | члены, давшие ясную цель и индикатор в коротком анонимном опросе / опрошенные члены, на уровне команды | процент | Короткая анонимная проверка, агрегированная по команде | Управление организационными изменениями; непрерывное улучшение | Понимание командой, почему она работает так | Раз в квартал | Натаскивать людей на заучивание цели; задавать наводящие вопросы | Анонимная проверка; просить пример, как они узнают; сравнивать с движением результата |
| Широта внедрения практики | Доля команд, использующих определённую практику, по наблюдаемому поведению, а не по посещаемости | команды, показывающие определённое поведение в последнем периоде, подтверждённое командой и наблюдателем / команды в области | процент | Самооценка команды, подтверждённая наблюдением | Управление организационными изменениями | Распространение практики | Раз в квартал | Считать доски и совещания; команды выступают для наблюдателя | Определять по поведению и цели; наблюдение кем-то вне команды; движение результата |
| Движение результата относительно сравнения | Изменение меры результата для внедряющих команд по сравнению с похожими невнедряющими командами за тот же период | изменение результата у внедряющих минус изменение у команд сравнения | единицы результата | Меры результатов по командам (поток, стабильность, опыт) | Непрерывное улучшение; измерение и отчётность | Обучение на экспериментах | Раз в квартал | Выбирать выгодную группу сравнения или период; опускать другие изменения | Выбирать сравнение и период заранее; перечислять другие изменения; показывать неопределённость |
| Нагрузка изменений | Число значимых изменений, одновременно затрагивающих команду | число значимых инициатив изменений, просящих команду изменить способ работы в периоде, на команду | число | Портфель изменений и вход от команд | Управление организационными изменениями; управление изменениями (change enablement) | Устойчивый темп | Раз в квартал | Делить инициативу на малые части; не считать изменения, приходящие неформально | Считать по влиянию на работу команды; просить команды перечислить, что они поглощают |
| Доля вовлечения заинтересованных сторон | Доля инициатив изменений, где затронутые люди участвовали в проектировании и пересмотре | инициативы с записанным вовлечением затронутых людей / инициативы | процент | Записи инициатив и подтверждение затронутых команд | Управление организационными изменениями; взаимодействие с заинтересованными сторонами | Непрерывное вовлечение заинтересованных сторон | Раз в квартал | Приглашать людей на брифинг и называть это вовлечением; записывать только посещаемость | Подтверждение затронутых команд, что они повлияли на проект; записывать изменения, внесённые в ответ |
| Доля добровольного принятия | Доля внедряющих команд, выбравших практику, а не получивших указание | внедряющие команды, сообщающие, что выбрали практику / внедряющие команды | процент | Сообщения команд | Управление организационными изменениями | Самоорганизующиеся команды | Раз в год | Представлять мандат как выбор; команды говорят, что выбрали, когда чувствовали, что должны | Анонимное сообщение; спрашивать, что случилось бы, откажись они |
| Доля откатов | Доля команд, бросивших практику в течение года после её принятия | команды, остановившиеся в течение 12 месяцев / команды, принявшие | процент | Записи команд во времени | Управление организационными изменениями; непрерывное улучшение | Практики, брошенные как бесполезные | Раз в год | Делать отказ от практики дорогим или скрытым; переименовывать брошенную практику | Пересматривать причины отказа; позволять безопасный отзыв |
Часть 10: Метрики для ИИ, автоматизации и аналитики
10.1 ИИ в измерении управления услугами
Тема-источник: (см. тему 10.1, ИИ в измерении управления услугами).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Полнота базовых уровней | Доля запланированных случаев использования ИИ с записанным дооперационным базовым уровнем по основным индикаторам | случаи использования с датированным базовым уровнем / запланированные случаи использования | процент | Реестр случаев использования | Непрерывное улучшение; измерение и отчётность | Базовый уровень до эксперимента | Раз в квартал | Записывать базовые уровни постфактум; использовать удобные индикаторы | Датированные базовые уровни; независимый пересмотр метода базового уровня |
| Охват использованием ИИ | Доля подходящих рабочих элементов или задач, где использовался ИИ, по случаям использования | элементы, где использовалась помощь ИИ / подходящие элементы, из логов инструмента или меток пользователей, на уровне команды | процент | Логи использования инструмента, метки | Служба поддержки; управление инцидентами; управление релизами и развёртыванием | Внедрение инструмента желающими командами | Раз в месяц | Обязывать использование; засчитывать тривиальные или автоматические вызовы | Никогда не цель; сравнивать с движением результата; считать осмысленное использование |
| Доля принятия и отклонения предложений | Доля предложений ИИ, принятых как есть, отредактированных или отклонённых | предложения в каждой категории / предложенные предложения | процент | Логи инструмента, агрегированные по команде | Служба поддержки; управление знаниями | Рецензирование машинных предложений | Раз в месяц | Награждать принятие; делать отклонение обременительным | Нет целей; точность проверенного вывода; спрашивать пользователей об их опыте |
| Точность проверенного вывода | Доля выбранных выводов ИИ, признанных верными и пригодными квалифицированным проверяющим | выводы, признанные верными / выбранные выводы | процент | Записи выборочных пересмотров | Обеспечение качества; управление знаниями | Определение готовности для вывода | Раз в месяц | Выбирать лёгкие выводы; снисходительные проверяющие | Случайная выборка независимыми проверяющими; письменный стандарт; ротация проверяющих |
| Время задачи относительно базового уровня | Время выполнения определённой задачи с ИИ по сравнению с базовым уровнем или группой сравнения | медиана и 85-й перцентиль времени задачи с ИИ минус то же для базового уровня или сравнения | минуты или часы | Замеры задач, метки времени заявок | Служба поддержки; управление инцидентами | Время цикла задачи | Раз в квартал | Хронометрировать только порождение; выбирать лёгкие задачи | Время до проверенного результата; выбирать задачи случайно; включать рецензирование и переделки |
| Стоимость задачи с помощью ИИ | Общая стоимость работы с помощью ИИ на задачу, включая рецензирование и переделки | (стоимость лицензий и использования + стоимость времени на рецензирование и переделки) / задачи, завершённые с ИИ | валюта на задачу | Счета поставщиков, оценки времени, трекер работы | Управление финансами услуг | Стоимость обслуживания на результат | Раз в квартал | Опускать время рецензирования или цену управления | Контрольный список полной цены; сравнение с хронометражем |
| Движение результата относительно сравнения | Изменение индикатора результата для работы с помощью ИИ по сравнению с похожей работой без помощи | изменение индикатора для группы с ИИ минус изменение для группы сравнения | единицы индикатора | Меры результатов по случаям использования (качество, удовлетворённость, доля повторных открытий, дефекты) | Непрерывное улучшение | Обучение на экспериментах | Раз в квартал | Выбирать выгодные группы или периоды; игнорировать другие изменения | Заранее согласованные сравнение и период; список других изменений |
10.2 Измерение работы с помощью ИИ
Тема-источник: (см. тему 10.2, Измерение работы с помощью ИИ).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Доля сохранения | Доля изменений с помощью ИИ, остающихся по существу неизменными через заявленный период | изменения с помощью ИИ, где изменено или откачено менее заданной доли через 30 дней / изменения с помощью ИИ, слитые 30 дней назад | процент | История системы контроля версий, соединённая с метками помощи, на уровне команды | Управление релизами и развёртыванием; управление изменениями (change enablement) | Работа, которая держится; мало переделок | Раз в месяц | Избегать нужных изменений, чтобы держать число; метить как помощь только успешные изменения | Метить по логам инструмента, а не по выбору автора; парить с ускользнувшими дефектами и переделками |
| Переделки после слияния | Доля изменений, требующих последующего исправления в короткий период, для изменений с помощью и сравнения | изменения со связанным последующим исправлением в течение 14 дней / слитые изменения, по группе | процент | Система контроля версий, трекер задач, записи об изменениях | Управление изменениями; управление проблемами | Ускользнувшие дефекты; переделки | Раз в месяц | Исправлять в другой заявке или новом несвязанном изменении; откладывать исправления за пределы окна | Правило связывания в реестре; смотреть более длинное окно; продуктивные дефекты |
| Нагрузка рецензирования | Усилия рецензента на изменение, для изменений с помощью и сравнения | медиана и 85-й перцентиль времени рецензирования и раундов рецензирования на изменение, по группе | часы; раунды | Метки времени инструмента рецензирования, агрегированные по команде | Управление релизами и развёртыванием | Рецензирование как обратная связь и обучение | Раз в месяц | Поспешные рецензирования, снижающие измеренное время; одобрения без комментариев | Выборка глубины рецензирования; ускользнувшие дефекты; опрос рецензентов |
| Доля ускользнувших дефектов | Дефекты, найденные в продуктиве, на изменение, для изменений с помощью и сравнения | дефекты, найденные после релиза и приписанные изменению / выпущенные изменения, по группе | дефектов на изменение | Трекер дефектов, связанный с изменениями | Управление инцидентами; управление проблемами | Качество выпускаемого | Раз в квартал | Не приписывать дефекты изменениям; переклассифицировать дефекты как улучшения | Правило атрибуции; независимая выборка классификации дефектов |
| Доля прохождения проверки объяснения | Доля выбранных изменений с помощью ИИ, чей автор может объяснить подход и компромиссы на рецензировании | выбранные изменения, где автор объяснил к удовлетворению рецензента / выбранные изменения | процент | Заметки выборочного рецензирования | Управление знаниями; управление изменениями | Общее понимание кода | Раз в квартал | Авторы репетируют для проверки; снисходительные рецензенты | Случайные неанонсированные выборки; ротация рецензентов; фокус на причинах проекта |
| Качество поддержки с помощью ИИ | Доля повторных открытий и удовлетворённость пользователей для ответов поддержки с помощью ИИ по сравнению с ответами без помощи | повторно открытые заявки с помощью / заявки с помощью, и благоприятные оценки / оценки, по группе | процент | Инструмент ITSM, опрос | Служба поддержки; управление инцидентами | Качество результатов услуг | Раз в месяц | Помогать только лёгким заявкам; натаскивать пользователей на высокие оценки | Сопоставлять заявки по типу и трудности; доля ответивших и состав; читать комментарии |
| Оценка уверенности без инструмента | Оценка командой уверенности в выполнении ключевых задач без инструмента | средняя оценка и разброс по согласованной шкале, по команде | пункты шкалы | Анонимный пульс команды | Управление персоналом и талантами; управление знаниями | Способность команды и обучение | Раз в квартал | Завышенные оценки, чтобы избежать внимания; заниженные, чтобы аргументировать за больше инструментов | Анонимность; сравнивать с наблюдаемой практикой на учениях; читать комментарии |
10.3 Метрики ИИ-агентов и чат-ботов
Тема-источник: (см. тему 10.3, Метрики ИИ-агентов и чат-ботов).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Доля проверенного решения | Доля разговоров с ботом, в которых пользователь подтвердил решение проблемы или не вернулся в заявленный период | разговоры с подтверждённым решением или без возвратного обращения в течение 7 дней / разговоры, начавшиеся с разрешимого намерения | процент | Логи разговоров, подтверждение пользователя, данные заявок и обращений | Служба поддержки; управление знаниями | Рабочий результат для пользователя | Раз в неделю | Засчитывать любой конец разговора как решённый; задавать наводящие вопросы подтверждения | Определять подтверждение нейтрально; доля возвратных обращений; выборка разговоров |
| Доля возвратных обращений | Доля разговоров, завершённых ботом и сопровождаемых обращением по той же проблеме по любому каналу | разговоры, за которыми следует связанное обращение в течение 7 дней / разговоры, завершённые без передачи | процент | Логи разговоров, соединённые с записями заявок и обращений | Служба поддержки; управление инцидентами | Ускользнувшие дефекты | Раз в неделю | Измерять только по одному каналу; короткие окна | Соединять все каналы; использовать более длинное окно как проверку; выборка возвратов |
| Полнота контекста передачи | Доля передач человеку, при которых у человека была нужная информация без просьбы к пользователю повторяться | выбранные передачи, признанные полными принимающим исполнителем / выбранные передачи | процент | Выбранные передачи, обратная связь исполнителей | Служба поддержки; управление знаниями | Гладкое сотрудничество через границу | Раз в месяц | Передавать длинную расшифровку вместо резюме; выбирать лёгкие передачи | Оценка принимающего исполнителя; случайная выборка; время до решения после передачи |
| Время до человека | Время от просьбы пользователя о человеке или решения бота о передаче до принятия разговора человеком | медиана и 85-й перцентиль минут | минуты | Логи разговоров, данные очередей | Служба поддержки; управление инцидентами | Отзывчивость, когда пользователю нужна помощь | Раз в неделю | Запускать часы после меню; засчитывать подтверждение очереди как принятие разговора | Часы запускаются с просьбы; принятие означает, что человек активен в разговоре |
| Точность ответов | Доля выбранных ответов бота, признанных верными, полными и безопасными квалифицированным проверяющим | ответы, признанные верными / выбранные ответы | процент | Выборочное рецензирование | Управление знаниями; обеспечение качества | Определение готовности для ответа | Раз в месяц | Выбирать лёгкие разговоры; снисходительные проверяющие | Случайная выборка независимыми проверяющими; состязательные тестовые случаи |
| Удовлетворённость и усилие по боту | Оценка пользователем удовлетворённости и лёгкости после разговора, с комментариями | благоприятные оценки / оценки; среднее усилие | процент; пункты шкалы | Короткий опрос после разговора | Служба поддержки; клиентский опыт | Обратная связь о работающем ПО | Раз в неделю | Опрашивать только завершённые разговоры; ставить опрос там, куда доходят только довольные | Опрашивать и брошенные разговоры; доля ответивших и состав; читать комментарии |
| Доля отката действий агента | Доля действий ИИ-агента, которые пришлось исправить, отменить или эскалировать | действия, откатанные или исправленные / предпринятые действия, по типу действия и классу риска | процент | Журнал аудита действий, записи об изменениях | Управление изменениями (change enablement); управление инцидентами | Переделки и откат | Раз в неделю | Не записывать откаты; переклассифицировать исправления как новую работу | Журнал аудита защищён от подделки; связывать откаты с действиями; пересмотр инцидентов |
10.4 Инфляция метрик и разбавление качества
Тема-источник: (см. тему 10.4, Инфляция метрик и разбавление качества).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Отношение выпуска к результату | Объём выпуска относительно результата, который он должен был произвести | счёт выпуска (заявки, статьи, изменения) / мера результата (решённые проблемы, используемые статьи, сохранённые изменения), за тот же период, отслеживается как тренд | отношение | Трекер работы, база знаний, меры результатов | Непрерывное улучшение; измерение и отчётность | Работающее ПО важнее объёма документации | Раз в месяц | Выбирать меру результата, растущую с объёмом; менять период | Результат зафиксирован в реестре; сравнивать с удовлетворённостью и долей повторных открытий |
| Доля полезных элементов | Доля выбранных элементов, признанных полезными квалифицированным проверяющим | выбранные элементы, признанные полезными (верные, релевантные, не дубликаты) / выбранные элементы | процент | Случайное выборочное рецензирование | Управление знаниями; обеспечение качества | Определение готовности для содержания | Раз в месяц | Выбирать лёгкие элементы; снисходительная рубрика; проверяющие под влиянием производителя | Случайная выборка; письменная рубрика; независимые вращающиеся проверяющие |
| Бремя проверки | Время людей на проверку и исправление порождённой работы на единицу выпуска | часы рецензирования и исправления / единицы выпуска, отслеживается как тренд | часов на единицу | Оценки времени, данные инструмента рецензирования | Управление финансами услуг; непрерывное улучшение | Ёмкость рецензирования как ограничение | Раз в месяц | Не записывать время рецензирования; переносить проверку на нисходящие команды | Включать нисходящие переделки; спрашивать проверяющих о нагрузке |
| Доля избыточности содержания | Доля элементов знаний, дублирующих другой или существенно с ним пересекающихся | элементы, помеченные как дубликаты или пересекающиеся при рецензировании или сопоставлением / элементы в базе знаний | процент | Рецензирование базы знаний, отчёты сопоставления | Управление знаниями | Единый источник истины | Раз в квартал | Узкие правила сопоставления, пропускающие дубликаты; слияние различных элементов | Вручную выбирать дубликаты; вести журнал правил слияния |
| Доля рецензированных порождённых знаний | Доля порождённых ИИ элементов знаний, которые квалифицированный человек рецензировал и одобрил до публикации | порождённые элементы, опубликованные с одобренным рецензированием / опубликованные порождённые элементы | процент | Метаданные базы знаний | Управление знаниями; управление изменениями (change enablement) | Рецензирование до выпуска | Раз в месяц | Отмечать рецензирование завершённым без чтения; рецензировать оптом | Выборка рецензирований на суть; время на рецензирование; доля ошибок в опубликованных элементах |
| Приток против решения в очередях | Рост приходящей работы относительно роста решённой работы для очередей, затронутых ИИ | (изменение созданных элементов) / (изменение решённых элементов), сравнивается с базовым уровнем до ИИ | отношение | История заявок и трекера | Управление инцидентами; управление запросами на обслуживание | Баланс потока | Раз в месяц | Автоматически закрывать элементы; делить элементы | Проверять качество решения; доля повторных открытий; выборка закрытых элементов |
| Флаги дрейфа метрик | Число метрик, чьё определение или распределение заметно сдвинулось после введения ИИ, пересмотренных и аннотированных | метрики, помеченные при пересмотре / метрики в реестре | число; процент | Пересмотр реестра метрик, проверки распределений | Измерение и отчётность | Ретроспектива об измерении | Раз в квартал | Не помечать, чтобы избежать работы; помечать всё | Пересматривать все метрики каждый квартал; требовать решения по каждому флагу |
10.5 Метрики управления ИИ и рисков
Тема-источник: (см. тему 10.5, Метрики управления ИИ и рисков).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Охват реестра использований ИИ | Доля использований ИИ, найденных независимыми средствами, находящихся в реестре с владельцем и классом риска | использования в реестре с владельцем и классом риска / использования, найденные независимым обнаружением (закупки, расходы, идентификация, сеть и сообщения персонала) | процент | Реестр, данные закупок и расходов, логи идентификации, опросы | Управление; управление ИТ-активами; управление рисками | Видимая работа и ясное владение | Раз в квартал | Регистрировать тривиальные использования, чтобы поднять процент; ограничивать знаменатели тем, что зарегистрировано | Независимое обнаружение для знаменателя; выборка записей реестра на качество; амнистия для незарегистрированных использований |
| Актуальность оценки риска | Доля использований среднего и высокого риска с оценкой риска в требуемом цикле | использования, оценённые в цикле / использования среднего и высокого риска | процент | Оценки рисков | Управление рисками; управление информационной безопасностью | Регулярная рефлексия о рисках | Раз в квартал | Поверхностные оценки, всегда проходящие; оценка использований низкого риска | Пересматривать глубину оценок; проверять, что класс риска соответствует критериям |
| Охват контролем изменений | Доля изменений моделей, промптов, инструментов и источников данных в продуктиве, прошедших контроль изменений с требуемыми тестами | изменения с записью об изменении, тестами и утверждением, соразмерным риску / обнаруженные изменения | процент | Записи об изменениях, сравненные с историей версий и примечаниями к релизам поставщиков | Управление изменениями (change enablement); управление релизами и развёртыванием | Малые, контролируемые, обратимые изменения | Раз в месяц | Не обнаруживать изменения поставщика; записывать изменения постфактум | Обнаружение через историю версий и уведомления поставщиков; записи об изменениях с меткой времени до релиза |
| Актуальность оценки качества | Доля продуктивных использований с актуальной оценкой (точность, безопасность и справедливость, где релевантно) и результатами в пределах допуска | использования с оценкой в цикле и приемлемыми результатами / продуктивные использования в области | процент | Записи оценок | Обеспечение качества; управление рисками | Определение готовности для поведения | Раз в квартал | Оценки на лёгких случаях; выбор допусков после просмотра результатов | Тестовые наборы пересматриваются независимой стороной; пороги задаются заранее |
| Доля свидетельств человеческого надзора | Доля выбранных существенных выводов или решений с записанным содержательным рецензированием человеком | выбранные элементы с документированным рецензированием, которое могло изменить исход / выбранные элементы | процент | Записи выбранных решений | Управление рисками; управление | Рецензирование до выпуска | Раз в месяц | Нажимать «одобрить», не читая; документировать рецензирование, не могшее изменить исход | Выборка рецензирований на суть; подложенные известные ошибки; нагрузка рецензента |
| Доля инцидентов ИИ и время до сдерживания | Инциденты с участием ИИ (вредный вывод, раскрытие данных, небезопасное действие) на использование и время их сдерживания | инциденты на продуктивное использование в квартал; медиана и 85-й перцентиль часов от обнаружения до сдерживания | инциденты; часы | Записи об инцидентах с меткой ИИ | Управление инцидентами; управление информационной безопасностью | Реакция и обучение без поиска виновных | Раз в квартал | Не сообщать об инцидентах; сужать определение | Лёгкое сообщение без вины; сравнивать с жалобами пользователей и находками аудита |
| Актуальность должной проверки ИИ поставщиков | Доля поставщиков, предоставляющих функции ИИ в критических услугах, чья специфическая для ИИ оценка актуальна | поставщики с актуальной оценкой ИИ / критические поставщики с функциями ИИ | процент | Оценки поставщиков | Управление поставщиками; управление рисками | Регулярный пересмотр зависимостей | Раз в квартал | Анкеты, заполняемые маркетингом; оценки без свидетельств | Требования свидетельств для критических поставщиков; независимая проверка |
10.6 Метрики автоматизации и оркестрации
Тема-источник: (см. тему 10.6, Метрики автоматизации и оркестрации).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Доля успешных запусков автоматизации | Доля запусков автоматизации, которые завершились и достигли намеренного результата, подтверждённого проверкой после запуска | запуски с успешной проверкой после запуска / запуски, начатые за период; запуски без проверки после запуска исключаются и сообщаются отдельно | процент | Логи платформы оркестрации и автоматизации | Управление запросами на обслуживание; управление релизами | Определение готовности для автоматизированной работы | Раз в месяц | Считать запуск успешным, если он чисто завершился; удалять неудачные запуски из лога | Независимая проверка после запуска; сравнивать логи с нисходящими записями |
| Охват автоматизацией задач | Доля пригодных повторяющихся задач, которые автоматизированы | задачи из согласованного списка пригодных, выполняемые автоматически / задачи в списке пригодных; список пересматривается каждый квартал | процент | Инвентарь задач и реестр ранбуков | Непрерывное улучшение | Бэклог кандидатов на автоматизацию | Раз в квартал | Сужать список пригодных, чтобы охват рос; автоматизировать сначала тривиальные задачи | Пересматривать список пригодных со второй командой; взвешивать по объёму и времени |
| Доля ручного вмешательства | Доля запусков автоматизации, где потребовалось вмешательство или исправление человека | запуски с добавленным ручным шагом после начала / начатые запуски | процент | Логи автоматизации и связи с заявками | Управление инцидентами | Ускользнувшие дефекты в автоматизированной работе | Раз в месяц | Записывать ручные исправления отдельными заявками, чтобы запуск выглядел чистым | Связывать заявки с идентификаторами запусков; выбирать запуски на скрытые исправления |
| Доля инцидентов, вызванных автоматизацией | Инциденты, приписанные автоматизированному действию, на 1000 запусков | инциденты с подтверждённой причиной в автоматизации / запуски автоматизации x 1000 | число на 1000 запусков | Записи об инцидентах, связанные с идентификаторами запусков | Управление инцидентами; управление проблемами | Доля сбоев изменений для автоматизированного изменения | Раз в месяц | Приписывать сбои автоматизации людям или инструментам; не связывать инциденты с запусками | Требовать идентификатор запуска в записях об инцидентах; выбирать инциденты на пропущенные связи |
| Время отката | Время отмены автоматизированного действия после признания необходимости | медиана и 95-й перцентиль (время завершения отмены минус время решения об отмене) | минуты | Логи автоматизации и хронология инцидента | Управление изменениями (change enablement) | Возможность отката в определении готовности | Раз в квартал | Измерять только лёгкие откаты; запускать часы поздно | Отрабатывать откат на учениях для самых трудных автоматизаций; определить начало часов |
| Проверенное сэкономленное время | Часы ручной работы, убранные и проверенные выборкой | автоматизированные задачи x (медианное ручное время задачи по выборке времени минус медианное остаточное ручное время) за период; дата выборки указана | часы | Выборки времени и счёты запусков | Непрерывное улучшение | Ценность, поставленная на единицу работы | Раз в квартал | Использовать оптимистичные времена задач; игнорировать цену поддержки и сбоев | Выборки времени человеком вне команды; включать цену построения и поддержки |
| Актуальность владения автоматизацией | Доля автоматизаций с владельцем, подтвердившим владение и пересмотревшим автоматизацию за последние 12 месяцев | автоматизации с подтверждённым владельцем и пересмотром за 12 месяцев / автоматизации в реестре | процент | Реестр автоматизаций | Управление; управление активами и конфигурацией | Устав команды и владение | Раз в квартал | Назначать владельцем список рассылки или бывшего сотрудника | Владелец подтверждает письменно; проверять, что владелец активен |
10.7 Метрики конвейеров и автоматизированных изменений
Тема-источник: (см. тему 10.7, Метрики конвейеров и автоматизированных изменений).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Доля успешных запусков конвейера | Доля запусков конвейера, завершившихся без сбоя, вызванного конвейером или его средой | запуски, прошедшие или упавшие только из-за подлинного дефекта кода / начатые запуски; запуски, отменённые пользователем, исключаются и сообщаются | процент | Логи платформы конвейера | Управление релизами; управление изменениями (change enablement) | Здоровье непрерывной интеграции | Раз в неделю | Переклассифицировать сбои инфраструктуры как отменённые; перезапускать до зелёного и считать только последний запуск | Считать все попытки; сообщать повторные запуски на изменение |
| Длительность конвейера | Время прохождения изменения через конвейер | медиана и 85-й перцентиль (время завершения последней стадии минус время начала запуска) для запусков, доходящих до развёртывания | минуты | Логи платформы конвейера | Управление релизами | Короткие петли обратной связи | Раз в неделю | Выносить медленные стадии за измеряемое окно; пропускать стадии | Измерять сквозно от коммита до развёрнутого; сравнивать выполненные стадии с требуемыми |
| Доля нестабильных тестов | Доля падений тестов, проходящих при повторном запуске без изменения кода | падения, проходящие при повторном запуске / падения тестов | процент | Результаты тестов и логи повторных запусков | Управление релизами | Определение готовности; практика тестирования | Раз в месяц | Удалять или заглушать нестабильные тесты; помечать падения как известные | Число тестов и тренд покрытия; пересматривать изолированные тесты с датой |
| Доля автоматического утверждения | Доля изменений, утверждённых политикой конвейера без шага утверждения человеком | изменения, утверждённые только политикой / развёрнутые изменения | процент | Записи конвейера и изменений | Управление изменениями (change enablement) | Разработка на основе магистрали с автоматизированными проверками | Раз в месяц | Расширять класс «стандартных», чтобы включить рискованные изменения | Доля сбоев изменений для автоматически утверждённых изменений; выборка утверждённых изменений |
| Доля обхода | Доля продуктивных изменений, не прошедших через конвейер | продуктивные изменения вне конвейера, найденные сравнением записей развёртывания с записями конвейера / все продуктивные изменения | процент | Записи развёртывания, аудит конфигурации и логи конвейера | Управление изменениями; управление конфигурацией | Рабочие соглашения | Раз в месяц | Записывать аварийные ручные развёртывания как запуски конвейера; не сверять с продуктивом | Сверять состояние продуктива с записями конвейера; выборка развёртываний |
| Полнота свидетельств | Доля развёрнутых через конвейер изменений, чья запись показывает требуемые свидетельства | изменения со всеми требуемыми элементами свидетельств (тесты, рецензирование, проверка, утверждение) / развёрнутые изменения | процент | Записи конвейера и изменений | Управление изменениями; управление | Определение готовности | Раз в месяц | Прикладывать пустые или нерелевантные свидетельства; ссылаться на общий отчёт | Выборка содержания свидетельств; проверка соответствия изменению |
| Доля остановок политикой | Доля запусков, остановленных проверкой политики, разделённая на подлинные нарушения и ошибки политики | запуски, остановленные воротами политики / начатые запуски; причины классифицируются выборкой | процент | Логи конвейера и записи ворот | Управление изменениями; управление рисками | Критерии приёмки | Раз в месяц | Ослаблять политики, чтобы сократить падения; классифицировать подлинные нарушения как ошибки политики | Выборка остановленных запусков; доля ускользнувших дефектов и находки аудита |
10.8 Метрики аналитики и качества данных
Тема-источник: (см. тему 10.8, Метрики аналитики и качества данных).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Полнота обязательных полей | Доля записей со всеми полями, требуемыми для использующих их метрик | записи, где каждое обязательное поле присутствует и допустимо / записи в области | процент | Выгрузки исходных систем и проверки качества данных | Измерение и отчётность; управление знаниями | Определение готовности для записей | Раз в месяц | Заполнять поля заглушками или значениями по умолчанию; делать поля необязательными | Проверки допустимости содержания; выборка записей на реальные значения |
| Свежесть данных | Возраст самых свежих данных в наборе на момент чтения отчёта | медиана и максимум (время чтения отчёта минус время последней загруженной записи) по наборам данных | часы | Логи конвейеров и метаданные наборов | Измерение и отчётность | Быстрая обратная связь | Раз в неделю | Ставить метку времени загрузки вместо события; загружать пустые обновления | Сверять время события со временем загрузки; число строк на загрузку |
| Расхождение при сверке | Разница между двумя источниками, которые должны совпадать по одной и той же величине | абсолютная разница между источником A и источником B / источник A, для заданной выборки величин и периода | процент | Две исходные системы | Измерение и отчётность; управление финансами | Рабочие соглашения об определениях | Раз в квартал | Выбирать величины, которые случайно совпадают; подгонять один источник под другой | Вращать величины; вести журнал аудита корректировок |
| Охват происхождением | Доля отчётных метрик, чьи источник, преобразования и владелец документированы | метрики в реестре с документированным происхождением / сообщаемые метрики | процент | Реестр метрик и каталог данных | Управление | Соглашения команды | Раз в квартал | Документировать происхождение поверхностно; копировать текст между записями | Выборка записей и прослеживание одной метрики сквозь |
| Доля сбоев конвейера данных | Доля запусков конвейера данных, которые падают или загружают неполные данные | запуски конвейера данных, упавшие или загрузившие неполные данные / начатые запуски | процент | Логи конвейеров данных | Измерение и отчётность | Непрерывная интеграция для данных | Раз в неделю | Помечать упавшие запуски как повторённые или успешные; удалять логи | Сравнивать числа записей с источником; оповещать о пропусках |
| Доля рецензированного анализа | Доля опубликованных аналитических материалов, рецензированных вторым человеком до использования | аналитические материалы с записанным рецензированием / аналитические материалы, опубликованные для аудитории, принимающей решения | процент | Реестр анализа и журнал рецензирования | Измерение и отчётность; непрерывное улучшение | Рецензирование коллегами | Раз в квартал | Формальные рецензирования; рецензирование после решения | Проверять заметки рецензентов; требовать рецензирование до использования |
| Доля использования в решениях | Доля сообщаемых метрик, процитированных в записанном решении за период | метрики, процитированные в записи журнала решений / сообщаемые метрики | процент | Журнал решений и реестр метрик | Непрерывное улучшение | Действия из ретроспектив | Раз в квартал | Цитировать метрики в журнале без влияния на решение | Спрашивать, что изменилось; выборка записей |
10.9 Метрики прогнозирования и предиктивной аналитики
Тема-источник: (см. тему 10.9, Метрики прогнозирования и предиктивной аналитики).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Охват интервала прогноза | Доля фактических исходов, попавших в заявленный интервал предсказания | исходы внутри интервала / оценённые прогнозы; оценённые прогнозы суть те, чей исход известен | процент | Журнал прогнозов и фактические значения | Управление ёмкостью и производительностью; управление финансами | Прогноз диапазонами по пропускной способности | Раз в квартал | Расширять интервалы, пока охват не выглядит хорошо; оценивать только лёгкие прогнозы | Сообщать ширину интервала вместе с охватом; оценивать все записанные прогнозы |
| Ошибка прогноза | Типичный размер разницы между прогнозом и фактом | медиана абсолютной ошибки и её 85-й перцентиль, где абсолютная ошибка = модуль (прогноз минус факт) / факт, по оценённым прогнозам | процент | Журнал прогнозов и фактические значения | Управление ёмкостью и производительностью | Пересмотр планирования | Раз в квартал | Пересматривать прогноз прямо перед исходом; выбирать окно оценки | Использовать записанный исходный прогноз; задавать окно заранее |
| Мастерство относительно базового уровня | Улучшение метода прогноза относительно простого базового уровня | 1 минус (медианная абсолютная ошибка метода / медианная абсолютная ошибка базового уровня) по тем же прогнозам | отношение | Журнал прогнозов, журнал базового уровня и факты | Непрерывное улучшение | Экспериментируйте и сравнивайте | Раз в квартал | Выбирать слабый базовый уровень; настраивать метод на данных оценки | Согласовать базовый уровень заранее; оценивать на данных, не использованных для настройки |
| Разрыв калибровки | Разница между заявленной вероятностью и наблюдаемой частотой | для каждой полосы вероятности модуль (заявленная вероятность минус наблюдаемая доля), усреднённый по полосам; полосы с числом случаев меньше заданного сообщаются отдельно | процентные пункты | Журнал вероятностных прогнозов и исходы | Управление рисками; управление изменениями (change enablement) | Ретроспектива об оценках | Раз в квартал | Использовать мало полос или мало случаев; сливать полосы, чтобы спрятать разрывы | Сообщать число случаев на полосу; минимальные числа случаев |
| Точность и полнота оповещений | Для предиктивного оповещения или оценки: доля верных оповещений и доля пойманных событий | точность = истинно положительные / (истинно положительные + ложноположительные); полнота = истинно положительные / (истинно положительные + ложноотрицательные) | процент | Журнал предсказаний и исходы | Управление инцидентами; управление событиями | Определение готовности для модели | Раз в месяц | Переопределять события постфактум; считать дубликаты | Задавать определение события заранее; убирать дубликаты; выборка оповещений |
| Сигнал дрейфа прогноза | Рост ошибки со временем относительно опорного периода | медианная абсолютная ошибка в последнем окне минус медианная абсолютная ошибка в опорном окне, с указанными размерами окон | процентные пункты | Журнал прогнозов и фактические значения | Непрерывное улучшение; управление ёмкостью | Инспекция и адаптация | Раз в месяц | Сбрасывать опорный период; игнорировать медленный дрейф | Зафиксировать опорное окно и пересматривать его по графику |
| Связь прогнозов с решениями | Доля прогнозов, процитированных в записанном решении | прогнозы, процитированные в журнале решений / опубликованные прогнозы | процент | Журнал решений и журнал прогнозов | Непрерывное улучшение; управление | Действия по результатам пересмотра | Раз в квартал | Цитировать прогнозы в журнале без влияния на решение | Спрашивать, что изменилось; выборка записей |
10.10 Метрики наблюдаемости и телеметрии
Тема-источник: (см. тему 10.10, Метрики наблюдаемости и телеметрии).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Охват инструментированием | Доля услуг и критических путей пользователя, выдающих согласованные основные сигналы | услуги или пути с логами, метриками и трассами, отвечающими согласованному стандарту / услуги или пути в каталоге услуг | процент | Каталог услуг и инвентарь платформы телеметрии | Мониторинг и управление событиями; управление конфигурацией услуг | Определение готовности для новых услуг | Раз в квартал | Добавлять минимальный сигнал в каждую услугу, чтобы пройти стандарт; исключать трудные услуги из каталога | Полнота трасс и инциденты слепых пятен; пересматривать каталог на пропуски |
| Полнота трасс | Доля выбранных запросов с непрерывной трассой от входа до последней зависимости | запросы, чья трасса охватывает все ожидаемые переходы / запросы в проверяемой выборке | процент | Платформа трассировки и выборочная проверка | Мониторинг и управление событиями | Проверка наблюдаемости в функции | Раз в месяц | Выбирать только простые запросы; считать частичные трассы полными | Определять проверяемую выборку по типу запроса; проверять охват зависимостей |
| Доля корреляции сигналов | Доля инцидентов, где логи, метрики и трассы удалось соединить по идентификатору | инциденты с работающим соединением в разборе хронологии / пересмотренные инциденты | процент | Разборы инцидентов и платформа трассировки | Управление инцидентами; управление проблемами | Действия из ретроспектив | Раз в квартал | Пересматривать только удачные инциденты; считать соединение, существующее на бумаге | Пересматривать случайную выборку инцидентов; проводить учения по соединению |
| Время до понимания | Время от обнаружения до записанного работающего объяснения причины | медиана и 85-й перцентиль (время записи первой работающей причины минус время обнаружения инцидента) для инцидентов с записанной причиной | минуты | Хронология инцидента и заметки разбора | Управление инцидентами | Разбор без поиска виновных | Раз в квартал | Записывать причину рано и приблизительно; оставлять причину пустой для трудных случаев | Пересматривать записи причин на качество; сообщать инциденты без причины отдельно |
| Стоимость телеметрии на услугу | Расходы на телеметрию, отнесённые к услуге, на единицу использования услуги | стоимость телеметрии, выделенная услуге / заданная единица использования, например 1000 запросов | валюта на единицу | Биллинг телеметрии и данные использования | Управление финансами | Цена как вход проектирования | Раз в месяц | Отбрасывать сигналы, чтобы срезать цену; переносить цену на другой аккаунт | Инциденты слепых пятен и время до понимания; сверять общие расходы |
| Чувствительные данные в телеметрии | Число подтверждённых записей, содержащих данные, которых там быть не должно | подтверждённые случаи, найденные сканированием или пересмотром за период | число | Сканирования и пересмотры телеметрии | Управление информационной безопасностью | Определение готовности; рецензирование приватности | Раз в месяц | Сканировать слишком узко; не сообщать находки | Охват сканирования и независимый пересмотр; отслеживать время удаления |
| Инциденты слепых пятен | Инциденты, о которых первыми сообщили пользователи, при том что телеметрия не показала признаков | инциденты, о которых первыми сообщили пользователи, без связанного оповещения или сигнала / инциденты за период | процент | Записи об инцидентах и заметки разбора | Управление инцидентами; мониторинг | Действия из ретроспектив | Раз в квартал | Считать инцидент обнаруженным, когда оповещение сработало после сообщения пользователей; определять сигнал широко | Сравнивать метки времени первого сигнала и первого сообщения пользователя; выборочные пересмотры |
Часть 11: Построение программы метрик
11.1 Проектирование панели метрик услуг
Тема-источник: (см. тему 11.1, Проектирование панели метрик услуг).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Охват вопросов | Доля перечисленных вопросов аудитории, на которые панель может ответить определённой мерой | вопросы с мерой и определением / вопросы, перечисленные аудиторией | процент | Список вопросов из сессий с заинтересованными сторонами; карточки метрик | Непрерывное улучшение; управление уровнем услуг | Непрерывное вовлечение заинтересованных сторон | Раз в квартал | Писать узкие вопросы, на которые существующие меры уже отвечают; опускать трудные вопросы | Включать заинтересованные стороны вне команды программы; явно пересматривать неотвеченные вопросы |
| Полнота определений | Доля отображаемых мер с актуальным письменным определением, источником данных, владельцем и известными пределами | меры со всеми четырьмя / отображаемые меры | процент | Карточки метрик или каталог | Управление информацией и технологиями; управление знаниями | Общее понимание; видимая работа | Раз в квартал | Заполнять поля шаблонным текстом; определения, которых никто не читает | Выбирать определения на ясность с человеком вне команды; проверять, что определение соответствует реальному расчёту |
| Свежесть данных | Доля отображаемых мер, обновлённых в ожидаемый интервал | меры, обновлённые вовремя / отображаемые меры | процент | Логи конвейеров; метаданные панели | Мониторинг и управление событиями | Быстрая обратная связь | Раз в неделю | Обновлять устаревший источник неизменёнными данными; считать обновление успехом, когда фид источника упал | Проверять метки времени источника так же, как времена обновления; сравнивать с числом записей и ожидаемым объёмом |
| Связь с решениями | Доля пересмотренных мер, где недавний пересмотр привёл к записанному решению, действию или осознанному выбору ничего не делать | меры со связанным решением за период / пересмотренные меры | процент | Заметки пересмотров; реестр улучшений | Непрерывное улучшение | Регулярная рефлексия | Раз в квартал | Записывать решения постфактум, чтобы заполнить поле; выдумывать действие, чтобы избежать пустоты | Принимать «выбрали ничего не делать» как записанное решение; выбирать связи на реальное предшествующее обсуждение |
| Размер отображения | Число мер на каждом виде для аудитории | число на вид | меры | Конфигурация панели | Непрерывное улучшение | Простота | Раз в квартал | Прятать меры на второстепенных вкладках; дробить один вид на много | Считать меры на аудиторию по всем вкладкам; спрашивать аудиторию, сколько чисел она действительно использует |
| Доля вывода | Меры, убранные или замещённые за период, потому что перестали информировать решения | выведенные меры / меры, отображаемые в начале | процент | Журнал изменений панели | Непрерывное улучшение | Постоянная эволюция | Раз в год | Выводить неудобные меры, показывающие плохие результаты | Просматривать список выведенных на меры с неблагоприятными трендами; требовать заявленной причины |
| Охват аудитории (описательная) | Доля предназначенных команд или ролей, открывших свой вид за период | различные команды или роли, смотревшие / предназначенные команды или роли | процент | Логи доступа к панели, агрегированные до команды или роли | Управление информацией и технологиями | Непрерывное вовлечение заинтересованных сторон | Раз в квартал | Открывать страницу, чтобы поднять счёт; обязательный просмотр на встречах | Держать описательной; читать вместе со связью с решениями; не сообщать отдельные просмотры |
11.2 Обзор инструментов
Тема-источник: (см. тему 11.2, Обзор инструментов).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Охват источников | Доля систем записи, нужных для согласованных мер, автоматически питающих хранилище метрик | подключённые и проверенные источники / источники, нужные для согласованных мер | процент | Инвентарь источников; конфигурация конвейеров | Управление информацией и технологиями; управление конфигурацией услуг | Непрерывная поставка конвейера | Раз в квартал | Подключать лёгкие или нерелевантные источники; считать подключение, не несущее пригодных данных | Считать по согласованным мерам; проверять полноту данных по источнику |
| Надёжность конвейера | Доля плановых загрузок данных, завершающихся вовремя с пройденными проверками | загрузки вовремя с пройденными проверками / плановые загрузки | процент | Логи конвейеров и результаты тестов | Мониторинг и управление событиями | Автоматизированные тесты и быстрая обратная связь | Раз в неделю | Ослаблять проверки, чтобы загрузки всегда проходили; планировать меньше загрузок | Пересматривать проверки на строгость; отслеживать сверку и числа строк источника |
| Время до новой меры | Прошедшее время от утверждённого запроса на новую меру до её доступности с карточкой определения | дни от утверждения до публикации, медиана и 85-й перцентиль | дни | Записи запросов и релизов | Управление запросами на обслуживание; управление изменениями (change enablement) | Малые приращения ценности | Раз в квартал | Публиковать без определений или тестов; сужать, что считается новой мерой | Требовать карточку определения и проверку сверки для завершения |
| Доля сверки | Доля ключевых цифр, совпадающих между хранилищем метрик и исходной системой при выборочной проверке | цифры, совпадающие в пределах допуска / проверенные цифры | процент | Проверки сверки | Управление информацией и технологиями | Достойная доверия обратная связь | Раз в месяц | Выбирать лёгкие цифры для проверки; расширять допуск после промаха | Выбирать выборки до проверки; задавать допуск заранее; включать трудные цифры |
| Доля ручных усилий | Доля усилий на повторяющиеся отчёты, потраченная на ручной сбор и чистку | часы на ручные шаги / общие часы на повторяющиеся отчёты | процент | Оценки времени; опрос команды | Непрерывное улучшение | Устранение рутины | Раз в квартал | Преуменьшать ручную работу; прятать усилия в других бюджетах | Спрашивать людей, делающих работу; сравнивать со временем, потраченным поздно в каждом цикле отчётности |
| Готовность к выходу | Можно ли экспортировать определения, историю и панели в документированной пригодной форме | проверенные полные экспорты / запланированные проверки экспорта | процент | Записи проверок экспорта | Управление поставщиками; управление непрерывностью услуг | Устойчивый выбор | Раз в год | Проверять частичный экспорт; считать документированный план готовностью | Проводить полное восстановление в другой инструмент на выборке; проверять определения и историю |
| Стоимость инструментов на поддерживаемую команду | Полная годовая цена инструментов программы, делённая на обслуживаемые ею команды | (лицензии + инфраструктура + усилия по поддержке) / обслуживаемые команды | валюта на команду | Финансовые записи и записи усилий | Управление финансами услуг | Устойчивый темп | Раз в год | Исключать усилия по поддержке; добавлять команды на бумаге | Включать время персонала; считать команды, активно пользующиеся своими видами |
11.3 Внедрение метрик без создания страха
Тема-источник: (см. тему 11.3, Внедрение метрик без создания страха).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Охват хартией использования | Доля участвующих команд, согласовавших письменное заявление о том, для чего используются и для чего никогда не используются их меры | команды с согласованной хартией / участвующие команды | процент | Хартии, хранящиеся у программы | Управление; управление организационными изменениями | Рабочие соглашения | Раз в квартал | Подписывать хартии формально; руководители, игнорирующие их | Проверять использование хартии на практике; сообщать инциденты использования на уровне отдельных людей; пересматривать хартии с командами |
| Доля владения команд | Доля отображаемых команде мер, определения которых команда помогала писать или одобрила | меры с одобрением команды / меры, отображаемые команде | процент | Каталог метрик; записи одобрения | Непрерывное улучшение | Самоорганизующиеся команды | Раз в квартал | Команды одобряют определения, которых не читали; программа представляет готовые определения на подпись | Выбирать, как определения разрабатывались; отслеживать изменения, запрошенные и внесённые командами |
| Сигнал откровенности | Остаётся ли сообщение о проблемах и почти-промахах стабильным или растёт после введения мер | сообщения о почти-промахах или проблемах на команду в квартал до и после; тренд | сообщения | Записи об инцидентах, почти-промахах и разборах | Управление инцидентами; непрерывное улучшение | Рефлексия без поиска виновных | Раз в квартал | Давить на команды, чтобы сообщали больше или меньше проблем; переименовывать категории | Читать вместе с тяжестью и содержанием разборов; сравнивать с проблемами, о которых сообщили клиенты |
| Срок ответа на оспаривание | Время от оспаривания числа человеком или командой до разрешения, видимого им | медиана и 85-й перцентиль дней от оспаривания до разрешения | дни | Журнал оспариваний | Непрерывное улучшение; управление знаниями | Реакция на обратную связь | Раз в квартал | Закрывать оспаривания без видимого разрешения; отговаривать от оспаривания | Требовать видимого ответа; опрашивать оспаривавших; отслеживать повторные оспаривания |
| Воспринимаемая безопасность измерения (опрос) | Согласие в опросе на уровне команды с утверждениями вроде «данные о нашей работе используются, чтобы нам помочь» | процент согласных в опросе команды; показана доля ответивших | процент | Анонимный опрос команд, агрегированный | Управление организационными изменениями | Доверие и мотивированные люди | Два раза в год | Тренировать респондентов; низкая доля ответивших, прячущая недовольные команды | Анонимность и минимальный размер группы; показывать долю ответивших; говорить с командами напрямую |
| Инциденты использования на уровне отдельных людей | Случаи, когда данные показывались или использовались для ранжирования или оценки отдельных людей вопреки хартии | число сообщённых случаев за квартал с исходами | число | Сообщения программе; пересмотр панелей и оценок | Управление | Уважение к людям | Раз в квартал | Не сообщать; переклассифицировать инциденты как что-то другое; обвинять сообщивших | Лёгкое анонимное сообщение; защита сообщающих; пересмотр оценок и панелей на данные об отдельных людях |
| Добровольное внедрение | Доля пригодных команд, выбравших участие в программе за период, до какого-либо мандата | команды, вступившие по своему выбору / приглашённые пригодные команды | процент | Записи программы | Управление организационными изменениями | Пилоты и обучение | Раз в квартал | Давление, оформленное как приглашение; считать команды, вступившие, чтобы избежать проверки | Спрашивать команды, почему они вступили; проверять использование на практике; держать период свободным от мандата |
11.4 Модель зрелости для программ метрик
Тема-источник: (см. тему 11.4, Модель зрелости для программ метрик).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Участие в оценке | Доля участвующих команд, завершивших самооценку с собственным обсуждением | команды, завершившие и обсудившие / участвующие команды | процент | Записи оценок | Непрерывное улучшение | Рефлексия и ретроспективы | Два раза в год | Заполнять формы ради квоты; один человек заполняет за команду | Требовать обсуждение командой; просить свидетельства за каждым заявлением |
| Профиль по измерениям | Распределение самооценённых уровней команд в каждом измерении, показываемое как диапазон, а не одна оценка | число команд на каждом уровне, по измерению | команды на уровень | Самооценки, агрегированные | Непрерывное улучшение; управление | Видимая работа | Два раза в год | Раздувать уровни ради вида; занижать, чтобы получить помощь | Не связывать с финансированием или положением; просить свидетельства; калибровать открыто |
| Действия по улучшению из оценок | Доля согласованных следующих шагов, которые завершены, отброшены с причиной или ещё выполняются | действия, закрытые или обоснованно снятые / согласованные действия | процент | Реестр улучшений | Непрерывное улучшение | Малые эксперименты | Раз в квартал | Выбирать тривиальные шаги, чтобы закрыть; закрывать, не делая | Пересматривать размер и ценность шага; проверять результаты на следующей оценке |
| Свидетельства решений | Доля выбранных мер, где команда может назвать решение или осознанный выбор, о котором мера информировала в последнем квартале | меры с названным решением / выбранные меры | процент | Интервью с командами; заметки пересмотров | Непрерывное улучшение | Свидетельства важнее церемоний | Раз в квартал | Выдумывать решения постфактум; перечислять решения без последствий | Просить дату и вовлечённых людей; принимать «выбрали ничего не делать» как решение |
| Доверие к определениям и данным | Согласие на уровне команды, что определения ясны, а данные верны | процент согласных в коротком опросе команды; показана доля ответивших | процент | Анонимный опрос команд | Управление знаниями; управление информацией | Общее понимание | Два раза в год | Тренировать респондентов; низкая доля ответивших, прячущая недовольство | Анонимность и минимальный размер группы; показывать долю ответивших; говорить с командами напрямую |
| Время до следующего уровня (описательная) | Прошедшее время, за которое команда поднимает измерение на один уровень там, где выбрала это | медиана месяцев от согласованного шага до переоценки командой | месяцы | История оценок | Непрерывное улучшение | Устойчивый темп | Раз в год | Спешить с заявлениями о прогрессе; прятать откат | Держать описательной; читать вместе со свидетельствами; записывать откаты без наказания |
| Бремя оценки | Часы, которые оценка занимает на команду | медиана часов на команду | часы | Оценки времени от команд | Непрерывное улучшение | Устойчивый темп | Два раза в год | Пропускать обсуждение, чтобы срезать часы | Отслеживать часы вместе с участием и качеством свидетельств |
11.5 Поэтапная дорожная карта внедрения
Тема-источник: (см. тему 11.5, Поэтапная дорожная карта внедрения).
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность | Вектор манипуляции | Ограждение |
|---|---|---|---|---|---|---|---|---|---|
| Время до первого полезного результата | Прошедшее время от начала программы до первой меры, которая, по словам пилотной команды, помогла ей внести изменение | дни от запуска до первого подтверждённого командой полезного использования | дни | Журнал программы; подтверждение команды | Непрерывное улучшение | Ранняя и непрерывная поставка ценности | Один раз, затем на новую команду | Объявлять тривиальное изменение полезным; спешить с показательным образцом | Спрашивать команду, что изменилось; проверять, что изменение сохранилось |
| Команды, активно использующие меры | Доля приглашённых команд, использовавших свои меры на пересмотре за период, по их собственным словам | команды, использовавшие меры на пересмотре / приглашённые команды | процент | Подтверждение команд; заметки пересмотров | Управление организационными изменениями | Непрерывное вовлечение заинтересованных сторон | Раз в месяц | Проводить пересмотры для галочки; заявлять использование, которого не было | Просить принятое решение; выбирать заметки пересмотров; говорить с командами |
| Улучшения, прослеженные до мер | Число изменений, которые команды внесли и приписывают, с причинами, тому, что показала мера | число сообщённых командами изменений с заявленной связью с мерой | число | Реестр улучшений | Непрерывное улучшение | Эксперименты на основе свидетельств | Раз в квартал | Выдумывать связи для достижения счёта; присваивать себе заслугу несвязанных изменений | Держать описательной; просить у команды рассуждение; принимать неопределённые связи как таковые |
| Выведенные меры и отчёты | Меры или отчёты, остановленные, потому что перестали информировать решения | число выведенных за квартал | число | Журнал изменений каталога | Непрерывное улучшение | Постоянная эволюция | Раз в квартал | Выводить неудобные меры; выводить и вновь вводить под новыми именами | Пересматривать список выведенных на неблагоприятные тренды; требовать заявленной причины |
| Охват базовым уровнем | Доля согласованных мер с записанным базовым уровнем хотя бы за несколько месяцев | меры с базовым уровнем / согласованные меры | процент | Каталог метрик | Управление уровнем услуг; непрерывное улучшение | Свидетельства важнее мнения | Раз в квартал | Выдумывать историю; использовать период, льстящий последующим результатам | Записывать источник и период; хранить сырые данные; выбирать базовые уровни до изменений |
| Доля усилий программы | Доля времени участвующих команд, потраченная на задачи измерения | часы на сбор, отчётность и пересмотр / общие часы команды, по оценке | процент | Оценки времени команд | Непрерывное улучшение | Устойчивый темп | Раз в квартал | Преуменьшать усилия; переносить работу людям вне счёта | Спрашивать людей, делающих работу; сравнивать с переработками в конце цикла |
| Завершение пересмотров этапов | Доля плановых пересмотров этапов, проведённых с командами, с записанными изменениями | пересмотры, проведённые с записанными изменениями / запланированные пересмотры | процент | Записи программы | Непрерывное улучшение | Регулярная рефлексия | На этап | Короткие формальные пересмотры; записывать изменения, которые никогда не происходят | Проверять, что изменения выполняются; спрашивать команды, стоил ли пересмотр их времени |