Обзор и мотивация

Большинство метрик услуг приходит как единственное число на панели: среднее время решения, процент инцидентов, решённых в пределах цели, заявки, закрытые на этой неделе. Единственное число кажется точным. Обычно же оно есть сжатая сводка беспорядочного набора событий, и сжатие решает, что видит читатель. Статистическая грамотность в рамках этой книги есть небольшой набор привычек, сохраняющих сводку честной: выбрать сводку, подходящую форме данных, знать, сколько данных стоит за ней, и отличать настоящее изменение от шума.

Форма данных об услугах есть первая проблема. Показатели времени, такие как время решения, время цикла и время ожидания, ограничены нулём и имеют длинный хвост справа. Большинство элементов завершается быстро, а немногие занимают очень много времени. Такие данные скошены, и среднее арифметическое тянется к хвосту, так что одна застрявшая заявка может сдвинуть среднее сильнее сотни рутинных. Медиана, средний элемент при сортировке значений, гораздо меньше подвержена этому. Перцентиль обобщает её: 85-й перцентиль есть значение, в пределах которого завершается 85 % элементов. Такие длительности часто моделируют логнормальным распределением, в котором логарифм значения симметричен. Урок в том, что для скошенных данных «типичное» и «среднее» различаются.

Размер выборки есть вторая проблема. Команда, решающая за квартал 12 инцидентов приоритета 1 и сообщающая «83 % в пределах цели», описывает 10 из 12. Ещё один промах сдвинул бы цифру на восемь пунктов. Честное утверждение включает счёт и часто диапазон. Доверительный интервал есть диапазон, вычисленный по данным, выражающий, насколько далеко от наблюдаемого значения может правдоподобно лежать истинное. Интервалы широки для малых выборок и узки для больших, и это верное послание для квартала с 12 инцидентами.

Вариация есть третья проблема. Каждый процесс порождает числа, колеблющиеся от недели к неделе, хотя ничего не изменилось. Уолтер Шухарт, работая над качеством производства в 1920-х годах, отделил эту рутинную рябь от сигналов, заслуживающих расследования, и дал нам контрольную карту. Применение таких карт к процессу называется статистическим управлением процессами. Часть этой последней ошибки составляет регрессия к среднему: за экстремальным значением обычно следует менее экстремальное, поэтому неделя после ужасной недели выглядит как восстановление, сделал кто-нибудь что-либо или нет.

Практика потока в Agile, такая как использование в Руководстве по Kanban перцентилей времени цикла и возраста рабочего элемента, уже просит распределений и прогнозов, выраженных вероятностями (см. тему 2.1, Показатели потока). В ITIL 4 практики измерения и отчётности и непрерывного улучшения обе зависят от показателей, значащих то, что кажутся значащими, а управление уровнями услуг зависит от целей, заданных относительно реалистичной вариации. Статистическая грамотность есть общий слой под обеими. Она поддерживает и ограждение из темы 1.2 (см. тему 1.2, Закон Гудхарта и психология метрик): команде, показывающей всё распределение, труднее спрятать искажённое среднее.

Вариация по общим причинам встроена в процесс, а вариация по особым причинам происходит от чего-то конкретного, что изменилось или пошло не так. Соглашение об уровне услуг (SLA) есть документированное обязательство перед клиентом, а цель уровня услуг (SLO) есть целевое значение показателя.

Ключевые принципы

  • Подбирайте сводку под форму. Используйте медианы и перцентили для длительностей и показывайте всё распределение, когда решение важно. Приберегите среднее для данных, примерно симметричных, или для итогов, таких как стоимость.
  • Каждая доля несёт свой счёт. Процент без числителя и знаменателя есть утверждение без свидетельств. Ниже заявленного минимального числа показывайте сами элементы вместо доли.
  • Обычная вариация не новость. Знайте нормальный диапазон показателя, прежде чем реагировать. Отвечайте на сигналы, а не на каждое движение.
  • Неопределённость есть часть ответа. Выражайте прогнозы как вероятности («85 % элементов завершается в пределах 9 дней»), а оценки как диапазоны и сопротивляйтесь ложной точности.
  • Показывайте распределения команде, владеющей работой. Сырые элементы и гистограммы делают необычные случаи видимыми и затрудняют тихую манипуляцию.
  • Корреляция, отбор и время объясняют многие «улучшения». Спрашивайте, что ещё изменилось, кого оставили вне данных и не была ли отправная точка необычно плохой.
  • Держите статистику соразмерной. Команде нужна горстка приёмов, используемых последовательно, а не курс статистики. Объясняйте каждый график простыми словами.

Определения метрик

Метрики ниже описывают статистическое качество практики метрик и распределение работы по услугам. Показатели времени используют часы, указанные в каждой строке, а определения предназначены для повторного использования в последующих темах (см. тему 3.3, Время реагирования на инциденты и их устранения, и тему 2.2, Время выполнения, время цикла и эффективность потока).

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность
Медианное время решения Среднее по порядку время решения инцидентов, решённых за период 50-й перцентиль (метка решения минус метка создания) по инцидентам, решённым за период; часы запускаются при создании заявки и останавливаются при решении; паузы сообщаются отдельно, а не вычитаются; отменённые и дублирующие заявки исключаются часы или дни История статусов инструмента ITSM Управление инцидентами; измерение и отчётность Медианное время цикла Раз в неделю или в месяц
Время решения по высокому перцентилю Время, в пределах которого решается большинство инцидентов, с названным перцентилем 85-й (или 95-й) перцентиль того же прошедшего времени, что выше; вычисляется, только если решено не менее 20 элементов, иначе перечисляются сами элементы часы или дни История статусов инструмента ITSM Управление инцидентами; управление уровнями услуг Прогноз по перцентилю времени цикла Раз в неделю или в месяц
Возраст самого старого открытого элемента Возраст самого старого ещё открытого элемента плюс число элементов старше высокого перцентиля сейчас минус метка создания для открытых элементов, без вычета паузы; считаются все открытые элементы в очереди услуги, включая ожидающие клиента дни Инструмент ITSM или трекер задач Управление инцидентами; управление проблемами Возраст рабочего элемента Раз в неделю
Охват отчётности по долям Доля отчётных долей, показывающих числитель, знаменатель и проверку минимального числа доли, отчитанные со счётами и признаком выборки / отчитанные доли; считаются только доли, опубликованные в пакете обзора периода процент Реестр метрик (см. тему 1.4, Управление метриками и ответственность за них) Измерение и отчётность Рабочие соглашения Раз в квартал
Доля сигналов контрольной карты Доля точек на контрольной карте показателя, сигнализирующих об особой причине вариации по письменным правилам команды точки, отмеченные по правилам / нанесённые точки, за последние 20 и более точек; правила фиксируются заранее и записываются процент Инструмент контрольных карт или электронная таблица Непрерывное улучшение Ретроспективная инспекция процесса Раз в месяц
Ширина интервала Ширина заявленного диапазона неопределённости для главной доли верхняя граница минус нижняя граница интервала, по методу, названному в реестре, для главной доли периода процентные пункты Вычисляется по счётам ITSM Управление уровнями услуг Диапазон прогноза в планировании Раз в месяц

Там, где контракт называет среднее, сообщайте контрактную цифру и показывайте рядом медиану и перцентиль.

Рекомендации

Честно обобщайте данные о времени

1. По умолчанию используйте медиану и один названный высокий перцентиль. Для времени решения, времени цикла и времени выполнения публикуйте вместе медиану и 85-й или 95-й перцентиль и вписывайте перцентиль в название метрики. Медиана говорит, что типично, а высокий перцентиль говорит, что клиенту можно разумно обещать. Если для обязательства надо выбрать одно число, выбирайте перцентиль.

2. Показывайте форму, а не только сводку. Гистограмма или диаграмма рассеяния времени решения по дате закрытия показывает скопления, длинные хвосты и внезапные сдвиги, которых не показывает ни одна сводка. Когда картина и число расходятся, верьте картине и исследуйте число.

3. Добавьте возраст самого старого открытого элемента. Перцентили завершённой работы смотрят назад и игнорируют всё, что ещё застряло. Сообщайте самый старый открытый элемент и сколько открытых элементов уже старше вашего высокого перцентиля (см. тему 2.1, Показатели потока). Это самое полезное средство против средних, улучшающихся потому, что трудным элементам позволяют стареть.

Уважайте малые выборки и неопределённость

4. Публикуйте счёт вместе с каждой долей. Пишите «10 из 12 решены в пределах цели», а не «83 %». Добавьте правило: доли, основанные на числе элементов меньше заявленного, показываются как счёты или как сами элементы. Порог есть суждение: запишите его, пересматривайте и применяйте везде.

5. Используйте интервалы для главных долей и прогнозов. Для доли вроде процента неудачных изменений вычислите доверительный интервал методом, о котором договорилась команда, и укажите метод в реестре. Для прогнозов поставки диапазон на основе выборки (например, «вероятно, от 8 до 14 элементов в неделю») говорит планировщикам больше, чем единственная цифра пропускной способности. Если интервал слишком широк, чтобы информировать решение, скажите об этом.

Отличайте сигнал от шума

6. Стройте контрольные карты для показателей, по которым действуете. Простая карта индивидуальных значений наносит каждую точку в порядке времени с центральной линией и пределами, вычисленными по данным, и отмечает точки за пределами или серии по одну сторону от центра. Начните с еженедельной медианы времени решения и еженедельного объёма. Запишите правила сигналов один раз (например, точка за пределами или серия из восьми по одну сторону) и держите их неизменными, чтобы команда не подгоняла правила, пока график не согласится с её ощущениями.

7. Действуйте по сигналам и оставляйте вариацию по общим причинам в покое. Когда точка внутри пределов, сопротивляйтесь объяснению для неё; это процесс ведёт себя как обычно. Когда появляется сигнал, спросите, что изменилось на той неделе: релиз, нехватка людей, сбой поставщика, новая категория. Если процесс стабилен, но неудовлетворителен, улучшение есть изменение системы, а не разговор с тем, у кого была красная неделя.

8. Ожидайте регрессии к среднему после экстремального периода. Если вы запускаете инициативу в худший месяц года, некоторое улучшение последует случайно. Сравнивайте с более длинной базовой линией, с похожей услугой, которая не менялась, или с контрольными пределами, прежде чем приписывать заслугу инициативе. Пара «до и после» из двух точек есть самая слабая форма свидетельства.

Осторожно рассуждайте о причине и отборе

9. Спрашивайте, чего нет в данных. Ответы на опрос приходят от людей, которые решили ответить. Закрытые заявки исключают те, что ещё открыты. Прежде чем делать вывод, перечислите, кто или что отсутствует и как это могло наклонить результат.

10. Меняйте определения намеренно и отмечайте это на графике. Новая модель статусов, новая матрица приоритетов или новый список категорий меняют данные, не меняя работу. Аннотируйте каждое изменение на графике и перезапускайте контрольные пределы после него (см. тему 1.5, Источники данных и инструментирование).

Векторы манипуляции и ограждения

Метрика Как её искажают Парная метрика или практика-ограждение
Медианное время решения Закрывать быстрые заявки первыми и оставлять трудные открытыми; делить заявку на несколько лёгких; останавливать часы в состоянии ожидания клиента Время решения по высокому перцентилю и возраст самого старого открытого элемента; доля времени в состояниях паузы; доля связанных заявок
Время решения по высокому перцентилю Выбирать перцентиль, льстящий результату, или менять его между отчётами; исключать долгие случаи как «выбросы» или переклассифицировать их Перцентиль зафиксирован в реестре; список исключённых элементов с причинами; возраст самого старого открытого элемента
Возраст самого старого открытого элемента Закрывать или объединять самый старый элемент, не решив его; переносить в другую очередь или категорию Доля повторного открытия; выборочный аудит самых старых закрытых элементов; число переводов между очередями
Охват отчётности по долям Прикреплять счёт мелким шрифтом, пока заголовки по-прежнему ведут с процента; задавать минимальное число так низко, что оно никогда не срабатывает Проверять реальную панель, а не реестр; пересматривать минимальное число вместе с шириной интервала
Доля сигналов контрольной карты Расширять пределы, добавлять правила или перезапускать базовую линию, чтобы сигналы исчезли; двигать точки изменением показателя Правила и пределы в реестре с историей изменений; сравнение с сырой гистограммой
Ширина интервала Выбирать метод или окно, дающие узкий диапазон; объединять непохожие услуги, чтобы увеличить выборку Метод назван в реестре; разбивка по услугам по запросу; сравнение объединённых и необъединённых результатов

Здоровое чтение показывает медианы и перцентили, движущиеся в том же направлении, что и опыт пользователей, короткий список старых элементов, который сокращается без тихой переклассификации, и доли, появляющиеся со своими счётами. Доля сигналов контрольной карты должна быть низкой и ненулевой: карта, никогда не подающая сигналов, возможно, неспособна на них, а карта, всегда их подающая, отражает нестабильный процесс или плохо выбранные правила.

Компромиссы: плюсы и минусы

Подход Сильная сторона Слабая сторона
Среднее время решения Просто, соответствует многим контрактам, легко суммируется Доминирует хвост; скрывает то, что клиенты типично переживают
Медиана плюс высокий перцентиль Устойчива к выбросам; поддерживает обещания клиентам Требует небольшого пояснения; перцентилям нужно достаточно элементов для устойчивости
Голые доли без счётов Компактно и знакомо Скрывает малые выборки и приглашает к чрезмерному прочтению
Доли со счётами и интервалами Честно о неопределённости; удерживает от чрезмерной реакции Выглядит менее решительно; методы интервалов требуют согласования
Контрольные карты Отделяют сигнал от шума; указывают, когда действовать Нужно достаточно точек и стабильные определения; пределы можно неверно прочесть или подтасовать
Сравнение «до и после» Быстро и легко сообщать Подвержено регрессии к среднему и совпадающим изменениям

Для услуги с горсткой инцидентов в год никакая статистика не устойчива, и правильный метод состоит в том, чтобы читать каждый инцидент. Для службы поддержки с большим объёмом меры, учитывающие распределение, дёшевы и явно лучше. Выбирайте по объёму и по ставкам решения.

Вопросы для обсуждения в команде

1. Какое из наших нынешних чисел на панели есть среднее по чему-то скошенному, и что показали бы медиана и 95-й перцентиль? Выберите самый наблюдаемый показатель времени и вычислите все три на одном наборе элементов до совещания. Спросите, совпадает ли история, которую рассказывает среднее, с тем, что говорят пользователи. Закончите договорённостью, какая сводка станет заголовком и где появятся остальные.

2. Сколько элементов стоит за нашим самым цитируемым процентом и стали бы мы его цитировать, если бы записывали счёты? Перечислите три процента, которые руководство читает чаще всего. Рядом с каждым запишите числитель и знаменатель за последний период. Спросите, что сделал бы с цифрой один лишний успех или неудача. Договоритесь о минимальном числе, ниже которого команда показывает элементы, а не долю.

3. Когда мы в последний раз приписали улучшение инициативе и что ещё было верно в то время? Выберите недавнюю историю успеха. Спросите, когда показатель был хуже всего, как выглядит более длинная история и улучшилась ли сопоставимая услуга. Сохраняйте любопытный тон.

4. Каков нормальный диапазон наших ключевых показателей и кто мог бы сказать, что данная неделя необычна? Нанесите последние 20 и более еженедельных значений одного показателя и проведите центр и пределы или вычислите их грубо. Спросите, на какие недели внутри диапазона команда реагировала. Договоритесь, кто владеет графиком и где записаны правила сигналов.

5. Кого или чего не хватает в наших данных? Перечислите источники показателя: закрытые заявки, ответы на опросы, наблюдаемые услуги, инструменты с метками времени. Для каждого спросите, кто исключён и почему. Запишите каждый пробел как исправление или оговорку.

6. Как объяснить руководству широкий диапазон или «мы пока не знаем» так, чтобы это не звучало как оправдание? Отрепетируйте формулировку на реальном примере: «От 70 до 95 %, на 12 инцидентах; мы ожидаем сузить это после следующего квартала». Спросите, что аудитории нужно решить и меняет ли диапазон решение. Напишите на совещании короткий сценарий.

Четыре точки зрения

Продуктовые команды и команды поставки

Команды поставки используют время цикла и пропускную способность для прогнозов, и больше всего выигрывают от прогнозов на основе перцентилей, а не средних (см. тему 2.1, Показатели потока). Прогноз, заявленный как диапазон с вероятностью, легче защитить, чем дату. Сопротивляйтесь прочтению изменения одного периода как тренда (см. тему 2.5, Метрики прогнозирования и планирования поставки).

Команды услуг и эксплуатации

Команды эксплуатации владеют данными заявок и часами инцидентов, поэтому им лучше всех публиковать медианы, перцентили и самый старый открытый элемент и объяснять правила пауз. Им стоит строить графики еженедельного объёма и времени решения с контрольными пределами, чтобы настоящий сдвиг, например из-за неисправного релиза, отличался от плохой недели. Когда у услуги мало инцидентов, им следует разбирать каждый, а не вычислять доли (см. тему 3.3, Время реагирования на инциденты и их устранения).

Руководство и управление

Руководители задают вопросы, определяющие, что команды показывают. Вопрос «почему это выросло?» к каждой ряби приучает организацию объяснять шум и скрывать его. Руководителям стоит спрашивать, внутри ли нормального диапазона движение, сколько элементов стоит за цифрой и что изменилось в процессе. Органы управления могут требовать счёты на главных долях.

Клиенты и пользователи

Клиенты переживают отдельные случаи, а не средние. Они помнят тот один запрос, который занял пять недель, и среднее в два дня не лечит эту память. Обязательства по перцентилям («девять из десяти запросов в течение трёх рабочих дней») лучше соответствуют ментальной модели клиента, чем средние времена. Результаты опросов следует показывать со счётами ответивших, а открытые комментарии читать рядом с числами (см. тему 6.1, Метрики удовлетворённости клиентов).

На практике: пример из управления услугами

В интернет-магазине среднего размера есть служба поддержки и группа эксплуатации, поддерживающая его веб-магазин. Цифры ниже иллюстративны.

Руководство видит месячный заголовок: «среднее время решения инцидентов упало с 9,1 часа до 7,4 часа». Руководителя эксплуатации просят подтвердить это и представить план следующей цели, 6 часов. Прежде чем согласиться, она просит аналитика вытащить исходные элементы и нанести их на график. Из 240 инцидентов месяца (иллюстративно) медиана составляет 2,5 часа, 85-й перцентиль 14 часов, а 9 инцидентов старше 5 дней и всё ещё открыты. Месяцем раньше медиана была 2,6 часа. Среднее упало потому, что три очень долгих инцидента с предыдущего месяца, один из них возрастом 11 дней, оказались решены раньше в этом периоде, и потому, что партия заявок на сброс пароля была перекатегоризирована в быстро закрывающийся тип запроса.

Команда наносит еженедельную медиану за последние 26 недель. Центральная линия лежит около 2,6 часа, и каждая точка последних двух месяцев внутри пределов. Падение в заголовке не есть сигнал. Перекатегоризация на второй неделе изменила определение посреди графика, поэтому команда отмечает её и перезапускает пределы с этой точки.

Они решают на три изменения. Месячный отчёт будет показывать медиану, 85-й перцентиль и самый старый открытый элемент, с числом инцидентов за каждым. Предложенная цель в 6 часов по среднему заменяется разговором о цели по перцентилю, которая будет установлена после квартала данных по новому определению. Команда также перечислит 9 старых инцидентов, у каждого с владельцем и следующим шагом.

Риск манипуляции они ловят на следующем обзоре. Менеджер предлагает закрыть 9 самых старых инцидентов как «больше не воспроизводятся», чтобы цифра самого старого элемента выглядела здоровой. Поскольку реестр парит возраст самого старого открытого элемента с долей повторного открытия и выборочным аудитом старых закрытий, команда читает три из предложенных закрытий, обнаруживает, что два всё ещё актуальны, и оставляет их открытыми. Цифра самого старого элемента остаётся неудобной ещё месяц. Таково и намерение.

Agile, ИИ, автоматизация и аналитика

Agile

Частая поставка порождает много малых выборок, что хорошо для наблюдения изменений, но каждая выборка мала. Полезная практика состоит в том, чтобы показывать контрольные карты по скользящему окну и обсуждать на регулярных обзорах только сигналы, а не каждое колебание. Осторожность в том, чтобы не реагировать на шум: команда, меняющая курс после каждого провала, никогда не увидит эффекта ни одного изменения.

ИИ

Работа с помощью ИИ часто сдвигает всё распределение, например более быстрые первые ответы при более изменчивом качестве. Сравнивайте до и после по перцентилям и самому старому элементу и парьте скорость с показателем качества. Осторожность в том, что смена модели может изменить данные посреди тренда; поэтому отмечайте смены модели и промпта на графике.

Автоматизация

Автоматизируйте расчёт и показ медиан, высоких перцентилей, счётов и интервалов, чтобы правильная форма была по умолчанию, а никто не пересчитывал вручную. Автоматизации тоже нужно сообщать собственные размеры выборок и доли сбоев. Осторожность в том, что автоматические оповещения по порогам порождают ложные тревоги, когда данные скошены; поэтому основывайте оповещения на контрольных пределах, а не на фиксированных числах.

Аналитика

Всегда говорите, сколько элементов стоит за долей, и показывайте интервал, когда счёт мал. Используйте прогнозы как диапазоны, а не отдельные даты. Осторожность в том, что статистическая значимость не означает практической важности, а малая выборка может скрыть реальную проблему; поэтому сочетайте числа с чтением настоящих элементов.

Отраслевой взгляд

Стартап. Объёмы малы, поэтому большинство долей состоит из нескольких элементов, а интервалы широки. Читайте каждый инцидент вместо вычисления статистики, ведите простой еженедельный график одного-двух показателей и избегайте объявления трендов по трём точкам. По мере роста объёма рано переходите к медианам и перцентилям, чтобы привычки уже были на месте.

Малый бизнес. Человек, ведущий ИТ, владеет и данными, а выборка обычно мала. Для редких событий сообщайте счёты, а не проценты, и сравнивайте с собственной более длинной историей. Проверьте, что на самом деле измеряют часы «времени реагирования» у поставщика.

Крупная компания. Объём делает распределения осмысленными, но и поощряет сводки, смешивающие непохожие услуги. Сравнивайте подобное с подобным, публикуйте определения и используемый перцентиль и держите общую библиотеку правил графиков и расчётов, чтобы команды не вычисляли один показатель тремя способами.

Государство и публичный сектор. Контракты и законодательная отчётность часто фиксируют среднее или пороговый процент, и эти определения не обсуждаются. Сообщайте требуемую цифру точно по определению и показывайте рядом медиану, перцентиль и счёты, чтобы надзорные органы видели полную картину. Публичный контроль делает честную неопределённость более ценной, потому что чрезмерно уверенное число дорого отзывать (см. тему 8.5, Регулируемая и государственная отчётность).

Бизнес-обоснование: мотивы, ROI и TCO

Нужно несколько часов, чтобы согласовать правила сводок, построить гистограмму и контрольную карту по выгрузке и добавить счёты в шаблон отчёта, плюс несколько минут за цикл, чтобы поддерживать их актуальными. Большинство инструментов уже вычисляют перцентили. Большая цена есть разговор с людьми, привыкшими к одному утешительному числу.

Отдача есть лучшие решения и меньше напрасных реакций. Команды перестают реорганизоваться после плохой недели, перестают приписывать инициативам случайные улучшения и перестают обещать средние, которых половина их клиентов не переживает. Не заимствуйте цифру: посчитайте, как часто решения прошлого года отменялись и сколько «улучшений» исчезло в следующем периоде, и используйте эти счёты, чтобы оценить обоснование.

Антипаттерны и ловушки

  • Усреднение скошенных длительностей. Среднее тянется хвостом и скрывает то, что чувствуют пользователи. Сообщайте медиану и названный высокий перцентиль и показывайте самый старый открытый элемент.
  • Проценты из крошечных выборок. «100 %» из трёх элементов есть анекдот. Показывайте счёты и применяйте правило минимального числа.
  • Реакция на каждое колебание. Погоня за каждой красной неделей тратит усилия и учит команды объяснять шум. Используйте контрольные пределы и письменные правила сигналов.
  • Доказательство «до и после». Две точки не отделят вмешательство от случайности или регрессии к среднему. Используйте более длинную базовую линию и сравнение.
  • Перенос ворот на графике. Изменение пределов, правил или определений постфактум заставляет любой график соглашаться с историей. Фиксируйте правила, записывайте изменения и аннотируйте их.
  • Исключение выбросов по умолчанию. Самые долгие случаи обычно те, которые помнят клиенты. Исключайте только с письменной причиной и перечисляйте исключённое.
  • Ложная точность. Сообщение 83,3 % из 12 элементов подразумевает знание, которого данные лишены. Округляйте честно и показывайте диапазон.
  • Объединение непохожей работы. Смешанное время для сброса паролей и сбоев центра обработки данных не описывает ни то, ни другое. Сначала сегментируйте.

Модель зрелости

Измерение 1 Инициирование 2 Развитие 3 Стандартизация 4 Управление 5 Оркестрация
Сводки данных о времени Только средние Некоторые команды показывают медианы Медиана плюс названный перцентиль и самый старый открытый элемент стандартны Распределения пересматриваются с ограждением и отслеживаются во времени Обязательства по перцентилям согласованы с клиентами и поставщиками и пересматриваются по мере изменения данных
Размер выборки и неопределённость Доли приводятся без счётов Счёты показаны в некоторых отчётах Счёты и правило минимального числа на каждой доле Интервалы на главных долях, метод в реестре Неопределённость открыто разделяется с клиентами и используется в планировании между командами
Вариация и причинность Каждое изменение объясняется Несколько графиков с пределами Контрольные карты с письменными правилами для ключевых показателей Сигналы запускают плановое расследование; инициативы сверяются с базовой линией Общие библиотеки графиков между услугами; базовые линии сравниваются между командами без ранжирования

Контрольный список

  • Каждый показатель времени сообщает медиану и названный высокий перцентиль, а не одно среднее.
  • Сообщаются возраст самого старого открытого элемента и число элементов за пределами высокого перцентиля.
  • Каждая отчётная доля показывает числитель и знаменатель.
  • Правило минимального числа записано и применяется ко всем долям.
  • Главные доли и прогнозы показывают диапазон, метод назван в реестре.
  • Контрольные карты существуют для трёх показателей, по которым действует команда, с письменными правилами сигналов.
  • Изменения определений аннотируются на графиках и записываются в реестре.
  • Исключённые элементы перечислены с причинами.
  • Заявления об улучшениях проверяются по более длинной базовой линии, прежде чем повторяться.
  • Вектор манипуляции и ограждение каждой метрики записаны в реестре (см. тему 1.4, Управление метриками и ответственность за них).

Промпты для ИИ

Проверьте, подходит ли сводка данным.

I have [number] values of [measure, such as incident resolution time] for
[service] over [period]. The clock starts at [start event] and stops at
[stop event]. Pauses are [handled how]. The values are pasted below.

Describe the shape of the distribution, compute the mean, median, and the
[percentile, such as 85th] and [second percentile, such as 95th], and tell me
which summary best represents a typical case and which supports a promise to
customers. Point out any values that look like data errors, but do not remove
them. Do not invent benchmark values. List your assumptions and what you could
not determine from the data.

[paste values, with personal data removed]

Выразите долю вместе с её неопределённостью.

Our team reports [rate name] as [numerator] out of [denominator] for [period]
and [service]. Show how to present this with the counts, explain in plain words
how much one more or one fewer success would change it, and calculate a
confidence interval using [method, or "a method you recommend and name"].
Suggest wording that a non-technical leader can understand and a minimum-count
rule for when to show items instead of a rate. Do not invent comparison
figures. List your assumptions, including the method and any data conditions it
needs.

Оцените, сигнал это или шум.

Here are [number] consecutive [weekly or monthly] values of [measure] for
[service]. A change happened in [period]: [describe the intervention, release,
or definition change]. Plot or describe a control chart with a center line and
limits, apply these signal rules: [list rules, such as one point beyond the
limits or a run of eight on one side], and tell me which points signal. Say
whether the change is distinguishable from ordinary variation, and what other
explanations, such as regression toward the mean or a definition change, I
should rule out. Do not claim causation. List your assumptions and the extra
data that would help.

[paste values]

Навыки ИИ

  • Service Management Metrics skill: используйте, чтобы найти тему и парное ограждение для метрики времени или доли перед её публикацией.
  • Service Management Metrics maintainer skill: используйте, чтобы проверить, что у статистического показателя, добавленного в тему, есть определение, часы, вектор манипуляции и ограждение.

Главные выводы

  • Длительности услуг скошены, поэтому сообщайте медиану и названный высокий перцентиль и добавляйте возраст самого старого открытого элемента.
  • Каждая доля несёт свой счёт, а малые выборки показываются как элементы или с диапазоном, а не как уверенный процент.
  • Узнайте нормальный диапазон показателя по контрольной карте, прежде чем реагировать на одну неделю.
  • Подозревайте улучшения, измеренные по двум точкам: регрессия к среднему и изменения определений объясняют многие из них.
  • Честная неопределённость есть сила отчёта и ограждение против манипуляций в духе Гудхарта (см. тему 1.2, Закон Гудхарта и психология метрик).
  • Держите технику соразмерной: несколько последовательных методов, объяснённых простыми словами, служат команде лучше, чем много необъяснённых.

Источники и дополнительное чтение

  1. Wheeler, D. J., Understanding Variation: The Key to Managing Chaos, 2nd edition, SPC Press, 2000.
  2. Shewhart, W. A., Economic Control of Quality of Manufactured Product, D. Van Nostrand, 1931.
  3. Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
  4. Vacanti, D., Yeret, Y., et al., The Kanban Guide, 2020, https://kanbanguides.org/.
  5. Hubbard, D. W., How to Measure Anything: Finding the Value of Intangibles in Business, 3rd edition, Wiley, 2014.
  6. Kahneman, D., Thinking, Fast and Slow, Farrar, Straus and Giroux, 2011.
  7. Tufte, E. R., The Visual Display of Quantitative Information, 2nd edition, Graphics Press, 2001.
  8. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  9. Wikipedia, Асимметрия (статистика).
  10. Wikipedia, Медиана.
  11. Wikipedia, Перцентиль.
  12. Wikipedia, Логнормальное распределение.
  13. Wikipedia, Доверительный интервал.
  14. Wikipedia, Контрольная карта.
  15. Wikipedia, Статистическое управление процессами.
  16. Wikipedia, Регрессия к среднему.