Время реагирования на инциденты и их устранения
Показатели времени для инцидентов описывают, как долго пользователи ждут на каждом этапе; поэтому сообщайте их как распределения с записанными часами, никогда как единое среднее, и парьте каждое число скорости с показателем того, удержалось ли исправление.
Обзор и мотивация
Инцидент в управлении ИТ-услугами (ITSM) есть внеплановое прерывание услуги или снижение её качества. Управление инцидентами есть практика, восстанавливающая нормальную работу услуги так быстро, как это безопасно. В ITIL 4 практика называется управлением инцидентами и входит в число практик управления услугами рамки ITIL. Её аналоги в Agile суть привычка команды относиться к внеплановой работе как к полноправному потоку работы, а также практики дежурств и безобвинительных разборов, идущие из инженерии надёжности сайтов (SRE), дисциплины эксплуатации услуг методами программной инженерии.
Время есть самый естественный способ описать инцидент и самый часто неверно используемый. Один инцидент проходит несколько этапов. Что-то ломается, монитор или пользователь замечает, человек подтверждает оповещение, кто-то начинает работу, услуга восстанавливается для пользователей, а заявка закрывается, когда причина обработана или отложена. Каждый промежуток между двумя из этих событий есть отдельный показатель с отдельным владельцем, отдельной причиной задержки и отдельным средством. Название всего этого «временем решения» прячет, где живёт задержка.
Эта тема охватывает показатели прошедшего времени, следующие за инцидентом от начала до конца: время обнаружения, время подтверждения, время первого ответа, время восстановления и время решения. Она охватывает также возраст открытых инцидентов, число раз, когда инцидент переходит из рук в руки, и статистические проблемы самой известной сводки, среднего времени восстановления или решения (MTTR). Счёты, категории и приоритет рассмотрены в другом месте (см. тему 3.2, Объём и приоритет инцидентов). У крупных и необычных инцидентов свои показатели (см. тему 3.4, Метрики крупных инцидентов).
Термины, используемые в этой теме
- Время обнаружения (TTD). Прошедшее время с момента, когда сбой начал влиять на пользователей, до момента, когда организация узнала о нём через мониторинг или сообщение пользователя.
- Время подтверждения (TTA). Прошедшее время с момента, когда поднято оповещение или заявка, до момента, когда названный человек или команда принимает владение.
- Время первого ответа. Прошедшее время с момента регистрации инцидента до первого осмысленного действия или сообщения затронутому пользователю. Автоматический ответ не считается.
- Время восстановления. Прошедшее время с начала воздействия на пользователей до момента, когда пользователи снова могут пользоваться услугой, даже если лежащую в основе причину лишь обошли.
- Время решения. Прошедшее время с момента регистрации инцидента до момента, когда инцидент закрыт, потому что услуга восстановлена, а пользователь подтвердил или ему дали честную возможность подтвердить.
- Среднее время восстановления или решения (MTTR). Среднее арифметическое одной из этих длительностей по набору инцидентов. Буква R читается как ремонт, восстановление, возвращение, решение или реагирование в зависимости от того, кто говорит, и это первая проблема аббревиатуры. Статья Википедии о среднем времени ремонта перечисляет варианты.
- Соглашение об уровне услуг (SLA). Соглашение об уровне услуг есть обязательство между поставщиком и клиентом об уровне услуги, часто включающее целевые времена реагирования и решения по приоритету.
Почему среднее плохая сводка
Длительности инцидентов несимметричны. Большинство инцидентов коротки, немногие очень долги, а долгие доминируют в любом среднем. Длительности такого вида часто хорошо описываются скошенной вправо формой, такой как логнормальное распределение. В скошенных данных среднее может лежать значительно выше того, как выглядит типичный инцидент, а один долгий сбой может сдвинуть его сильнее, чем месяц улучшений.
Команда SRE в Google опубликовала анализ этой проблемы. Он утверждает, что для изученных им наборов данных об инцидентах разброс длительностей инцидентов достаточно широк, чтобы MTTR мог прятать настоящие улучшения или показывать изменения, являющиеся шумом, и рекомендует смотреть вместо этого на распределения (Davidovič, 2021, перечислено в источниках). Рассуждение опирается на хорошо известную статистику, так что вы можете проверить его на своих данных, не доверяя ничьему выводу: нанесите длительности ваших инцидентов, вычислите среднее и медиану и посмотрите, насколько они разошлись (см. тему 1.6, Статистическая грамотность для метрик услуг).
Альтернатива есть перцентили. Медиана говорит, сколько ждал типичный пользователь. 85-й или 95-й перцентиль говорит, сколько ждали невезучие. Клиенты помнят долгое ожидание, а не среднее, поэтому обязательство по перцентилю, такое как «девять из десяти инцидентов этого приоритета восстановлены в пределах заявленного времени», гораздо лучше соответствует их опыту, чем среднее.
Чем различаются взгляды ITIL и Agile
Взгляд ITIL склонен начинать с приоритета и цели. Воздействие и срочность задают приоритет, приоритет задаёт целевые времена реагирования и решения, а соглашение об уровне услуг может прилагать последствия за их нарушение. Это упорядочено и легко проверяется, но склонно к манипуляции, которую приглашают цели (см. тему 1.2, Закон Гудхарта и психология метрик).
Взгляд Agile и SRE начинает с воздействия на пользователей и с потока. Он спрашивает, как быстро команда ограничивает вред, какая часть прошедшего времени инцидента была активной работой, а какая ожиданием, и чему команда научилась. Он предпочитает показатели воздействия (затронутые пользователи, минуты деградированной услуги) показателям статуса заявки и считает часы заявки удобным, но несовершенным заместителем. Два взгляда совместимы. Используйте структуру приоритетов ITIL, чтобы решить, что и для кого измерять, и используйте мышление потока и воздействия, чтобы решить, значит ли что-нибудь число.
Ключевые принципы
- Называйте этап, а не «решение». Обнаружение, подтверждение, ответ, восстановление и решение суть разные вопросы с разными владельцами. Сообщайте каждый под собственным названием.
- Записывайте обе границы часов. Каждый показатель времени указывает, какое событие его запускает, какое останавливает и какие состояния приостанавливают. Большая часть манипуляций живёт в этих границах.
- Сообщайте распределения. Показывайте медиану, высокий перцентиль и возраст самого старого открытого инцидента. Избегайте одинокого среднего, которое скошенные данные делают ненадёжным.
- Измеряйте восстановление отдельно от закрытия. Пользователям важно, когда услуга вернулась. Заявка может закрыться позже, после обработки причины.
- Парьте скорость с долговечностью. Быстрое восстановление, которое тот же инцидент отменяет на следующий день, не есть улучшение. Показывайте доли повторения и повторного открытия рядом с каждым показателем времени.
- Описывайте команды, услуги и системы. Никогда не ранжируйте отдельных операторов или инженеров по времени реагирования или решения.
- Сегментируйте, прежде чем сравнивать. Сравнивайте подобное с подобным, по приоритету и по услуге, потому что смешанное число смешивает сброс пароля со сбоями базы данных.
Определения метрик
Каждая строка указывает свои часы. Календарное время и рабочее время различаются: скажите, каким пользуетесь. Где показатель использует перцентили, таблица даёт 50-й и 95-й, а команды могут добавить 85-й.
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Время обнаружения | Как долго сбой влиял на пользователей, прежде чем организация узнала | Часы запускаются в первый момент воздействия на пользователей (берётся из данных мониторинга или подтверждённого начала воздействия, записанного на разборе); останавливаются на первом оповещении или сообщении пользователя. Сообщается как медиана и 95-й перцентиль по услуге. Инциденты без известного начала считаются и сообщаются отдельно, а не отбрасываются | минуты | Платформа мониторинга и оповещений; запись об инциденте с полем начала воздействия | Управление инцидентами; мониторинг и управление событиями | Работа над наблюдаемостью и качеством оповещений (см. тему 5.5, Метрики мониторинга и качества оповещений) | Раз в месяц |
| Время подтверждения | Как долго поднятое оповещение или заявка ждут, пока человек не станет владельцем | Часы запускаются, когда срабатывает оповещение или регистрируется заявка; останавливаются, когда названный человек или команда принимает её. Автоназначение не останавливает часы. Сообщается как медиана и 95-й перцентиль по приоритету | минуты | Инструмент вызова; история назначений инструмента ITSM | Управление инцидентами; служба поддержки | Реагирование дежурного в ротации SRE | Раз в месяц |
| Время первого ответа | Как долго пользователь ждёт первого полезного ответа человека | Часы запускаются, когда инцидент зарегистрирован; останавливаются на первом сообщении или действии человека, отвечающем на обращение. Автоподтверждения и шаблонные квитанции исключаются. Указаны часы рабочего времени | минуты или рабочие часы | Журнал коммуникации инструмента ITSM | Служба поддержки; управление инцидентами | Своевременная обратная связь пользователю, как в рабочем соглашении | Раз в неделю |
| Время восстановления | Как долго пользователи были без работающей услуги | Часы запускаются в начале воздействия на пользователей; останавливаются, когда пользователи снова могут пользоваться услугой, в том числе обходным путём или откатом. Причина, исправленная позже, его не удлиняет. Сообщается как медиана и 95-й перцентиль по приоритету и услуге | минуты или часы | Запись об инциденте с метками начала воздействия и восстановления; мониторинг | Управление инцидентами | Среднее время восстановления в терминах DORA, читаемое как распределение (см. тему 2.8, Метрики DORA) | Раз в месяц |
| Время решения | Как долго запись об инциденте была открыта до закрытия | Часы запускаются, когда инцидент зарегистрирован; останавливаются, когда он закрыт после восстановления и подтверждения пользователя или честного ожидания. Время в «ожидании клиента» показывается как отдельная сообщаемая доля и не вычитается из главного числа. Сообщается как медиана и 95-й перцентиль по приоритету | часы или рабочие часы | История статусов инструмента ITSM | Управление инцидентами | Время цикла для внеплановой работы (см. тему 2.2, Время выполнения, время цикла и эффективность потока) | Раз в месяц |
| Возраст самого старого открытого инцидента | Как долго открыт самый давний открытый инцидент | Сейчас минус время регистрации для каждого открытого инцидента, с перечислением нескольких самых старых по приоритету. Состояния пауз не вычитаются | дни | Список открытых инцидентов инструмента ITSM | Управление инцидентами | Возраст рабочего элемента на доске команды (см. тему 2.1, Показатели потока) | Раз в неделю |
| Доля активного времени | Доля прошедшего времени инцидента, потраченная на активную работу, а не на ожидание | Сумма времени в активных состояниях / общее время от регистрации до закрытия, для инцидентов, закрытых в периоде. Активные состояния суть те, где человек работает над инцидентом; состояния ожидания перечислены в определении | процент | История статусов инструмента ITSM | Управление инцидентами | Эффективность потока (см. тему 2.2, Время выполнения, время цикла и эффективность потока) | Раз в квартал |
| Число переназначений | Сколько раз инцидент меняет владеющую команду до восстановления | Число смен группы назначения от регистрации до восстановления, сводится как медиана и доля инцидентов с тремя или более. Считается по услуге и приоритету, никогда по оператору | число | История назначений инструмента ITSM | Управление инцидентами; служба поддержки | Число передач (см. тему 9.3, Метрики сотрудничества и передачи работы) | Раз в месяц |
Две заметки о данных. Первая: время восстановления не лучше его начала. Многие записи об инцидентах фиксируют, когда кто-то набрал заявку, а это может отставать от настоящего начала воздействия на несколько часов. Если у вашего инструмента нет поля начала воздействия, добавьте его и относитесь к оценённым началам как к оценкам (см. тему 1.5, Источники данных и инструментирование). Вторая: сравнивая периоды, держите одинаковыми определения приоритетов, иначе линия тренда будет отражать переклассификацию.
Рекомендации
Определите часы
1. Составьте лист часов для каждого показателя времени. Для каждого этапа перечислите событие начала, событие конца, состояния, приостанавливающие часы, основу времени (календарное или рабочие часы) и исключения. Держите его в реестре метрик (см. тему 1.4, Управление метриками и ответственность за них).
2. Отделяйте восстановление от закрытия. Записывайте, когда услуга вернулась для пользователей, как отдельную метку времени, отдельно от закрытия заявки. Восстановление есть то, что чувствуют пользователи, а закрытие включает проверку, документирование и обработку причины. Команд, использующих одну метку для обоих, награждают за раннее закрытие заявок или наказывают за аккуратное сопровождение.
3. Записывайте начало воздействия, а не только время регистрации. Просите исполнителей заполнять, когда пользователи впервые почувствовали эффект, используя данные мониторинга, где возможно. Помечайте поле как оценённое, когда оно оценено. Без него время обнаружения бессмысленно, а время восстановления искажено его отсутствием.
4. Ограничивайте состояния пауз и сообщайте их использование. Ожидание клиента или поставщика иногда законно. Разрешите короткий названный список состояний пауз, требуйте причину и показывайте долю времени инцидента, проведённую в каждом. Растущая доля приостановленного времени есть признак дрейфа, а не скорости.
Сообщайте честно
5. Замените среднее медианой и высоким перцентилем. Показывайте 50-й и 95-й перцентили для каждого этапа, по приоритету, как временной ряд. Показывайте число инцидентов за каждой точкой, потому что перцентиль из десяти инцидентов слабая цифра. Где счёты малы, наносите отдельные инциденты точками и пропустите линию сводки.
6. Показывайте возраст самых старых открытых инцидентов. График длительностей закрытых инцидентов слеп к инцидентам, ещё открытым, а они худшие. Перечисляйте самые старые открытые инциденты по приоритету каждую неделю. Это трудно улучшить, не закончив работу, так что это полезный спутник любого графика времени решения.
7. Сегментируйте по приоритету и услуге. Смешанное время решения растёт, когда состав сдвигается к сложным инцидентам, даже если каждый вид инцидентов обрабатывается быстрее. Сравнивайте внутри приоритета и внутри услуги и показывайте состав рядом со временем (см. тему 3.2, Объём и приоритет инцидентов). Не делайте выводов из месяца, в котором состав изменился.
8. Используйте контрольные пределы, чтобы отделять сигнал от шума. Длительности инцидентов сильно колеблются от недели к неделе, ничего не меняясь. Контрольная карта с пределами, вычисленными по стабильному периоду, показывает, когда сдвиг достаточно велик, чтобы его стоило объяснять (см. тему 1.6, Статистическая грамотность для метрик услуг).
Парьте скорость с долговечностью
9. Показывайте доли повторного открытия и повторения рядом с каждым показателем времени. Доля повторного открытия есть доля инцидентов, открытых заново в заявленном окне. Повторение есть появление той же услуги и симптома в окне. Если время восстановления падает, а повторение растёт, команда применяет быстрые заплатки. Отправляйте повторяющиеся инциденты в управление проблемами (см. тему 4.1, Метрики управления проблемами).
10. Измеряйте ожидание и передачи, потому что именно туда уходит время. Для большинства услуг значительная часть прошедшего времени инцидента уходит на ожидание человека, решения или поставщика, а не на работу. Доля активного времени и число переназначений показывают, куда смотреть. Исправлением долгого времени решения часто служит более ясное правило маршрутизации или общее дежурство, а не более быстрый набор текста.
11. Используйте цели по перцентилям с человеком в контуре. Если вам нужна цель, формулируйте её как обязательство по перцентилю для приоритета, например «девять из десяти инцидентов приоритета 2 восстановлены в пределах заявленного времени», и согласуйте её с людьми, которые будут её выполнять. Рассматривайте нарушения как вопросы о системе, а не как вину дежурного (см. тему 5.1, Метрики SLA, OLA и XLA).
12. Спрашивайте пользователей об опыте. Короткий опрос по выборке закрытых инцидентов и чтение комментариев скажут, соответствует ли число тому, как ощущалось ожидание. Пользователям часто важнее своевременная коммуникация, чем точная минута восстановления (см. тему 6.1, Метрики удовлетворённости клиентов).
Векторы манипуляции и ограждения
| Метрика | Как её искажают | Парная метрика или практика-ограждение |
|---|---|---|
| Время обнаружения | Ставить начало воздействия позже, чем оно было; расширять пороги оповещений, чтобы меньше сбоев считалось инцидентами; считать только инциденты, пойманные монитором | Доля инцидентов, о которых впервые сообщили пользователи, а не мониторинг; периодический пересмотр оценок начала воздействия по данным мониторинга |
| Время подтверждения | Автоназначать или автоподтверждать, чтобы остановить часы; подтверждать оповещение и затем ничего не делать | Время первого ответа и время восстановления для тех же инцидентов; выборка подтверждённых оповещений без последующей активности |
| Время первого ответа | Отправлять шаблонный или односложный ответ, чтобы остановить часы | Пересмотр выборки первых ответов на содержательность; повторные обращения и комментарии опросов |
| Время восстановления | Объявлять услугу восстановленной, прежде чем пользователи могут ей пользоваться; восстанавливать, подавляя симптом; регистрировать сбои как плановое обслуживание | Повторение в окне; воздействие по сообщениям пользователей после времени восстановления; доля инцидентов, перемеченных постфактум |
| Время решения | Переводить заявки в «ожидание клиента» или «на удержании»; закрывать после одной попытки связаться; делить инцидент на дочерние, чтобы рано закрыть родителя | Доля времени в состояниях пауз; доля повторного открытия; возраст самого старого открытого инцидента; чтение выборки заметок о закрытии |
| Возраст самого старого открытого инцидента | Закрывать и вновь поднимать самую старую заявку; переклассифицировать её в проблему или запрос, чтобы убрать из списка | Связывать дубликаты с оригиналами и сообщать связанный возраст; число инцидентов, преобразованных в проблемы или запросы за период |
| Доля активного времени | Записывать краткую, бессмысленную работу, чтобы отметить время как активное; переходить в активные состояния без усилия | Сравнивать активное время с результатами, такими как время восстановления; выборка заметок о работе |
| Число переназначений | Повторно открывать в той же команде вместо передачи; передавать работу по побочному каналу, чтобы инструмент не показывал передачи | Время восстановления и удовлетворённость пользователей; периодическое наблюдение за тем, как работа движется между командами |
Здоровое чтение показывает медианы и хвостовые перцентили, движущиеся вместе, небольшую и стабильную долю приостановленного времени, мало инцидентов, о которых впервые сообщили пользователи, падающее повторение и комментарии опросов, совпадающие с данными заявок. Относитесь к главному улучшению, пришедшему в одиночку, как к побуждению к обзору манипуляций.
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| Среднее время восстановления | Знакомо; одно число; легко отслеживать | Доминируют несколько долгих инцидентов; прячет реальное изменение; плохо для малых выборок |
| Медиана плюс высокий перцентиль | Описывает типичный и невезучий опыт; устойчива к выбросам | Нужно достаточно инцидентов; два числа для объяснения |
| Нанесение каждого инцидента | Показывает полную форму и выбросы; честно при малом объёме | Труднее читать при большом объёме; нужен ведущий |
| Цели по приоритету | Ясные ожидания; поддерживает контракты и эскалацию | Приглашает переклассификацию и остановку часов; может направлять усилия на границу цели |
| Показатели по часам заявки | Дёшевы, доступны в каждом инструменте ITSM | Измеряют заявку, а не опыт пользователя; чувствительны к рабочему процессу статусов |
| Показатели на основе воздействия | Близки к тому, что чувствуют пользователи; устойчивы к трюкам с заявками | Нужны данные мониторинга и поле начала воздействия; труднее проверять |
Прагматичный ответ: сохранить часы заявки, потому что они есть в каждом инструменте, добавить метку восстановления на основе воздействия там, где позволяет мониторинг, и использовать распределения для обоих. Среднее допустимо как грубое описание одного стабильного большого набора схожих инцидентов, и оно никогда не должно быть единственным числом на странице.
Вопросы для обсуждения в команде
1. Какой этап инцидента занимает у нас дольше всего и откуда мы это знаем? Нарисуйте на доске хронологию инцидента с этапами от начала воздействия до закрытия. Возьмите последние десять инцидентов и отметьте, сколько занял каждый этап, используя данные инструмента и память исполнителей. Ведущему стоит искать этап, на котором скапливается время, а это часто ожидание передачи или решения, а не техническая работа. Договоритесь, какой этап заслуживает внимания первым.
2. Где запускаются и останавливаются наши часы и кто решил? Попросите каждого сказать, когда, по его мнению, инцидент «начался» и когда «закончился». Ответы будут различаться, и различия и есть находка. Сравните их с полями инструмента и рабочим процессом статусов. Запишите согласованные определения в реестр метрик и отметьте, где инструмент пока не может их поддержать.
3. Что показали бы наши медианы и 95-е перцентили такого, что прячет среднее? До совещания вычислите среднее, медиану и 95-й перцентиль инцидентов последнего квартала по приоритету. Покажите их рядом и нанесите длительности. Спросите, какой вывод команда сделала бы из каждого. Ведущему стоит заметить, двигают ли среднее один-два инцидента, и обсудить, верит ли команда, что медиана представляет ожидание типичного пользователя.
4. Сколько времени мы тратим на ожидание, а не на работу, и почему? Выберите три долгих инцидента и проследите их историю статусов. Посчитайте часы в активных состояниях и часы в состояниях ожидания и отметьте, кого или чего ждали. Спросите, какие ожидания можно сократить решением, более ясным путём эскалации или общим дежурством.
5. Если бы нас попросили сократить время решения на четверть, как бы мы это сделали, не помогая пользователям? Это обзор манипуляций в миниатюре. Перечислите каждый ход, улучшающий число без улучшения услуги, например остановку часов, раннее закрытие или перемечивание приоритетов. Для каждого хода спросите, поймало бы его ограждение. Список есть начало вашего столбца векторов манипуляции и показывает, где определения надо ужесточить.
6. Откуда мы знаем, что более быстрое восстановление было настоящим? Попросите свидетельства: повторение, повторное открытие, комментарии пользователей и любой позднейший инцидент с тем же симптомом. Посмотрите на одно недавнее улучшение и спросите, удержалось ли оно через месяц. Ведущему стоит направить группу к долговечным исправлениям. Закончите решением, какой показатель долговечности войдёт в панель.
Четыре точки зрения
Продуктовые команды и команды поставки
Продуктовые команды, эксплуатирующие свои услуги, видят время инцидентов как цену внеплановой работы, вытесняющей плановую. Отслеживайте, какая часть каждого периода потока забирается инцидентами, и относитесь к повторяющимся инцидентам как к элементам бэклога владеющей команды. Практики релизов, делающие откат быстрым, сокращают восстановление, так что время инцидентов частично есть показатель поставки (см. тему 2.9, Операционная и внеплановая работа).
Команды услуг и эксплуатации
Команды эксплуатации владеют часами и чувствуют давление целей. Им следует публиковать лист часов, проверять использование состояний пауз, сообщать медианы и хвостовые перцентили по приоритету и вести еженедельный список самых старых открытых инцидентов. Нагрузка дежурств и качество оповещений формируют времена подтверждения и обнаружения, поэтому смотрите на них вместе (см. тему 5.7, Рутинная работа и метрики дежурств).
Руководство и управление
Руководителям стоит спрашивать, какой этап самый медленный и что с этим делается, а не почему число красное. Им следует ожидать отчётности по перцентилям, показателя долговечности рядом с любым показателем скорости и объяснения при смене определений. Финансирование мониторинга, руководств по эксплуатации и работы над проблемами часто окупается больше, чем давление на исполнителей, потому что оно сокращает задержку, которую исполнители не контролируют.
Клиенты и пользователи
Пользователи переживают ожидание, качество коммуникации и то, возвращается ли проблема. Названия этапов они видят редко. Дайте им честный первый ответ, скажите, чего ожидать, и обновляйте их по графику. Комментарии их опросов и повторные обращения суть лучшая проверка того, говорят ли часы заявки правду.
На практике: пример из управления услугами
Интернет-магазин среднего размера эксплуатирует платформу заказов, службу клиентских аккаунтов и внутреннюю складскую систему. Продуктовые команды владеют своими услугами и делят дежурную ротацию с небольшой группой эксплуатации. Все числа в этом примере иллюстративны.
Руководство ставит цель «среднее время решения менее четырёх часов» для инцидентов приоритета 2. В первом квартале панель показывает среднее 3,8 часа, и цель кажется достигнутой. Складские сотрудники говорят, что некоторые сбои, кажется, длятся весь день. Руководитель эксплуатации наносит 41 инцидент приоритета 2 за квартал (иллюстративно) и находит медиану 1,5 часа и 95-й перцентиль 11 часов. Три инцидента составляют большую часть длинного хвоста.
Руководитель эксплуатации прослеживает три долгих инцидента. Каждый провёл большую часть времени в «ожидании поставщика» или «ожидании клиента». В двух заявка была закрыта и заведена заново как новый инцидент, когда исходный «нарушил» цель, что сбросило часы. Третий включал четыре переназначения между командами за два дня. Выборка заметок о закрытии показывает, что 6 из 30 просмотренных заявок (иллюстративно) были закрыты после единственной попытки связаться с пользователем.
Команда вносит четыре изменения. Она добавляет в форму инцидента поле начала воздействия и метку восстановления. Она сообщает медиану, 85-й и 95-й перцентили по приоритету и самые старые открытые инциденты каждую неделю. Она показывает долю времени в состояниях пауз и долю повторения на той же странице. И она связывает заново заведённые заявки с их оригиналами, чтобы возраст переносился.
На следующем пересмотре главное среднее выросло до 4,6 часа, потому что заново заведённые заявки теперь считаются целиком. Команда объясняет рост руководству как исправление. 95-й перцентиль и самая старая открытая заявка теперь суть числа, над которыми они работают, а число переназначений указывает на пробел маршрутизации между службой заказов и складской системой. Они договариваются добавить общий дежурный псевдоним и пересмотреть эффект в следующем квартале, а не задавать новую цель немедленно.
Agile, ИИ, автоматизация и аналитика
Agile
Короткий контур обратной связи после каждого значительного инцидента, с участием заинтересованных сторон, помогает команде улучшать свои часы. Осторожность в том, что цели по времени ответа порождают быстрые пустые подтверждения; поэтому парьте их с временем восстановления.
ИИ
ИИ может ускорить первый ответ, предложить исправления и резюмировать инциденты, что сокращает время первого ответа, тогда как время восстановления может не измениться. Сообщайте оба, а также долю инцидентов, где использовалось предложение ИИ, и долю, которая повторилась. Осторожность в том, что быстрый неверный ответ ИИ добавляет работу; поэтому считайте вновь открытые инциденты.
Автоматизация
Вычисляйте каждые часы по меткам времени событий в инструменте, с записанными причинами пауз, и измеряйте автоматическую диагностику и восстановление по ошибочным действиям, а не только по сэкономленному времени. Осторожность в том, что автоматизация, восстанавливающая услугу без записи причины, прячет запись о проблеме.
Аналитика
Сообщайте медиану и высокий перцентиль для каждых часов вместе с самым старым открытым инцидентом и показывайте, сколько инцидентов за ними стоит. Решение, которое это информирует, состоит в том, где пользователи ждут дольше всего. Осторожность в том, что определения часов различаются в разных инструментах; поэтому запишите события начала и конца, прежде чем сравнивать команды.
Отраслевой взгляд
Стартап. Объём низок, поэтому перцентили шумны, и график каждого инцидента лучше сводки. Один человек часто обнаруживает, реагирует и восстанавливает, так что разделение этапов важно меньше письменной хронологии каждого инцидента. Добавляйте заметку о начале воздействия в каждый разбор после инцидента и вычисляйте простые медианы, когда накопится достаточно инцидентов.
Малый бизнес. Инциденты может обрабатывать поставщик управляемых услуг или один ИТ-универсал, а контракт поставщика может определять цели реагирования и решения. Читайте контрактные часы внимательно, потому что они часто отличаются от опыта ваших пользователей. Ведите короткий журнал начала воздействия и восстановления для важных инцидентов и просите у поставщика исходные записи, поскольку сводная цифра прячет часы.
Крупная компания. Много команд, поставщиков и схем приоритетов делают сравнение соблазнительным и вводящим в заблуждение. Стандартизируйте определения часов и значения приоритетов по организации, публикуйте распределения, а не средние, и сегментируйте по услугам. Следите за дрейфом состояний пауз и переклассификацией, которые растут с числом слоёв отчётности.
Государство и публичный сектор. Контракты, законодательная отчётность и аудит могут фиксировать часы и определения приоритетов. Выполняйте эти обязательства как написано и держите рядом второй, ориентированный на пользователя взгляд, чтобы соответствие не скрывало плохой опыт. Будьте открыты в отношении определений и исправлений при смене правила часов (см. тему 8.5, Регулируемая и государственная отчётность).
Бизнес-обоснование: мотивы, ROI и TCO
Цена этой темы в основном проектирование и дисциплина. Нужно несколько часов, чтобы написать листы часов, некоторая настройка, чтобы добавить поле начала воздействия и метку восстановления, и скромное усилие на построение отчётов по перцентилям. Где инструмент ITSM или платформа мониторинга уже хранят метки времени, извлечение есть разовая задача. Повторяющаяся цена есть ежемесячный пересмотр и квартальная выборка закрытых инцидентов.
Отдача идёт от лучших решений и меньших переделок. Отчётность по распределениям показывает, сработало ли улучшение, а отчётность по этапам направляет усилия на настоящую задержку, такую как передачи, пробелы обнаружения или ожидание поставщиков. Показатели долговечности предотвращают ложную экономию быстрых заплаток, возвращающихся как повторяющиеся инциденты. Измерьте собственную базовую линию за квартал, внесите одно изменение и сравните распределения.
Антипаттерны и ловушки
- Единый MTTR на панели руководителя. Среднее скошенных данных вводит в заблуждение. Показывайте медиану, высокий перцентиль и самый старый открытый инцидент и говорите, сколько инцидентов за каждой точкой.
- Смешение приоритетов и услуг. Сдвиг состава выглядит как изменение результативности. Сегментируйте по приоритету и услуге и показывайте состав.
- Остановка часов состояниями пауз. Время исчезает в «ожидании» и «на удержании». Перечислите разрешённые состояния, требуйте причины и сообщайте долю времени в каждом.
- Закрытие и повторное заведение заявок. Это сбрасывает возраст и прячет долгий инцидент. Связывайте заново заведённые заявки с оригиналами и сообщайте связанный возраст.
- Одна метка времени для восстановления и закрытия. Команд тогда награждают за преждевременное закрытие или наказывают за аккуратное сопровождение. Записывайте и сообщайте оба.
- Ранжирование операторов или инженеров по времени решения. Это награждает лёгкие заявки и выбор удобного и отбивает охоту помогать и эскалировать. Сообщайте только по команде и услуге.
- Цели без показателей долговечности. Быстрая заплатка, ломающаяся завтра, выглядит успехом. Показывайте повторение и долю повторного открытия рядом с каждой целью.
- Принятие малых выборок за тренды. 95-й перцентиль из горстки инцидентов есть догадка. Наносите отдельные инциденты и ждите больше данных, прежде чем проводить линию.
Модель зрелости
| Измерение | 1 Инициирование | 2 Развитие | 3 Стандартизация | 4 Управление | 5 Оркестрация |
|---|---|---|---|---|---|
| Определения и часы | Каждый измеряет по-своему; одно «время решения» | Часы записаны для некоторых команд; этапы частично разделены | Один лист часов для всех этапов с перечисленными состояниями пауз | Определения пересматриваются, изменения записываются с причинами | Определения согласованы с поставщиками и клиентами и пересматриваются, когда перестают информировать решения |
| Качество данных | Ручные заметки; начало воздействия неизвестно | Метки времени инструмента для регистрации и закрытия заявки | Начало воздействия и восстановление записываются для приоритетных инцидентов | Данные проверяются выборкой; оценки помечены | Данные мониторинга и ITSM автоматически объединены и пользуются доверием между командами |
| Статистическая практика | Только среднее | Показаны среднее и медиана | Медиана и высокий перцентиль по приоритету и услуге | Используются контрольные пределы; парные показатели долговечности | Распределения связаны с опытом пользователей и используются, чтобы решать, куда вкладываться |
| Использование в улучшении | Числа используются, чтобы гонять людей | Команда видит собственные числа | Команда ежемесячно пересматривает времена этапов и ожидание | Медленные этапы ведут к финансируемой работе по улучшению | Улучшение разделяется между командами и поставщиками, а показатели эволюционируют |
Контрольный список
- У каждого этапа (обнаружение, подтверждение, ответ, восстановление, решение) есть письменные правила начала, конца и паузы.
- Начало воздействия и время восстановления записываются как отдельные поля для приоритетных инцидентов.
- Отчёты показывают медиану и высокий перцентиль по приоритету и по услуге.
- Число инцидентов за каждой сообщаемой точкой показано.
- Самые старые открытые инциденты перечисляются еженедельно.
- Состояния пауз образуют короткий названный список, а их доля времени сообщается.
- Доли повторного открытия и повторения показаны рядом с каждым показателем времени.
- Заново заведённые заявки связаны с оригиналами, чтобы возраст переносился.
- Ни один показатель времени не используется для ранжирования отдельных операторов или инженеров.
- Выборка закрытых инцидентов читается каждый квартал на честность.
- Комментарии клиентских опросов читаются рядом с данными заявок.
Промпты для ИИ
Сравните среднее и перцентили длительностей наших инцидентов.
I will paste incident records for [service or team] covering [period]. Fields:
[list fields such as logged time, impact start, restore time, closed time,
priority, status history]. Compute the median, the 85th percentile, the 95th
percentile, and the mean of [stage name, for example time to restore] by
[priority], and show how many incidents sit behind each figure. Describe how far
the mean differs from the median and which incidents drive that difference. Do
not invent data or benchmark values. List your assumptions, any rows you
excluded, and anything the data could not tell you.
[paste incident data with personal data removed]
Составьте черновик листа часов для наших показателей времени инцидентов.
Draft a clock sheet for [team name] covering time to detect, time to
acknowledge, time to first response, time to restore, and time to resolve. Our
ITSM tool is [tool name], our monitoring is [monitoring tool], and our status
workflow is [list of statuses]. For each stage, give the start event, stop
event, pause states, time basis ([calendar or business hours]), exclusions, and
a gaming vector with a guardrail. Mark every item you had to assume and list
questions I should answer to complete the sheet. Do not invent targets.
Найдите, куда уходит прошедшее время в нескольких долгих инцидентах.
Here is the status history for [number] long incidents from [service]. For each
incident, list the time spent in each status, mark the active and waiting
states using this rule: [which statuses count as active], and note every
reassignment between [teams or groups]. Report patterns across incidents, not
individuals, and suggest which stage deserves attention first. Do not guess at
causes the data does not show. List your assumptions and what extra fields
would help.
[paste status histories with personal data removed]
Проведите обзор манипуляций для наших целей по времени инцидентов.
We report [metric name] for [priority or service], defined as [definition with
start and stop events]. The target is [target] and the audience is [audience].
List realistic ways the number could improve without helping users, such as
clock pausing, early closure, relabelling, or re-raising tickets. For each way,
propose a guardrail measure or practice that would reveal it, and state how that
guardrail could itself be gamed. Do not invent benchmarks or statistics. List
your assumptions.
Навыки ИИ
- Service Management Metrics skill: используйте, чтобы найти связанные темы и парные ограждения для показателя времени инцидентов, о котором вы собираетесь сообщать.
- Service Management Metrics maintainer skill: используйте, чтобы проверить, что изменение этой темы сохраняет согласованность шаблона, таблицы манипуляций и перекрёстных ссылок.
Главные выводы
- У инцидента есть этапы, и у каждого этапа свои часы, владелец и средство. Называйте этап, который измеряете.
- Длительности инцидентов скошены, поэтому среднее вводит в заблуждение. Сообщайте медиану, высокий перцентиль и возраст самого старого открытого инцидента.
- Записывайте, где каждые часы запускаются и останавливаются, фиксируйте начало воздействия и восстановление отдельно от закрытия заявки и ограничивайте состояния пауз.
- Парьте каждый показатель скорости с показателем долговечности, таким как доли повторения и повторного открытия.
- Описывайте команды и услуги, никогда отдельных операторов, и читайте выборку закрытых инцидентов, чтобы проверить честность чисел.
Источники и дополнительное чтение
- Davidovič, Š., Incident Metrics in SRE: Critically Evaluating MTTR and Friends, O'Reilly Media, 2021, https://sre.google/resources/practices-and-processes/incident-metrics-in-sre/.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
- AXELOS, ITIL Foundation: ITIL 4 Edition, TSO (The Stationery Office), 2019.
- ISO/IEC 20000-1:2018, Information technology: Service management: Part 1: Service management system requirements, International Organization for Standardization.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Управление инцидентами.
- Wikipedia, ITIL.
- Wikipedia, Инженерия надёжности сайтов.
- Wikipedia, Среднее время ремонта.
- Wikipedia, Соглашение об уровне услуг.
- Wikipedia, Логнормальное распределение.
- Wikipedia, Медиана.
- Wikipedia, Перцентиль.