Объём и приоритет инцидентов
Считайте инциденты относительно использования, которое их породило, читайте приоритет как состав, а не как балл, и следите за повторами, потому что форма спроса на инциденты говорит, куда вкладываться, задолго до того, как это сделает время решения любого отдельного инцидента.
Обзор и мотивация
Инцидент в терминах ITIL 4 есть внеплановое прерывание услуги или снижение её качества. Управление инцидентами есть практика, восстанавливающая нормальную работу услуги так быстро, как практически возможно, и ограничивающая вред для бизнеса. Каждый инцидент также есть сигнал: что-то в услуге, её изменениях, её пользователях или её мониторинге не сработало как ожидалось. Поэтому число и характер инцидентов есть один из самых информативных показателей спроса, которыми располагает команда эксплуатации.
Один объём плохой ориентир. Рост инцидентов может означать, что услуга ухудшилась, либо что ею пользуется больше людей, либо что мониторинг улучшился и теперь видит сбои, о которых раньше не сообщали. Падение может означать, что работа над надёжностью окупилась, либо что пользователи перестали утруждать себя сообщениями. Эта тема о том, как читать объём с достаточным контекстом, чтобы отличить эти истории: нормировать на использование, разделять по категориям и услугам и следить за составом приоритетов и долей повторов.
Приоритет составляет вторую половину темы. Практика ITIL обычно выводит приоритет из двух входов: воздействия (какая часть бизнеса затронута) и срочности (как скоро бизнесу нужно исправление). Пара сопоставляется с уровнем приоритета, задающим ожидаемый ответ. У команд Agile есть близкий аналог в том, как они сортируют бэклог: метки серьёзности и срочности на дефектах и «класс обслуживания» на доске потока, решающий, что перескакивает очередь. Слова различаются; вопрос тот же: что нужно обработать первым и почему.
Взгляд ITIL рассматривает инциденты как записи, принадлежащие службе поддержки и группам исполнителей, с категориями, приоритетами и целевыми уровнями услуг. Взгляд Agile рассматривает внеплановую работу как прерывание потока, конкурирующее с плановой работой (см. тему 2.9, Операционная и внеплановая работа). Оба взгляда выигрывают от одних и тех же показателей, если показатели описывают систему, а не людей внутри неё. Служба поддержки есть место, где начинается большинство записей, и её собственные показатели рассматриваются отдельно (см. тему 3.1, Метрики службы поддержки). Как быстро на инциденты реагируют и решают их, рассмотрено в теме 3.3, Время реагирования на инциденты и их устранения. У крупных инцидентов свои показатели (см. тему 3.4, Метрики крупных инцидентов).
Ниже повторяется несколько терминов. Перцентиль есть значение, ниже которого падает заявленная доля наблюдений, так что 85-й перцентиль есть значение, которое 85 % наблюдений не превышают. Соглашение об уровне услуг (SLA) есть документированное обязательство между поставщиком и клиентом. Конфигурационная единица (CI) есть компонент, которым нужно управлять, чтобы предоставлять услугу. Пуассоновский процесс описывает события, поступающие независимо с некоторой средней интенсивностью, что служит полезной первой моделью поступления инцидентов (см. тему 1.6, Статистическая грамотность для метрик услуг).
Предупреждение из темы 1.2 (Закон Гудхарта и психология метрик) применимо здесь больше, чем в большинстве мест. Счёты и приоритеты инцидентов вводят люди, часто под давлением, а число, прилагаемое к записи, можно изменить, изменив способ написания записи. У каждой метрики ниже есть вектор манипуляции, а ограждения входят в определение.
Ключевые принципы
- Нормируйте, прежде чем сравнивать. Счёт мало значит без использования, базы пользователей или объёма транзакций, из которых он получен. Сравнивайте доли между периодами и услугами и показывайте рядом сырой счёт.
- Читайте состав, а не единое число. Распределение приоритетов, распределение категорий и доля повторов вместе говорят больше любого итога.
- Приоритет есть правило, а не настроение. Выводите его из воздействия и срочности по письменной матрице и измеряйте, как часто его меняют постфактум.
- Отделяйте инциденты от запросов. Запрос на что-то обычное не есть сбой. Подсчёт обоих вместе раздувает объём инцидентов и прячет, на что служба поддержки тратит время (см. тему 3.5, Метрики выполнения запросов на обслуживание).
- Повторы есть самый ценный сигнал. Инцидент, возвращающийся, указывает на проблему, которая ещё не решена (см. тему 4.1, Метрики управления проблемами).
- Измеряйте услуги и команды, никогда операторов. Счёты по людям приглашают ранжирование, а ранжирование портит данные (см. тему 1.2, Закон Гудхарта и психология метрик).
- Ожидайте, что объём будет двигаться по причинам, не связанным с качеством. Релизы, сезоны, кампании и смены каналов сообщения сдвигают счёты. Аннотируйте график.
Определения метрик
В таблице перечислены метрики этой темы. Часы и границы указаны в столбце формул. «Закрыт» и «открыт» относятся к меткам времени в записи об инциденте; время открытия есть момент, когда запись создана или когда её создаёт система мониторинга, а время закрытия есть момент, когда инцидент подтверждён как решённый и закрыт.
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Объём инцидентов по услуге | Число инцидентов, открытых по услуге за период | инциденты со временем открытия внутри периода, отнесённые к затронутой услуге; запросы на обслуживание, дубликаты, слитые в родительскую запись, и записи, отменённые как созданные по ошибке, исключаются | число | Записи об инцидентах инструмента ITSM | Управление инцидентами | Дефекты в продуктиве или внеплановые рабочие элементы на команду | Раз в неделю, пересмотр раз в месяц |
| Нормированная интенсивность инцидентов | Инциденты относительно использования услуги | инциденты, открытые в периоде / показатель использования за тот же период и область (активные пользователи, сеансы или транзакции, выбираются и записываются по услуге) × 1000; показатель использования должен идти из источника, отличного от инструмента инцидентов | инцидентов на 1000 единиц использования | Инструмент ITSM плюс данные об использовании из аналитики или мониторинга | Управление инцидентами; управление уровнями услуг | Плотность дефектов на релиз или на пользователя | Раз в месяц |
| Состав приоритетов | Доля открытых инцидентов на каждом уровне приоритета | инциденты с приоритетом, записанным при открытии / все инциденты, открытые в периоде, показанные для каждого уровня; переклассифицированные инциденты считаются по приоритету открытия и показываются снова по приоритету закрытия | процент по уровню | Инструмент ITSM, включая историю смен приоритета | Управление инцидентами | Распределение серьёзности дефектов; состав классов обслуживания | Раз в месяц |
| Доля переклассификации приоритета | Доля инцидентов, чей приоритет изменился между открытием и закрытием | инциденты, закрытые в периоде, чей приоритет закрытия отличается от приоритета открытия / инциденты, закрытые в периоде | процент | След аудита инструмента ITSM | Управление инцидентами | Доля повторной сортировки в бэклоге дефектов | Раз в месяц |
| Концентрация категорий | Доля объёма инцидентов, приходящаяся на самые крупные категории | инциденты в пяти главных категориях по счёту / все категоризированные инциденты в периоде; некатегоризированные инциденты сообщаются отдельно как собственная доля | процент | Поля категории и услуги инструмента ITSM | Управление инцидентами; управление проблемами | Кластеры дефектов по компоненту или эпику | Раз в месяц |
| Доля повторяющихся инцидентов | Доля инцидентов, повторяющихся для той же услуги, конфигурационной единицы и категории в заявленном окне | инциденты в периоде, у которых есть более ранний закрытый инцидент для той же услуги, CI и категории в предшествующем окне (например, 30 дней, задаётся один раз и записывается) / инциденты, открытые в периоде; вновь открытая запись считается повторным открытием, а не повтором | процент | Инструмент ITSM и связи CMDB | Управление инцидентами; управление проблемами | Доля регрессий или ушедших дефектов | Раз в месяц |
| Доля повторного открытия | Доля закрытых инцидентов, которые были открыты заново | инциденты, закрытые в периоде и позже открытые заново в заявленном окне (например, 7 дней) / инциденты, закрытые в периоде | процент | История статусов инструмента ITSM | Управление инцидентами | Вновь открытые дефекты; переделки | Раз в месяц |
| Доля обнаруженных мониторингом | Доля инцидентов, впервые поднятых мониторингом раньше, чем сообщил пользователь | инциденты, чьё первое событие есть автоматическое оповещение / все инциденты, открытые в периоде; инциденты, открытые человеком по оповещению, считаются по времени оповещения | процент | Инструмент ITSM, интеграция с мониторингом | Мониторинг и управление событиями; управление инцидентами | Дефекты, обнаруженные оповещением, против сообщённых клиентами | Раз в месяц |
Две заметки к определениям. Первая: «приоритет» в этой таблице есть приоритет, который несёт запись, и он должен идти из матрицы воздействия и срочности, а не из порядка, в котором люди хотят делать работу. Вторая: объём, сообщаемый за период, есть счёт открытий, а не счёт открытых инцидентов в данный день. Число открытых в любой момент есть показатель бэклога и принадлежит старению (см. тему 3.3, Время реагирования на инциденты и их устранения).
Рекомендации
Считайте тщательно
1. Запишите, что такое инцидент и что им не является. Во многих инструментах инциденты, запросы, оповещения и проблемы хранятся в одной таблице. Решите, какие типы записей считаются, документируйте фильтр и применяйте его каждый раз. Смена фильтра меняет тренд, поэтому записывайте изменения с датой и причиной (см. тему 1.5, Источники данных и инструментирование).
2. Дедуплицируйте перед отчётом. Когда один сбой порождает пятьдесят заявок, родительский инцидент есть событие, а дочерние суть мера его охвата. Сообщайте оба числа: родительские инциденты для числа произошедших сбоев и связанные записи для числа людей, почувствовавших их. Смешение двух заставляет один большой сбой выглядеть как месяц рутинной работы.
3. Относите инциденты к услугам, а также к командам. Услуга есть то, что бизнес покупает и понимает. Используйте каталог услуг (в терминах ITIL «каталог услуг») для определения списка и пересматривайте сопоставление с CI при смене услуг. Инцидент без услуги есть проблема качества данных, которую надо исправить, а доля таких записей стоит сообщения.
Нормируйте и интерпретируйте объём
4. Нормируйте на показатель использования из другого источника. Делите на активных пользователей, сеансы или транзакции, взятые из аналитики или мониторинга, а не из инструмента инцидентов. Услуга, удвоившая пользователей и инциденты, не стала хуже; услуга, чьи инциденты удвоились при ровном использовании, стала. Показывайте сырой счёт рядом с долей, чтобы никто не верил, что знаменатель что-то прячет.
5. Используйте контрольную карту, а не стрелку тренда. Счёты инцидентов колеблются от недели к неделе, даже когда ничего не изменилось. Контрольная карта показывает обычный диапазон вариации, так что команда реагирует на сигнал и оставляет шум в покое. Недельные счёты, движущиеся внутри пределов, не новость; новость есть устойчивая серия по одну сторону от среднего. Поправляйте на сезонность, такую как конец квартала, праздники и циклы релизов, сравнивая сходные периоды.
6. Аннотируйте график событиями. Отмечайте релизы, миграции, кампании, сбои зависимостей и изменения канала сообщения. Новая форма самообслуживания или более заметная кнопка «сообщить о проблеме» могут повысить объём, пока услуга остаётся той же. Большинство споров об объёме быстро заканчиваются, когда график показывает, что произошло на той неделе.
Управляйте приоритетом по правилам
7. Выводите приоритет из воздействия и срочности по опубликованной матрице. Определите воздействие в терминах затронутых пользователей и бизнес-функций, а срочность в терминах того, как скоро вред растёт. Опубликуйте матрицу на странице, где операторы выбирают значения, с двумя-тремя разобранными примерами на ячейку. Избегайте полей приоритета со свободным выбором; они превращаются в торг, и число инцидентов «приоритет 1» становится мерой убедительности.
8. Сообщайте состав и долю переклассификации вместе. В здоровом составе небольшое число инцидентов высшего приоритета и широкая база более низких. Если верхний уровень растёт, спросите, вырос ли вред или клиенты узнали, что «критическому» уделяют внимание. Доля переклассификации показывает, насколько хорошо матрица подходит: частые изменения при закрытии означают, что правило неясно или первая оценка торопливая. Пересматривайте выборку переклассифицированных записей каждый месяц в группе, владеющей матрицей.
9. Держите приоритет и класс обслуживания Agile согласованными. Где команды поставки получают работу, порождённую инцидентами, используйте те же слова и ту же матрицу или опубликуйте ясное сопоставление. Команда, называющая дефект «высоким», в то время как эксплуатация называет тот же дефект «средним», потеряет время на перевод. Зарезервируйте явное допущение для срочной работы, чтобы прерывание было видно в показателях потока (см. тему 2.1, Показатели потока).
Ищите повторы и закономерности
10. Отслеживайте повторы и повторные открытия как отдельные сигналы. Повторное открытие означает, что первое исправление не удержалось; повтор означает, что тот же вид сбоя вернулся после надлежащего исправления. Первое указывает на качество решения, второе на нерешённую причину. Связывайте повторяющиеся кластеры с записями о проблемах и перестаньте считать инцидент исправленным, когда он, вероятно, вернётся (см. тему 4.1, Метрики управления проблемами).
11. Используйте принцип Парето, чтобы выбрать, куда смотреть. Отсортируйте категории и услуги по числу инцидентов и посмотрите, как немногие составляют большую часть объёма. Исследуйте первые несколько, прежде чем строить новые отчёты для остальных. Форма есть побуждение к анализу первопричин, а не вывод, потому что категория с большим счётом может просто быть той, которую легко категоризировать.
12. Возвращайте находки командам поставки и службе поддержки. Делитесь видами категорий и повторов с командами, создающими и меняющими услуги, в регулярном разговоре, а не в отчёте. Поставьте каждому повторяющемуся кластеру владельца, следующий шаг и дату и помещайте работу в тот же бэклог, что и другие приоритеты (см. тему 2.6, Метрики бэклога и его уточнения). Объём падает, когда причины убираются, а для этого нужна плановая ёмкость.
Векторы манипуляции и ограждения
| Метрика | Как её искажают | Парная метрика или практика-ограждение |
|---|---|---|
| Объём инцидентов по услуге | Регистрировать инциденты как запросы, сливать несвязанные заявки, отбивать у пользователей охоту сообщать или закрывать дубликаты как «сбой не найден» | Объём обращений пользователей и объём запросов рядом с объёмом инцидентов; удовлетворённость и отказ от ожидания в службе поддержки; выборка запросов, читающихся как сбои |
| Нормированная интенсивность инцидентов | Выбирать знаменатель, дающий лучшую цифру, или менять определение использования между периодами | Фиксированный показатель использования на услугу, записанный в реестре; сырые счёты рядом с долей |
| Состав приоритетов | Понижать приоритеты, чтобы выглядеть спокойно, или повышать, чтобы привлечь внимание; присваивать низкий приоритет, чтобы избежать цели реагирования | Доля переклассификации приоритета; ежемесячная выборочная проверка относительно матрицы воздействия и срочности; воздействие по сообщениям клиентов |
| Доля переклассификации приоритета | Не менять приоритет, когда следует, чтобы доля выглядела стабильной; менять его только при закрытии, чтобы подогнать под цель | Выборка записей, где воздействие изменилось в ходе инцидента; пересмотры хронологии инцидентов |
| Концентрация категорий | Использовать универсальную категорию или делить большую категорию на несколько, чтобы спрятать концентрацию | Доля некатегоризированных записей и записей «другое»; периодический пересмотр списка категорий; сверка категорий с заметками о решении |
| Доля повторяющихся инцидентов | Открывать новый инцидент с другой формулировкой или CI, чтобы избежать связи; закрывать рано, чтобы избежать повторного открытия | Пересмотр почти дублирующих записей по тексту и услуге; доля повторного открытия; доля связей с записями о проблемах |
| Доля повторного открытия | Просить пользователей завести новую заявку вместо повторного открытия; закрывать заявки поздно, чтобы избежать повторных открытий | Число новых заявок, ссылающихся на недавно закрытую; подтверждение решения клиентом; распределение времени до закрытия |
| Доля обнаруженных мониторингом | Создавать шумные оповещения, автоматически открывающие инциденты, или позволять людям перемечать сообщения пользователей как оповещения | Показатели качества оповещений, такие как доля применимых оповещений (см. тему 5.5, Метрики мониторинга и качества оповещений); аудит источника инцидентов |
Здоровое чтение скучно и объяснимо. Нормированные доли стабильны или падают для стабильных услуг и растут при росте использования или изменений по причине, которую показывает график. Состав приоритетов стабилен, переклассификация низка, а небольшой набор категорий получает намеренное внимание. Повторы и повторные открытия падают после плановой работы над проблемами, и у движения любого показателя есть объяснение, которое кто-то может дать, не защищая число.
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| Сырые счёты инцидентов | Просты, легко объяснить, всегда доступны | Смешивают использование, качество и поведение сообщения в одно число |
| Доли относительно использования | Позволяют честное сравнение между периодами и услугами | Нужен надёжный источник использования; знаменатели можно оспаривать |
| Фиксированная матрица воздействия и срочности | Последовательный приоритет между командами; поддаётся аудиту | Может ощущаться жёсткой; крайним случаям нужны суждение и путь переопределения |
| Приоритет со свободным выбором | Быстро и гибко для опытных операторов | Непоследователен, открыт давлению, трудно сравнивать во времени |
| Подробное дерево категорий | Показывает, откуда идёт спрос | Трудно использовать под давлением; люди выбирают первое совпадение или «другое» |
| Короткий список категорий с метками | Быстро применять и последовательно | Меньше деталей; может скрыть закономерности, требующие анализа текста |
| Доля повторов по CI и категории | Указывает на нерешённые причины | Зависит от хороших данных CI; случаются и ложные связи, и пропуски |
Примите, что ни один показатель не верен единолично. Используйте сырые счёты для планирования ёмкости, доли для здоровья, состав приоритетов для риска, а повторы для улучшения, и показывайте каждый как то, что он есть. Держите список категорий достаточно коротким, чтобы им пользовались, и улучшайте дерево только когда решению нужна более тонкая деталь.
Вопросы для обсуждения в команде
1. Что здесь считается инцидентом и все ли применяют правило одинаково? Возьмите десять недавних записей и попросите каждого пометить их как инцидент, запрос или что-то иное. Сравните ответы и обсудите расхождения. Ведущему стоит искать привычки вроде отношения к каждой заявке от старшего человека как к инциденту, а затем договориться об одном письменном правиле с примерами. Запишите дату, чтобы последующие тренды читались верно.
2. Когда объём инцидентов вырос в прошлом квартале, что мы знали об использовании и изменениях в то время? Положите график рядом с хронологией релизов, кампаний и цифр использования. Спросите, какой рост объяснён, а какой нет. Обсуждение обычно показывает, как редко знаменатель есть на странице. Договоритесь, какой показатель использования будет нести каждая услуга отныне.
3. Как решается приоритет и когда он в последний раз нас удивил? Пройдите по матрице воздействия и срочности с недавним примером для каждого уровня приоритета. Спросите, где операторы гадают, а где давят клиенты или менеджеры. Сравните приоритет открытия и приоритет закрытия нескольких записей. Решите об одном изменении матрицы или её примеров, сокращающем споры.
4. Какие три категории занимают большую часть нашего объёма инцидентов и кто работает над устранением причины? Перечислите главные категории и для каждой владельца лежащей в основе причины. Если ответ «никто», это находка. Спросите, является ли категория настоящим кластером или привычкой помечать. Выберите один кластер для исследования с командой поставки в этом квартале.
5. Как мы отличаем повтор от повторного открытия и что делаем с каждым? Покажите команде две-три пары записей и спросите, какие из них повторы. Обсудите, что повторное открытие говорит о качестве первого исправления и что повтор говорит о причине. Ведущему стоит направить группу к связыванию повторяющихся кластеров с записями о проблемах вместо закрытия их по одному. Договоритесь, кто их пересматривает и как часто.
6. Что нас соблазняло бы изменить, если бы наш счёт инцидентов каждую неделю пересматривало старшее руководство? Попросите группу представить число на стене. Какие привычки сдвинулись бы: как всё регистрируется, как сливаются заявки, как задаются приоритеты? Назовите давление открыто и без обвинений. Договоритесь, какое ограждение показало бы сдвиг и кто на него смотрит.
Четыре точки зрения
Продуктовые команды и команды поставки
Команды поставки получают результат этой темы как спрос. Виды категорий и повторов показывают, какие части продукта вызывают больше всего неприятностей, а состав приоритетов показывает, сколько прерывающей работы планировать. Командам следует относиться к работе, порождённой инцидентами, как к части своей ёмкости, держать её видимой в показателях потока и использовать повторяющиеся кластеры, чтобы обосновывать работу над надёжностью в бэклоге (см. тему 2.9, Операционная и внеплановая работа). Подсчёт инцидентов на релиз есть полезный тренд, хотя он никогда не должен становиться мерой вины для отдельных разработчиков.
Команды услуг и эксплуатации
Команды услуг и эксплуатации создают записи и чувствуют давление вокруг приоритета. Им полезны ясная матрица, короткий список категорий и быстрые способы связывать дубликаты. Им следует проверять данные в своих инструментах, такие как доля некатегоризированных записей и доля переклассификации, раньше, чем это сделают другие. Команды эксплуатации хорошо расположены, чтобы вести ежемесячную выборочную проверку и подавать повторяющиеся кластеры в управление проблемами.
Руководство и управление
Руководители хотят знать, становится ли услуга лучше и куда вкладываться. Им следует просить нормированные доли, состав приоритетов и вид повторов с аннотациями и сопротивляться единой цифре объёма. Цели «меньше инцидентов» приглашают подавление, поэтому вместо них задавайте ожидания по результатам, таким как воздействие на клиентов и сокращение повторов. Управление должно владеть матрицей приоритетов и утверждать изменения в ней, с отметкой эффекта на линиях трендов.
Клиенты и пользователи
Клиенты переживают инциденты как прерванную работу, а не как категории. Им нужны лёгкий способ сообщить о сбое, честный приоритет, основанный на их воздействии, и честные обновления. Если сообщения отбивают или приоритеты кажутся произвольными, объём упадёт, а с ним и доверие. Делитесь основными находками в терминах, которые узнают пользователи, такими как улучшенные услуги и убранные проблемы (см. тему 6.1, Метрики удовлетворённости клиентов).
На практике: пример из управления услугами
ИТ-отдел региональной больницы поддерживает систему медицинских записей, систему расписания и средство обмена сообщениями персонала. Все числа в этом примере иллюстративны.
Ежемесячный отчёт показывает 640 инцидентов в последнем месяце квартала против 520 месяцем раньше. Руководство просит план восстановления. Владелец услуги системы расписания, у которой рост самый большой, просит посмотреть данные, прежде чем согласиться, что услуга стала хуже.
Выявляются три факта. Во-первых, система расписания получила в этом месяце новую группу клиник, и активные пользователи выросли примерно на 30 % (иллюстративно). После нормировки интенсивность инцидентов на 1000 сеансов осталась примерно ровной. Во-вторых, 90 дополнительных записей были связаны с одним родительским инцидентом, неисправным интерфейсом с лабораторной системой, так что число различных сбоев выросло лишь на горстку. В-третьих, сдвинулся состав приоритетов: доля высшего приоритета была 2 % месяцем раньше и 7 % сейчас. Доля переклассификации также удвоилась, а выборка из 20 записей показала, что около половины высоких приоритетов были понижены при закрытии.
Команда принимает три решения. Она сообщает родительские инциденты и связанные записи отдельно. Она добавляет активные сеансы в отчёт как знаменатель. Она проводит получасовую сессию со службой поддержки и клиническими руководителями, чтобы применить матрицу воздействия и срочности к выбранным записям, что показывает: «клиника не может записывать пациентов» некоторыми операторами считалось средним, а другими высоким. Матрица получает два клинических примера на ячейку.
Риск манипуляции, который они ловят, тихий. Менеджер просил операторов избегать приоритета 1 для системы расписания, потому что каждый запускал пересмотр, так что записи открывались с более низким приоритетом и повышались позже или не повышались вовсе. Доля переклассификации и выборочная проверка выявили закономерность. Команда договаривается, что пересмотры служат обучению, публикует это заявление и отслеживает долю инцидентов, открытых ниже приоритета закрытия, как ограждение. Концентрация категорий также показывает неисправность интерфейса в верху списка, поэтому открывается запись о проблеме, а исправление планируется с командой интерфейса.
Agile, ИИ, автоматизация и аналитика
Agile
Пересматривайте спрос на инциденты в регулярных разговорах об улучшении с продуктовыми командами, владеющими затронутыми услугами, и выбирайте одну повторяющуюся причину для устранения. Осторожность в том, что цель «меньше инцидентов» может снизить честность сообщений; поэтому держите долю обнаруженных мониторингом рядом со счётом.
ИИ
ИИ может классифицировать и приоритизировать инциденты в большом объёме, что сдвигает состав приоритетов и концентрацию категорий без какого-либо изменения реального воздействия. Парьте состав приоритетов с выборочной проверкой человеком честности приоритета и сообщайте долю переклассификации для приоритетов, присвоенных ИИ. Осторожность в том, что модель, обученная на прошлых заявках, повторяет старые привычки категорий; поэтому следите за новыми видами инцидентов, заводимыми под старыми ярлыками.
Автоматизация
Фиксируйте создание инцидентов, смены приоритета и оповещения мониторинга автоматически, чтобы объём считался по событиям, и измеряйте шаг автоклассификации по доле ошибок. Осторожность в том, что шторма оповещений создают счёты инцидентов, отражающие инструменты, а не вред пользователям; поэтому нормируйте на использование и дедуплицируйте.
Аналитика
Нормируйте объём на использование и показывайте приоритет как состав во времени, с повторяющимися инцидентами, связанными с причиной. Решение, которое это информирует, состоит в том, куда вкладываться в предотвращение. Осторожность в том, что малый счёт инцидентов высокого приоритета слишком мал для сравнения от месяца к месяцу; поэтому используйте более длинные окна.
Отраслевой взгляд
Стартап. Объём мал, и команда знает каждый инцидент, так что доли и матрицы могут ощущаться тяжёлыми. Ведите простой счёт по услугам и короткий список категорий и запишите на одной странице, что считается инцидентом. Следите за повторами, потому что маленькая команда может быстро устранить повторяющийся сбой и вернуть время.
Малый бизнес. Служба поддержки может быть одним человеком с размещённым инструментом. Используйте стандартные отчёты инструмента, держите приоритет в нескольких уровнях с простым правилом воздействия и срочности и проверяйте, что запросы не считаются инцидентами. Сравнивайте месяц с месяцем, с заметками об изменениях, таких как новые сотрудники или новое программное обеспечение.
Крупная компания. Много услуг, поставщиков и служб делают главной задачей последовательность. Согласуйте одну матрицу воздействия и срочности, одну схему категорий ограниченной глубины и одно правило дедупликации и позвольте местным командам добавлять метки, не меняя общую схему. Нормируйте по услугам и пересматривайте тренды с контрольными картами и аннотациями. Инцидентам, вызванным поставщиками, нужно общее определение в контрактах (см. тему 5.1, Метрики SLA, OLA и XLA).
Государство и публичный сектор. Инциденты могут нести обязанности по отчётности, нужды аудита и общественный интерес, особенно когда услуги затрагивают права или безопасность граждан. Документируйте матрицу приоритетов и схему категорий, ведите след аудита изменений приоритета и будьте осторожны с любым опубликованным счётом, поскольку публичная отчётность может создавать сильное давление на то, как пишутся записи. Данные об использовании могут быть ограничены правилами приватности, поэтому указывайте знаменатель, который можете законно использовать (см. тему 8.5, Регулируемая и государственная отчётность).
Бизнес-обоснование: мотивы, ROI и TCO
Мотив есть управление спросом. Инциденты потребляют время квалифицированных людей, прерывают плановую работу и нарушают работу пользователей. Понимание объёма, приоритета и повторов позволяет организации убирать причины, планировать штат под реальный спрос и показывать руководству, где работа над надёжностью окупилась бы.
Цена имеет три части. Настройка охватывает определение инцидента и запроса, согласование матрицы приоритетов и схемы категорий и связывание данных об использовании с услугами. Текущая цена есть усилие на поддержание записей в чистоте, ежемесячная выборочная проверка и человек для поддержки отчёта. Третья цена есть время действовать по находкам, и именно оттуда идёт большая часть отдачи, поэтому планируйте на это ёмкость.
Отдачу лучше всего описывать закономерностями, которые вы можете измерить сами. Они включают меньше повторов после работы над проблемами, меньше времени на споры о приоритете, меньше неожиданных эскалаций и лучшее соответствие штата и спроса. Избегайте обещания процента сокращения инцидентов; он зависит от услуги, исходной точки и проделанной работы. Совокупная стоимость владения в основном состоит из времени людей, поэтому считайте его и сравнивайте со временем, которое сейчас потребляют повторяющиеся инциденты.
Антипаттерны и ловушки
- Сообщение сырого счёта как оценки здоровья. Использование, изменения и поведение сообщения двигают его. Показывайте нормированные доли, сырые счёты и аннотации вместе.
- Цели «меньше инцидентов». Они награждают подавление и неверную пометку. Ставьте цели на сокращение повторов и воздействие на клиентов и держите счёт инцидентов как информацию.
- Подсчёт запросов как инцидентов. Объём растёт, и услуга выглядит хуже, чем есть. Разделяйте типы записей и сообщайте каждый.
- Приоритет со свободным выбором. Приоритет становится торгом, а состав бессмысленным. Используйте опубликованную матрицу и выборочно проверяйте последовательность.
- Дерево категорий, которым никто не пользуется. Люди выбирают первое совпадение, а «другое» растёт. Держите его коротким, пересматривайте «другое» ежемесячно и подрезайте неиспользуемое.
- Подсчёт каждой связанной заявки как отдельного сбоя. Один сбой доминирует в месяце. Сообщайте родительские инциденты и число связанных записей.
- Ранжирование операторов или команд по счётам инцидентов. Счёты по людям отражают распределение работы и привычки заявок. Агрегируйте до услуг и пересматривайте закономерности, а не людей.
- Игнорирование повторов. Один и тот же сбой исправляют снова и снова, и никто не владеет причиной. Связывайте повторы с записями о проблемах и назначайте владельца.
Модель зрелости
| Измерение | 1 Инициирование | 2 Развитие | 3 Стандартизация | 4 Управление | 5 Оркестрация |
|---|---|---|---|---|---|
| Определения и подсчёт | Люди расходятся в том, что есть инцидент; счёты идут из разовых выгрузок | Некоторые команды отфильтровывают запросы от инцидентов; правила различаются | Одно письменное определение, фильтр и правило дедупликации для всех команд | Изменения определений записываются и показываются на графиках трендов; доля некатегоризированных записей отслеживается | Определения пересматриваются с поставщиками и клиентами и обновляются, когда перестают информировать решения |
| Нормирование и интерпретация | Только сырые счёты | Данные об использовании применяются у нескольких услуг | Названный показатель использования на услугу из отдельного источника | Контрольные карты с аннотациями используются на пересмотрах | Данные об использовании, изменениях и инцидентах связываются между командами и поставщиками для объяснения спроса |
| Практика приоритета | Приоритет выбирается на глаз | Матрица существует у некоторых команд | Одна матрица с примерами, показанная там, где выбирается приоритет | Состав и доля переклассификации пересматриваются и выборочно проверяются ежемесячно | Матрица настраивается с клиентами и клиническими или бизнес-владельцами по мере изменения условий |
| Повторы и закономерности | Повторы замечаются по памяти | Списки категорий пересматриваются время от времени | Доли повторов и повторных открытий сообщаются ежемесячно с заявленным окном | Повторяющиеся кластеры связаны с записями о проблемах с владельцами и датами | Устранение причин между командами и поставщиками финансируется и отслеживается до сокращения спроса |
Контрольный список
- Письменное определение отделяет инциденты от запросов, оповещений и проблем.
- Родительские инциденты и связанные записи сообщаются отдельно.
- Каждый инцидент отнесён к услуге из каталога услуг.
- У каждой услуги есть названный показатель использования из источника, отличного от инструмента инцидентов.
- Отчёты показывают сырой счёт, нормированную долю и аннотации для релизов и кампаний.
- Контрольная карта используется, прежде чем кто-либо реагирует на изменение недельного объёма.
- Приоритет выводится из опубликованной матрицы воздействия и срочности с примерами.
- Состав приоритетов и доля переклассификации пересматриваются вместе каждый месяц.
- Список категорий короток, а доля «другое» и некатегоризированных записей отслеживается.
- Доли повторов и повторных открытий используют заявленные окна и сообщаются отдельно.
- Повторяющиеся кластеры связаны с записями о проблемах с владельцем.
- Ни один отчёт не ранжирует отдельных операторов по счётам инцидентов.
Промпты для ИИ
Проверьте определение объёма инцидентов на неоднозначность.
We count incident volume for [service or team] from [ITSM tool]. Our current
filter is [describe record types, statuses, and exclusions] and our period is
[period]. Review the definition for ambiguity, including how requests, duplicates,
merged tickets, and cancelled records are handled. Suggest a clear written rule
and a short list of examples that would settle disagreements. Do not invent
benchmark values. List your assumptions and the questions I should answer to
complete the definition.
Спроектируйте нормированную интенсивность инцидентов.
For the service [service name] I want an incident rate normalized by usage. The
available usage measures are [list, for example active users, sessions,
transactions] from [source]. Compare the options, say which fits best and why,
and describe what could distort each one. Propose how to show the raw count, the
rate, and annotations for [events such as releases or campaigns] on one chart.
Do not invent figures or thresholds. List your assumptions.
Проверьте матрицу воздействия и срочности.
Here is our priority matrix: [paste impact levels, urgency levels, and the
resulting priorities], and here are [number] anonymized example incidents:
[paste short descriptions]. Apply the matrix to each example, point out where two
readers could reach different priorities, and suggest wording or examples that
reduce the disagreement. Identify ways the matrix could be gamed. Do not invent
response targets or benchmark values. List your assumptions.
Проанализируйте категории и повторы на кандидатов в улучшения.
I have incident records for [period] with these fields: [list fields, for
example service, category, CI, opening time, closing time, reopen flag]. Describe
a method to find the top categories, to separate reopens from repeats using a
window of [window], and to choose [number] candidates for problem investigation.
Explain how to check for catch-all categories and near-duplicate records. Do not
invent patterns in data I have not shown you. List your assumptions.
Навыки ИИ
- Service Management Metrics skill: используйте, чтобы найти тему, определяющую связанную метрику, и ограждение, которое должно стоять рядом.
- Service Management Metrics maintainer skill: используйте, чтобы проверить, что изменённая тема о метрике сохраняет полными свои часы, векторы манипуляции и ограждения.
Главные выводы
- Объём инцидентов отражает использование, изменения и поведение сообщения так же, как качество, поэтому нормируйте его и аннотируйте.
- Читайте приоритет как состав, выводите его из опубликованной матрицы воздействия и срочности и следите за долей переклассификации.
- Сообщайте родительские инциденты и связанные записи отдельно, чтобы один сбой не выглядел как месяц рутинной работы.
- Повторы и повторные открытия суть самые полезные сигналы, потому что указывают на причины и исправления, которые не удержались.
- Агрегируйте до услуг и команд, никогда до отдельных операторов, и парьте каждую метрику с ограждением.
- Используйте контрольные карты и виды Парето, чтобы решить, куда смотреть, затем дайте каждому кластеру владельца и ёмкость.
Источники и дополнительное чтение
- Axelos (now PeopleCert), ITIL Foundation: ITIL 4 Edition, TSO, 2019.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Wheeler, D. J., Understanding Variation: The Key to Managing Chaos, 2nd edition, SPC Press, 2000.
- Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- ISO/IEC 20000-1, Information technology: Service management: Service management system requirements, International Organization for Standardization.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, ITIL.
- Wikipedia, Управление инцидентами.
- Wikipedia, Программное обеспечение службы поддержки.
- Wikipedia, Контрольная карта.
- Wikipedia, Сезонность.
- Wikipedia, Принцип Парето.
- Wikipedia, Анализ первопричин.