Метрики управления проблемами
Метрики управления проблемами показывают, убирает ли команда причины своих инцидентов или лишь чинит их симптомы; поэтому измеряйте, сколько причин найдено, как быстро они исправлены навсегда и возвращаются ли те же инциденты.
Обзор и мотивация
Команда, быстро восстанавливающая услугу, всё же может бежать по беговой дорожке. Один и тот же сбой возвращается каждые несколько недель, одни и те же люди получают вызовы, а числа инцидентов выглядят здорово, потому что каждый ремонт быстр. Управление проблемами есть практика, которая сходит с дорожки. Она смотрит сквозь инциденты, находит лежащую в основе причину и добивается её устранения или сдерживания. Эта тема охватывает числа, говорящие, происходит ли эта работа и работает ли она.
Тему несут четыре термина. Инцидент есть внеплановое прерывание услуги или снижение её качества в том смысле, как это слово использует рамка ITIL (см. тему 3.3, Время реагирования на инциденты и их устранения). Проблема есть лежащая в основе причина, или предполагаемая причина, одного или нескольких инцидентов. Известная ошибка есть проблема, причина которой понятна и для которой записан обходной путь, хранимая в базе известных ошибок, чтобы следующий, кто встретит симптом, мог её найти. Обходной путь уменьшает или избегает воздействия инцидента или проблемы, не убирая её причину. Постоянное исправление есть изменение, убирающее причину.
Нахождение причины есть задача анализа первопричин. Распространённые приёмы включают пять «почему», диаграмму Исикавы и диаграмму Парето, ранжирующую причины по тому, как часто они происходят или сколько вреда причиняют. У сложных систем часто несколько способствующих причин и нет единого виновника, поэтому хорошая запись о проблеме называет факторы, устранение которых останавливает повторение, и говорит, насколько уверена команда.
Метрики важны, потому что у управления проблемами есть встроенная ловушка отчётности. Открыть запись о проблеме легко, и это кажется продуктивным. Закрыть её тоже легко, поскольку запись можно закрыть заметкой. Ни одно из событий не показывает, что что-то стало лучше для пользователей. Показатели, на которые стоит смотреть, лежат дальше по течению: прекращают ли повторяться инциденты, связанные с проблемой, действительно ли известными ошибками пользуются дежурные и как долго диагностированная причина ждёт своего исправления.
Взгляды ITIL и Agile встречаются здесь без особого трения. В ITIL 4 управление проблемами есть практика внутри системы создания ценности услуг, близкая к управлению инцидентами, управлению изменениями и управлению знаниями. Её аналог в Agile есть поток малых, основанных на свидетельствах исправлений, текущих через бэклог команды, ретроспектива, замечающая закономерность, и привычка относиться к работе над надёжностью как к обычной продуктовой работе. Где взгляд ITIL подчёркивает записи, владение и известную ошибку, взгляд Agile подчёркивает малые партии и быструю обратную связь. Оба хотят меньше повторных инцидентов, и именно этот результат есть показатель, который надо держать перед всеми.
Эта тема не повторяет часы инцидентов (см. тему 3.3, Время реагирования на инциденты и их устранения) или показатели крупных инцидентов (см. тему 3.4, Метрики крупных инцидентов) и рассматривает доведение пересмотров до конца лишь там, где оно питает проблемы (см. тему 4.2, Метрики разборов и обучения). Бэклог известных ошибок и более широкая идея технического долга рассматриваются в теме 4.6, Технический долг и известные ошибки. Здесь фокус на записи о проблеме и результатах, которые она порождает. Показатели восстановления и сбоев на основе развёртываний живут в теме 2.8, Метрики DORA.
Ключевые принципы
- Измеряйте повторение, а не бумажную работу. Проверка управления проблемами состоит в том, что связанные инциденты перестают возвращаться. Счёты открытых и закрытых записей описывают активность и мало говорят о результате.
- Разделяйте три момента. Обнаружение того, что закономерность существует, определение её причины и устранение причины суть разные события с разными часами и разными владельцами. Слияние их прячет, где сидит задержка.
- Обходной путь есть этап, а не конец. Записывайте его, используйте его и отслеживайте, как долго он остаётся единственной защитой. Обходной путь, живущий годами, есть долг с владельцем, которого никто не может назвать.
- Ставьте исправление там, где работа. Постоянное исправление обычно приходит как изменение или элемент бэклога, во владении продуктовой команды. Измеряйте его в собственном потоке команды и показывайте команде, владеющей услугой.
- Связывайте инциденты с проблемами у источника. Каждый показатель здесь зависит от связи между инцидентом и проблемой. Если связь слаба, слабы и числа.
- Предпочитайте распределения и когорты средним. Длительности проблем длинны и скошены, и несколько старых записей доминируют в любом среднем (см. тему 1.6, Статистическая грамотность для метрик услуг).
- Описывайте команды и услуги, никогда людей. Проблемы суть свойства систем. Таблица закрытых проблем на аналитика превращает расследование в квоту.
Определения метрик
Все часы используют метки времени записи о проблеме, связанных записей об инцидентах и связанного изменения или элемента бэклога. Если строка не говорит иначе, проблемы считаются по услуге и владеющей команде, а слитые или дублирующие записи исключаются. Для каждой длительности предпочтительны перцентили, а не средние. Числа в примере этой темы иллюстративны.
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Открытые и закрытые проблемы | Поток записей о проблемах в открытое состояние и из него, по услуге | Число открытых в периоде и число закрытых в периоде, каждое по коду закрытия (исправлено, принятый риск, дубликат, не воспроизводится); дубликаты показываются, но исключаются из счёта «исправлено» | число за период | Записи о проблемах ITSM | Управление проблемами | Приток в бэклог и пропускная способность | Раз в месяц |
| Возраст бэклога проблем | Как долго открытые проблемы ждут | Для каждой открытой проблемы дата снимка минус дата создания записи; сообщайте медиану и 85-й перцентиль открытых проблем и самую старую, по приоритету | дни | Записи о проблемах ITSM | Управление проблемами | Возраст рабочего элемента на доске | Раз в месяц |
| Доля связей инцидента с проблемой | Доля инцидентов, указывающих на проблему или известную ошибку там, где ожидается | Инциденты в периоде со связанной проблемой или известной ошибкой / инциденты в периоде с приоритетом высоким или выше, либо вновь открытые, либо в повторяющейся категории; инциденты, закрытые как ошибка пользователя или дубликаты, исключаются | процент | Записи об инцидентах и проблемах ITSM | Управление инцидентами; управление проблемами | Выявление закономерностей на ретроспективе | Раз в месяц |
| Время до первопричины | Сколько времени диагностируемая проблема достигает записанной причины | Часы запускаются, когда запись о проблеме создана, и останавливаются, когда причина записана и второй человек её проверил; проблемы, закрытые без причины, исключаются и считаются отдельно; сообщайте медиану и 85-й перцентиль | дни | Записи о проблемах ITSM и их след аудита | Управление проблемами | Исследование или ограниченное по времени расследование | Раз в месяц |
| Доля повторного использования известных ошибок | Как часто известная ошибка используется, когда приходит инцидент | Инциденты, решённые со связанной известной ошибкой или её обходным путём / инциденты в периоде, чей симптом совпадает с известной ошибкой, существовавшей в то время; инциденты без совпадающей известной ошибки исключаются | процент | Связи инцидентов в ITSM; использование статей знаний | Управление знаниями; управление проблемами | Использование руководства или сценария команды | Раз в месяц |
| Время до постоянного исправления | Сколько времени проблема остаётся открытой от диагностики до исправления в продуктиве | Часы запускаются, когда причина записана, и останавливаются, когда связанное изменение с исправлением внедрено и подтверждено; проблемы, закрытые как принятый риск, исключаются и считаются отдельно; сообщайте медиану и 85-й перцентиль | дни | Записи о проблемах; записи об изменениях или события развёртывания конвейера | Управление проблемами; управление изменениями | Время цикла элемента исправления | Раз в месяц |
| Доля повторения после исправления | Доля исправленных проблем, чьи связанные симптомы вернулись | Проблемы, закрытые как исправленные в квартальной когорте, с новым совпадающим инцидентом в течение 90 дней после запуска исправления / проблемы, закрытые как исправленные в том квартале; окно в 90 дней есть пример и указывается на графике | процент | Записи об инцидентах и проблемах ITSM; события развёртывания | Управление проблемами; непрерывное улучшение | Доля ушедших дефектов или регрессий | Раз в квартал |
| Доля проблем только с обходным путём | Доля известных проблем, защищённых только обходным путём | Открытые проблемы в состоянии известной ошибки без запланированного исправления / открытые проблемы в состоянии известной ошибки; проблемы с принятым риском, имеющие названного владельца и дату пересмотра, показываются отдельной группой | процент | Записи о проблемах ITSM | Управление проблемами; управление рисками | Реестр технического долга | Раз в месяц |
Окно в 90 дней, правило сопоставления симптомов и определение «ожидается» в доле связей суть примеры. Команда выбирает значения, подходящие её услугам, и записывает их в реестр метрик (см. тему 1.4, Управление метриками и ответственность за них). Подсчёт проблем, закрытых как «исправлено», отдельно от других кодов закрытия сохраняет честность пары «открыто и закрыто».
Рекомендации
Решите, что считается проблемой
1. Открывайте проблему по свидетельству и говорите, какое это свидетельство. Хорошие триггеры: повторные инциденты с одним симптомом, крупный инцидент с неизвестной причиной, тренд, найденный на пересмотре, или риск, замеченный до любого инцидента. Запишите триггер в записи, например «пять инцидентов за шесть недель, связанных с одной услугой». Если каждый необычный инцидент становится записью о проблеме, бэклог наполняется шумом, и никто его не читает.
2. Используйте небольшой общий набор кодов закрытия. Исправлено, принятый риск, дубликат, не воспроизводится и слито достаточно для большинства команд. У каждого кода есть однострочный смысл и владелец, который может им пользоваться. Состав кодов закрытия информативнее числа закрытых, потому что показывает, сколько работы убрало причину, а сколько закончилось без изменения.
Связывайте инциденты и проблемы у источника
3. Сделайте связь шагом закрытия инцидента. Просите исполнителя связать инцидент с проблемой, известной ошибкой или «не найдено» перед закрытием. Предлагайте подходящие варианты из инструмента, когда он может, и позвольте решать человеку. Связь, сделанная неделями позже в массовом упражнении, ненадёжна (см. тему 1.5, Источники данных и инструментирование).
4. Договоритесь, как сопоставляются симптомы. Повторение зависит от решения, когда два инцидента «одинаковы». Короткая таксономия причин и симптомов с определениями и примерами лучше свободного текста. Пересматривайте выборку сопоставлений каждый квартал, поскольку несовпадения в обе стороны смещают долю повторения.
5. Пусть пересмотр закономерностей питает список проблем. Ежемесячный пересмотр категорий инцидентов по услуге и по диаграмме Парето показывает, какие немногие причины порождают большую часть боли. Используйте пересмотр, чтобы открывать проблемы и приоритизировать их, и отправляйте повторяющиеся причины из пересмотров крупных инцидентов в тот же список (см. тему 3.2, Объём и приоритет инцидентов).
Измеряйте три задержки
6. Замеряйте этапы отдельно. Измеряйте от создания записи до записанной причины и от записанной причины до исправления в продуктиве. Первая задержка указывает на ёмкость расследования, доступ к данным и навыки. Вторая указывает на приоритизацию, процесс изменений и конкурирующую работу над функциями. Единое «время закрытия проблемы» смешивает их и не даёт никому ясного действия.
7. Сообщайте о старых. Показывайте медиану и 85-й перцентиль возраста открытых проблем и перечисляйте самые старые по услуге. Несколько записей возрастом в годы сдвинут среднее и мало что скажут, тогда как список самых старых приглашает решение: исправить, принять риск с названным владельцем и датой пересмотра или закрыть с причиной.
Поместите исправление в обычный поток
8. Относитесь к постоянному исправлению как к элементу бэклога с владельцем и датой. Свяжите проблему с изменением или рабочим элементом, несущим исправление, и показывайте исправление на той же доске, что и работу над функциями. Приоритизируйте по согласованному правилу, например сопоставляя цену повторяющихся инцидентов с усилием на исправление. Где исправлению нужно изменение, путь стандартного изменения должен быть быстрым для низкорисковых коррекций (см. тему 4.3, Метрики управления изменениями).
9. Просите обходной путь и дату выхода вместе. Обходной путь покупает время. Запишите его как известную ошибку, проверьте, что дежурная команда может его найти и выполнить, и задайте дату пересмотра исправления. Тогда доля проблем только с обходным путём становится списком решений, а не тихой кучей долга (см. тему 4.6, Технический долг и известные ошибки).
Проверяйте, что исправления сработали
10. Сопровождайте каждое исправление окном повторения. После запуска исправления следите за совпадающими инцидентами в заявленном окне и сообщайте долю исправлений, которые удержались, по квартальной когорте. Повторение есть самое близкое к показателю результата, что есть у этой практики. Если оно высоко, спросите, найдена ли причина или лишь способствующий фактор, и откройте анализ заново.
11. Измеряйте повторное использование известных ошибок там, где работают исполнители. Считайте, как часто известная ошибка или её обходной путь используются, когда приходит совпадающий инцидент. Низкая доля повторного использования при многих известных ошибках обычно означает, что записи трудно найти, они устарели или написаны для аналитика, а не для исполнителя. Исправьте статью и её размещение, прежде чем добавлять больше (см. тему 3.6, Метрики управления знаниями).
Сохраняйте честность чисел
12. Показывайте когорты и оговорки рядом с каждым графиком. Записывайте определения, состав кодов закрытия и любое изменение правил на самом графике. Квартальные когорты исправленных проблем показывают повторение, не смешивая старую и новую работу. Парьте каждый счёт с показателем результата, чтобы ни одно число не стояло одно (см. тему 1.2, Закон Гудхарта и психология метрик).
Векторы манипуляции и ограждения
| Метрика | Как её искажают | Парная метрика или практика-ограждение |
|---|---|---|
| Открытые и закрытые проблемы | Открывать много тривиальных записей; делить одну проблему на несколько; закрывать записи как дубликаты или «не воспроизводится», чтобы очистить список | Состав кодов закрытия; доля повторения после исправления; выборка закрытых записей, читаемая каждый квартал |
| Возраст бэклога проблем | Закрывать самые старые записи без исправления; открывать заново как новую запись, чтобы сбросить часы; переклассифицировать проблему в запрос | Связывать новые записи с их оригиналами и сообщать возраст с первой записи; список закрытий по причинам; пересмотр принятых рисков |
| Доля связей инцидента с проблемой | Связывать каждый инцидент с расплывчатой универсальной проблемой, чтобы поднять долю | Доля связей, указывающих на пять самых больших проблем; выборка связей, проверенная на настоящее совпадение; повторение связанных симптомов |
| Время до первопричины | Записывать быструю поверхностную причину, чтобы остановить часы; называть «человеческая ошибка»; пропускать второго проверяющего | Доля повторения после исправления; таксономия причин, где «человеческая ошибка» не принимается одна; пересмотр выборки причин относительно свидетельств |
| Доля повторного использования известных ошибок | Считать связь, добавленную после закрытия инцидента; добавлять известную ошибку к каждому инциденту услуги | Время между закрытием инцидента и связью; обратная связь исполнителей о том, помогла ли запись; пересмотр записей, не использованных 90 дней |
| Время до постоянного исправления | Помечать изменение внедрённым до проверки исправления; закрывать как принятый риск, чтобы избежать работы | Доля повторения после исправления; список принятых рисков с владельцем и датой пересмотра; шаг проверки до остановки часов |
| Доля повторения после исправления | Определять симптомы узко, чтобы повторения не совпадали; расширять окно закрытия, чтобы исправления падали в более ранние когорты; откладывать связывание | Таксономия причин, пересматриваемая кем-то вне владеющей команды; доля связей инцидентов; окно, заявленное заранее |
| Доля проблем только с обходным путём | Планировать формальное исправление без настоящей даты; переводить проблемы в принятый риск; понижать приоритет проблемы | Возраст запланированных исправлений, которые сдвинулись; список принятых рисков, пересматриваемый с названным руководителем-владельцем; цена повторяющихся инцидентов по проблеме |
Здоровое чтение выглядит тихим и немного скучным. Счёты открытых и закрытых примерно в ногу, у каждой из самых старых открытых проблем есть записанное решение, доля исправлений, которые удержались, высока, а линии когорт стабильны, и известными ошибками пользуются те, кто встречает симптомы. Тревожный образец есть длинный аккуратный счёт закрытых рядом с инцидентами, которые продолжают возвращаться. Когда числа активности выглядят превосходно, а пользователи по-прежнему сталкиваются с тем же сбоем, верьте пользователям.
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| Формальные записи о проблемах для повторяющихся и крупных инцидентов | Ясный владелец, история и связь с исправлениями; поддерживает аудит | Накладные расходы процесса; записи могут устаревать |
| Исправление причин внутри бэклога команды без записи о проблеме | Быстро, легко, близко к работе | Межкомандные закономерности остаются невидимыми; нет общей известной ошибки |
| Строгие коды закрытия и квартальные когорты | Честный взгляд на результат; устойчивость к аккуратным счётам | Медленнее читать; нужна дисциплина ввода данных |
| Подсчёт закрытых проблем как цель | Легко объяснить и нарисовать | Приглашает закрывать ради счёта; награждает малые проблемы |
| Отслеживание повторения для исправленных проблем | Самое близкое доступное измерение того, сработало ли | Нужны хорошее сопоставление симптомов и достаточно длинное окно |
| Отслеживание повторного использования известных ошибок | Показывает, помогают ли знания исполнителям | Зависит от того, что исполнители связывают запись; можно подтасовать |
Командам, быстро исправляющим причины внутри собственного бэклога, всё же следует записывать причину там, где её увидит остальная организация, чтобы другая команда, встретившая тот же симптом, выиграла. Сначала инвестируйте в связь между инцидентами и проблемами и в окно повторения. Эти две части делают интерпретируемым каждый другой показатель.
Вопросы для обсуждения в команде
1. Какие три инцидента мы чаще всего чинили в прошлом квартале и что мешало нам исправить их причину? Перечислите повторяющиеся инциденты из службы поддержки или инструмента инцидентов и отсортируйте по числу случаев. Для каждого спросите, в чём было препятствие: нет времени на расследование, нет согласованной причины, исправление конкурирует с функциями или исправление требует другой команды. Ведущему стоит искать препятствия, повторяющиеся во всех трёх, потому что они указывают на системное, а не техническое исправление.
2. Когда мы связываем инцидент с проблемой, кто это делает, когда и откуда мы знаем, что это та самая проблема? Пройдите один недавний инцидент от закрытия до связи. Отметьте, делается ли связь во время инцидента, при закрытии или в более поздней чистке. Просмотрите вместе небольшую выборку связей на настоящие совпадения. Договоритесь об одном изменении, делающем связь легче или надёжнее.
3. Сколько времени диагностированная причина ждёт исправления и кто решает порядок? Возьмите проблемы с записанной причиной и посмотрите на время с диагностики. Спросите, кто их приоритизирует и по какому правилу. Обсуждение часто показывает, что задержка есть очередь перед продуктовым бэклогом, а не техническая трудность. Договоритесь, как исправления проблем сравниваются с работой над функциями.
4. Какие наши обходные пути самые старые и что мы потеряли бы, сохранив их ещё на год? Назовите три самых долгоживущих обходных пути и во что они обходятся в ручном усилии, риске и знании людей, которые ещё их помнят. Спросите, что произошло бы, если бы человек, знающий обходной путь, отсутствовал. Решите для каждого, исправлять ли, принять риск с владельцем и датой пересмотра или вывести услугу.
5. Если исправленная проблема вернётся, узнаем ли мы и как быстро? Спросите, как был бы замечен вернувшийся симптом и кто заново открыл бы анализ. Обсудите, достаточно ли длинно окно повторения для вида сбоя. Ведущему стоит помочь группе договориться об окне и правиле сопоставления и решить, какая команда пересматривает совпадения, чтобы владеющая команда не оценивала свою работу.
6. Пользуются ли дежурные нашими известными ошибками и что заставило бы их потянуться за одной? Спросите исполнителей, когда они в последний раз искали известную ошибку и что нашли. Посмотрите, где живут записи, как они озаглавлены и говорят ли, что делать сначала. Выберите одну запись, чтобы переписать вместе с исполнителем, и проверьте её на следующей неделе дежурства.
Четыре точки зрения
Продуктовые команды и команды поставки
Команды поставки владеют большей частью постоянных исправлений и чувствуют притяжение работы над функциями. Им полезно видеть цену инцидентов повторяющегося сбоя рядом с усилием на исправление и иметь ясное место для элементов исправления в бэклоге. Им следует сопротивляться отношению к работе над проблемами как к прерыванию и вместо этого резервировать видимую долю ёмкости для неё. Ретроспектива есть естественное место, чтобы замечать закономерности и открывать проблемы (см. тему 2.1, Показатели потока).
Команды услуг и эксплуатации
Команды эксплуатации первыми видят повторяющиеся симптомы и несут цену в вызовах и ручной работе. Они ведут записи о проблемах и известных ошибках, проводят пересмотр закономерностей и проверяют, что связи делаются. Их риск в том, чтобы тратить усилие на записи, а не на устранение причин. Им следует держать коды закрытия небольшими, делать известную ошибку первым, что видит исполнитель, и передавать исправления владеющей команде с приложенными свидетельствами.
Руководство и управление
Руководители решают, побеждает ли работа над надёжностью работу над функциями, и задают стимулы для того, что записывается. Им следует просить повторение по когортам и самые старые открытые проблемы раньше счётов и относиться к принятому риску как к решению, которому нужны названный владелец и дата пересмотра. Сообщение падающего бэклога без повторения награждает закрытие. Управлению стоит смотреть на тренды и решения, а не на турнирную таблицу команд (см. тему 4.6, Технический долг и известные ошибки).
Клиенты и пользователи
Пользователи судят управление проблемами по одному: продолжает ли одно и то же идти не так. Они не видят записей о проблемах и не заботятся о том, сколько закрыто. Где позволяют соглашения, рассказывайте клиентам об известной проблеме, обходном пути и дате, к которой ожидается исправление, затем сообщайте, когда оно приходит. Исправление, объявленное и доставленное, строит больше доверия, чем тихое.
На практике: пример из управления услугами
ИТ-отдел региональной больницы поддерживает клиническое приложение расписания, используемое отделениями и амбулаторными клиниками. Продуктовая команда строит и эксплуатирует приложение, команда инфраструктуры ведёт платформу, а служба поддержки принимает звонки. Все числа в этом примере иллюстративны.
На квартальном пересмотре руководитель отдела замечает, что панель проблем выглядит превосходно: 46 проблем закрыто против 31 открытой, а самая старая открытая проблема имеет возраст 140 дней. Заведующие отделениями по-прежнему жалуются, что экран расписания зависает при смене смены. Владелец услуги просит долю связей инцидента с проблемой и долю повторения после исправления, которых на панели пока нет.
Данные рассказывают другую историю. Состав кодов закрытия показывает, что 22 из 46 закрытий были «не воспроизводится» или «дубликат». Доля связей для инцидентов высокого приоритета составляет 38 %. Инциденты зависания были записаны в четырёх категориях, так что закономерность не была видна. Когда выборка из 30 инцидентов была заново связана вручную, 17 из них указали на одну причину: блокировку базы данных, удерживаемую ночным заданием, затянувшимся до утренней смены. Повторение для проблем, исправленных в предыдущем квартале, составило 27 %, выше, чем кто-либо ожидал.
Команда принимает три решения. Во-первых, таксономия причин и симптомов получает запись «зависание расписания», а связывание проблемы или «не найдено» становится обязательным шагом при закрытии инцидента. Во-вторых, проблема ночного задания переходит из бэклога инфраструктуры на доску продуктовой команды с владельцем и целевой датой, а обходной путь (плановый перезапуск после задания) записывается как известная ошибка и проверяется со службой поддержки. В-третьих, панель заменяет счёт закрытых тремя числами: доля исправлений, удержавшихся через 90 дней, медиана и 85-й перцентиль времени от записанной причины до исправления и самые старые открытые проблемы с их решениями.
Восемь недель спустя блокировка убрана изменением задания. Инциденты в категории зависаний падают примерно с девяти в месяц до двух, а повторное использование известных ошибок растёт до 71 % для оставшихся симптомов, в основном потому что служба поддержки теперь находит запись о перезапуске. Риск манипуляции, который поймала команда, лежал в её собственной прежней привычке: закрывать записи как «не воспроизводится», когда инцидент приходился на нерабочее время. Состав кодов закрытия, выборка закрытых записей, читаемая каждый квартал, и когорта повторения теперь действуют как ограждения. Никого не ранжируют, а пересмотр перечисляет услуги и решения, а не аналитиков.
Agile, ИИ, автоматизация и аналитика
Agile
Вплетайте работу над проблемами в регулярный бэклог и разговоры об улучшении, чтобы постоянные исправления открыто конкурировали с новой работой. Осторожность в том, что цель быстро закрывать проблемы ведёт к закрытию их обходными путями.
ИИ
ИИ может группировать инциденты, предлагать первопричины и составлять записи о проблемах, что может поднимать счёты проблем и долю связей, не убирая причин. Парьте долю связей с долей повторения после исправления и помечайте, какие причины предложил ИИ и подтвердил человек. Осторожность в том, что предложенная ИИ причина может быть правдоподобной и неверной; поэтому проверяйте перед закрытием.
Автоматизация
Связывайте инциденты с проблемами автоматически там, где сигналы совпадают, и измеряйте сопоставление по неверным связям. Осторожность в том, что автоматическое закрытие проблемы, когда инциденты прекратились, прячет причину, которая лишь затихла.
Аналитика
Показывайте время до постоянного исправления как распределение и долю повторения после исправлений. Решение, которое это информирует, состоит в том, какие причины заслуживают ёмкости. Осторожность в том, что для повторения нужно длинное окно; поэтому говорите, как долго вы наблюдали.
Отраслевой взгляд
Стартап. Отдельного процесса проблем редко бывает. Команда исправляет причины напрямую, и риск в том, что никто не помнит почему. Ведите одностраничный список повторяющихся инцидентов и их причин, связывайте исправления с трекером задач и пересматривайте список ежемесячно. Измеряйте повторение и возраст самых старых элементов; пропустите формальные коды закрытия, пока команда не вырастет.
Малый бизнес. Один ИТ-специалист или поставщик управляемых услуг может вести всё. Просите у поставщика его записи о проблемах и категории инцидентов за ними, а также письменное определение «решено». Короткий список пяти главных повторяющихся проблем с названным владельцем и датой для каждой работает лучше тяжёлого инструмента. Периодически выгружайте записи, чтобы избежать привязки.
Крупная компания. Много услуг и поставщиков создают наибольшую потребность в общих определениях. Согласуйте таксономию причин, коды закрытия и окно повторения между командами, назовите владельцев проблем по услугам и сообщайте по услугам и когортам. Где исправление у поставщика, отслеживайте ответ поставщика относительно соглашения (см. тему 8.4, Метрики поставщиков и контрактов) и эскалируйте по документированному пути.
Государство и публичный сектор. Аудит, контроль изменений и закупки могут удлинять путь от причины до исправления, поэтому часы времени до исправления должны показывать, где сидит задержка: расследование, согласование, закупки или планирование. Принятые риски нуждаются в записанных владельцах и датах пересмотра, выдерживающих аудит. К записям об инцидентах и проблемах применяются правила хранения и приватности, особенно там, где в них появляются клинические данные или данные граждан.
Бизнес-обоснование: мотивы, ROI и TCO
Цена имеет три части. Первая: время расследования, то есть людей с навыками и доступом, чтобы анализировать инциденты, что конкурирует с их другой работой. Вторая: само исправление, доставляемое через бэклог и процесс изменений. Третья: цена записи и отчётности, то есть связывания инцидентов, поддержки таксономий, проведения пересмотра закономерностей и ведения базы известных ошибок. Эти затраты в основном время людей, поэтому считайте часы.
Отдача проявляется как инциденты, перестающие повторяться, меньше вызовов и меньше ручного усилия на обходные пути, более короткая обработка инцидентов, потому что исполнители находят известные ошибки, и меньше эскалаций инженерам. Универсальной цифры нет, поэтому оцените свою. Для повторяющегося инцидента умножьте число случаев в год на среднее усилие обработки и оценку воздействия на бизнес на случай, затем сравните с усилием на исправление. Пересмотрите оценку с владельцем услуги, назовите её оценкой и вернитесь к ней, когда окно повторения покажет, что произошло. Управление проблемами лучше всего окупается на немногих причинах, порождающих большую часть нагрузки инцидентов, а вид Парето находит их быстро.
Антипаттерны и ловушки
- Закрытие как цель. Цель по закрытым проблемам награждает тривиальные записи и раннее закрытие. Сначала сообщайте показатели результата и показывайте состав кодов закрытия.
- Записи о проблемах как кладбище. Записи сидят открытыми без владельца, даты или решения. Пересматривайте список самых старых по графику и требуйте решения по каждому элементу.
- Остановка на «человеческой ошибке». Она называет, кто коснулся системы, а не почему система допустила сбой. Принимайте причину, только когда она называет условие, которое можно изменить.
- Ничего не исправлять, пока первопричина не определена. У сложных сбоев может не быть единой причины. Примените обходной путь и лучше всего обоснованное исправление, затем следите за повторением.
- Обходные пути без выхода. Обходной путь без даты пересмотра становится постоянным. Записывайте владельца и дату при создании известной ошибки.
- Слабые связи инцидентов. Отсутствующие или небрежные связи делают повторение невидимым. Сделайте связывание частью закрытия инцидента и выборочно проверяйте связи.
- Работа над проблемами вне бэклога. Исправления, живущие в отдельной очереди, ждут вечно. Поместите элемент исправления на доску владеющей команды и приоритизируйте его против функций.
- Сравнение аналитиков или команд по закрытым записям. Это награждает лёгкие услуги и приглашает манипуляцию. Сравнивайте услуги во времени с их собственной историей и читайте когорты.
Модель зрелости
| Измерение | 1 Инициирование | 2 Развитие | 3 Стандартизация | 4 Управление | 5 Оркестрация |
|---|---|---|---|---|---|
| Выявление проблем и связывание | Проблемы открываются только после крупных сбоев; нет связей с инцидентами | Некоторые команды связывают инциденты; категории различаются по командам | Общая таксономия и коды закрытия; связь делается при закрытии инцидента | Доля связей и качество сопоставления проверяются выборкой и пересматриваются | Закономерности выявляются между командами и поставщиками, с общими известными ошибками |
| Первопричина и известные ошибки | Причина записана свободным текстом, если вообще | Известные ошибки ведут некоторые команды в разных местах | Одна база известных ошибок; проверка причин вторым человеком | Время до первопричины и повторное использование известных ошибок отслеживаются во времени и по ним действуют | Исполнители, поставщики и клиенты вносят вклад в общие записи и пользуются ими |
| Доставка исправлений | Исправления происходят, когда у кого-то есть время | Исправления отслеживаются в собственном списке команды | Исправление связано с элементом бэклога или изменением с владельцем и датой | Время до постоянного исправления пересматривается, с зарезервированной для него ёмкостью | Приоритет исправлений задаётся совместно с продуктовыми планами и планами поставщиков |
| Результат и обучение | Сообщаются счёты записей | В некоторых пересмотрах сообщается возраст бэклога | Повторение после исправления и доля проблем только с обходным путём сообщаются с определениями | Когорты парятся с ограждениями и используются в решениях о финансировании | Определения пересматриваются, когда перестают информировать решения; улучшение рутинно |
Контрольный список
- Реестр метрик определяет проблему, известную ошибку и каждый код закрытия.
- Закрытие инцидента включает связь с проблемой, известной ошибкой или «не найдено».
- Существует таксономия причин и симптомов с определениями и примерами.
- У каждой проблемы есть владелец, триггер и дата решения.
- Время до первопричины и время до постоянного исправления измеряются отдельно, с перцентилями.
- Каждое постоянное исправление связано с элементом бэклога или изменением с владельцем.
- У каждого обходного пути есть владелец и дата пересмотра.
- Повторение после исправления отслеживается по квартальным когортам с заявленным окном.
- Повторное использование известных ошибок измеряется там, где работают исполнители.
- Самые старые открытые проблемы пересматриваются по графику, и каждое решение записано.
- Выборка закрытых записей читается каждый квартал, чтобы проверить коды закрытия и причины.
- Отчёты описывают услуги и команды, и ни одна таблица не ранжирует людей.
Промпты для ИИ
Найдите кандидатов в проблемы в наборе инцидентов.
Here is an export of incidents for [service or team] from [start date] to [end
date]: [paste incident fields such as id, opened time, category, short
description, resolution note]. Group incidents that may share an underlying
cause, explain the evidence for each group, and rank groups by occurrence count
and by [impact measure, for example hours of user impact]. Mark groups where the
evidence is weak. Do not invent causes, counts, or benchmark values. List your
assumptions and the extra data that would raise your confidence.
Проверьте коды закрытия и записи о проблемах.
Below are [number] closed problem records for [service or team]: [paste id,
closing code, recorded cause, fix reference, closing date]. Check each record
for a closing code that does not match its text, a cause that names a person
instead of a condition, and a fix with no link. Summarize patterns and suggest
three questions for a reviewer. Do not rank people or invent facts about the
records. List your assumptions.
Спроектируйте показатель повторения.
We want to measure whether fixed problems stay fixed for [service or team]. Our
tools are [ITSM tool, deployment tool], our incident categories are [list], and
our closing codes are [list]. Propose a definition, formula, clock start and
stop, matching rule for symptoms, recurrence window, and exclusions, with a
chart layout showing quarterly cohorts. Suggest how it could be gamed and a
guardrail for each case. Ask me for the thresholds you need instead of
inventing them. List your assumptions.
Подготовьте пересмотр решений по старым проблемам.
Here are the open problems older than [number] days for [service or team]:
[paste id, age, priority, owner, last update, workaround status]. Draft an agenda
for a [length]-minute review in which each item receives one of three decisions:
fix with a date, accept the risk with a named owner and review date, or close
with a reason. Suggest the evidence to bring for each decision. Do not invent
costs or outcomes. List your assumptions and the questions I should answer
first.
Навыки ИИ
- Service Management Metrics skill: используйте, чтобы найти темы, определяющие показатели инцидентов, изменений и знаний, от которых зависят метрики проблем, и ограждение, которое надо спарить с каждым.
- Service Management Metrics maintainer skill: используйте, чтобы проверить, что новая или изменённая метрика проблем указывает свои часы, исключения, вектор манипуляции и ограждение.
Главные выводы
- Показатель управления проблемами есть повторение: перестают ли возвращаться инциденты, связанные с проблемой.
- Замеряйте этапы отдельно: от записи до записанной причины и от причины до исправления в продуктиве.
- Связывайте инциденты с проблемами при закрытии, договоритесь о сопоставлении симптомов и выборочно проверяйте связи.
- Обходной путь есть этап с владельцем и датой пересмотра, а доля проблем только с обходным путём показывает, сколько риска несётся.
- Помещайте постоянные исправления в бэклог владеющей команды и сообщайте показатели результата раньше счётов записей.
- Описывайте услуги, когорты и решения. Никогда не ранжируйте аналитиков или команды по закрытым проблемам.
Источники и дополнительное чтение
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Ohno, T., Toyota Production System: Beyond Large-Scale Production, Productivity Press, 1988.
- Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
- AXELOS (now PeopleCert), ITIL Foundation: ITIL 4 Edition, TSO, 2019.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
- Wikipedia, ITIL.
- Wikipedia, База известных ошибок.
- Wikipedia, Обходной путь.
- Wikipedia, Анализ первопричин.
- Wikipedia, Пять «почему».
- Wikipedia, Диаграмма Исикавы.
- Wikipedia, Диаграмма Парето.
- Wikipedia, Бэклог.
- Wikipedia, Технический долг.