Обзор и мотивация

Мониторинг есть сбор, обработка и показ данных реального времени о системе. Мониторинг систем отвечает на вопрос «работает ли услуга так, как нужно пользователям?» Оповещение есть точка, где эти данные просят человека что-то сделать. Большинство команд измеряют первое занятие плохо или никак, а второе измеряют только по жалобам. Эта тема даёт небольшой набор мер для обоих: видит ли мониторинг сбои, которые важны, и заслуживают ли оповещения, которые он поднимает, того внимания, которого требуют.

Сначала несколько терминов. В словаре ITIL 4 событие есть изменение состояния, значимое для управления услугой, а управление событиями есть практика обнаружения событий, решения, какие важны, и выбора реакции. Оповещение есть уведомление человека, доставляемое как вызов, сообщение или заявка. Вызов (page) есть оповещение, немедленно прерывающее кого-то. Ложное срабатывание есть оповещение, сработавшее, когда ничто не требовало внимания, а ложный пропуск есть сбой, о котором не сообщило ни одно оповещение; оба термина идут из языка ложноположительных и ложноотрицательных результатов. Применимое оповещение есть то, при котором у человека было полезное действие, и он его выполнил или сознательно решил не выполнять по записанной причине.

Две стороны мониторинга тянут в противоположные стороны. Добавление оповещений после каждого инцидента строит стену шума; сокращение их ради тишины рискует тишиной во время сбоя, который важен. Язык точности и полноты здесь хорошо подходит. Точность спрашивает, какая доля поднятых оповещений стоила того. Полнота спрашивает, какую долю реальных проблем оповещения поймали. Качество оповещений есть баланс между ними, а метрика, следящая только за одним, приглашает команду жертвовать другим. Отношение сигнал/шум выражает то же напряжение.

Цена для людей есть причина, по которой это относится к книге о метриках услуг. Усталость от тревог есть хорошо задокументированная склонность людей, подвергающихся многим тревогам, большинство из которых неважны, терять чувствительность и медленно реагировать на те, что важны. Её впервые изучили в клинических условиях, и она применима к любой ротации дежурств, которую слишком часто вызывают оповещениями, ведущими в никуда. Уставшие респонденты пропускают реальные инциденты и в итоге покидают ротацию.

Взгляды различаются в двух традициях, которые соединяет эта книга. ITIL 4 помещает эту работу в практику мониторинга и управления событиями со связями с управлением инцидентами и управлением уровнями услуг. Её забота в том, чтобы события обнаруживались, классифицировались и направлялись так, чтобы инциденты находились рано и обрабатывались единообразно. Инженерия надёжности сайтов (SRE) подходит с другого конца: книга Google Site Reliability Engineering доказывает, что вызовы должны быть срочными, важными, применимыми и реальными, а всё остальное принадлежит заявке или панели. Команды Agile встречают это как рабочее соглашение: кого будят, из-за чего и кто исправляет неверное оповещение. Метрики ниже заимствуют у всех трёх и хранят одно правило: метрика описывает ротацию, услугу или правило оповещения, никогда отдельного человека.

Эта тема не повторяет своих соседей. Тайминги инцидентов принадлежат теме 3.3, Время реагирования на инциденты и их устранения, крупные инциденты теме 3.4, Метрики крупных инцидентов, цели и бюджеты ошибок теме 5.2, SLI, SLO и бюджеты ошибок, а нагрузка на людей теме 5.7, Рутинная работа и метрики дежурств. Здесь предмет есть качество сигнала, запускающего все они. Инструментирование охвачено в теме 1.5, Источники данных и инструментирование.

Ключевые принципы

  • Вызывайте по симптомам, которые чувствуют пользователи; остальное отправляйте в заявку или на панель. Оповещение о том, что переживают пользователи (ошибки, медлительность, недоступность), остаётся полезным по мере изменения системы. Оповещение о причине (заполненный диск, занятый процессор) полезно, только когда предсказывает симптом и человек может действовать до его прихода.
  • Каждое оповещение должно вести к действию. Если верная реакция на оповещение есть ничего не делать, оповещение следует изменить, понизить до заявки или удалить. Измеряйте долю, ведущую к действию, и относитесь к остальным как к дефектам мониторинга.
  • Измеряйте и точность, и полноту. Подсчёт одного шума награждает тишину, а подсчёт одного охвата награждает объём. Вместе они описывают качество, и каждое служит ограждением для другого.
  • Относитесь к каждому правилу оповещения как к продукту с владельцем. У правила есть цель, порог, ранбук и дата пересмотра. Бесхозные правила накапливаются, и производимый ими шум не принадлежит никому.
  • Сообщайте о ротациях и услугах, никогда о людях. Нагрузка оповещений есть свойство того, как спроектированы система и ротация. Называние отдельных людей превращает проблему проектирования в проблему вины и прячет настоящее исправление.

Определения метрик

Метрики ниже выбраны как набор. Один объём бессмыслен, применимость говорит, является ли объём проблемой, а охват и время обнаружения говорят, что прячет тишина. Все они вычисляются по услуге или ротации, и все используют запись оповещений из инструментов мониторинга и вызова, соединённую с записями об инцидентах и заявками.

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность
Объём оповещений Число оповещений, уведомивших человека, с разбивкой на вызовы и заявки Число различных уведомлений, доставленных ротации или очереди за период; повторы одного и того же открытого оповещения группируются в одно; оповещения, обработанные целиком автоматикой без уведомления человека, исключаются; сообщайте на ротацию в неделю и долю вне рабочих часов отдельно оповещений на ротацию в неделю Инструмент вызова и маршрутизации оповещений Мониторинг и управление событиями Рабочее соглашение команды о дежурствах Раз в неделю
Доля применимых оповещений Доля оповещений, после которых человек выполнил полезное действие Оповещения с записанным действием (исправление, смягчение, эскалация или изменение правила оповещения) / оповещения, пересмотренные за период; оповещения, автоматически закрытые до какого-либо подтверждения, считаются неприменимыми; непересмотренные оповещения сообщаются отдельным числом, а не отбрасываются процент Запись оповещений, соединённая с меткой пересмотра, заявкой или инцидентом Мониторинг и управление событиями; управление инцидентами Действие команды по улучшению эксплуатации Еженедельный пересмотр, месячный тренд
Доля ложных срабатываний Доля оповещений, сработавших, когда проблемы не было Оповещения, помеченные в пересмотре как ложные срабатывания / оповещения, пересмотренные за период; «ложное срабатывание» означает, что состояние не было неисправностью и никто не захотел бы об этом знать; реальная проблема, слишком мелкая для действия, не есть ложное срабатывание процент Метки пересмотра оповещений Мониторинг и управление событиями Ретроспективный пересмотр шума Раз в месяц
Охват обнаружения Доля услуг в области, имеющих хотя бы одно проверенное оповещение о пользовательском симптоме Услуги с оповещением о симптоме, испытанным тестом или реальным событием за последние 12 месяцев / услуги в области каталога услуг; список услуг в области фиксируется в начале периода процент Каталог услуг, инвентарь правил оповещений, записи тестов Управление конфигурацией услуг; мониторинг и управление событиями Определение готовности для новой услуги Раз в квартал
Доля обнаружения мониторингом Доля инцидентов, обнаруженных мониторингом раньше, чем о них сообщили пользователь или коллега Инциденты, чьим первым сигналом было оповещение / инциденты за период; часы есть время открытия инцидента, а инциденты без записанного первого сигнала сообщаются как неизвестные, а не как обнаруженные процент Запись об инциденте с полем первого сигнала, хронология оповещений Управление инцидентами Пересмотр инцидента (обучение после инцидента) Раз в месяц
Время обнаружения (TTD) Прошедшее время между началом воздействия на пользователей и первым оповещением, уведомившим человека Время первого оповещения, уведомившего человека, минус время начала воздействия, где начало воздействия есть самое раннее время нарушения индикатором уровня услуги, установленное в пересмотре инцидента; сообщайте медиану и 95-й перцентиль; инциденты без оповещения исключаются и считаются отдельно минуты Пересмотр инцидента, хронология оповещений, история индикатора уровня услуги Управление инцидентами; мониторинг и управление событиями Пересмотр после инцидента Раз в месяц, по инциденту
Концентрация оповещений Доля объёма оповещений, производимая несколькими самыми шумными правилами Оповещения от пяти правил с наибольшим числом оповещений / все оповещения за период; одно оповещение группируется один раз; число правил пять есть соглашение, которое команда может изменить, указав причину процент Инвентарь правил оповещений и запись вызовов Непрерывное улучшение; мониторинг и управление событиями Бэклог улучшений ретроспективы Раз в месяц
Актуальность правил оповещений Доля правил вызова, имеющих владельца, ссылку на ранбук и пересмотр в согласованный интервал Правила вызова, удовлетворяющие всем трём условиям / все правила вызова; правила, отключённые за период, исключаются процент Инвентарь правил оповещений Управление знаниями; мониторинг и управление событиями Рабочее соглашение об эксплуатационной готовности Раз в квартал

Объёму оповещений нужен контекст, поэтому читайте его рядом с долей применимых оповещений. Время обнаружения использует начало воздействия на пользователей, а не заявку, потому что часы заявки запускаются после обнаружения; начало воздействия есть оценка из пересмотра инцидента и должно помечаться как таковая. Доля ложных срабатываний и доля применимых оповещений не дополняют друг друга, потому что оповещение может быть истинным и всё же не стоить времени человека.

Рекомендации

Решите, что заслуживает вызова

1. Напишите политику вызовов и держите её короткой. Укажите в абзаце, что заслуживает вызова (симптом, который пользователи чувствуют сейчас или вскоре почувствуют и на который человек может действовать), а что нет. Всё остальное идёт в очередь заявок или на панель. Глава книги Google SRE о мониторинге распределённых систем есть хорошая отправная точка (см. тему 5.2, SLI, SLO и бюджеты ошибок).

2. Оповещайте о симптомах, а причины храните для диагностики. Вызов по «доля ошибок выше согласованного порога» есть вызов о пользователях. Вызов по «ЦП высок» есть вызов о догадке. Держите сигналы уровня причин на панелях, куда респондент посмотрит после срабатывания оповещения о симптоме, и повышайте один до вызова, только когда он надёжно предсказывает симптом с достаточным предупреждением, чтобы действовать.

3. Привяжите пороги вызова к цели уровня услуги. Где у услуги есть цель уровня услуги (SLO), оповещайте по скорости расхода бюджета ошибок, а не по сырым порогам. Глава SRE Workbook об оповещении по SLO описывает оповещения по скорости сгорания и компромиссы между точностью, полнотой, временем обнаружения и временем сброса. Этот подход вызывает по тому, что угрожает цели, и молчит о коротких всплесках, которые не угрожают.

Пересматривайте каждое оповещение в ритме

4. Помечайте каждое оповещение в коротком регулярном пересмотре. Выделяйте пятнадцать минут в неделю для каждой ротации, чтобы посмотреть, что сработало. Для каждого оповещения записывайте одну метку: применимое, ложное срабатывание, реальное, но не стоящее вызова, или дубликат. Метки суть данные для доли применимых оповещений и доли ложных срабатываний, а пересмотр есть место, где шумные правила исправляются на следующий день, а не в следующем квартале.

5. Пусть пересмотр производит изменение. Каждую неделю выбирайте хотя бы одно правило, чтобы настроить, понизить, слить или удалить, и записывайте изменение в бэклог команды как обычную работу.

6. Удаляйте без страха. Команды хранят оповещения, потому что удаление кажется рискованным и никто не помнит, зачем оно существует. Требуйте, чтобы каждое правило вызова несло цель и владельца, и договоритесь, что правило, никогда не приводившее к действию за заявленный период, удаляется или понижается, а изменение записывается, чтобы его можно было отменить. Метрика актуальности правил делает дисциплину видимой.

Измеряйте то, что пропускает мониторинг

7. Отслеживайте долю инцидентов, которые пользователи нашли первыми. После каждого инцидента записывайте, как его впервые заметили: оповещение, коллега, клиент, заявка в поддержку или плановая проверка. Доля, найденная мониторингом, есть ближайшая практическая мера полноты. Она не полна, потому что инциденты, которых никто не заметил, никогда не попадают в выборку, поэтому парьте её с периодическими испытаниями самих оповещений.

8. Оценивайте время обнаружения честно. Устанавливайте начало воздействия на пользователей в пересмотре после инцидента по истории индикатора уровня услуги, а не по моменту, когда кто-то набрал заявку. Сообщайте медиану и высокий перцентиль и показывайте инциденты вообще без оповещения отдельным числом. Единое среднее прячет и типичный случай, и плохой хвост (см. тему 1.6, Статистическая грамотность для метрик услуг, и тему 3.3, Время реагирования на инциденты и их устранения).

9. Испытывайте оповещения, от которых зависите. Охват обнаружения заслуживает доверия, только если видели, что оповещение работает. Включайте в учения (game days) или репетиции релизов проверку, которая намеренно вызывает симптом и подтверждает, что верное оповещение срабатывает, доходит до верной ротации и ссылается на пригодный ранбук. Оповещение, которое никогда не испытывали, есть надежда, а не контроль (см. тему 5.6, Метрики непрерывности услуг).

Держите путь сигнала здоровым

10. Мониторьте мониторинг. Тихий отказ системы мониторинга выглядит точно как здоровая услуга. Добавьте проверку пульса, которая вызывает, если конвейер оповещений перестаёт доставлять, и записывайте, как часто отказывает сам конвейер.

11. Группируйте, убирайте дубликаты и связывайте до подсчёта. Группируйте связанные оповещения в одно, подавляйте повторы уже открытого оповещения и направляйте каждое владеющей ротации. Связывайте каждое оповещение с его ранбуком и с созданным им инцидентом или заявкой, потому что это соединение и позволяет вычислять долю применимых оповещений и долю обнаружения мониторингом без ручного подсчёта (см. тему 1.5, Источники данных и инструментирование).

Векторы манипуляции и ограждения

Метрика Как её искажают Парная метрика или практика-ограждение
Объём оповещений Поднимать пороги, добавлять длинные задержки или переносить оповещения из вызовов в тихую очередь, чтобы счёт падал, пока проблемы остаются невидимыми; делить или сливать оповещения, чтобы менять счёт Доля обнаружения мониторингом и время обнаружения; правило, что каждое понижение записывается с причиной и пересматривается через квартал
Доля применимых оповещений Помечать оповещения применимыми постфактум или выполнять тривиальное действие (комментарий, подтверждение), чтобы подойти; оставлять шумные оповещения непересмотренными, чтобы они не попадали в знаменатель Число непересмотренных оповещений показано рядом с долей; выборочная проверка кем-то вне ротации; записанное определение «полезного действия»
Доля ложных срабатываний Определять ложные срабатывания узко, чтобы «реальные, но бессмысленные» оповещения считались истинными; закрывать шумные оповещения без метки Доля применимых оповещений и метка «реальное, но не стоящее вызова» отслеживаются отдельно; периодическая выборка закрытых оповещений
Охват обнаружения Добавлять тривиальное оповещение (ping) к каждой услуге ради заявления об охвате; считать оповещения, никогда не испытанные Требование, чтобы оповещение следило за пользовательским симптомом и испытывалось за последние 12 месяцев; доля обнаружения мониторингом
Доля обнаружения мониторингом Записывать каждый инцидент как «обнаружен мониторингом», даже когда пользователь сообщил первым; создавать оповещение постфактум и затем ссылаться на него; оставлять поле первого сигнала пустым, чтобы избежать плохого числа Число неизвестных показано рядом с долей; свидетельство первого сигнала берётся из хронологии оповещений, а не из памяти; инциденты, о которых сообщили клиенты, связываются из записи поддержки
Время обнаружения (TTD) Объявлять начало воздействия позже, чем оно было; исключать инциденты без оповещения; сообщать среднее, чтобы спрятать хвост Начало воздействия берётся из истории индикатора уровня услуги; инциденты без оповещения считаются и показываются; медиана и 95-й перцентиль сообщаются вместе
Концентрация оповещений Делить одно шумное правило на несколько, чтобы ни одно не попало в пятёрку; переименовывать правила Сообщать концентрацию по лежащей в основе неисправности или услуге так же, как по правилу; отслеживать общий объём и долю применимых оповещений рядом
Актуальность правил оповещений Добавлять номинальных владельцев, пустые ссылки на ранбуки или формальный пересмотр, чтобы выполнить условие Выборочная проверка того, что ссылка на ранбук открывается и использовалась в реальном реагировании; практика испытания ранбука на учениях

Здоровое чтение показывает несколько вещей вместе. Объём оповещений на ротацию стабилен или падает и находится на уровне, выбранном командой как устойчивый. Доля применимых оповещений растёт за несколько месяцев по мере настройки самых шумных правил. Доля обнаружения мониторингом высока, а время обнаружения коротко и не растёт, пока объём падает, что доказывает, что тишина заработана, а не куплена. Охват обнаружения растёт, потому что услуги испытываются, а не потому что добавлены тривиальные оповещения. Если объём падает, а доля обнаружения или время обнаружения ухудшаются, команда променяла полноту на покой, и ограждения именно это и выявляют.

Компромиссы: плюсы и минусы

Подход Плюсы Минусы
Немного вызовов по симптомам Тихие ночи, высокое доверие к каждому вызову, легко поддерживать актуальным Риск позднего обнаружения медленно нарастающих проблем; нужны хорошие привычки с заявками и панелями для остального
Много чувствительных оповещений Раннее предупреждение о неприятностях уровня причин; меньше пропущенных инцидентов Усталость от тревог, более медленное подтверждение и отток из ротаций дежурств
Оповещения по скорости сгорания SLO Вызовы привязаны к тому, что угрожает цели; меньше всплесков Нужны хорошие индикаторы и согласованная цель; требует настройки для баланса времени обнаружения и точности
Еженедельный пересмотр оповещений Быстрая обратная связь; шумные правила быстро исправляются Стоит времени каждую неделю; становится театром, если за ним не следует изменений
Разметка людьми Улавливает суждение, которого нет ни у одного инструмента Субъективна; метки дрейфуют между проверяющими и ротациями, если определения не записаны
Автоматическое подавление и группировка Режет шум в масштабе; сокращает повторные вызовы Может прятать реальные сигналы, если правила неверны; требует собственного мониторинга и пересмотра

Каждый выбор обменивает точность на полноту, и обмен следует делать намеренно и записывать по услугам, потому что это контекст, позволяющий кому угодно честно читать числа. Услуга с тяжёлыми последствиями пропущенного сбоя может принять более низкую долю применимых ради более раннего предупреждения, с уровнем сортировки, отправляющим лишние оповещения в очередь заявок ночью.

Вопросы для обсуждения в команде

1. Из-за чего мы хотели бы, чтобы нас будили, и какие вызовы прошлого месяца отвечали этому стандарту? Напишите политику вызовов в одном-двух предложениях, затем возьмите вызовы прошлого месяца и проверьте каждый по ней. Упражнение ценнее процента, который оно даёт, потому что разногласия показывают, где различаются ожидания команды. Запишите ненужные как кандидатов на понижение.

2. Если бы самое шумное правило оповещения завтра исчезло, что бы мы потеряли? Задайте вопрос для каждого из пяти правил с наибольшим объёмом. Часто никто не может назвать конкретный сбой, пойманный правилом, и это знак, что его можно настроить или удалить. Где кто-то может, спросите, вызвал бы этот сбой и оповещение о симптоме.

3. Как мы узнаём, что пропустил мониторинг? Посмотрите на последние несколько инцидентов и спросите, кто заметил первым и как долго шло воздействие до этого. Ответ даёт вам долю обнаружения мониторингом и грубое время обнаружения без новых инструментов. Обсудите, какой сигнал поймал бы каждый раньше.

4. Устойчива ли наша нагрузка дежурств и как мы узнали бы? Договоритесь, что значит устойчиво для ротации, например предел вызовов вне рабочих часов в неделю, и пересматривайте тренд по ротациям, а не по людям. Если нагрузка выше согласованного уровня, относитесь к этому как к дефекту услуги и планируйте работу по её снижению. Держите меры согласованными с темой 5.7, Рутинная работа и метрики дежурств.

5. Какие из наших оповещений мы никогда не испытывали и как могли бы испытать их безопасно? Перечислите услуги, зависящие от одного оповещения о симптоме, и спросите, видел ли кто-нибудь его срабатывание всерьёз или на репетиции. Запланируйте один тест и проверьте весь путь: обнаружение, маршрутизацию, уведомление, ранбук. Подумайте, был бы отказавший конвейер оповещений вообще виден.

6. Как эти числа могут здесь подтасовываться и что мы заметили бы? Попросите команду честно описать, как они могли бы улучшить каждую цифру, ничего не улучшая. Затем договоритесь, какое ограждение это покажет и кто на него смотрит. Называние трюков заранее делает их менее соблазнительными (см. тему 1.2, Закон Гудхарта и психология метрик).

Четыре точки зрения

Продуктовые команды и команды поставки

Команды, строящие и эксплуатирующие услугу, решают, что она сообщает о себе, поэтому качество оповещений начинается в определении готовности. Новая функция, поставляемая с собственным испытанным индикатором и оповещением, избегает мониторинга, прикручиваемого после первого инцидента. Относитесь к настройке оповещений как к обычной работе из бэклога.

Команды услуг и эксплуатации

Команды эксплуатации носят пейджер и первыми чувствуют цену, поэтому владеют ритмом пересмотра, разметкой и пульсом конвейера. Когда оповещение неверно, исправление принадлежит владельцу правила, а не тому, кто получил вызов.

Руководство и управление

Руководители могут просить цифры обнаружения и применимости по услугам, финансировать время на настройку и сопротивляться цели по объёму оповещений, награждающей тишину. Падающий объём есть хорошая новость, только если доля обнаружения и время обнаружения держатся. Устойчивые пределы дежурств есть решение о штате и проектировании, а не о мотивации.

Клиенты и пользователи

Клиенты никогда не видят оповещения; они видят, отказала ли услуга и сколько заняло исправление. Хороший мониторинг проявляется как инциденты, исправленные раньше, чем они заметили, и меньше случаев, когда клиент сообщает первым. Где организация использует показатели опыта (см. тему 5.1, Метрики SLA, OLA и XLA), доля инцидентов, о которых первыми сообщили пользователи, есть прямой индикатор разрыва в опыте.

На практике: пример из управления услугами

Интернет-магазин среднего размера ведёт платформу заказов с четырьмя продуктовыми командами и одной платформенной командой, поддерживающей ротацию дежурств. Все числа в этом примере иллюстративны. За четыре недели (иллюстративно) ротация получила 240 вызовов, 70 из них между 22:00 и 07:00. Команда пересматривает каждый вызов по четырём меткам: применимое, ложное срабатывание, реальное, но не стоящее вызова, и дубликат.

Пересмотр показывает долю применимых оповещений 31 % (иллюстративно) и долю ложных срабатываний 22 % (иллюстративно). Пять правил произвели 58 % вызовов (иллюстративно), и самым большим был порог диска на пакетном сервере, всегда восстанавливавшийся сам. Доля обнаружения мониторингом прошлого квартала составляла 62 % (иллюстративно), а медианное время обнаружения 14 минут (иллюстративно) при 95-м перцентиле 51 минута (иллюстративно).

Команда понижает три шумных правила до очереди заявок, сливает дубликаты, чтобы одна неисправность производила один вызов, заменяет оповещение по сырому счёту ошибок при оформлении заказа оповещением по скорости сгорания бюджета ошибок (см. тему 5.2, SLI, SLO и бюджеты ошибок) и добавляет оповещение о симптоме для писем с подтверждением заказа, пробел за двумя инцидентами, о которых сообщили клиенты. Каждое изменение есть элемент бэклога с владельцем. Через четыре недели вызовы падают до 96 (иллюстративно), а доля применимых растёт до 64 % (иллюстративно), пока доля обнаружения растёт до 71 % (иллюстративно), а медианное время обнаружения держится на 14 минутах. Тишина, судя по всему, заработана.

Риск манипуляции проявляется на третьем месяце. Новый менеджер ставит неформальную цель менее 60 вызовов за четыре недели, и одна ротация достигает её, удлинив задержку оповещения об ошибках оформления заказа. Её доля обнаружения падает до 55 % (иллюстративно), а время обнаружения на 95-м перцентиле растёт до 80 минут (иллюстративно). Поскольку ограждения стоят рядом с объёмом, пересмотр это ловит. Команда отзывает цель по объёму, восстанавливает оповещение и записывает случай в реестр метрик (см. тему 1.4, Управление метриками и ответственность за них).

Agile, ИИ, автоматизация и аналитика

Agile

Пересматривайте оповещения в регулярном ритме как продукт, которым пользуются дежурные, и выводите или настраивайте шумные вместе с заинтересованными сторонами. Осторожность в том, что цель сократить объём оповещений может убрать полезные оповещения.

ИИ

ИИ может группировать, резюмировать и ранжировать оповещения и предлагать причины. Парьте снижение шума с долей пропусков реальных инцидентов и отслеживайте долю группировок ИИ, которые человек разделил или слил. Осторожность в том, что подавление моделью может спрятать редкое, но серьёзное оповещение.

Автоматизация

Считайте оповещения автоматически по правилу и по исходу и измеряйте автоматизацию оповещений по ошибкам подавления. Осторожность в том, что автоматически закрытые оповещения могут выглядеть как здоровые системы, когда правило просто дребезжит.

Аналитика

Сообщайте долю применимых оповещений и охват обнаружения вместе с инцидентами, которые первыми заметили пользователи. Решение, которое это информирует, состоит в том, какие оповещения исправить или удалить. Осторожность в том, что охват, измеренный по известным инцидентам, игнорирует режимы отказа, которых никто ещё не видел.

Отраслевой взгляд

Стартап. Когда все несколько инженеров на дежурстве, приоритет есть короткая политика вызовов и несколько оповещений о симптомах на путях, приносящих деньги. Десятиминутный взгляд в понедельник на то, что будило людей, достаточен. Главный риск в отсутствии оповещений вообще, так что клиенты становятся мониторингом; считайте, как часто клиент сообщал вам первым.

Малый бизнес. Малые организации часто полагаются на мониторинг поставщика. Полезные меры суть охват обнаружения для немногих систем, останавливающих бизнес, и доля инцидентов, найденных пользователями. Просите у поставщиков данные об оповещениях, на которые вам даёт право контракт.

Крупная компания. В крупных организациях много инструментов и ротаций, и каждая команда может определять «применимое» по-своему. Стандартизируйте определения и метки, пересматривайте на уровне команд и сводите по услугам, а не по инструментам. Платформы корреляции событий сокращают объём в масштабе, но нуждаются в собственных проверках полноты.

Государство и публичный сектор. Некоторые услуги работают в офисные часы, а другие, такие как службы экстренной помощи или пособий, непрерывно. Охват обнаружения и испытанные оповещения важнее всего там, где сбой несёт юридические последствия или последствия для безопасности, а записи тестов могут поддерживать аудит. Сообщайте надзорным органам охват и обнаружение, а не сырые счёты оповещений, которые легко неверно прочесть (см. тему 8.5, Регулируемая и государственная отчётность).

Бизнес-обоснование: мотивы, ROI и TCO

Причины вкладываться практичны. Лучшее обнаружение сокращает время, в течение которого затронуты пользователи. Меньше бессмысленных вызовов защищает сон, сокращает отток из ротации и сохраняет внимание для важных оповещений. Цену плохого качества оповещений трудно увидеть, потому что она размазана по прерванному сну, медленным реакциям и уходам опытных инженеров.

Цена сбора этих метрик мала, если инструменты оповещений, вызова и инцидентов можно соединить, и умеренна, если метки добавляются вручную. Основные затраты: время еженедельного пересмотра, работа по настройке и удалению и редкие испытания обнаружения. Обрезка неиспользуемых правил также сокращает расходы на лицензии и хранение мониторинга, а общая стоимость владения должна включать время людей.

Отдача проявляется в течение нескольких месяцев как более тихие ротации, растущая доля обнаружения мониторингом и время обнаружения, которое не ухудшается. Чтобы перевести это в деньги, сравните цену часов инцидентов и текучести ротации с ценой пересмотра по своим цифрам. Не используйте отраслевые средние, если не можете сослаться на проверенный источник.

Антипаттерны и ловушки

  • Целевой показатель по объёму оповещений. Цель по счёту награждает тишину и приглашает прятать оповещения. Ставьте цели по доле применимых оповещений и доле обнаружения, а объём используйте как контекстную цифру с пределом устойчивости, выбранным командой.
  • Оповещение по каждой причине. Десятки вызовов уровня причин производят шум и всё же пропускают симптом, о котором никто не подумал. Оповещайте о симптомах, видимых пользователям.
  • Добавление оповещения после каждого инцидента и никогда не удаление. Парьте каждое новое оповещение с пересмотром тех, которые оно делает избыточными.
  • Подсчёт оповещений без разметки. Счёт без суждения о полезности не отличает шумную ротацию от занятой. Размечайте выборку каждую неделю, даже если есть всего несколько минут.
  • Рассматривание охвата как числа оповещений. Услуга с пятьюдесятью оповещениями о причинах и без оповещения о симптоме покрыта плохо. Определяйте охват как испытанное обнаружение симптома.
  • Ранжирование людей по числу обработанных или подтверждённых вызовов. Это наказывает членов ротации, берущих трудные смены, и поощряет избегание пейджера. Сообщайте по ротации и услуге и ищите исправления в проектировании.
  • Никогда не испытывать путь оповещений. Оповещение, которое не видели работающим, есть предположение. Включайте тесты оповещений в учения и мониторьте сам конвейер.

Модель зрелости

Измерение Инициирование Развитие Стандартизация Управление Оркестрация
Политика вызовов и владение правилами Оповещения добавляются как придётся; никто не знает, зачем многие существуют У некоторых команд есть политика и владельцы своих правил Одна короткая политика вызовов; у каждого правила вызова есть владелец и ранбук Актуальность правил отслеживается и пересматривается; неиспользуемые правила удаляются по графику Политика и владение адаптируются между командами и поставщиками по мере изменения услуг
Измерение качества оповещений Жалобы на шум; нет счётов Объём считают некоторые команды; разметки нет Еженедельный пересмотр с общими метками; доля применимых оповещений и доля ложных срабатываний сообщаются по услугам Доли отслеживаются во времени и парятся с мерами обнаружения; работа по улучшению финансируется Качество связано между услугами и поставщиками; определения пересматриваются, когда перестают информировать решения
Обнаружение и охват Клиенты и коллеги сообщают о большинстве проблем Оповещения о симптомах на нескольких ключевых услугах Охват обнаружения отслеживается с испытанными оповещениями; первый сигнал записан для каждого инцидента Время обнаружения и доля обнаружения мониторингом пересматриваются с ограждением; пробелы становятся плановой работой Обнаружение регулярно испытывается между зависимостями и поставщиками, включая конвейер оповещений
Использование в улучшении Исправления оповещений следуют за худшей ночью Исправления следуют за инцидентами Каждый пересмотр производит хотя бы одно изменение Изменения отслеживаются до их эффекта на объём, применимость и обнаружение Нагрузка ротации, обнаружение и бюджеты ошибок пересматриваются вместе для управления вложениями

Контрольный список

  • У нас есть письменная политика вызовов из нескольких предложений, говорящая, что заслуживает вызова.
  • У каждого правила вызова есть владелец, цель и ссылка на ранбук.
  • Каждая ротация пересматривает сработавшее не реже раза в неделю и размечает каждое оповещение.
  • Каждый пересмотр производит хотя бы одно записанное изменение правила.
  • Мы сообщаем объём оповещений, долю применимых оповещений и долю ложных срабатываний по ротации и услуге, никогда по человеку.
  • Каждый инцидент записывает, как он был впервые обнаружен, с вариантом «неизвестно».
  • Мы оцениваем начало воздействия по истории индикатора уровня услуги и сообщаем медиану и 95-й перцентиль времени обнаружения.
  • У каждой услуги в области есть оповещение о симптоме, испытанное за последние 12 месяцев.
  • Проверка пульса вызывает нас, если конвейер оповещений останавливается.
  • Мы согласовали устойчивую нагрузку вне рабочих часов для каждой ротации и пересматриваем её.
  • Ни одна цель не ставится только на объём оповещений.

Промпты для ИИ

Цель: составьте черновик политики вызовов для услуги по её индикаторам и последствиям.

Help me draft a paging policy for the service [service name].
Context: users are [user group]; the user-facing symptoms we care about are [symptoms, for example errors, latency, unavailability]; the consequences of a missed failure are [consequences]; the on-call rotation is [rotation description, for example hours and team size].
Write a short policy (under 200 words) that says what earns a page, what goes to a ticket queue, and what stays on a dashboard.
Do not invent thresholds or benchmark values; leave [threshold] placeholders for us to set from our own data.
List the questions you would ask us before finalizing it, and list your assumptions.

Цель: проанализируйте выгруженный пересмотр оповещений на закономерности шума.

I will paste a table of alerts from [period] for the rotation [rotation name] with columns: [column names, for example rule, time, label, action taken, service].
Calculate the actionable alert rate, the false positive rate, the out-of-hours share, and the share of alerts from the five noisiest rules, using only the data I paste.
Suggest which rules to tune, merge, demote, or delete, with a reason for each, and mark each suggestion as a hypothesis to check.
Report by rule, service, and rotation, never by person. Do not invent benchmark values.
List your assumptions and any rows you excluded.

Цель: проверьте набор метрик оповещений на риск манипуляции перед публикацией.

Here are the alert quality metrics we plan to publish: [list of metrics with definitions and formulas].
For each metric, describe two ways it could be gamed or misread in our context of [organization type and service], and suggest a paired guardrail from the same list or a practice we can adopt.
Point out any metric that is shown without its guardrail.
Do not invent sources or benchmark values.
List your assumptions about how our tools record alerts and incidents.

Цель: спланируйте испытание обнаружения для услуг со слабым охватом.

Our services are [list of services], and the symptom alerts we believe exist are [list of alerts].
Propose a safe test plan for the next [game day or rehearsal] that checks, for each service, that a deliberate symptom triggers the alert, reaches [rotation], and links to a runbook.
Say who should be told beforehand and how to record results for detection coverage.
Do not invent tool features; ask me how [monitoring tool] works.
List your assumptions.

Навыки ИИ

  • Service Management Metrics skill: используйте, чтобы найти тему, определяющую связанную меру, и ограждение, которое должно стоять рядом с метрикой качества оповещений.
  • Service Management Metrics maintainer skill: используйте, чтобы проверить, что правки этой темы сохраняют согласованность шаблона, таблицы манипуляций и перекрёстных ссылок.

Главные выводы

  • Судите об оповещениях по тому, привели ли они к действию, а о мониторинге по тому, сколько реальных неприятностей он поймал; точность и полнота охраняют друг друга.
  • Вызывайте по симптомам, которые чувствуют пользователи, привязывайте пороги к цели уровня услуги там, где она есть, и храните причины для диагностики.
  • Пересматривайте сработавшее каждую неделю, размечайте и делайте хотя бы одно изменение каждый раз.
  • Никогда не ставьте цель только на объём оповещений; читайте его рядом с долей применимых оповещений, долей обнаружения мониторингом и временем обнаружения.
  • Испытывайте оповещения и конвейер оповещений, потому что неиспытанное оповещение есть предположение.
  • Сообщайте по ротации и услуге, никогда по человеку, и относитесь к устойчивой нагрузке дежурств как к цели проектирования.

Источники и дополнительное чтение

  1. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, "Monitoring Distributed Systems," https://sre.google/sre-book/monitoring-distributed-systems/
  2. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, "Practical Alerting from Time-Series Data," https://sre.google/sre-book/practical-alerting/
  3. Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, "Alerting on SLOs," https://sre.google/workbook/alerting-on-slos/
  4. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  5. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  6. Wikipedia, Мониторинг систем.
  7. Wikipedia, Ложноположительные и ложноотрицательные результаты.
  8. Wikipedia, Точность и полнота.
  9. Wikipedia, Отношение сигнал/шум.
  10. Wikipedia, Усталость от тревог.
  11. Wikipedia, Дежурство.
  12. Wikipedia, Инженерия надёжности сайтов.
  13. Wikipedia, Цель уровня услуги.