Рутинная работа и метрики дежурств
Услуга надёжна лишь настолько, насколько надёжна ротация, которая о ней заботится, поэтому измеряйте прерывания, ночную нагрузку и долю времени, теряемую на повторяющуюся ручную работу, для ротации в целом и используйте числа, чтобы финансировать предотвращение и автоматизацию, а не сравнивать людей.
Обзор и мотивация
О надёжности часто говорят в терминах системы: доступность, задержка, доли ошибок. За каждой услугой, у которой есть пользователи посреди ночи, стоит человеческая система, реагирующая, когда система отказывает. У этой человеческой системы есть пределы. Ротация, которую слишком часто вызывают, будят слишком многих людей или проводит большую часть недели на ручных повторяющихся задачах, замедлится, будет делать больше ошибок и в итоге потеряет людей. Остальные метрики части 5 могут выглядеть здоровыми вплоть до момента, когда уходят люди, скрепляющие их.
Две идеи организуют эту тему. Первая: работа дежурств, то есть ротация людей, досягаемых и готовых реагировать на оповещения вне обычного рабочего режима. Вызов (page) есть оповещение, прерывающее респондента, обычно через пейджер, телефонный звонок или push-уведомление. Смена есть один отрезок дежурства, например сутки, неделя или ночь. Ротация есть группа людей, по очереди берущих смены. Вторая идея: рутинная работа (toil), термин из инженерии надёжности сайтов (SRE), дисциплины эксплуатации услуг методами программной инженерии. В книге Google Site Reliability Engineering toil есть операционная работа, связанная с эксплуатацией продуктивной услуги, которая склонна быть ручной, повторяющейся, автоматизируемой, тактической, без непреходящей ценности и растущей вместе с услугой. Она не то же самое, что накладные расходы, например совещания, и не просто работа, которую кому-то не нравится делать.
В ITIL 4 нет практики, называемой «управление рутинной работой». Материал распределён по нескольким практикам. Управление инцидентами и мониторинг и управление событиями производят вызовы. Управление проблемами убирает причины, продолжающие их производить. Управление запросами на обслуживание и управление развёртыванием производят большую часть повторяющейся ручной работы. Управление персоналом и талантами и непрерывное улучшение владеют стороной людей. Аналог Agile есть рабочее соглашение команды о внеплановой работе и устойчивом темпе и привычка DevOps, по которой команда, строящая услугу, носит и часть пейджера за неё.
Здешние меры касаются нагрузки и устойчивости. Обработка инцидентов принадлежит другим темам (см. тему 3.3, Время реагирования на инциденты и их устранения, и тему 3.4, Метрики крупных инцидентов), как и качество отдельных оповещений (см. тему 5.5, Метрики мониторинга и качества оповещений). Эта тема спрашивает, чего стоит людям в ротации поддержание работы услуги и устойчива ли эта цена.
Почему это относится к надёжности
У усталости есть операционные последствия. Недосып ухудшает суждение и скорость реакции, а респонденты, уставшие в начале инцидента, дольше его диагностируют и чаще делают вторую ошибку, исправляя первую. Усталость от тревог есть родственный эффект слишком большого числа оповещений: люди перестают воспринимать каждое как срочное. Профессиональное выгорание есть долгосрочный исход продолжительной перегрузки, и оно проявляется как текучесть, болезни и потеря вовлечённости, а это медленно, дорого и трудно обратить. Команда, измеряющая надёжность услуги, но не измеряющая устойчивость своей ротации, наблюдает только следствие и игнорирует часть причины.
Эта тема описывает ротации, смены и услуги и никогда не ранжирует отдельных людей. Взгляд ITIL начинает с инцидента и услуги, взгляд SRE с цены в человеко-времени, а взгляд Agile с ёмкости для плановой работы.
Ключевые принципы
- Измеряйте ротацию, а не человека. Сообщайте нагрузку по услуге, смене и месту в ротации. Число вызовов человека зависит от доставшейся ему смены, а таблица лидеров учит людей прятать прерывания.
- Считайте, когда случаются прерывания, а не только как долго они длятся. Пятиминутный вызов в 03:00 может стоить ночи сна.
- Определяйте рутинную работу узко и пусть команда её классифицирует. Рутинная работа есть особый вид работы, а не синоним работы, которая людям не нравится.
- Относитесь к нагрузке как к сигналу для вложений. Большой объём вызовов или доля рутинной работы есть свидетельство, что услуге, инструменту или уровню штата нужна работа.
- Парьте каждую меру нагрузки с мерой качества. Меньше вызовов есть хорошая новость, только если инциденты всё ещё обнаруживаются.
- Показывайте распределения и сначала делитесь данными с ротацией. Средняя смена прячет горстку ужасных ночей, а дежурные лучше всех судят, соответствуют ли числа их опыту.
Определения метрик
Таблица даёт основной набор. Каждая мера времени или счёта указывает, где она начинается и заканчивается и что исключено. «Вне рабочих часов» должно быть определено один раз для ротации как письменное окно в местном времени, включая выходные и официальные праздники, потому что у людей в распределённой ротации могут быть разные местные часы.
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Вызовов за смену | Число вызовов, доставленных ротации за одну смену | Число вызовов, доставленных между началом и концом смены, один счёт на смену, после слияния дублирующих вызовов для той же группы оповещений в пределах 5 минут (окно слияния есть настройка команды). Тестовые вызовы и вызовы, отправленные по ошибке, исключаются. Сообщайте медиану и 90-й перцентиль по сменам, плюс самую загруженную смену | вызовов за смену | Инструмент вызова; расписание дежурств | Управление инцидентами; мониторинг и управление событиями | Политика внеплановой работы; устойчивый темп | Еженедельный пересмотр, месячный тренд |
| Доля вызовов вне рабочих часов | Доля вызовов, приходящих вне письменного рабочего окна | Вызовы, доставленные вне рабочего окна / все доставленные вызовы за период. Окно задаётся по ротации в местном времени; праздники считаются вне окна | процент | Инструмент вызова; календарь ротации | Управление инцидентами; мониторинг и управление событиями | Рабочее соглашение о доступности | Раз в месяц |
| Частота ночных прерываний | Как часто смена включает хотя бы один вызов в защищённое окно сна | Смены с хотя бы одним вызовом в защищённом окне сна (например, с 22:00 до 07:00 по местному времени, задаётся командой) / все смены за период. Вызов, подтверждённый автоматически без реакции человека, исключается | процент смен | Инструмент вызова; журнал подтверждений | Управление инцидентами; управление персоналом и талантами | Устойчивый темп; проверка здоровья команды | Раз в месяц |
| Доля времени на рутинную работу | Доля рабочего времени ротации, потраченная на рутинную работу | Часы, записанные ротацией на работу, классифицированную как рутинная / общие рабочие часы, записанные ротацией, за месяц. Совещания, обучение и отпуск исключаются и из числителя, и из знаменателя. Классификация следует шести характеристикам рутинной работы, применяемым командой | процент времени | Выборочный замер времени или метки задач в трекере работы; пересмотр классификации командой | Непрерывное улучшение; управление развёртыванием; управление запросами на обслуживание | Доля внеплановой работы; распределение ёмкости в плановой работе | Раз в месяц, с квартальным пересмотром классификации |
| Рутинная работа по источникам | Распределение часов рутинной работы по названным источникам, таким как ручные перезапуски, запросы доступа, продление сертификатов и сортировка заявок | Часы рутинной работы по каждому источнику / общие часы рутинной работы, с перечислением пяти главных источников и группы «прочее». Те же исключения, что у доли времени на рутинную работу | процент часов рутинной работы по источнику | Выборочный замер времени или метки задач в трекере работы | Управление проблемами; управление запросами на обслуживание | Бэклог элементов улучшения | Раз в квартал |
| Доля повторных вызовов | Доля вызовов, вызванных условием, которое уже вызывало ротацию раньше в заявленном окне | Вызовы, чья группа оповещений или код причины совпадает с более ранним вызовом в пределах 30 дней / все вызовы за период. Код причины ставит респондент при закрытии; неустановленные коды сообщаются отдельно | процент | Инструмент вызова; коды причин в записях об инцидентах | Управление проблемами; управление инцидентами | Действия ретроспективы; бэклог технического долга | Раз в месяц |
| Глубина ротации | Сколько квалифицированных респондентов делят пейджер по сравнению с числом мест, которые нужно заполнить | Число людей, прошедших готовность к дежурству и доступных для смен / число мест в смене за цикл ротации. Отпуск и командировка уменьшают доступность. Сообщается как отношение по ротации, никогда по человеку | отношение | Расписание ротации; контрольный список готовности | Управление персоналом и талантами | Кросс-функциональная команда; матрица навыков | Раз в квартал |
| Устранённая рутинная работа | Повторяющиеся часы рутинной работы, убранные из работы ротации автоматизацией или изменением проекта | Оценочные месячные часы рутинной работы источника до изменения минус те же после изменения, измеренные не менее чем за два цикла после поставки. Часы, сэкономленные разовой чисткой, исключаются | часов в месяц | Выборочный замер времени до и после; заявка на улучшение | Непрерывное улучшение; управление проблемами | Доставленный элемент улучшения | Раз в квартал |
Счёт вызовов есть счёт прерываний, а не инцидентов: один инцидент может породить десяток вызовов. Доля времени на рутинную работу зависит от честной записи, поэтому относитесь к ней как к согласованной оценке.
Рекомендации
Определите термины, прежде чем считать
1. Запишите, что считается вызовом, сменой и «вне рабочих часов». Команды считают разное под одним словом. Вызовом может быть любое уведомление, только достигающее человека или только требующее действия. Выберите одно определение, укажите окно слияния дубликатов и запишите рабочее окно в местном времени. Без этого числа изменятся при перенастройке инструмента, а тренд будет вводить в заблуждение.
2. Договоритесь, что есть рутинная работа, с примерами из вашей собственной услуги. Начните с шести характеристик в книге SRE. Запишите короткий список примеров и непримеров, таких как перезапуск зависшего задания (рутина), проектирование нового инструмента восстановления (инженерия) и совещание по планированию (накладные расходы). Пересматривайте список, когда возникают разногласия.
3. Выберите способ измерения доли рутинной работы и примите его пределы. Дешёвые варианты: выборочный замер времени, метки задач в трекере работы и короткая двухнедельная оценка. Ни один не точен, поэтому выберите с наименьшими издержками, ведите его квартал и судите скорее по тренду, чем по абсолютному значению.
Измеряйте нагрузку на ротацию
4. Сообщайте вызовы за смену как распределение. Средняя смена прячет то, что чувствует ротация. Показывайте медиану, 90-й перцентиль и самую загруженную смену и добавляйте заметку о том, что произошло в этой смене. Тихая медиана с ужасным хвостом означает несколько плохих ночей, а это другая проблема, чем стабильно загруженная ротация. О чтении перцентилей см. тему 1.6, Статистическая грамотность для метрик услуг.
5. Ставьте время рядом с объёмом. Доля вызовов вне рабочих часов и частота ночных прерываний показывают, когда нагрузка падает. Пять вызовов в рабочее время есть неудобство; пять между полуночью и 05:00 есть другая цена. Показывайте оба на одной странице.
6. Смотрите на разброс по сменам, а не по людям. Ротация, где одна повторяющаяся смена (например, выходные или передача в понедельник) собирает большинство вызовов, нуждается в ином исправлении, чем та, где нагрузка ровная. Сообщайте долю вызовов по месту в смене и дню. Когда данные сообщаются по названным людям, ждите, что их прочтут как ранжирование, поэтому не создавайте такого вида.
7. Считайте нагрузку крупных инцидентов отдельно. Крупный инцидент может породить за одну ночь больше прерываний, чем обычный месяц. Сообщайте его отдельной строкой, чтобы одно событие не искажало тренд (см. тему 3.4, Метрики крупных инцидентов).
Связывайте нагрузку с причинами и исправлениями
8. Связывайте вызовы с проблемами и отслеживайте повторы. Доля повторных вызовов показывает, какая часть нагрузки идёт от уже известных причин. Высокая доля повторов есть довод в пользу управления проблемами, а не более быстрого реагирования. Передавайте главные повторяющиеся причины в бэклог проблем и записывайте связь (см. тему 4.1, Метрики управления проблемами, и тему 4.6, Технический долг и известные ошибки).
9. Ранжируйте источники рутинной работы и атакуйте самый крупный. Диаграмма Парето часов рутинной работы по источникам обычно показывает, что несколько источников отвечают за большую часть времени. Выберите крупнейший, решите, можно ли его убрать проектированием, автоматизировать или передать команде, владеющей причиной, и планируйте его как работу над функциями. Предпочитайте устранение потребности автоматизации шага, потому что автоматизированный шаг всё равно надо поддерживать.
10. Измеряйте устранённую рутинную работу, а не написанные автоматизации. Автоматизация, которой никто не пользуется, ничего не убирает. Измеряйте часы рутинной работы до и после не менее чем за два цикла и записывайте усилия на создание и поддержку автоматизации. Это честная отдача, и она предотвращает программу «автоматизации», добавляющую скрипты без убирания работы. О внедрении автоматизации пользователями см. тему 3.7, Метрики самообслуживания и автоматизации.
Держите систему устойчивой
11. Задайте пределы ротации в соглашении команды, затем следите за глубиной ротации. Договоритесь, как часто человек может дежурить, сколько последовательных ночей приемлемо и какой отдых следует за плохой ночью. Глубина ротации показывает, хватает ли ротации квалифицированных людей для согласованного предела. Ротация, номинально из восьми человек, но фактически из трёх, потому что остальные ещё не готовы или в отпуске, не соответствует пределу, что бы ни говорил график.
12. Используйте числа, чтобы просить о конкретном. Число нагрузки поддерживает просьбу: изменение штата, время, отрезанное от работы над функциями, чтобы погасить рутину, изменение порогов оповещений или вывод из эксплуатации. Указывайте просьбу рядом с числом, иначе люди перестанут записывать (см. тему 1.4, Управление метриками и ответственность за них).
Векторы манипуляции и ограждения
| Метрика | Как её искажают | Парная метрика или практика-ограждение |
|---|---|---|
| Вызовов за смену | Поднимать пороги оповещений или заглушать оповещения, чтобы счёт падал; сливать несвязанные оповещения в один вызов; переносить вызовы в очередь заявок, за которой никто не следит | Охват обнаружения и инциденты, о которых сообщили клиенты, а мониторинг пропустил (см. тему 5.5, Метрики мониторинга и качества оповещений); время обнаружения (см. тему 3.3, Время реагирования на инциденты и их устранения) |
| Доля вызовов вне рабочих часов | Переопределять рабочее окно шире; переносить задания и развёртывания так, чтобы вызовы сдвигались в рабочие часы, не сокращаясь; переклассифицировать вызовы как «низкой срочности» | Общий объём вызовов рядом с долей; письменное рабочее окно под контролем изменений; пересмотр того, что переместилось |
| Частота ночных прерываний | Откладывать подтверждение до утра; автоматически подтверждать вызовы; считать только вызовы, дошедшие до человека | Время до подтверждения по часам (см. тему 3.3, Время реагирования на инциденты и их устранения); вызовы без реакции человека сообщаются отдельно; воздействие на клиентов ночью |
| Доля времени на рутинную работу | Переклассифицировать рутину как «инженерию» или «проектную работу»; записывать меньше, чем потрачено; помечать только то, что легко описать | Периодический аудит классифицированных элементов кем-то вне ротации; собственное мнение команды о том, как ощущалась неделя; доля времени на плановую работу по улучшению |
| Рутинная работа по источникам | Делить крупный источник на несколько малых, чтобы ни один не выделялся; оставлять источник безымянным в «прочем» | Предел группы «прочее» (например, менее пятой части часов рутинной работы, настройка команды); выборка элементов «прочего» каждый квартал |
| Доля повторных вызовов | Закрывать вызовы каждый раз с новым кодом причины, чтобы совпадения пропускались; расширять коды причин, пока всё не станет различным; удлинять или сокращать окно | Аудит кодов причин по выборке; повторение той же группы оповещений между инцидентами (см. тему 4.1, Метрики управления проблемами) |
| Глубина ротации | Считать людей, не прошедших готовность; считать людей, редко доступных; раздувать график | Доля смен, фактически покрытых номинальным пулом; фактическое число смен по месту, без имён; выполнение контрольного списка готовности |
| Устранённая рутинная работа | Засчитывать разовые чистки как повторяющуюся экономию; игнорировать усилия на создание и поддержку автоматизации; заявлять экономию без замеров до и после | Часы до и после, измеренные за два цикла; усилия на поддержку автоматизации; доля времени на рутинную работу в следующие кварталы |
Здоровое чтение есть ротация, чья медианная смена тиха, а худшая смена редка, с малым числом ночных вызовов, падающей долей повторных вызовов и долей рутинной работы, которая падает, потому что источники убраны, а не потому что они переклассифицированы. Оно также показывает усилия, чтобы туда прийти: работа по улучшению появляется в плане, финансируется и поставляется. Если счёт вызовов падает, а клиенты сообщают о большем числе инцидентов, которые мониторинг не поймал, числа улучшаются отведением взгляда.
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| Подсчёт вызовов по инструменту вызова | Автоматичен, дёшев и его трудно оспорить | Считает прерывания, а не их цену; настройка оповещений меняет счёт, не меняя нагрузку |
| Выборочный замер времени для рутинной работы | Разумная точность при скромных усилиях | Нужна дисциплина; малые выборки шумны |
| Отчётность на уровне ротации | Соответствует организации работы; безопасно делиться широко | Может скрыть человека, которому трудно; рядом нужен поддерживающий канал разговора |
| Жёсткий предел рутинной работы (например, цель книги SRE держать рутину ниже 50 % времени) | Ясный сигнал, запускающий реакцию | Число можно выполнить переклассификацией; предел нуждается в поддержке руководства |
Центральное напряжение лежит между принятием и вложением. Легко рассматривать высокую нагрузку как обычную цену важной услуги и просить людей её поглотить, и легко поставить предел, который никто не имеет власти применять. Путь через это в том, чтобы парить каждую меру с решением: порог, при котором команда останавливается и действует, названный владелец действия и дата, когда посмотреть снова. Числа уровня ротации безопасны и иногда слишком грубы. Когда кому-то трудно, разговор принадлежит этому человеку и его руководителю, с использованием его собственного рассказа о неделе.
Вопросы для обсуждения в команде
1. Какой была наша самая загруженная смена прошлого квартала и что о ней говорят числа? Начните с истории, а не с графика. Попросите дежуривших описать смену, затем сравните с числами вызовов за смену и ночных прерываний. Если числа преуменьшают опыт, выясните, чего не хватает, например незаписанных звонков или работы после вызова. Запишите этот список как следующее улучшение измерения.
2. Что мы назвали бы рутинной работой в нашей команде и что нет? Положите на доску пять-шесть недавних задач и попросите каждого классифицировать их как рутину, инженерию или накладные расходы по шести характеристикам. Ждите разногласий и считайте их полезными: они показывают, где определение расплывчато. Договоритесь о рабочем определении на следующий квартал и запишите по два примера каждого. Избегайте спора, приятна ли работа, потому что вопрос в том, ручная ли она, повторяющаяся и автоматизируемая.
3. Какое оповещение или задачу мы удалили бы первой, если бы могли? Спросите про оповещение или повторяющуюся задачу, которой все боятся, затем спросите, что мешает её убрать: цена исправления, отсутствие владельца или убеждение, что она необходима. Ведущему стоит искать работу, дешёвую для удаления, чей владелец не присутствует в комнате. Завершите выбором одного элемента для следующего раунда планирования.
4. Сколько людей фактически могут взять смену сегодня и какие пределы мы готовы обещать? Честно посчитайте готовность: кто обучен, кто доступен и у кого есть ограничения. Сравните результат с номинальным размером ротации. Спросите, какую частоту дежурств и какое число последовательных ночей группа считает приемлемым, затем проверьте, соответствует ли текущая практика.
5. Если бы мы вдвое сократили число вызовов к следующему кварталу, как мы узнали бы, что не просто перестали слушать? Этот вопрос про ограждение. Попросите группу перечислить способы, которыми число вызовов могло бы упасть без улучшения услуги, такие как поднятие порогов, слияние оповещений или игнорирование источника. Затем спросите, что мы увидели бы в сообщениях клиентов и в мерах обнаружения, если бы это произошло. Договоритесь об ограждении и поставьте его на ту же страницу, что и объём.
6. Кто видит эти числа и что мы хотим, чтобы они с ними делали? Проследите путь мер нагрузки от ротации к менеджерам и руководителям. Спросите, к какому выводу склонна прийти каждая аудитория и не может ли какой-либо вид быть прочитан как ранжирование. Договоритесь о форме, идущей наверх: на уровне ротации, с контекстом, с приложенной просьбой. Отметьте любые опасения, что отдельных людей можно опознать.
Четыре точки зрения
Продуктовые команды и команды поставки
Команды поставки порождают значительную часть нагрузки дежурств через изменения, которые выпускают. Команды, эксплуатирующие то, что строят, видят связь между релизом и вызовами, которые за ним следуют. Им следует включать рутинную работу и дежурства в планирование ёмкости, планировать устранение рутины как обычную работу из бэклога и следить за качеством изменений рядом со скоростью (см. тему 2.8, Метрики DORA).
Команды услуг и эксплуатации
Команды эксплуатации чаще всего носят пейджер и первыми видят человеческую цену. Им следует владеть определениями, вести выборочный замер времени или разметку, публиковать числа уровня ротации и приносить главные источники рутины и повторяющиеся причины владеющим командам со свидетельствами. Их риск в том, чтобы молча поглощать нагрузку из профессионализма. Спокойная фактическая запись ночей и недель есть более действенная просьба о помощи, чем жалоба, и записи никогда не следует превращать в ранжирование людей, которые реагировали.
Руководство и управление
Руководители решают вопросы штата, приоритетов и финансирования работы с рутиной. Руководитель, читающий высокую долю рутины как плохую результативность, учит команду снижать её переименованием. Руководитель, читающий её как счёт за работу, которую организация решила не финансировать, получает честные данные и план. Управлению следует ожидать предела нагрузки ротации и видимой реакции, когда он превышен (см. тему 9.2, Метрики удовлетворённости и благополучия).
Клиенты и пользователи
Пользователи не видят ротацию, но чувствуют её последствия: более медленную диагностику уставшими респондентами, повторяющиеся инциденты от неисправленных причин и уход людей, знавших услугу. Где пользователи охватывают много часовых поясов, их потребности вне рабочих часов формируют ротацию, а цена их покрытия есть справедливая тема разговора об уровне услуг (см. тему 5.1, Метрики SLA, OLA и XLA).
На практике: пример из управления услугами
Интернет-магазин среднего размера ведёт платформу заказов, услугу учётных записей клиентов и интеграцию со складом. Ротация из шести инженеров из двух продуктовых команд и малой группы эксплуатации делит еженедельную смену дежурств. Все числа в этом примере иллюстративны.
Месячный пересмотр показывает медиану 9 вызовов за смену и 90-й перцентиль 31. Самая загруженная смена имела 58 вызовов. Около половины всех вызовов приходится вне рабочих часов, и 6 из 8 смен квартала включали вызов между 22:00 и 07:00. Выборочный замер времени показывает, что рутина занимает 55 % рабочего времени.
Самая загруженная смена совпала с истечением сертификата на интеграции со складом, вызвавшим ротацию 22 раза за одну ночь. Одно оповещение о месте на диске на пакетном сервере даёт почти четверть вызовов, и большинство закрывались ручной очисткой временного каталога. Доля повторных вызовов составляет 41 %. Вид Парето показывает, что ручное продление сертификатов, очистка диска и запросы доступа занимают большую часть часов рутины.
Команда берёт три элемента на ближайшие четыре недели: автоматизировать продление сертификатов, исправить причину заполнения временного каталога и перенести запросы доступа на форму самообслуживания во владении команды идентификации. Рабочее соглашение задаёт предел в одну смену из четырёх на человека и день отдыха после ночи с тремя и более вызовами. Глубина ротации составляет 6 человек при согласованной потребности в 8, поэтому два инженера из третьей команды начинают обучение готовности.
Риск манипуляции проявляется на следующем пересмотре. Вызовов за смену упало до медианы 4, а 90-й перцентиль до 12. Один менеджер доволен. Член команды указывает, что порог оповещения о диске был поднят на 20 пунктов и что пакетный сервер дважды заполнялся без вызова. Инциденты о задержанных пакетных заказах, о которых сообщили клиенты, выросли. Ограждение, инциденты, о которых сообщили клиенты, а мониторинг пропустил, это поймало. Изменение порога отменено, очистка каталога запланирована как исправление, а команда добавляет правило, что любое изменение порога записывается с причиной и пересматривается через месяц. Доля рутины в следующем квартале составляет 38 % (иллюстративно) и сообщается с методом выборки рядом.
Agile, ИИ, автоматизация и аналитика
Agile
Устойчивый темп включает ротацию дежурств, поэтому пересматривайте её нагрузку с командой в регулярном ритме и финансируйте предотвращение. Осторожность в том, что цель на меньшее число вызовов может привести к заглушению оповещений.
ИИ
ИИ может резюмировать вызовы, предлагать шаги ранбука и сортировать оповещения, что может снизить рутину, и он может добавить новую рутину в проверке и исправлении его вывода. Включайте время на надзор за ИИ в рутину и парьте счёт вызовов с сигналами сна и благополучия. Осторожность в том, что автоматизированный первый ответ может спрятать вызовы от людей, всё ещё несущих риск.
Автоматизация
Автоматизируйте устранение рутины там, где работа повторяется, и измеряйте устранённую рутину и инциденты, вызванные автоматизацией. Осторожность в том, что автоматизация, построенная без владельца, становится новым источником работы дежурных.
Аналитика
Сообщайте нагрузку по ротации, никогда по человеку, с числом вызовов за каждой цифрой. Решение, которое это информирует, состоит в том, куда вкладываться в предотвращение. Осторожность в том, что данные пейджера опускают неформальные прерывания, поэтому сочетайте их с коротким опросом.
Отраслевой взгляд
Стартап. У малой команды часто нет формальной ротации, поэтому все на дежурстве постоянно, а цена невидима. Считайте вызовы и ночные пробуждения в таблице и запишите три крупнейшие повторяющиеся задачи. Основатели, носящие пейджер сами, суть бизнес-риск, а не знак преданности.
Малый бизнес. Один-два человека могут вести весь ИТ. Измеряйте то, что не требует инструментов: звонки вне рабочих часов, повторяющиеся задачи и отпуск, который нельзя взять. Поставщик управляемых услуг может взять часть ротации, если контракт указывает время реакции и часы. Глубина ротации часто равна единице, и это главный риск.
Крупная компания. Масштаб приносит ротации «следуй за солнцем», общие платформы и нескольких поставщиков. Определите меры один раз, задайте местные рабочие окна по регионам и избегайте усреднения по ротациям с очень разными услугами. Трудовые правила в некоторых странах ограничивают дежурства и требуют периодов отдыха, и они принадлежат пределам ротации.
Государство и публичный сектор. Услугам может требоваться круглосуточное покрытие по закону или контракту, а штат ограничен закупками и градацией. Пределы ротации и правила отдыха часто регулируются трудовыми соглашениями, поэтому измеряйте относительно них и сообщайте, когда они превышены. Публичная подотчётность делает откровенную отчётность более ценной и более трудной: постройте безопасный канал для данных о нагрузке и ясно скажите, что они описывают систему и штат, а не отдельных людей (см. тему 8.5, Регулируемая и государственная отчётность).
Бизнес-обоснование: мотивы, ROI и TCO
Мотив состоит в защите качества услуги и сохранении квалифицированных людей. Уставшие респонденты диагностируют медленнее, а когда опытные люди уходят, знание уходит с ними. Замена человека имеет реальную цену в найме, вводе в должность и сниженной отдаче в период обучения, и организация может оценить эти цены по своим записям. Рутинная работа также отнимает ёмкость у улучшения. Команда, проводящая большую часть времени на ручных операциях, не может сократить инциденты, которые их порождают.
Цена мер скромна. Инструмент вызова уже считает вызовы, а выборочный замер времени стоит несколько минут на человека в две недели. Большая цена в действиях по находкам: инженерное время на устранение рутины, штат для устойчивой ротации и время пересмотра. Считайте поддержку автоматизации затратами, потому что неподдерживаемый автоматизированный шаг становится завтрашним инцидентом.
Отдача проявляется как меньше вызовов от известных причин, меньше ночных прерываний, часы рутины, возвращённые работе по улучшению, меньший отток из ротации и более быстрая диагностика. Универсальной цифры нет, поэтому оценивайте свою. Для источника рутины умножьте месячные часы на нагруженную почасовую цену, согласованную с финансами, сравните с усилием на устранение и пересмотрите после двух циклов. Для устойчивости ротации записывайте уходы и долгие отсутствия в ротации и сравнивайте их с мерами нагрузки во времени, относясь к связи как к гипотезе для проверки, а не к доказанной причине. Где нужна цифра, указывайте её как оценку и показывайте входы (см. тему 7.7, Возврат инвестиций и бизнес-обоснование).
Антипаттерны и ловушки
- Ранжирование людей по вызовам. Это превращает системную меру в оценку результативности и учит респондентов избегать смен и прятать прерывания. Сообщайте по ротации, месту в смене и услуге.
- Сокращение вызовов заглушением оповещений. Счёт падает, а обнаружение слабеет. Парьте объём с обнаружением и инцидентами, о которых сообщили клиенты, и пересматривайте каждое изменение порога.
- Называть рутиной всё. Определение настолько широкое, что включает совещания и трудные проблемы, разрушает сигнал. Используйте шесть характеристик и храните список примеров.
- Цель по рутине без власти за ней. Предел, не могущий запустить решение, становится числом, о котором спорят. Заранее договоритесь, что происходит при превышении и кто решает.
- Автоматизация до понимания. Автоматизация может закрепить плохой процесс и добавить поддержку. Сначала спросите, можно ли убрать потребность проектированием, и позже измеряйте устранённую рутину.
- Усреднение по несходным услугам. Среднее по стабильной и хрупкой услуге описывает ни ту, ни другую. Показывайте каждую услугу и ротацию отдельно.
- Измерять и не действовать. Числа нагрузки без реакции учат людей, что данные не имеют значения. Прикрепляйте к каждой находке решение, владельца и дату пересмотра.
Модель зрелости
| Измерение | 1 Инициирование | 2 Развитие | 3 Стандартизация | 4 Управление | 5 Оркестрация |
|---|---|---|---|---|---|
| Определения и данные | Вызовы и рутина описываются на ощупь; общего определения нет | Некоторые ротации считают вызовы; рутина обсуждается, но не измеряется | Одно письменное определение вызова, смены, вне рабочих часов и рутины; данные вызовов собираются инструментом | Распределения и время отслеживаются во времени; рутина замеряется выборкой каждый месяц и проверяется аудитом | Определения пересматриваются между командами и поставщиками; усилия выборки корректируются по ценности ответов |
| Устойчивость ротации | Неформально; пейджер поглощают те же немногие люди | Графики есть; пределы обсуждаются, но не записаны | Письменные пределы по частоте и отдыху; глубина ротации известна | Пределы отслеживаются, нарушения пересматриваются с действиями | Ротации делятся между командами и поставщиками, нагрузка балансируется по мере изменения услуг |
| Использование чисел | Используются для обвинений или игнорируются | Показываются менеджерам | Показываются сначала ротации, вместе с решениями, которые они поддерживают | Парятся с ограждениями и пересматриваются в ритме, ведущем к финансируемому изменению | Делятся с руководителями и партнёрами для планирования штата и области услуг |
Контрольный список
- Вызов, смена, окно вне рабочих часов и окно слияния определены письменно.
- У рутины есть письменное определение с примерами и непримерами из нашей собственной услуги.
- Вызовов за смену сообщается как медиана, высокий перцентиль и самая загруженная смена.
- Доля вызовов вне рабочих часов и частота ночных прерываний сообщаются рядом с объёмом.
- Нагрузка сообщается по ротации, месту в смене и услуге, никогда по названному человеку.
- Доля времени на рутину замеряется выборкой по графику, с записанным методом.
- Пять главных источников рутины и главные повторяющиеся причины вызовов находятся в бэклоге улучшений.
- Пределы ротации и правила отдыха находятся в соглашении команды, а глубина ротации проверяется каждый квартал.
- У каждой меры нагрузки есть ограждение на той же странице, включая обнаружение и инциденты, о которых сообщили клиенты.
- Каждый пересмотр заканчивается решением, владельцем и датой.
- Изменения порогов и оповещений записываются с причиной и пересматриваются через месяц.
Промпты для ИИ
Проверьте нагрузку ротации и поищите закономерности.
I help run the on-call rotation for [service or group of services]. The rotation
has [number] people and a shift length of [length]. Our working window is
[hours and time zone], and our protected sleep window is [hours]. Below is
anonymized paging data for [period], with columns [list columns]:
[paste data with names removed]
Describe the distribution of pages per shift, the share of pages out of hours,
and the share of shifts with a night interruption. Point out the busiest shifts,
repeating alert groups, and any pattern by day or shift position. Report at
rotation and service level only, never by person. Do not invent benchmark values
or targets. List your assumptions and what you could not determine from the data.
Классифицируйте задачи как рутину, инженерию или накладные расходы.
Our team runs [service]. We define toil as work that is manual, repetitive,
automatable, tactical, without enduring value, and growing with the service.
Here is a list of recent tasks with approximate hours: [paste list].
For each task, say whether it fits toil, engineering, or overhead, and name which
of the six characteristics it meets or misses. Flag tasks that are borderline and
say what extra information would settle them. Suggest how each toil source might
be removed by design, automated, or handed to an owning team, without inventing
savings. List your assumptions and questions for the team.
Составьте векторы манипуляции и ограждения для наших метрик нагрузки.
We report these on-call and toil metrics for [rotation name]: [list metrics with
definitions]. They are shown to [audience] to support [decision]. Our data comes
from [paging tool, work tracker, survey].
For each metric, list realistic ways it could improve without the rotation being
better off, and propose a guardrail metric or practice that would reveal each one.
Then say how the guardrail itself could be gamed. Do not invent benchmark values.
List your assumptions and any definitions I should tighten.
Навыки ИИ
- Service Management Metrics skill: используйте, чтобы найти связанные темы и ограждения, когда добавляете меру дежурств или рутины на панель.
- Service Management Metrics maintainer skill: используйте, чтобы проверить, что правки этой темы сохраняют каждую метрику в паре с вектором манипуляции и ограждением.
Главные выводы
- Измеряйте нагрузку на ротацию по смене, услуге и времени суток и никогда не ранжируйте людей в ней.
- Считайте, когда случаются прерывания, а не только сколько, потому что ночные вызовы стоят дороже вызовов в рабочие часы.
- Определяйте рутину узко по шести характеристикам, оценивайте её долю времени простым методом и судите по тренду.
- Связывайте вызовы и источники рутины с работой над проблемами и с изменениями автоматизации или проекта и измеряйте реально устранённую рутину.
- Парьте каждую меру нагрузки с ограждением, таким как обнаружение и инциденты, о которых сообщили клиенты, чтобы более низкие числа нельзя было купить отведением взгляда.
- Относитесь к тяжёлой нагрузке как к просьбе о вложениях, с решением, владельцем и датой пересмотра.
Источники и дополнительное чтение
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016. Chapter "Eliminating Toil", https://sre.google/sre-book/eliminating-toil/
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016. Chapter "Being On-Call", https://sre.google/sre-book/being-on-call/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018. Chapter "Eliminating Toil", https://sre.google/workbook/eliminating-toil/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
- Wikipedia, Дежурство.
- Wikipedia, Инженерия надёжности сайтов.
- Wikipedia, Управление инцидентами.
- Wikipedia, Недосып.
- Wikipedia, Усталость от тревог.
- Wikipedia, Профессиональное выгорание.
- Wikipedia, Диаграмма Парето.