Обзор и мотивация

Каждая команда, создающая и эксплуатирующая услугу, тратит время на два широких вида работы. Работа по изменениям двигает услугу вперёд: новые функции, плановые улучшения, миграции и устранение известных слабостей. Работа по эксплуатации, или операционная работа, поддерживает услугу в ходу: ответы на инциденты и запросы, реакция на оповещения, применение рутинных патчей, восстановление доступа и обработка ручных задач, которых услуга всё ещё требует. Оба вида законны, и услуге, у которой есть пользователи, нужны оба. Беда начинается, когда никто не может сказать, сколько из каждого делает команда, потому что тогда план молча предполагает ёмкость, которую работа по эксплуатации уже потребила.

Работу можно также сортировать по тому, была ли она предвидена. Плановая работа была выбрана до начала периода, например во время планирования или квартального обязательства. Внеплановая работа поступает в течение периода и требует внимания, которое не было заложено в бюджет: инцидент в продуктиве, срочный запрос от старшей заинтересованной стороны, исправление безопасности или дефект, блокирующий клиента. Две оси пересекаются, но не совпадают. Большая часть работы по эксплуатации внеплановая по времени, даже когда её объём предсказуем, а некоторая работа по эксплуатации, такая как плановое продление сертификата, полностью плановая. Работа по изменениям тоже может быть внеплановой, например когда меняется регулирование и команде надо ответить в течение недель.

Взгляды Agile и ITIL описывают одно и то же давление разными словами. При планировании с временными рамками обязательство есть прогноз ёмкости, а работа, пришедшая в середине периода, либо вытесняет что-то, либо откладывается. На доске потока у работы в процессе есть явные лимиты, а для срочных элементов часто есть выделенная полоса, и вопрос в том, сколько срочных элементов система может поглотить, прежде чем поток рухнет (см. тему 2.1, Показатели потока). В ITIL 4 (версия, опубликованная в 2019 году) управление инцидентами, управление запросами на обслуживание и управление проблемами описывают, как принимается, приоритизируется и разрешается работа по эксплуатации, тогда как управление изменениями и практика разработки и управления программным обеспечением регулируют плановые изменения. Практики описывают рабочие процессы. Они редко говорят, как одной команде делить свои часы между ними, и именно в этом пробеле работает эта тема.

Здесь повторяются несколько терминов. Прерывание (interrupt) есть любое требование, поступающее вне цикла планирования и отрывающее человека от элемента, над которым он работает. Нагрузка прерываний есть суммарный эффект этих требований на команду за период, измеряемый счётом, часами или долей потребляемой ёмкости. Срочная задача (expedite) есть рабочий элемент, которому позволено перескочить очередь, обычно потому, что его цена задержки высока и немедленна. Полоса срочных задач есть правило, часто выделенная строка на доске, ограничивающее, сколько срочных задач может быть в работе одновременно. Распределение ёмкости есть явное деление ёмкости команды между видами работы, например заявленная доля для плановых изменений, доля для работы по эксплуатации и доля для улучшения.

Внеплановая работа есть самый большой скрытый налог на плановую поставку: каждое прерывание стоит собственного времени плюс времени восстановления, потерянного на переключение задач, а исследование прерываемой работы (Mark, Gudith и Klocke, 2008) обнаружило, что люди компенсируют это более быстрой работой ценой большего стресса. Замечание о направлении. Высокая доля внеплановой работы сама по себе не дефект. Недавно запущенная услуга, продолжающийся сбой или регулируемое событие могут законно потреблять большую часть ёмкости команды на время. Цель не в том, чтобы свести внеплановую работу к нулю или спрятать её, а в том, чтобы видеть её, оценивать и сознательно решать, сколько её команда поглотит и сколько организация должна исправить выше по течению. Внеплановая работа, повторяющаяся по одной причине, есть самый полезный вид для поиска, потому что она указывает на запись о проблеме, пробел в мониторинге или элемент технического долга, который дешевле устранить, чем продолжать за него платить.

Ключевые принципы

  • Ёмкость конечна и общая. Каждый час, отданный работе по эксплуатации или срочной задаче, есть час, не отданный плановым изменениям, поэтому сделайте разделение явным и видимым, а не позволяйте ему складываться само у того, кто громче кричит.
  • Классифицируйте работу при поступлении, а не потом. Помечайте каждый элемент как плановый или внеплановый и как изменение или эксплуатацию в момент входа в систему, потому что переклассификация в конце периода есть воспоминание, а не наблюдение.
  • У прерываний есть цена сверх их длительности. Учитывайте цену восстановления после переключения наряду с потраченными минутами и предпочитайте проекты, которые пакетируют прерывания или направляют их названному человеку.
  • Выдвигайте срочные задачи по правилу, а не по рангу. Полоса срочных задач с лимитом и входным тестом защищает поток; неограниченное выдвижение по старшинству его убирает.
  • Резервируйте ёмкость намеренно. Плановый буфер честнее плана, который не предполагает никакого.
  • Относитесь к повторяющейся внеплановой работе как к дефекту системы. Еженедельный повтор есть кандидат в запись о проблеме или автоматизацию.
  • Измеряйте команды и услуги, никогда отдельных людей. Человек, отвечающий на большую часть прерываний, обычно тот, кто знает больше всех; ранжирование наказывает не то (см. тему 1.2, Закон Гудхарта и психология метрик).

Определения метрик

Семь метрик описывают, как ёмкость делится и нарушается. Каждой нужно письменное правило классификации, потому что все они зависят от того, как помечаются элементы. Период в каждой формуле есть одно и то же фиксированное окно для команды, например неделя, месяц или квартал.

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность
Доля внеплановой работы Доля завершённых рабочих элементов по счёту, которых не было в плане в начале периода элементы, завершённые в периоде, вошедшие на доску или в бэклог после начала периода / все элементы, завершённые в периоде; часы запускаются на событии планирования и останавливаются в конце периода; отменённые элементы и всё ещё открытые исключаются процент Трекер задач с временем создания элементов и снимком планирования Управление инцидентами; управление запросами на обслуживание Изменение объёма; типы рабочих элементов Раз в месяц
Соблюдение распределения ёмкости Насколько точно фактическое усилие соответствует заявленному разделению между работой по изменениям, по эксплуатации и по улучшению для каждой категории абсолютная разность фактической и согласованной доли, суммируется и делится пополам; фактическая доля есть завершённые элементы (или записанное усилие, где команда его фиксирует) в этой категории / все завершённые элементы; элементы без категории сообщаются отдельно и не отбрасываются процентные пункты Поле типа работы в трекере задач и записи учёта времени, где они есть Непрерывное улучшение; управление ёмкостью и производительностью Распределение или планирование ёмкости Раз в месяц
Интенсивность прерываний Как часто требования вне плана доходят до команды и до людей, делающих плановую работу прерывания, полученные командой в периоде / рабочие дни периода, где прерывание есть любая заявка, вызов, запрос в сообщении или просьба, записанные в канале приёма команды и ещё не бывшие в плане; дубликаты одного и того же лежащего в основе требования считаются один раз прерываний в рабочий день Журнал канала приёма, очередь ITSM, система оповещений и журнал прерываний команды Управление инцидентами; управление запросами на обслуживание; мониторинг и управление событиями Журнал прерываний или рабочее соглашение команды Раз в неделю
Доля срочных задач Доля завершённых элементов, использовавших полосу срочных задач элементы, завершённые в периоде и вошедшие в полосу срочных задач / все элементы, завершённые в периоде; часы запускаются, когда элемент помечен срочным, и останавливаются на завершении; элементы, выведенные из полосы до начала работы, считаются отдельно процент История полосы доски или поля приоритета Управление инцидентами; управление изменениями (экстренное изменение) Класс обслуживания «срочный» Раз в месяц
Вытеснение плановой работы Число плановых элементов, вытолкнутых или брошенных, чтобы освободить место для внеплановой работы плановые элементы, убранные из периода, отложенные или оставленные незавершёнными с записанной причиной «вытеснено внеплановой работой» в периоде (число); элементы, убранные потому что цель изменилась, исключаются число элементов История изменений доски с полем причины Управление изменениями; непрерывное улучшение Защита цели поставки; согласование объёма Раз в месяц
Доля повторяющейся внеплановой работы Доля внеплановых элементов, чья причина совпадает с более ранним внеплановым элементом в окне просмотра назад внеплановые элементы, завершённые в периоде и связанные с той же записью о проблеме, правилом оповещения или меткой причины, что и более ранний элемент в окне просмотра назад (например, 90 дней) / все внеплановые элементы, завершённые в периоде; элементы без метки причины сообщаются отдельным числом неклассифицированных процент Записи об инцидентах и проблемах ITSM, метки причин в трекере Управление проблемами; управление известными ошибками Действия ретроспективы; метки повторяющихся дефектов Раз в месяц
Надёжность планового обязательства Доля элементов, которые команда планировала на период и завершила в периоде плановые элементы, завершённые в периоде / плановые элементы в начале периода; элементы, добавленные после начала, исключаются из обоих счётов процент Снимок планирования и история завершения в трекере Управление уровнями услуг; управление изменениями Надёжность прогноза Раз в месяц

Показатели времени в этой теме, такие как возраст срочного элемента, следует показывать как перцентили (например, медиана и 85-й перцентиль), а не как среднее, поскольку один долгий инцидент искажает среднее (см. тему 1.6, Статистическая грамотность для метрик услуг).

Рекомендации

Сделайте разделение видимым

1. Помечайте каждый элемент двумя полями при поступлении. Добавьте тип работы (изменение, эксплуатация, улучшение) и признак плана (плановый, внеплановый) в форму приёма трекера или инструмента ITSM и сделайте оба обязательными. Метки дёшевы при установке в момент создания и ненадёжны при восстановлении позже. Запишите определение каждого значения одним предложением в рабочем соглашении команды и пересматривайте его, когда метки перестают описывать работу (см. тему 1.5, Источники данных и инструментирование).

2. Заморозьте снимок планирования. «Внеплановое» имеет смысл только относительно плана, поэтому зафиксируйте список элементов в начале периода и сохраните его. Сравнивайте завершённую работу со снимком, а не с тем, как доска выглядит в конце.

Распределяйте ёмкость намеренно

3. Договоритесь о распределении ёмкости и относитесь к нему как к гипотезе. Решите, как команда вместе с владельцем продукта или владельцем услуги, примерно какая доля идёт на плановые изменения, на работу по эксплуатации и на улучшение. Начните с того, что данные показывают, чем команда реально занималась последние несколько периодов, затем выберите цель, двигающуюся в желаемом направлении. Пересматривайте разделение в каждом цикле планирования; фиксированный процент, скопированный со слайда другой команды, есть догадка, а не решение.

4. Зарезервируйте буфер, рассчитанный по собственной истории. Используйте запись прерываний самой команды, чтобы рассчитать буфер для внеплановой работы, например по средней и верхней части диапазона недельной доли внеплановой работы за недавние периоды, и планируйте только оставшуюся ёмкость. Буфер, регулярно остающийся неиспользованным, можно сократить; регулярно исчерпываемому нужно большее распределение или устранённая причина. Соотношение между нагрузкой и задержкой в очереди (см. закон Литтла и тему 2.3, Работа в процессе и теория очередей) объясняет, почему у системы, работающей на полной загрузке, нет места поглотить сюрприз.

Спроектируйте путь прерываний

5. Направляйте прерывания названной роли. Ротируйте одного человека, часто называемого обработчиком прерываний, дежурным инженером или щитом, чтобы он принимал входящие требования на день или неделю, пока остальные защищают свой фокус. У роли есть письменная область, заметка о передаче и предел длительности, чтобы нагрузка делилась честно. Командам с ротацией стоит связать её с практикой дежурств (см. тему 5.7, Рутинная работа и метрики дежурств).

6. Сортируйте у двери. Прерывания чрезвычайно различаются по срочности. Примените короткое правило сортировки при приёме, задающее три вопроса: услуга недоступна или пользователь заблокирован, есть ли дата, которую нельзя сдвинуть, и может ли требование подождать до следующего события планирования? Элементы, не прошедшие все три, идут в бэклог и планируются как любая другая работа. В терминах ITIL 4 это шаг приоритизации управления инцидентами и управления запросами на обслуживание, применённый к собственному приёму команды.

Управляйте полосой срочных задач

7. Дайте полосе срочных задач лимит и входной тест. Полоса вмещает не более одного-двух элементов одновременно, и элемент входит только если его цена задержки высока и немедленна и запросивший может её назвать. Заявленный тест позволяет команде сказать «нет» запросу, который просто громкий. Если полоса всегда заполнена, она перестала быть исключением, и команде следует пересмотреть входной тест и причины выше по течению. Полоса есть класс обслуживания со своими правилами; об исходной идее см. литературу по Kanban (Anderson, 2010).

Устраняйте источники

8. Связывайте внеплановые элементы с причиной и пересматривайте повторы. Добавьте к каждому внеплановому элементу метку причины или ссылку на запись о проблеме. Раз в месяц перечисляйте повторяющиеся причины и отправляйте главные в управление проблемами, в бэклог как элементы технического долга или в улучшения мониторинга (см. тему 4.1, Метрики управления проблемами, и тему 4.6, Технический долг и известные ошибки). Доля повторяющейся внеплановой работы говорит, достигают ли эти исправления цели. Образец схож с устранением рутинной работы (toil), описанным в книге Google SRE, где повторяющаяся ручная операционная работа рассматривается как то, что надо убрать инженерными средствами; книга предлагает держать её ниже доли времени инженера (Beyer et al., 2016), ориентир, который каждой команде следует проверить по собственным данным, а не принимать как цель.

Векторы манипуляции и ограждения

Метрика Как её искажают Парная метрика или практика-ограждение
Доля внеплановой работы Поздно добавлять элементы в снимок планирования, чтобы они считались плановыми; оставлять срочную работу неотслеживаемой, чтобы она никогда не считалась; помечать плановые элементы как внеплановые, чтобы оправдать невыполненный план Замороженный снимок планирования с меткой времени; число неклассифицированных; выборка закрытых элементов, читаемая каждый квартал, чтобы сравнить метку с тем, что произошло
Соблюдение распределения ёмкости Переносить элементы между категориями, чтобы соответствовать согласованному разделению; делить один элемент на несколько, чтобы сдвинуть доли; выбирать разделение, которое команда и так выполняет Фиксированные определения категорий, записанные в рабочем соглашении; выборка описаний элементов против их категорий; надёжность планового обязательства
Интенсивность прерываний Превращать прерывания в молчаливые услуги, никогда не доходящие до журнала; объединять несколько требований в одну запись; отбивать у людей охоту просить Сравнивать журнал с трафиком канала приёма и историей оповещений; спрашивать команду на ретроспективе, соответствует ли журнал их опыту
Доля срочных задач Держать срочную работу вне полосы, чтобы выглядеть дисциплинированно, или помещать в неё всё ради скорости; переопределять срочное как «важное» Лимит полосы с входным тестом; доля срочных элементов, прошедших тест на пересмотре; вытеснение плановой работы
Вытеснение плановой работы Записывать вытеснение как изменение объёма по выбору; позволять плановым элементам тихо проваливаться без причины; избегать плановых элементов, вероятно подлежащих вытеснению Обязательное поле причины на каждом убранном или незавершённом элементе; надёжность планового обязательства; пересмотр причин на ретроспективе
Доля повторяющейся внеплановой работы Использовать грубую метку причины, чтобы повторы прятались, или тонкую, чтобы ничто не повторялось; закрывать запись о проблеме, чтобы убрать связь Таксономия меток причин пересматривается каждый квартал; число неклассифицированных; проверка повторения после закрытия записи о проблеме
Надёжность планового обязательства Планировать мало, чтобы завершить всё; накачивать оценки; считать частичный элемент выполненным; сбрасывать трудные элементы до начала периода Размер и ценность запланированных элементов, сравниваемые во времени; проверка результата цели поставки; доля внеплановой работы, чтобы высокое значение не читалось как здоровье, когда план был робким

Здоровое чтение есть доля внеплановой работы, которую команда может объяснить, полоса срочных задач, редко бывающая полной, и доля повторов, падающая после исправлений. Подозрительно идеальное чтение есть то, что нужно исследовать. Команда, сообщающая нулевую внеплановую работу, имеет либо очень тихую услугу, либо неотслеживаемую, и отличить можно, сравнив журнал с историей оповещений и заявок.

Компромиссы: плюсы и минусы

Подход Сильная сторона Слабая сторона
Фиксированное распределение ёмкости (заявленные проценты) Легко объяснить; защищает работу по улучшению от голодания Игнорирует реальную вариацию; можно подтасовать переименованием
Зарезервированный буфер, рассчитанный по истории Подгоняет план под реальную нагрузку прерываний Нужно несколько периодов надёжных данных; может скрывать хроническую причину
Ротируемый обработчик прерываний Защищает фокус большей части команды; делит нагрузку честно Собственная плановая работа обработчика стопорится; роли нужны передача и поддержка
Строгий лимит срочных задач Делает поток предсказуемым; вынуждает назвать цену задержки Запросившие могут обходить его; настоящая авария может ощущаться заблокированной
Счёт элементов вместо усилия Просто и трудно раздуть Одинаково обращается с очень разными размерами

Практическая позиция большинства команд: сначала считать элементы, добавлять усилие только там, где счёты элементов вводят в заблуждение, защищать небольшой буфер и небольшую полосу срочных задач и использовать метку причины, чтобы атаковать самый большой повтор.

Вопросы для обсуждения в команде

1. Какая доля завершённой работы последнего периода была внеплановой и откуда мы это знаем? Откройте снимок планирования рядом со списком завершённых элементов и посчитайте элементы, которых не было в плане. Сравните результат с ощущением каждого о периоде; они часто расходятся. Ведущему стоит спросить, сколько элементов никогда не было записано, потому что честный ответ формирует все остальные числа.

2. Какие три источника прерываний обходятся нам дороже всего и кто мог бы их убрать? Перечислите источники по счёту и по усилию, которое они поглотили, например оповещения, повторные запросы, эскалации и разовые просьбы заинтересованных сторон. Отметьте каждый как устранимый, маршрутизируемый или неизбежный. Ведущему стоит добиваться названного владельца вне команды для любого источника, который команда не может исправить сама.

3. Какое разделение между работой по изменениям, по эксплуатации и по улучшению мы на самом деле хотим? Сравните разделение, которое показывают данные, с тем, которое, как думают люди, у них есть, и с тем, которого ожидает руководство. Обсудите, от какой работы команда отказалась бы первой под давлением, поскольку это показывает реальные приоритеты. Выберите цель на следующий период и способ её проверить.

4. Каково наше правило для полосы срочных задач и кто решает? Прочитайте текущее правило вслух или отметьте, что его нет. Спросите последние три срочные задачи и проверьте каждую по заявленной цене задержки. Обсудите, что делает команда, когда старший человек просит перескочить очередь, не пройдя тест, и кто поддерживает решение.

5. Когда нас прерывают, чего это нам стоит после окончания прерывания? Попросите людей описать, сколько времени нужно, чтобы вернуться к месту в задаче после типичного прерывания.

6. Какой внеплановый элемент возвращался более одного раза и что остановило бы это? Возьмите внеплановые элементы последнего квартала и поищите повторы по причине. Выберите тот, у которого самое большое суммарное усилие, и проследите, почему он повторяется: отсутствующее оповещение, неисправленный дефект, ручной шаг или проблема поставщика. Решите, идёт ли он в запись о проблеме, в бэклог или в разговор с поставщиком.

Четыре точки зрения

Продуктовые команды и команды поставки

Команды поставки чувствуют внеплановую работу как сломанные планы и ускользающие прогнозы. Им полезны пометка при приёме, замороженный снимок планирования и прогноз, построенный с буфером на основе истории (см. тему 2.5, Метрики прогнозирования и планирования поставки). Запись вытеснения показывает владельцам продукта, чего стоил каждый поздний запрос.

Команды услуг и эксплуатации

Команды эксплуатации несут большую часть работы по эксплуатации. Им нужны названный обработчик прерываний, правило сортировки и путь от повторяющихся запросов и оповещений к исправлениям (см. тему 5.5, Метрики мониторинга и качества оповещений). Доля повторов есть их самый сильный довод в пользу инвестиций в управление проблемами.

Руководство и управление

Руководители задают реальное распределение через запросы, которые делают, и сроки, которые принимают. Им следует просить долю и её причины, финансировать работу по улучшению, убирающую повторяющиеся прерывания, и избегать использования срочных задач как обычного способа делать дела.

Клиенты и пользователи

Клиенты видят внеплановую работу как сбои, медленные ответы и задержанные функции. Они выигрывают, когда у команды есть место исправлять причины, и им нужен честный путь поднять срочность. Соглашения об уровне услуг (см. соглашение об уровне услуг) должны отражать нагрузку прерываний, которую несёт команда (см. тему 5.1, Метрики SLA, OLA и XLA).

На практике: пример из управления услугами

ИТ-отдел региональной медицинской страховой компании эксплуатирует платформу претензий с одной продуктовой командой из семи человек и общей службой поддержки. Команда создаёт новые функции и ещё поддерживает платформу в продуктиве. Все числа в этом примере иллюстративны.

В течение шести недель надёжность планового обязательства команды упала примерно с 85 % до 55 %, и владелец продукта начал сомневаться в оценках команды. Руководитель команды вытаскивает историю трекера. По замороженным снимкам планирования доля внеплановой работы в последнем периоде составляет 41 % по счёту, тогда как команда вспоминала «может быть, пятая часть». Число неклассифицированных составляет 9 %, так что доле можно в разумной степени доверять.

Разбивка внеплановых элементов по причинам показывает, что 14 из 24 были работой по эксплуатации, и из них 9 сводятся к одному пакетному заданию отправки претензий, которое падает после изменения формата данных у партнёра и каждый раз перезапускается вручную. Доля повторяющейся внеплановой работы составляет 58 %. Интенсивность прерываний равна 6 в рабочий день, и 4 из них доходят до инженеров, делающих плановую работу, потому что служба поддержки эскалирует напрямую тому, кто ответит первым. Полоса срочных задач большую часть дней вмещает два элемента одновременно, а доля срочных задач составляет 23 %. Вытеснение плановой работы равно 7 элементам за период, из которых 5 несут причину «вытеснено внеплановой работой».

Команда принимает четыре решения вместе с владельцем продукта и владельцем услуги. Во-первых, один инженер за раз становится обработчиком прерываний с письменной областью и заметкой о передаче, и эскалации идут только к этому человеку. Во-вторых, полоса срочных задач ограничивается одним элементом с входным тестом, требующим заявленной цены задержки, и каждая срочная задача записывает элемент, который вытеснила. В-третьих, сбой пакетного задания заводится как запись о проблеме, а исправление и разговор с партнёром помещаются в бэклог как работа по улучшению, на которую уходит 15 % ёмкости, то есть доля, которую команда выбирает как первое распределение на улучшение. В-четвёртых, команда планирует следующий период работы с буфером, рассчитанным по верхнему диапазону её недавней доли внеплановой работы, а не с полной загрузкой.

Шесть недель спустя доля внеплановой работы составляет 27 %, доля повторов 22 %, интенсивность прерываний, доходящих до плановых работников, 1,5 в день, а надёжность планового обязательства около 78 % (всё иллюстративно). Команда не достигла прежних 85 % и говорит об этом.

Риск манипуляции, который ловит команда: во втором периоде при новой схеме интенсивность прерываний резко падает, и руководитель команды замечает, что люди пишут обработчику напрямую, так что услуги никогда не доходят до журнала. Сравнение журнала с каналом приёма и историей оповещений показывает, что реальный объём не изменился. Команда договаривается, что обработчик перенаправляет прямые сообщения в канал приёма. Вина лежала на устройстве пути, а не на каком-либо человеке.

Agile, ИИ, автоматизация и аналитика

Agile

У команды, которая создаёт и эксплуатирует услугу, один пул ёмкости, и устойчивому темпу нужны честные пределы прерываний. Практический шаг состоит в том, чтобы согласовать с заинтересованными сторонами разделение ёмкости и пересматривать долю внеплановой работы в регулярном разговоре об улучшении. Осторожность в том, что цель по доле внеплановой работы может подтолкнуть команды помечать операционную работу как плановую.

ИИ

ИИ может сдвигать работу между плановой и внеплановой, например автоматизируя рутинные исправления и добавляя задачи проверки и надзора. Отслеживайте долю внеплановой работы и долю повторяющейся внеплановой работы до и после изменений с ИИ и включайте время, потраченное на исправление результатов ИИ, как отдельную категорию. Осторожность в том, что скрытая работа по исправлению может поглотить ёмкость, которую ИИ должен был освободить.

Автоматизация

Фиксируйте тип работы из трекера автоматически по небольшому согласованному набору категорий. Измеряйте автоматизацию по внеплановой работе, которую она убирает, и по новым инцидентам, которые она вызывает. Осторожность в том, что автоматическое восстановление, перезапускающее услуги без записи причины, заставляет повторяющуюся внеплановую работу выглядеть новой.

Аналитика

Показывайте долю внеплановой работы во времени и причины повторяющихся элементов. Решение, которое это информирует, состоит в том, сколько ёмкости резервировать и какие источники прерываний убирать. Осторожность в том, что категории выбирают люди; поэтому выборочно проверяйте элементы на честную классификацию.

Отраслевой взгляд

Стартап. Почти вся работа кажется срочной, и одни и те же немногие люди делают работу по изменениям и по эксплуатации. Ограничьте классификацию двумя метками и задайте явный лимит срочных задач. Доля внеплановой работы есть свидетельство для слов «мы можем делать дорожную карту или нагрузку поддержки, но не обе».

Малый бизнес. Один администратор или небольшая команда часто обрабатывает все запросы. Используйте типы заявок инструмента как классификацию, ведите журнал прерываний месяц, чтобы узнать закономерность, и резервируйте фиксированный ежедневный блок для плановой работы. Просите у поставщиков отчёты об объёме и повторяющихся причинах.

Крупная компания. Внеплановая работа одной команды часто есть плановая работа другой. Согласуйте общие определения, сообщайте по командам и по услугам и финансируйте исправления на том уровне, где живёт причина (см. тему 9.3, Метрики сотрудничества и передачи работы).

Государство и публичный сектор. Ёмкость может быть зафиксирована потолками штата, а работа по эксплуатации может задаваться законом или находками аудита. Включите это в распределение, документируйте правила классификации и ведите след аудита (см. тему 8.5, Регулируемая и государственная отчётность).

Бизнес-обоснование: мотивы, ROI и TCO

Мотив состоит в предсказуемой поставке: план, игнорирующий нагрузку прерываний, срывается снова и снова, а видимая внеплановая работа даёт команде более сильный голос, когда она просит времени убрать причины.

Цена сбора этих показателей скромна, когда метки и снимок планирования являются частью обычного рабочего процесса. Основные затраты: время на согласование определений, дисциплина пометки при приёме, немного инструментов для объединения данных трекера и ITSM (см. тему 1.5, Источники данных и инструментирование) и часы обработчика прерываний, чья собственная плановая работа замедляется. Добавление записей времени на уровне часов стоит заметно дороже и часто вызывает недовольство, поэтому добавляйте их, только если счёты элементов окажутся вводящими в заблуждение. Совокупная стоимость владения определяется временем людей, поэтому считайте его.

Отдача проявляется в закономерностях, которые команда может измерить сама, а не в предполагаемой цифре. Ищите падающую долю повторяющейся внеплановой работы после исправления проблем, рост надёжности планового обязательства, меньше вытесненных плановых элементов и меньше прерываний, доходящих до людей на плановой работе. Где часы известны, усилие, возвращённое устранением повторяющейся причины, можно оценить по собственной стоимости часа команды и сопоставить с усилием на исправление (см. тему 7.5, Стоимость услуг и удельная экономика, и тему 7.7, Возврат инвестиций и бизнес-обоснование). Не заимствуйте отраслевые проценты внеплановой работы; никакая цифра другой организации не заменяет вашу собственную историю.

Антипаттерны и ловушки

  • Отношение ко всей внеплановой работе как к провалу. Часть её есть услуга, делающая своё дело, а цель в ноль выталкивает работу из журнала. Вместо этого спросите, какая часть ожидаема, какая устранима, и задайте буфер для первой.
  • Культура героев. Человек, спасающий в каждой аварии, становится незаменимым, уставшим и единой точкой отказа. Вместо этого делите роль прерываний по ротации и награждайте устранение причин.
  • Всё срочное. Полоса, всегда заполненная, есть просто вторая очередь. Вместо этого задайте лимит, требуйте заявленной цены задержки и ежемесячно пересматривайте входной тест.
  • Планирование на полную загрузку. План без запаса гарантирует, что каждый сюрприз что-то вытеснит. Вместо этого рассчитайте буфер по собственной истории прерываний и планируйте оставшуюся ёмкость.
  • Классификация постфактум. Метки, добавленные в конце периода, отражают память и настроение. Вместо этого требуйте метки при приёме и замораживайте снимок планирования.
  • Молчаливое поглощение спроса. Услуги, не доходящие до журнала, делают нагрузку невидимой, а планирование неверным. Вместо этого сделайте правилом один путь приёма и перенаправляйте просьбы по побочным каналам в него.

Модель зрелости

Измерение 1 Инициирование 2 Развитие 3 Стандартизация 4 Управление 5 Оркестрация
Классификация и видимость Работа не помечается; внеплановая работа ощущается, но не считается Некоторые команды помечают плановую и внеплановую работу своими словами Одно письменное определение типов работ и признака плана, применяемое при приёме со снимком планирования Доля внеплановой работы и число неклассифицированных отслеживаются во времени и пересматриваются каждый период Определения разделяются между командами и поставщиками и пересматриваются, когда перестают информировать решения
Распределение ёмкости Предполагается, что ёмкость полностью доступна для плановой работы Некоторые команды применяют грубый буфер Согласованное разделение между изменениями, эксплуатацией и улучшением, с буфером, рассчитанным по истории Соблюдение пересматривается, а разделение корректируется вместе с владельцами продукта и услуги Распределение согласуется между командами, делящими платформы, услуги и людей
Обработка прерываний и срочных задач Любой прерывает любого; срочность определяется старшинством У некоторых команд есть привычка дежурного человека или срочной строки Названная роль обработки прерываний, правило сортировки и полоса срочных задач с лимитом и входным тестом Доля срочных задач, вытеснение и интенсивность прерываний пересматриваются относительно ограждения Маршрутизация прерываний и правила срочных задач координируются между командами, с общими дежурствами и путями эскалации
Устранение причин Одни и те же проблемы повторяются и исправляются героизмом Некоторые повторы замечаются и обсуждаются на ретроспективах Внеплановые элементы несут метку причины, а главные повторы идут в управление проблемами Доля повторов отслеживается, а исправления финансируются как плановая работа по улучшению Причины прослеживаются между командами, поставщиками и клиентами, а улучшение рутинно

Контрольный список

  • Каждый рабочий элемент несёт тип работы (изменение, эксплуатация, улучшение) и признак плана, установленные при приёме.
  • Определения планового, внепланового, изменения и эксплуатации записаны в рабочем соглашении команды.
  • Снимок планирования замораживается в начале каждого периода и сохраняется.
  • Доля внеплановой работы сообщается как тренд рядом с числом неклассифицированных.
  • Команда и её владельцы согласовали распределение ёмкости и пересматривали его в последнем квартале.
  • Существует один путь приёма, а просьбы по побочным каналам перенаправляются в него.
  • Роль обработки прерываний с письменной областью ротируется в команде.
  • У полосы срочных задач есть лимит, входной тест и запись о том, что вытеснила каждая срочная задача.
  • Внеплановые элементы несут метку причины или ссылку на запись о проблеме, а повторы пересматриваются ежемесячно.
  • Показатели сообщаются на уровне команды и услуги и никогда не используются для ранжирования людей.

Промпты для ИИ

Спроектируйте классификацию работы для приёма.

Our team is [team description, for example a platform team of six that builds
and supports an internal service]. We use [tracker or ITSM tool]. We want to
tag every item at intake as change, run, or improvement, and as planned or
unplanned. Draft clear one-sentence definitions for each value, three edge
cases that people will argue about with a suggested ruling for each, and a
short intake form. Do not invent features of our tool or benchmark values. List
your assumptions and the questions I should answer to refine the definitions.

Проанализируйте журнал прерываний на закономерности.

Here is a summary of our interrupts over [period]: [paste anonymized counts by
source, day, and type, with no names of individuals]. Group them into sources
that could be removed, routed to one person, batched, or accepted. For each
group, suggest one experiment and one measure of whether it worked. Do not
invent benchmark values or compare us to other organizations. List your
assumptions and the data you would need to be more confident.

Составьте черновик политики полосы срочных задач.

We run [flow board, time-boxed planning, continuous flow, or a hybrid] with a team of [team size]
and a service level of [service levels, if any]. Draft a one-page expedite
policy with an entry test based on a stated cost of delay, a limit on items in
the lane, a rule for what happens to the displaced item, and a monthly review
question list. Keep the language neutral and avoid naming individuals. Do not
invent thresholds; mark the ones I must choose. List your assumptions.

Навыки ИИ

  • Service Management Metrics skill: используйте, чтобы найти, какая тема владеет связанной метрикой, такой как объём инцидентов или рутинная работа, и ограждение, которое должно стоять рядом.
  • Service Management Metrics maintainer skill: используйте, чтобы проверить, что изменённая версия этой темы сохраняет согласованность часов, правил классификации и таблицы манипуляций.

Главные выводы

  • Плановая и внеплановая работа, а также работа по изменениям и по эксплуатации делят один пул ёмкости, поэтому сделайте разделение видимым и согласуйте его намеренно.
  • Помечайте работу при приёме и замораживайте снимок планирования, поскольку «внеплановое» что-то значит только относительно записанного плана.
  • Прерывания стоят времени восстановления так же, как и минут, поэтому направляйте их названной роли и сортируйте у двери.
  • Полосе срочных задач нужны лимит, входной тест и запись о том, что вытеснила каждая срочная задача.
  • Повторяющаяся внеплановая работа есть самый сильный сигнал для управления проблемами и работы по улучшению, а доля повторов показывает, достигают ли исправления цели.
  • Сообщайте на уровне команды и услуги, сравнивайте команду с её собственной историей и никогда не ранжируйте людей.

Источники и дополнительное чтение

  1. Reinertsen, D. G., The Principles of Product Development Flow: Second Generation Lean Product Development, Celeritas Publishing, 2009.
  2. Anderson, D. J., Kanban: Successful Evolutionary Change for Your Technology Business, Blue Hole Press, 2010.
  3. Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
  4. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  5. Rau, V., "Eliminating Toil," chapter 5 in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/eliminating-toil/
  6. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  7. Kim, G., Behr, K., and Spafford, G., The Phoenix Project: A Novel about IT, DevOps, and Helping Your Business Win, IT Revolution Press, 2013.
  8. DeMarco, T., Slack: Getting Past Burnout, Busywork, and the Myth of Total Efficiency, Broadway Books, 2001.
  9. Mark, G., Gudith, D., and Klocke, U., "The cost of interrupted work: more speed and stress," in Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI 2008), ACM, 2008.
  10. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  11. Wikipedia, Kanban (разработка).
  12. Wikipedia, Цена задержки.
  13. Wikipedia, Переключение задач (психология).
  14. Wikipedia, Технический долг.
  15. Wikipedia, Закон Литтла.
  16. Wikipedia, Сортировка.
  17. Wikipedia, Класс обслуживания.
  18. Wikipedia, Соглашение об уровне услуг.