Обзор и мотивация

Соглашение об уровне услуг (SLA) есть документированное обязательство между поставщиком услуги и клиентом о том, что услуга будет предоставлять: её часы, доступность, как быстро поставщик реагирует на инциденты и решает их и как быстро выполняет запросы. В ITIL 4 (издание рамки 2019 года, опубликованное владельцем, ныне AXELOS под PeopleCert) практика управления уровнями услуг определяет эти цели, наблюдает за ними и сообщает о них. Соглашение об операционном уровне (OLA) есть внутренний аналог: соглашение между командами одной организации, например между службой поддержки и сетевой командой, о том, что каждая сделает и как быстро, чтобы SLA для клиентов можно было выполнить. Поддерживающий контракт (underpinning contract) играет ту же роль для внешнего поставщика (см. тему 8.4, Метрики поставщиков и контрактов).

Соглашение об уровне опыта (XLA) есть новейшее из трёх. Оно записывает согласованный результат в терминах того, как люди переживают услугу, например как легко они сделали свою работу, что они чувствовали о взаимодействии и помогла ли услуга им достичь цели. Идея выросла в практике управления услугами, потому что SLA можно выполнить, пока пользователи недовольны. Эта тема владеет тремя соглашениями и их отчётностью. Глубина о том, как измерять опыт, принадлежит теме 6.2, Соглашения об уровне опыта, а инженерные аналоги целей принадлежат теме 5.2, SLI, SLO и бюджеты ошибок.

Рядом с этими соглашениями стоят три понятия Agile и надёжности. Индикатор уровня услуги (SLI) есть измеряемое свойство услуги, например доля успешно обслуженных запросов. Цель уровня услуги (SLO) есть внутренняя цель для SLI, обычно строже всего, что обещано клиенту. Практика инженерии надёжности сайтов (SRE) рассматривает SLO и вытекающий из него бюджет ошибок как общий инструмент решений для продукта и эксплуатации. SLA есть контракт; SLO есть инженерная цель; SLI есть измерение. Разделение этих трёх избегает частой путаницы, в которой пункт договорного штрафа используется для управления ежедневными инженерными решениями.

У семейства есть известный сбой, называемый отчётностью-арбузом (watermelon reporting): отчёт, зелёный снаружи и красный внутри. Каждая строка SLA показывается выполненной, а клиенты раздражены, потому что показатели выбраны по тому, что поставщик мог надёжно выполнить, а не по тому, что важно клиенту, либо потому что средние прячут плохой хвост, либо потому что часы были приостановлены на худшую часть ожидания. Лекарство частью техническое (перцентили, честные часы, индикаторы, ориентированные на пользователя) и частью социальное (соглашения, согласуемые как разговор, пересматриваемые по графику и читаемые как вопрос об услуге, а не как приговор команде). Более широкое предупреждение о показателях, превращающихся в цели, находится в теме 1.2, Закон Гудхарта и психология метрик.

Команды Agile думают целями и бюджетами; менеджеры уровня услуг ITIL думают соглашениями и пересмотрами. Взгляды складываются вместе: соглашение заявляет результат, цели и индикаторы суть то, как команда держит обещание, а показатели опыта подтверждают, что это имело значение.

Последний термин: перцентиль есть значение, ниже которого падает заявленная доля наблюдений. 85-й перцентиль времени решения есть время, в пределах которого решено 85 % заявок. Большинство целей SLA записаны как перцентиль или доля, поэтому то, как вычисляется перцентиль и что в него входит, составляет ядро темы (см. тему 1.6, Статистическая грамотность для метрик услуг).

Ключевые принципы

  • Согласуйте результаты с клиентом, затем измеряйте их. Соглашение есть договорённое заявление о том, что нужно клиенту и что поставщик может выдержать, записанное словами клиента и пересматриваемое вместе.
  • Сообщайте распределения и доли, никогда единое среднее. Среднее время решения, укладывающееся в цель, может сидеть поверх длинного хвоста очень запоздавшей работы. Указывайте перцентиль, совокупность и счёт.
  • Делайте часы честными. У каждой цели есть событие начала, событие конца и список условий паузы. Публикуйте правила часов и сообщайте, как часто используется каждая пауза.
  • Слоите соглашения. SLA строится на OLA и контрактах поставщиков, а цели внутри команды должны быть строже обещаний снаружи. Разрыв на любом слое проявляется как нарушение наверху.
  • Парьте каждый операционный показатель с показателем опыта. Выполненная цель при плохом опыте или наоборот есть самый полезный сигнал в отчёте.
  • Считайте почти-промахи. Работа, завершённая вплотную к пределу, говорит о риске больше, чем работа, завершённая далеко внутри него.
  • Сообщайте по командам и услугам, никогда по людям. Соглашения описывают, к чему обязуется услуга или команда. Они не способ ранжировать людей.

Определения метрик

Метрика Определение Формула Единица Источник данных Практика ITIL Agile-аналог Периодичность
Доля выполнения SLA Доля измеренных элементов (инцидентов, запросов или временных окон), отвечавших заявленной цели SLA в периоде Элементы, отвечавшие цели, делённые на измеренные элементы. Часы запускаются в записанное время, определённое в соглашении (например, создание заявки), и останавливаются на определённом событии конца (например, подтверждённое восстановление). Исключаются: элементы, отменённые как дубликаты, и время внутри согласованных исключений, таких как плановое обслуживание. Сообщайте счёт рядом с долей Процент, с n Метки времени инструмента ITSM; данные мониторинга для целей по времени Управление уровнями услуг; управление инцидентами; управление запросами на обслуживание Выполнение цели уровня услуги по скользящему окну (см. тему 5.2, SLI, SLO и бюджеты ошибок) Раз в месяц, с еженедельным внутренним видом
Доля почти-промахов Доля элементов, отвечавших цели, но завершившихся внутри последней десятой части отведённого времени Элементы, завершённые на 90 % целевого времени или позже и всё ещё в пределах, делённые на элементы, отвечавшие цели. Те же часы, что у SLA. н/д для временных окон (применимо только к показателям времени до цели) Процент Метки времени инструмента ITSM Управление уровнями услуг Доля работы близко к ожиданию по уровню услуги на графике потока (см. тему 2.1, Показатели потока) Раз в месяц
Доля пауз часов Доля общего прошедшего времени заявки, проведённая в состояниях, останавливающих часы SLA Общее время пауз, делённое на общее прошедшее время от начала до конца, для элементов в области. Исключаются элементы, где не использовалось состояние паузы. Сообщайте по состоянию паузы Процент История статусов инструмента ITSM Управление уровнями услуг; управление инцидентами Время блокировки и время ожидания на виде потока (см. тему 2.4, Метрики потока создания ценности) Раз в месяц
Доля выполнения OLA Доля внутренних передач, отвечавших цели OLA между двумя командами Передачи, завершённые в пределах цели OLA, делённые на полученные передачи. Часы запускаются, когда назначена принимающая команда, и останавливаются, когда она возвращает или закрывает элемент. Исключаются: элементы, переназначенные по ошибке, считаются отдельно Процент, с n История назначений инструмента ITSM Управление уровнями услуг; управление инцидентами Время ожидания передачи и заблокированная работа между командами (см. тему 9.3, Метрики сотрудничества и передачи работы) Раз в месяц
Время ожидания передачи (85-й перцентиль) Время, которое элемент ждёт в очереди принимающей команды до начала работы 85-й перцентиль времени между назначением принимающей команде и первым записанным действием этой команды. Исключаются: элементы, ждущие клиента Часы или минуты История назначений и активности инструмента ITSM Управление уровнями услуг; управление инцидентами Время в очереди на виде потока (см. тему 2.3, Работа в процессе и теория очередей) Раз в неделю
Оценка опыта по пути Оценка клиентом или пользователем того, как услуга поддержала определённый путь, например получение нового ноутбука или восстановление после сбоя Среднее и распределение оценок опроса по фиксированной шкале для завершённых путей в периоде. Сообщайте долю ответивших и состав ответивших. Исключаются: частичные опросы. Не единое среднее, поэтому показывайте распределение Шкала оценок, с долей ответивших Короткий опрос после взаимодействия; события пути из инструмента ITSM Управление уровнями услуг; практики удовлетворённости клиентов (см. тему 6.1, Метрики удовлетворённости клиентов) Обратная связь клиентов и показатели результата Раз в месяц, с показом каждой волны
Разрыв-арбуз Доля периодов или услуг, где SLA читается как выполненное, а показатель опыта или воздействия на пользователей читается как плохой Услуги (или периоды) с выполнением SLA на цели или выше и опытом ниже согласованного уровня, делённые на услуги (или периоды) с выполнением SLA на цели или выше. Уровень опыта должен быть согласован до оценки периода Процент зелёных услуг Выполнение SLA и оценка опыта вместе Управление уровнями услуг; непрерывное улучшение Ретроспектива результатов относительно итогов Раз в квартал
Охват и актуальность соглашений Доля действующих услуг, чьи SLA, OLA и контракты поставщиков существуют и были пересмотрены в согласованный интервал Услуги со всеми тремя слоями, документированными и пересмотренными в интервале, делённые на действующие услуги в каталоге услуг. Интервал задаёт организация. Исключаются: услуги на выводе Процент Каталог услуг и реестр соглашений Управление уровнями услуг; управление каталогом услуг; управление поставщиками Рабочие соглашения и хартии команд, пересматриваемые в регулярном ритме Раз в квартал

Рекомендации

Настройте соглашения

1. Пишите каждое SLA на языке клиента и привязывайте к одному результату. Начните с того, что нужно клиенту, например «заблокированный сотрудник быстро снова работает», затем выберите показатель. Короткое соглашение с горстью осмысленных целей лучше длинного, которого никто не читает. Запишите часы для каждой цели: событие начала, событие конца и условия паузы (см. тему 3.3, Время реагирования на инциденты и их устранения).

2. Формулируйте цели как перцентили или доли с заявленной совокупностью. «90 % инцидентов приоритета 2 восстановлены в пределах четырёх часов» говорит больше, чем «среднее восстановление менее двух часов». Договоритесь, что считается: какие приоритеты, какие часы, какие виды запросов. Показывайте счёт с каждым процентом, чтобы месяц с восемью инцидентами не читали как месяц с восемьюстами.

3. Выводите OLA из SLA и давайте каждому названную владеющую команду. Работайте от цели клиента назад: если клиенту обещано восстановление в пределах четырёх часов, OLA должны оставлять место для обнаружения, сортировки, передач и исправления. Пишите каждое OLA как короткое взаимное соглашение с принимающей командой, ожидаемым временем реакции и путём разрешения споров. OLA существует, чтобы помогать командам планировать, поэтому держите его таким лёгким, как позволяют отношения.

4. Держите цели строже обещания. Задайте внутреннюю SLO строже SLA, чтобы плохую неделю замечали и исправляли до видимого клиенту нарушения (см. тему 5.2, SLI, SLO и бюджеты ошибок). Относитесь к SLA как к полу, о котором заботятся финансы и юристы, а к SLO как к числу, по которому рулят инженеры. Используйте бюджет ошибок как способ, которым продукт и эксплуатация решают между работой над функциями и работой над надёжностью.

Измеряйте честно

5. Публикуйте правила часов и сообщайте о паузах. Самый частый путь к зелёному отчёту есть щедрое состояние паузы, такое как «ожидание клиента», используемое, когда ждёт поставщик. Сообщайте долю пауз часов по состоянию паузы, выбирайте несколько приостановленных заявок каждый месяц и спрашивайте, согласился бы клиент, что часы следовало остановить. Держите список разрешённых причин паузы коротким и вписанным в соглашение.

6. Показывайте всё распределение рядом с целью. Размещайте медиану, 85-й или 95-й перцентиль и худший дециль рядом с долей выполнения. Ровные 95 % выполнения могут прятать хвост работы, занявшей дни (см. тему 1.6, Статистическая грамотность для метрик услуг).

7. Отслеживайте почти-промахи и причины нарушений. Доля почти-промахов говорит, сколько везения в зелёном числе. Когда случается нарушение, записывайте категорию причины и была ли это проблема ёмкости, передачи, поставщика или определения. Связывайте самые большие категории с управлением проблемами (см. тему 4.1, Метрики управления проблемами).

8. Измеряйте очередь OLA, а не только выполнение. Время ожидания передачи на 85-м перцентиле показывает, где работа застревает, задолго до того, как появится нарушение SLA. Делитесь им и с отправляющей, и с принимающей командой и описывайте его как свойство потока между ними. Разговор об очереди, никогда о людях в ней (см. тему 2.3, Работа в процессе и теория очередей).

Добавьте опыт и закройте разрыв

9. Парьте каждое SLA с показателем опыта для того же пути. Спрашивайте пользователей коротким вопросом после взаимодействия, сработало ли оно и насколько было трудно, и сообщайте долю ответивших и состав ответивших. Договоритесь заранее, какой уровень считается достаточно хорошим, чтобы XLA было согласованным результатом, а не числом, выдуманным постфактум (см. тему 6.2, Соглашения об уровне опыта, и тему 6.1, Метрики удовлетворённости клиентов).

10. Сообщайте разрыв-арбуз и относитесь к нему как к находке. Отслеживайте, как часто SLA выполняется, пока опыт плох. Растущий разрыв говорит, что показатели SLA дрейфуют от того, что важно пользователям, и верный ответ состоит в пересмотре показателя, а не в объяснении расхождения. Пересматривайте его ежеквартально в присутствии представителя клиента.

11. Пересматривайте соглашения по графику и выводите те, которыми никто не пользуется. Сверяйте каждое соглашение с каталогом услуг, контрактами поставщиков и реальной работой. Меньший набор действующих соглашений легче отчитывать и труднее подтасовать.

12. Сообщайте каждую услугу в одном виде, объединяющем все три слоя. Показывайте выполнение SLA, распределение, ожидания передач OLA, оценку опыта и открытую работу по улучшению для каждой услуги на одной странице. Выводите статус из данных, а не из цвета, выбранного владельцем услуги. Сделайте страницу открытой для клиента и команд (см. тему 11.1, Проектирование панели метрик услуг).

Векторы манипуляции и ограждения

Метрика Как её искажают Парная метрика или практика-ограждение
Доля выполнения SLA Выбирать цель лёгкой; закрывать заявки рано и открывать заново позже; переклассифицировать приоритет вниз; исключать трудные случаи как «вне области» Доля повторного открытия и доля переклассификации приоритета; выборка закрытых заявок, прочитанная вместе с клиентом; пересмотр списка исключений каждый квартал
Доля почти-промахов Останавливать часы за минуту до предела, затем продолжать работу неофициально; делить заявку на две более короткие Время от последнего контакта с клиентом до подтверждённого восстановления; число связанных или дочерних заявок на инцидент
Доля пауз часов Использовать состояния пауз на заявках, не ждущих клиента; переносить работу в состояние, не входящее в счёт Причины пауз проверяются по выборке; доля пауз, отклонённых клиентом; оценка опыта для приостановленных заявок
Доля выполнения OLA Отклонять передачи обратно отправителю, чтобы перезапустить часы; помечать элементы принятыми, не начав работу Число возвратов на элемент и общее время до восстановления между командами; сквозной результат SLA
Время ожидания передачи (85-й перцентиль) Назначать на человека, а не в очередь команды, чтобы спрятать ожидание; записывать символическое первое действие Качество первого действия, проверяемое по выборке; время от назначения до первого видимого клиенту обновления
Оценка опыта по пути Отправлять опросы только довольным пользователям; задавать наводящие вопросы; натаскивать исполнителей на высокие оценки Состав ответивших против совокупности; доля ответивших показана рядом с оценкой; открытые комментарии читаются на пересмотре
Разрыв-арбуз Задавать уровень опыта низким, чтобы разрыв оставался малым; менять показатель опыта, когда он проседает Уровень опыта согласован заранее, изменения записываются с причинами; тренд всего распределения
Охват и актуальность соглашений Помечать соглашение пересмотренным без настоящего пересмотра; считать документ-заглушку SLA Свидетельство пересмотра (участники, изменения, решения); выборка соглашений, читаемых на настоящее содержание и подпись клиента

Здоровое чтение показывает выполнение, движущееся по понятным причинам, немногие объяснённые почти-промахи, паузы, остающиеся в пределах согласованного списка, ожидания передач, обсуждаемые командами, которые ими владеют, и показатель опыта, в основном согласующийся с SLA. Где они расходятся, у команды уже есть заметка о причине и элемент улучшения.

Компромиссы: плюсы и минусы

Подход Сильная сторона Слабая сторона
Договорные SLA со штрафами Ясные, обеспеченные, юридически признанные Поощряет игры с часами и защитную отчётность; штрафы могут портить отношения
SLA без штрафов, с регулярным пересмотром Строит доверие и честные данные; фокусируется на обучении Меньше рычагов, когда поставщик постоянно не выполняет цели
Подробные OLA между всеми командами Ясные ожидания и меньше споров Бюрократия; команды оптимизируют собственные часы вместо часов клиента
Лёгкие OLA с общей сквозной целью Поощряет сотрудничество; меньше бумажной работы Нужны доверие и хорошая видимость очередей, чтобы разрешать споры
Добавление XLA к SLA Показывает, помогает ли услуга людям Данные опросов шумнее и медленнее; атрибуция труднее

Держите соглашение небольшим, сообщайте распределение и используйте данные об опыте, чтобы проверять операционные данные. Тратьте усилия на правила часов и передачи, где возникает большая часть разногласий о числе.

Вопросы для обсуждения в команде

1. Если наш отчёт SLA весь зелёный, что мы ожидали бы услышать от пользователей об услуге? Попросите группу назвать услугу, остававшуюся зелёной несколько месяцев, затем соберите, что пользователи на самом деле говорят в комментариях и жалобах. Сравните. Ведущему стоит искать разрывы между показателем и пережитым опытом и отмечать, какие показатели были выбраны за лёгкость выполнения.

2. Где останавливаются наши часы и кто это решил? Пройдите по правилам начала, конца и паузы для одной важной цели и спросите, кто написал каждое. Посмотрите на долю заявок в состоянии паузы и спросите, согласились бы клиенты. Договоритесь об одном правиле, которое надо ужесточить или прояснить.

3. Какие из наших OLA помогают командам планировать, а какие лишь назначают виноватых? Перечислите внутренние соглашения и спросите, кто читает каждое и когда. Обсудите, что происходит после пропущенного OLA: разговор об очереди или поиск вины. Цель в том, чтобы переместить обсуждение к потоку работы между командами. Выберите одно OLA, чтобы упростить или вывести.

4. Какая часть нашего зелёного есть везение? Покажите долю почти-промахов для самой важной цели. Обсудите, что произошло бы, если бы в следующем месяце было чуть больше трудных случаев или чуть меньше доступных людей. Спросите, есть ли у команды запас и где он находится.

5. Что клиент хотел бы, чтобы мы пообещали и чего мы сегодня не измеряем? Пригласите представителя клиента или пользователя описать, что важно ему, своими словами, например возможность дозвониться до человека или получить ноутбук до первого дня. Зафиксируйте два-три результата. Решите, какой мог бы быть коротким вопросом опроса или событием, уже имеющимся в данных, и как группа договорится о хорошем уровне.

6. Как мы узнали бы, что наши показатели SLA дрейфуют от того, что важно пользователям? Обсудите разрыв-арбуз как сигнал и спросите, кто на него смотрит. Подумайте, как часто пересматриваются соглашения и присутствует ли клиент. Договоритесь о дате пересмотра и о свидетельствах, которые принести, включая выборку заявок и последние результаты опыта.

Четыре точки зрения

Продуктовые команды и команды поставки

Команды поставки, ещё и эксплуатирующие свои услуги, встречают SLA через собственные цели и бюджеты ошибок и чувствуют цену, когда штраф по SLA или эскалация клиента прерывают плановую работу. Им следует держать SLO строже SLA и относиться к SLA как к полу безопасности, а не как к ежедневной цели (см. тему 5.2, SLI, SLO и бюджеты ошибок).

Команды услуг и эксплуатации

Команды эксплуатации несут часы. Им нужны ясные правила условий начала, конца и паузы, общие OLA, называющие принимающую очередь, и видимость ожиданий передач. Им следует сообщать причины нарушений прямо и использовать их как вход для работы над проблемами и ёмкостью (см. тему 4.1, Метрики управления проблемами). Им следует сопротивляться давлению объяснять результат через часы вместо исправления причины.

Руководство и управление

Руководители используют отчёты SLA, чтобы видеть, выполняются ли обязательства и куда вкладываться. Им следует просить распределения, долю пауз часов, долю почти-промахов и разрыв-арбуз и относиться к непрерывной полосе зелёного с любопытством. Финансирование работы по улучшению, следующей за анализом нарушения, и защита честной отчётности от обвинений важнее самой цели (см. тему 1.2, Закон Гудхарта и психология метрик).

Клиенты и пользователи

Клиенты хотят, чтобы соглашение описывало то, что они чувствуют: как быстро исправляется проблема, как часто она повторяется и могут ли они дойти до того, кто поможет. Им следует быть частью пересмотра соглашений и иметь способ сказать, что зелёный отчёт не совпадает с их опытом. Читаемое одностраничное резюме с причинами любого нарушения и запланированным исправлением строит больше доверия, чем длинная таблица выполнения.

На практике: пример из управления услугами

ИТ-отдел региональной больницы поддерживает клиническую систему записи, используемую персоналом отделений. Владелец услуги, служба поддержки, команда приложений и команда инфраструктуры собираются ежемесячно. Все числа ниже иллюстративны.

SLA обещает, что 90 % инцидентов приоритета 2 (частичная потеря функции, затрагивающая отделение) восстанавливаются в пределах четырёх часов, измеряемых от создания заявки, в услуге двадцать четыре часа, семь дней. Ежемесячный отчёт показывает выполнение 94 % на 36 инцидентах (иллюстративно), вполне зелёное. Опрос опыта, отправляемый после каждого закрытия приоритета 2, имеет долю ответивших 41 % (иллюстративно) и медианную оценку 3 по пятибалльной шкале, намного ниже уровня 4, о котором владелец услуги и заведующие отделениями договорились как об XLA. Разрыв-арбуз виден третий месяц подряд.

Команда смотрит на распределение. Медианное восстановление равно 1 часу 40 минутам (иллюстративно), но 95-й перцентиль 3 часа 50 минут (иллюстративно), а доля почти-промахов 31 % (иллюстративно): почти треть «выполненных» инцидентов закончилась в последней десятой части отведённого времени. Они смотрят на долю пауз часов и находят, что 22 % (иллюстративно) прошедшего времени проведено в состоянии «ожидание клиента». Выборка из десяти приостановленных заявок показывает четыре, где отделение ответило, а заявка оставалась приостановленной до следующей смены, а в трёх других команда приложений ждала команду инфраструктуры. Время ожидания передачи на 85-м перцентиле для очереди инфраструктуры составляет 2 часа 10 минут (иллюстративно) при OLA в 30 минут (иллюстративно), а доля выполнения OLA для этой передачи 58 % (иллюстративно).

Решение практично. Они меняют правило часов так, чтобы «ожидание клиента» можно было использовать только после документированного запроса клиенту, а часы возобновлялись при следующем ответе. Они добавляют маршрут дежурства для очереди инфраструктуры в часы отделений и договариваются о меньшем OLA с пересмотром через месяц. Они добавляют показатель опыта и разрыв-арбуз в ежемесячный одностраничный отчёт и приглашают заведующего отделением на пересмотр. Они также снижают внутреннюю SLO до более строгого восстановления за четыре часа для 95 % инцидентов, чтобы команда замечала неприятности до того, как SLA окажется под угрозой.

Риск манипуляции проявляется на втором месяце. После смены правила пауз выполнение проседает до 89 % (иллюстративно), и менеджер просит службу поддержки «перепроверить приоритеты». Команда замечает всплеск понижений с приоритета 2 до приоритета 3, парит выполнение с долями переклассификации и повторного открытия и требует причину в записи для любой смены приоритета. На третьем месяце выполнение 91 % (иллюстративно), 95-й перцентиль ниже, доля почти-промахов упала, а медианная оценка опыта выросла до 3,8 (иллюстративно). Разрыв сужается, потому что работа улучшилась, и числам можно верить.

Agile, ИИ, автоматизация и аналитика

Agile

Согласуйте уровни услуг с заинтересованными сторонами и регулярно пересматривайте их, чтобы цели следовали тому, что нужно пользователям по мере развития услуги. Осторожность в том, что фиксированная цель, оставленная на годы, измеряет прошлое.

ИИ

ИИ может резюмировать нарушения, предсказывать, какие заявки не уложатся в цель, и предлагать эскалации. Парьте выполнение с оценкой опыта и разрывом-арбузом и записывайте, какие предсказания были верны. Осторожность в том, что подсказка ИИ защитить цель может подтолкнуть людей приостанавливать часы или менять приоритет; поэтому проверяйте использование пауз.

Автоматизация

Вычисляйте выполнение по меткам времени событий и делайте правила пауз видимыми. Измеряйте автоматическую эскалацию по ложным эскалациям и по нарушениям, которые она пропустила. Осторожность в том, что автоматическая пауза на состоянии вроде ожидания клиента есть лёгкий путь к манипуляции.

Аналитика

Сообщайте выполнение с почти-промахами и перцентилями и показывайте оценку опыта рядом. Решение, которое это информирует, состоит в том, какое соглашение пересмотреть. Осторожность в том, что выполнение по малому числу заявок изменчиво; поэтому показывайте счёт за каждым процентом.

Отраслевой взгляд

Стартап. У малой компании часто вообще нет формального SLA, только неформальное обещание нескольким первым клиентам. Напишите одну страницу, называющую часы услуги, цель реакции и цель восстановления, заявленную как перцентиль, и держите SLO внутри команды. Разговоры с клиентами заменяют XLA, поэтому записывайте каждый месяц, что говорят три самых важных клиента.

Малый бизнес. Малая ИТ-команда обычно сильно зависит от внешних поставщиков, поэтому поддерживающие контракты важнее внутренних OLA. Проверьте, что обязательство каждого поставщика хотя бы так же строго, как SLA, который вы даёте своим пользователям, и отслеживайте фактическую результативность поставщика (см. тему 8.4, Метрики поставщиков и контрактов). Достаточно простой месячной страницы с выполнением, почти-промахами и коротким опросом пользователей.

Крупная компания. Крупным организациям нужен реестр соглашений и показатель охвата. Стандартизируйте правила часов и определения по услугам, чтобы сводки были осмысленными (см. тему 1.4, Управление метриками и ответственность за них). Остерегайтесь эффекта арбуза в сводках для руководства, где сотни зелёных строк прячут несколько услуг с серьёзной болью пользователей.

Государство и публичный сектор. У государственных органов часто есть законодательные стандарты услуг, правила закупок, фиксирующие SLA в контрактах, и обязанность публиковать результаты. Держите опубликованный показатель ясным и проверяемым, сохраняйте правила часов и свидетельства для аудита и относитесь к гражданам как к клиентам с голосом в пересмотре (см. тему 8.5, Регулируемая и государственная отчётность). Где контракт жёсток, добавьте показатель опыта рядом, не меняя формулировок контракта.

Бизнес-обоснование: мотивы, ROI и TCO

Довод в пользу лучших показателей соглашений есть довод в пользу доверия и избегания напрасных усилий. Отчёты, совпадающие с тем, что чувствуют пользователи, сокращают эскалации и споры, сокращают ежемесячный спор о том, чьё число верно, и позволяют руководителям финансировать важную работу. Ясные OLA сокращают задержки передач, а они среди самых больших вкладчиков в долгие восстановления. Разрыв-арбуз, пойманный рано, избегает большей цены отношений с клиентом или неудачного продления контракта.

Затраты скромны: время на написание и пересмотр соглашений, надёжные данные о часах и передачах (см. тему 1.5, Источники данных и инструментирование), короткий опрос и ежемесячный пересмотр. Общая цена растёт с числом соглашений, поэтому меньшее число более простых дешевле держать.

Отдача проявляется как меньше неожиданных нарушений, меньше времени на объяснение отчётов и лучше информированные инвестиционные решения. Относитесь к этому как к закономерностям, которые надо наблюдать и сравнивать во времени, а не как к расчёту. Сравните усилие ежемесячного пересмотра с ценой одного эскалированного спора или одного потерянного продления в вашей собственной организации по своим данным (см. тему 7.7, Возврат инвестиций и бизнес-обоснование).

Антипаттерны и ловушки

  • Сообщение только средних. Среднее прячет длинный хвост запоздавшей работы. Сообщайте перцентили, долю почти-промахов и счёт.
  • Написание SLA вокруг того, что легко выполнить. Цель, выбранная для удобства, даёт всегда зелёный отчёт. Начинайте с того, что нужно клиенту, и показывайте разрыв открыто.
  • Приостановка часов ради улучшения числа. Щедрые состояния паузы превращают SLA в вымысел. Публикуйте правила пауз, проверяйте выборки и сообщайте долю пауз.
  • OLA как оружие. OLA, используемое, чтобы винить следующую команду, учит команды отфутболивать работу. Относитесь к промахам как к информации об очереди и исправляйте поток.
  • Отчётность, ведомая штрафами. Тяжёлые штрафы поощряют защитную классификацию и споры о часах. Используйте штрафы умеренно и парьте их с долями повторного открытия и переклассификации.
  • Данные об опыте без доли ответивших. Высокая оценка от крошечной самоотобранной выборки вводит в заблуждение. Показывайте долю ответивших и состав ответивших рядом с каждым результатом.
  • Соглашения, которые никто не пересматривает. Устаревшие соглашения описывают услугу, которой больше нет. Планируйте пересмотры и выводите неиспользуемое.
  • Индивидуальные цели из командных соглашений. Разбиение командного SLA на личные квоты ведёт к поспешным закрытиям и ранжированию. Держите соглашение на уровне услуги и команды.

Модель зрелости

Измерение Инициирование Развитие Стандартизация Управление Оркестрация
Проектирование соглашений Устные обещания или скопированные шаблоны; цели выбраны по привычке Некоторые письменные SLA; OLA редки; часы различаются между командами Короткий шаблон с целями на основе результата, перцентилями и письменными правилами часов Соглашения пересматриваются по графику, с клиентом и привязаны к SLO Слои SLA, OLA, контракта поставщика и SLO корректируются вместе по мере изменения условий
Качество измерения Ручные подсчёты; средние; паузы недокументированы Выполнение из инструмента для некоторых услуг; использование пауз не пересматривается Одно определение и источник данных; показаны распределения и доля пауз Почти-промахи, причины нарушений и ожидания передач отслеживаются во времени и проверяются выборкой Данные между командами и поставщиками сверяются; определения пересматриваются, когда перестают информировать решения
Связь с опытом Нет обратной связи пользователей, привязанной к SLA Разовые опросы для некоторых услуг Короткий опрос для ключевых путей с показанной долей ответивших Цели опыта согласованы с клиентами, разрыв-арбуз сообщается Опыт и операционные показатели управляют совместной работой по улучшению с клиентами
Использование в улучшении Сообщается после жалобы Нарушения обсуждаются на совещаниях команды Ежемесячный пересмотр с владельцами и действиями Причины нарушений питают финансируемое улучшение и работу над проблемами Клиенты, поставщики и команды вместе планируют улучшение по одному виду

Контрольный список

  • Каждое SLA указывает свой результат, свою цель как перцентиль или долю и свою совокупность.
  • Событие начала, событие конца и разрешённые условия паузы записаны для каждой цели.
  • У каждого SLA для клиентов есть OLA или контракты поставщиков, вписывающиеся в него, каждое с названной владеющей командой.
  • Внутренние цели строже обещанных целей SLA.
  • Отчёты показывают распределение, счёт, долю почти-промахов и долю пауз часов.
  • Выборка приостановленных и закрытых заявок читается каждый месяц.
  • У каждой ключевой услуги есть показатель опыта с согласованным уровнем, а доля ответивших показана.
  • Разрыв-арбуз отслеживается и пересматривается с представителем клиента.
  • Соглашения пересматриваются по графику и выводятся, когда не используются.
  • Ни один показатель соглашений не используется для ранжирования отдельных людей.

Промпты для ИИ

Проверьте SLA на проблемы с часами и формулировками.

Here is the text of our SLA for [service]: [paste agreement text]. The targets
are [list of targets], measured in [tool]. Identify ambiguities in the start
event, stop event, and pause conditions, places where an average could hide a
long tail, and wording a customer could read differently from us. Suggest
clearer wording and the questions I should ask the customer. Do not invent
benchmark values or legal conclusions. List your assumptions.

Составьте черновик OLA между двумя командами.

I need a short operational level agreement between [sending team] and
[receiving team] to support our SLA of [SLA target] for [service]. The typical
hand-off is [description], and the queue is [queue name or tool]. Draft a one
page OLA with the purpose, the expected response, the clock rules, a way to
settle disputes, and a review date. Keep the tone cooperative and do not suggest
penalties unless I ask. Do not invent target values; ask me for them. List your
assumptions.

Найдите разрыв-арбуз в наших данных.

Here is a summary of SLA attainment and an experience measure for [list of
services] over [period]: [paste the table]. Identify services where the SLA reads
as met and experience reads as poor, and suggest possible explanations to
investigate, such as clock pauses, priority reclassification, or a poorly chosen
measure. Propose questions and a small sample of tickets to read for each. Do not
assume causes or invent thresholds. List your assumptions.

Спроектируйте короткий опрос опыта для XLA.

We want to add an experience measure for [journey, for example getting a new
laptop] for [audience]. Draft [number] neutral questions, a plan for when and how
to send them, and how to report the response rate and respondent mix. Flag
wording that could bias answers and suggest how to agree the target level with
[customer representative role]. Do not invent benchmark scores. List your
assumptions.

Навыки ИИ

  • Service Management Metrics skill: используйте, чтобы найти, какая тема определяет показатель за строкой SLA и ограждение, которое должно стоять рядом.
  • Service Management Metrics maintainer skill: используйте, чтобы проверить, что правки этой темы сохраняют согласованность шаблона, правил часов и таблицы манипуляций.

Главные выводы

  • SLA есть обещание клиенту, OLA есть обещание между командами, а XLA есть согласованный результат опыта; каждому нужны собственный показатель и владелец.
  • Сообщайте перцентили, счёты, почти-промахи и долю пауз часов, потому что средние и тихие паузы порождают зелёные отчёты над плохой услугой.
  • Выводите OLA из SLA и держите внутренние цели строже обещания.
  • Парьте каждое SLA с показателем опыта для того же пути и сообщайте разрыв-арбуз как находку, по которой надо действовать.
  • Пересматривайте соглашения по графику, с клиентом в комнате, и выводите те, которыми никто не пользуется.
  • Держите каждый показатель соглашений на уровне услуг и команд, никогда отдельных людей.

Источники и дополнительное чтение

  1. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  2. Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SLOs, O'Reilly Media, 2018, https://sre.google/workbook/table-of-contents/
  3. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  4. AXELOS, ITIL Foundation: ITIL 4 Edition, TSO (The Stationery Office), 2019.
  5. ISO/IEC 20000-1:2018, Information technology: Service management: Part 1: Service management system requirements, International Organization for Standardization.
  6. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  7. Wikipedia, Соглашение об уровне услуг.
  8. Wikipedia, ITIL.
  9. Wikipedia, Соглашение об операционном уровне.
  10. Wikipedia, Индикатор уровня услуги.
  11. Wikipedia, Цель уровня услуги.
  12. Wikipedia, Инженерия надёжности сайтов.
  13. Wikipedia, Перцентиль.