Соглашения об уровне опыта
Соглашение об уровне опыта добавляет вопрос «каково было пользоваться?» к вопросу «выполнила ли услуга свою цель?», и оно работает только тогда, когда меры опыта выбраны вместе с пользователями и хранятся рядом с операционными.
Обзор и мотивация
Соглашение об уровне услуг (SLA) записывает, что поставщик обязуется доставить, обычно в терминах, которые поставщик может сосчитать: доступность, время реакции, время решения. Эти меры полезны и также неполны. Команда может выполнить каждую цель на панели, пока пользователи проводят неделю, обходя медленные входы, повторяясь перед службой поддержки и ожидая одобрений. Этот разрыв между зелёной отчётностью и недовольными пользователями иногда называют эффектом арбуза: зелёный снаружи, красный внутри (см. тему 5.1, Метрики SLA, OLA и XLA).
Соглашение об уровне опыта (XLA) есть соглашение между поставщиком и людьми, пользующимися услугой, об опыте, который услуга должна давать. Оно формулирует желаемые результаты и ощущения, такие как «я могу начать работу через несколько минут после прихода» или «я верю, что мой запрос будет обработан», и называет меры, которые покажут, выполняются ли они. Термин используется в сообществе управления ИТ-услугами (ITSM), а его точное определение различается у авторов и поставщиков. Проверяйте текущие публикации владельца рамки, прежде чем описывать XLA как часть ITIL, и указывайте, какого словоупотребления вы придерживаетесь. Эта тема рассматривает XLA как практическую идею: соглашение, ставящее меры опыта рядом с операционными.
У идеи есть корни вне ИТ. Пользовательский опыт есть общий опыт человека, пользующегося продуктом, системой или услугой, а клиентский опыт есть сумма взаимодействий клиента с организацией во времени. Удобство использования касается того, насколько эффективно, результативно и с удовлетворением люди могут достигать своих целей. Команды Agile знают эту территорию по дизайн-мышлению и исследованию пользователей и по обзорам для заинтересованных сторон, где пользователи реагируют на работающее ПО. XLA приносит то же внимание в услугу времени исполнения.
Опыт трудно измерить и легко исказить. Опрос, достигающий только довольных пользователей, оценка тональности, настроенная на рост, или единый «индекс опыта», который никто не может объяснить, введут в заблуждение так же верно, как подтасованное время заявки. Ограждение из закона Гудхарта применимо в полной мере: меры опыта суть начала разговора, а не квоты (см. тему 1.2, Закон Гудхарта и психология метрик).
Эта тема опирается на меры опросов в предыдущей теме (см. тему 6.1, Метрики удовлетворённости клиентов) и добавляет поведенческие меры и меры на основе пути, которые не зависят от вопросов.
Ключевые принципы
- Начинайте с результатов, важных людям. Спросите пользователей, как выглядит хороший день, и пишите соглашения их словами.
- Парьте опыт с операциями. XLA стоит рядом с SLA, а не вместо него.
- Используйте немного мер с разных сторон. Сочетайте то, что люди говорят, что делают и что записывает система.
- Измеряйте пути так же, как точки контакта. Опыт есть весь путь от потребности до результата.
- Будьте честны о неопределённости. Данные об опыте шумны, а малым группам нужна защита.
- Согласуйте цели с пользователями и пересматривайте их. XLA есть живое соглашение, пересматриваемое с людьми, которых оно описывает.
- Никогда не используйте данные об опыте для ранжирования отдельных людей.
Определения метрик
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Оценка опыта | Средняя оценка согласованного утверждения об опыте для услуги и аудитории | средняя оценка по допустимым ответам на одно утверждение по фиксированной шкале | пункты шкалы | Короткий пульсовый опрос, отправляемый по графику | Управление уровнями услуг; непрерывное улучшение | Обратная связь на обзоре для заинтересованных сторон; обзор результатов продукта | Раз в месяц |
| Тренд тональности | Направление тона в свободных комментариях об услуге | доля комментариев, закодированных положительными, минус доля, закодированных отрицательными, за период | процентные пункты | Закодированные комментарии опросов и комментарии в заявках | Непрерывное улучшение | Темы ретроспективы | Раз в месяц |
| События трения на пользователя | Число сигналов того, что пользователь столкнулся с трудностью, нормированное на активных пользователей | (повторные обращения + повторно открытые элементы + неудавшиеся входы сверх заданного числа + брошенные запросы) / активные пользователи | событий на пользователя | Система заявок, логи идентификации, портал запросов | Служба поддержки; управление инцидентами | Дефекты, найденные в использовании | Раз в месяц |
| Время, потерянное на ИТ-проблемы | Оценочное время, теряемое пользователями на проблемы услуги за период | сообщённые самими пользователями потерянные минуты на пользователя или измеренное время в деградированном состоянии, взвешенное затронутыми пользователями | минут на пользователя | Пульсовый опрос; мониторинг, соединённый со счётом пользователей | Управление доступностью; управление инцидентами | Время цикла, потерянное на блокировки | Раз в квартал |
| Доля завершённых путей | Доля пользователей, завершивших определённый путь без отказа и без обращения за помощью | пользователи, завершившие путь без обращения за помощью / пользователи, начавшие путь | процент | Аналитика портала; связи с заявками | Управление запросами на обслуживание; управление каталогом услуг | Успех задач в тестах удобства | Раз в месяц |
| Достижение XLA | Доля согласованных целей по опыту, достигнутых в периоде | достигнутые цели / согласованные цели | процент | Реестр XLA | Управление уровнями услуг | Достижение цели поставки | Раз в квартал |
| Разрыв опыта | Разница между выполнением SLA и оценкой опыта для той же услуги | ранг выполнения SLA минус ранг оценки опыта по услугам или письменное сравнение | разница рангов или заметка | Отчёты SLA и пульсовый опрос | Управление уровнями услуг | Определение готовности против обратной связи пользователей | Раз в квартал |
Определите аудиторию и период для каждой меры. Укажите, как защищаются малые группы: например, результат не показывается ни для какой группы меньше десяти человек. События трения считают сигналы, а не вину, поэтому событие привязывается к услуге и группе пользователей, никогда к оценке результативности названного человека.
Рекомендации
Проектируйте соглашение вместе с пользователями
1. Проведите интервью, прежде чем измерять. Проведите время с выборкой пользователей из каждой важной группы и спросите: каков хороший день с этой услугой? Где она тратит ваше время? Что вы перестали бы делать, если бы она работала? Используйте привычки человеко-ориентированного проектирования: наблюдайте реальную работу и записывайте услышанное словами пользователя. Получившиеся утверждения становятся целями соглашения по опыту.
2. Пишите утверждения об опыте как результаты. «Я могу сделать нового сотрудника продуктивным в его первое утро» говорит больше, чем «запрос доступа нового сотрудника решён за два дня». Держите каждое утверждение коротким, от первого лица и привязанным к одной услуге. Стремитесь к трём-пяти утверждениям на услугу, чтобы люди могли их запомнить.
3. Выбирайте меры с трёх сторон. Для каждого утверждения выберите одну меру из того, что люди говорят (пульсовый вопрос или тема комментариев), одну из того, что люди делают (завершение пути, повторные обращения, брошенные запросы), и по возможности одну из того, что записывает система (задержка шагов пути). Когда три расходятся, вы нашли, что расследовать.
4. Согласуйте цели мягко. Поначалу задайте направление («сократить потерянное время») и дату пересмотра вместо жёсткого числа. Жёсткие цели для новых мер опыта приглашают манипуляции, пока мера не понята. Когда цель появляется, сделайте её диапазоном и скажите, кто с ней согласился.
Собирайте и читайте данные
5. Используйте короткие регулярные пульсовые вопросы. Один вопрос об одном утверждении, задаваемый с регулярным интервалом, легче длинного годового опроса. Чередуйте утверждения, держите формулировку стабильной и избегайте спрашивать одного и того же человека чаще одного раза за заданный период. Свяжите проект пульса с принципами опросов в предыдущей теме (см. тему 6.1, Метрики удовлетворённости клиентов).
6. Читайте комментарии по методу. Инструменты анализа тональности могут сортировать большие объёмы текста и неверно читают сарказм, жаргон и контекст. Относитесь к выводу инструмента как к первому проходу, пусть человек проверяет выборку каждый месяц, и держите короткий список тем, кодируемых вручную. Смысл анализа в том, чтобы находить темы для разговора с пользователями, а не производить оценку.
7. Добавьте поведенческие сигналы с пути. Инструментируйте пути, важные пользователям, с их ведома: где они начинают, где отваливаются и где просят помощи? Мониторинг реальных пользователей времени загрузки страниц, ошибок и шагов даёт вид, который опросы дать не могут. Говорите пользователям, что вы собираете, ограничивайтесь необходимым и агрегируйте до передачи.
8. Защищайте малые группы и отдельных людей. Данные об опыте могут выявить, кому трудно. Агрегируйте результаты, подавляйте группы ниже согласованного размера и никогда не используйте данные в оценках результативности. Решите, кто может видеть сырые комментарии, и храните их соответственно. В регулируемых средах проконсультируйтесь со специалистами по приватности, прежде чем собирать поведенческие данные.
Используйте соглашение
9. Показывайте SLA и XLA рядом. На одной странице показывайте операционное выполнение и меры опыта для каждой услуги. Пара и есть смысл: зелёное SLA при падающей оценке опыта есть повод для разговора, а зелёная оценка опыта при проваливающихся SLA заслуживает взгляда на то, чего пользователям не говорят.
10. Проводите регулярный пересмотр опыта с пользователями. Встречайтесь раз в квартал с представителями групп пользователей, показывайте данные, спрашивайте, что они значат, и договаривайтесь об одном-двух улучшениях для пробы. Включайте службу поддержки и продуктовую команду, поскольку причина плохого опыта часто сидит в продукте, а не в поддержке.
11. Финансируйте исправления. Соглашение, выявляющее трение и затем оставляющее его на месте, учит пользователей, что меры суть театр. Поставьте две-три главные проблемы опыта в бэклог с владельцами и датами и сообщайте о них на следующем пересмотре. См. метрики непрерывного улучшения далее в этой книге (см. тему 9.5, Метрики непрерывного улучшения).
12. Пересматривайте соглашение по мере изменения услуг и пользователей. Выводите утверждения, переставшие быть важными, и добавляйте новые. Записывайте изменения и отмечайте их на графиках трендов, как для любого определения метрики.
Векторы манипуляции и ограждения
| Метрика | Как её искажают | Парная метрика или практика-ограждение |
|---|---|---|
| Оценка опыта | Опрашивать только довольных пользователей; ставить время опроса после хороших событий; переформулировать утверждение, чтобы с ним было легче согласиться | Доля ответивших и состав ответивших; журнал стабильности формулировок; чтение комментариев |
| Тренд тональности | Настраивать инструмент или список тем, пока тренд не вырастет; исключать отрицательные каналы | Человеческая проверка месячной выборки; фиксированное руководство по кодированию и запись изменений |
| События трения на пользователя | Переопределять события, чтобы считалось меньше; отбивать повторные обращения, затрудняя доступ к службе поддержки | Объём обращений по каналам; доля отказов в службе поддержки (см. тему 3.1, Метрики службы поддержки) |
| Время, потерянное на ИТ-проблемы | Спрашивать так, чтобы закреплять низкие оценки; считать только крупные инциденты | Сравнивать сообщённое самими временем с измеренным временем деградации; пересмотр формулировки опроса |
| Доля завершённых путей | Определять путь настолько узко, что сбой выходит за область; направлять трудные случаи в другой канал | Определение пути в реестре; доля обращений за помощью и эскалации |
| Достижение XLA | Задавать цели, уже выполненные; определять очень малый набор целей | Пересмотр постановки целей с пользователями; показ достижения с трендом и историей целей |
| Разрыв опыта | Выбирать услуги или периоды, выглядящие лучше всего; менять, какие SLA сравниваются | Фиксированный набор сравнения, согласованный заранее; показ всех услуг |
Здоровое чтение есть картина опыта, совпадающая с комментариями и разговором на пересмотре с пользователями, небольшой набор мер, меняющихся медленно и по причинам, которые команда может объяснить, и бэклог исправлений опыта, который становится короче.
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| Только SLA | Ясно, исчисляемо, договорно | Упускает то, что чувствуют пользователи; может быть зелёным, пока пользователи недовольны |
| Только XLA | Близко к тому, что ценят пользователи | Труднее измерять и сравнивать; слабая основа для контрактов с поставщиками |
| SLA вместе с XLA | Даёт оба взгляда и выявляет разрыв | Больше работы; нужны доверие и суждение при чтении расхождений |
| Меры опыта на основе опросов | Прямой голос пользователей | Смещение ответивших; бремя на респондентов |
| Поведенческие меры | Нет бремени опроса; объективны | Нужны инструментирование и забота о приватности; показывают, что произошло, а не почему |
| Единый индекс опыта | Лёгкий заголовок | Прячет детали; легко подтасовать и трудно объяснить |
Ответ прост: используйте XLA как дополнение, вводимое для нескольких услуг, где разрыв между операциями и опытом уже виден. Не заменяйте договорные SLA мерами опыта, которые поставщики не могут контролировать. Держите юридические и коммерческие обязательства в SLA и используйте XLA, чтобы двигать улучшение и разговор.
Вопросы для обсуждения в команде
1. Как выглядит хороший день пользователей нашей самой важной услуги их словами? Соберите двух-трёх пользователей или переиспользуйте недавние интервью и запишите их утверждения. Ведущему стоит воздерживаться от переформулирования их в операционные термины. Сравните утверждения с текущим SLA и спросите, какие оно покрывает, а какие игнорирует. Разрывы суть кандидаты в меры опыта.
2. Где наши зелёные панели и истории наших пользователей расходятся? Попросите команду привести недавний случай, когда услуга выполнила цели, а пользователи жаловались. Проследите случай по данным: что мы измеряли и что упустили? Разговор часто выводит на отсутствующий шаг, передачу или часы, остановившиеся рано. Запишите случай как пример для следующего пересмотра с пользователями.
3. Какие три меры мы использовали бы, чтобы узнать, верно ли это утверждение об опыте? Выберите одно утверждение и выберите одну меру из того, что люди говорят, одну из того, что делают, и одну из того, что записывает система. Спросите, что каждая могла бы упустить и как каждую можно подтасовать. Договоритесь о наименьшем наборе, который убедил бы скептического пользователя.
4. Что мы собираем о пользователях такого, чего они могут не ожидать, и было бы им это комфортно? Перечислите источники поведенческих данных и цель каждого. Попросите представителя пользователей отреагировать. Ведущему стоит воспринимать дискомфорт как информацию о проекте, а не как препятствие. Решите, что перестать собирать, что агрегировать и кто может видеть сырые данные.
5. Что мы стали бы делать, если бы оценка опыта упала, пока все SLA остаются зелёными? Отрепетируйте реакцию. Кто смотрит первым, что проверяет и с кем говорит? Решите, поверила бы команда оценке опыта или искала бы способы её отмести. Ответ показывает, насколько серьёзно команда относится к соглашению.
6. Какие исправления опыта мы обещали и что с ними стало? Просмотрите два последних пересмотра с пользователями. По каждому обязательству покажите дату, владельца и исход. Если список пуст или устарел, обсудите почему. Договоритесь об одном исправлении до следующего пересмотра и о способе сообщить пользователям, что оно сделано.
Четыре точки зрения
Продуктовые команды и команды поставки
Продуктовые команды держат многие причины плохого опыта: запутанные экраны, медленные шаги, неясные ошибки. Меры опыта дают им свидетельства из живого использования и напрямую питают уточнение. Командам следует читать темы комментариев перед каждой сессией планирования и связывать меры пути с бэклогом. Им не следует относиться к оценке опыта как к цели команды. Это информация об услуге, которую они делят с эксплуатацией.
Команды услуг и эксплуатации
Команды эксплуатации первыми видят трение: повторные обращения, обходные пути и сердитых звонящих. Меры опыта дают им способ показать то, что прячет SLA, и повод исправлять причины, а не закрывать заявки быстрее. Им следует держать линию в определениях и выборке, избегать направления пользователей в каналы, выглядящие лучше, и читать неудовлетворённые комментарии полностью (см. тему 3.1, Метрики службы поддержки).
Руководство и управление
Руководители выбирают, будет ли XLA разговором или табло. Им следует спрашивать, что данные об опыте говорят о том, куда вкладываться, избегать привязки оплаты к индексу опыта и защищать приватность данных персонала. Управлению следует просить определения, выборку и историю изменений и относиться к необъяснимому скачку меры опыта как к поводу проверить метод.
Клиенты и пользователи
Пользователи суть авторы соглашения. Их следует приглашать описать, как выглядит хорошо, показывать им результаты и говорить, что изменилось. Они должны знать, что о них собирается и зачем, и иметь способ отказаться. Пользователи, которых часто спрашивают и которые не видят улучшений, перестанут отвечать, и тишина сделает данные лучше реальности.
На практике: пример из управления услугами
Профессиональная сервисная фирма среднего размера ведёт внутреннюю ИТ-услугу для 1800 сотрудников. Числа ниже иллюстративны.
Месячный отчёт SLA показывает 99,8 % доступности платформы совместной работы и 96 % инцидентов, решённых в пределах цели. Директор по ИТ доволен, но консультанты на площадках клиентов продолжают жаловаться на медленный вход. Менеджер услуги предлагает пилот XLA для платформы совместной работы.
В интервью с 12 консультантами возникают три утверждения: «я могу присоединиться к звонку клиента в течение двух минут после решения», «мне не нужно звонить в ИТ, чтобы вернуться в свою учётную запись» и «когда что-то ломается, я знаю, что происходит». Команда выбирает меры для каждого. Для первого она берёт пульсовую оценку утверждения и измеренное время от начала входа до присоединения к звонку по мониторингу реальных пользователей клиента, агрегированное по регионам. Для второго она считает обращения за сбросом пароля на активного пользователя в месяц. Для третьего она отслеживает долю инцидентов, где сообщение о статусе обновлено в течение 30 минут, и задаёт о нём пульсовый вопрос.
Первые два месяца данных показывают, что медианное время от входа до присоединения к звонку нормально в головном офисе, но велико в двух других регионах и что обращения за сбросом пароля на пользователя втрое выше у персонала на управляемых ноутбуках, чем у остальных. Оценка опыта для первого утверждения составляет 3,1 из 5 против 4,2 для офисного персонала. SLA зелёное в обоих. Менеджер услуги несёт находку на пересмотр с пользователями. Команда договаривается о двух улучшениях: настройка конфигурации единого входа для удалённых регионов и изменение настроек обновления токенов на управляемых ноутбуках. Через три месяца медианное время падает, обращения за сбросом на пользователя падают, а оценка опыта растёт до 3,8. Директор соглашается сохранить XLA для этой услуги, добавить его ещё к одной и не задавать числовую цель до следующего пересмотра.
Agile, ИИ, автоматизация и аналитика
Agile
Согласуйте меры опыта с пользователями и пересматривайте их по мере развития услуги, при непрерывном вовлечении заинтересованных сторон. Осторожность в том, что цель по опыту, заданная одним поставщиком, не опишет то, что чувствуют пользователи.
ИИ
Функции ИИ напрямую меняют опыт, поэтому включайте пути, использующие их, и измеряйте результат пользователя, а не уверенность модели. Парьте оценки опыта с завершением задач и эскалацией к человеку. Осторожность в том, что чат-бот, приятный на ощупь и проваливающий задачу, льстит оценке.
Автоматизация
Собирайте события трения и завершение путей автоматически, с согласием и правилами приватности, и измеряйте сбор по охвату. Осторожность в том, что автоматические данные об опыте отдельных людей могут стать слежкой, поэтому агрегируйте и минимизируйте.
Аналитика
Сообщайте оценку опыта вместе с операционными мерами на одной странице и разрыв между ними. Решение, которое это информирует, состоит в том, какую услугу улучшать, даже если её SLA зелёное. Осторожность в том, что разрыв может быть артефактом измерения, поэтому проверяйте выборку.
Отраслевой взгляд
Стартап. Близкий контакт с пользователями делает интервью лёгкими. Сопротивляйтесь построению рамки: напишите три утверждения об опыте для основной услуги, спрашивайте о них пользователей каждый месяц и добавьте одну поведенческую меру. Формальные соглашения придут позже.
Малый бизнес. Сотрудников мало, и они часто делят руководителя с ИТ. Используйте разговоры и очень короткий месячный пульс. Будьте осторожны с поведенческими данными, поскольку малые группы легко опознать.
Крупная компания. Масштаб приносит много групп пользователей и поставщиков. Определяйте утверждения об опыте по услугам и персонам, держите панели по услугам и избегайте единого индекса опыта на всю компанию. Согласуйте XLA с контрактами поставщиков, чтобы поставщики давали данные, не отвечая за меры, на которые не могут влиять.
Государство и публичный сектор. Услуги часто обращены как к публике, так и к персоналу, с обязанностями по доступности, простому языку и равному доступу. Включайте доступность в утверждения об опыте и в меры, испытывайте с пользователями, опирающимися на вспомогательные технологии, и защищайте персональные данные в соответствии с законом. Где требуется публичная отчётность, сообщайте методы вместе с результатами (см. тему 8.5, Регулируемая и государственная отчётность).
Бизнес-обоснование: мотивы, ROI и TCO
Цена умеренна. Интервью с пользователями занимают несколько дней на услугу. Месячному пульсовому опросу нужен инструмент опросов, который у многих организаций уже есть. Поведенческим мерам нужно некоторое инструментирование, которое может прийти из существующего мониторинга и аналитики портала. Пересмотр с пользователями занимает несколько часов в квартал. Кодирование комментариев занимает час-два в месяц.
Отдача лежит в обнаружении проблем, которых SLA не показывают, таких как медленные пути в определённых регионах или на устройствах, и в направлении денег на улучшение на то, что ценят пользователи. Время, потерянное на ИТ-проблемы, можно перевести в цену по ставкам вашего персонала, если измерять тщательно. Избегайте общих заявлений о приросте производительности. Стройте обоснование от собственного базового уровня: потерянное время на пользователя, события трения на пользователя и повторные обращения до и после исправления. Также учитывайте избегнутую цену обходных путей, таких как теневые инструменты, принятые потому, что официальная услуга неудобна.
Антипаттерны и ловушки
- Замена SLA на XLA. Контрактам нужны исчисляемые обязательства. Сохраняйте оба и показывайте вместе.
- Один составной индекс опыта. Он прячет причину и приглашает манипуляции. Показывайте несколько отдельных мер.
- Определение опыта без пользователей. Утверждения, написанные в переговорной, описывают взгляд поставщика. Проводите интервью и испытания с пользователями.
- Опросы, пока люди не перестанут отвечать. Держите пульсы короткими и чередуйте темы.
- Сбор поведенческих данных, никому не сказав. Это ломает доверие и может нарушать закон. Будьте открыты о том, что собирается и зачем.
- Использование данных об опыте в оценках результативности. Это превращает инструмент обучения в слежку и разрушает честную отчётность.
- Исправление меры, а не причины. Не перенаправляйте пользователей в более дружелюбный канал, чтобы улучшить число. Исправляйте путь.
- Оставление находок на слайде. Финансируйте и отслеживайте исправления опыта.
Модель зрелости
| Измерение | 1 Инициирование | 2 Развитие | 3 Стандартизация | 4 Управление | 5 Оркестрация |
|---|---|---|---|---|---|
| Цели по опыту | Неявные или отсутствуют | Написаны поставщиком для некоторых услуг | Утверждения написаны вместе с пользователями для ключевых услуг | Утверждения пересматриваются и корректируются каждый квартал с группами пользователей | Общие между услугами и поставщиками, во владении совместно с пользователями |
| Измерение | Редкие опросы | Пульсовый опрос для одной услуги | Меры с трёх сторон (говорят, делают, система) для каждого утверждения | Меры отслеживаются во времени, защищены для малых групп и сравниваются с SLA | Данные объединяются между поставщиками, с выбором приватности под контролем пользователей |
| Действие | Жалобы обрабатываются по одной | Исправления делаются как придётся | Главные проблемы опыта в бэклоге с владельцами | Исправления финансируются, отслеживаются и сообщаются пользователям | Улучшение координируется между командами, поставщиками и пользователями, с обменом обучением |
Контрольный список
- У каждой услуги XLA есть от трёх до пяти утверждений об опыте, написанных вместе с пользователями.
- У каждого утверждения есть меры хотя бы с двух сторон (говорят, делают, система).
- Меры SLA и опыта появляются на одной странице для каждой услуги.
- Пульсовые опросы коротки, регулярны и стабильны в формулировке.
- Комментарии кодируются по стабильному руководству, а человек проверяет месячную выборку.
- Группы ниже согласованного размера подавляются в отчётах.
- Собираемые поведенческие данные раскрыты пользователям и ограничены необходимым.
- Ни одна мера опыта не используется в индивидуальных оценках результативности.
- Квартальный пересмотр с представителями пользователей стоит в календаре.
- У главных проблем опыта есть владельцы и даты в бэклоге.
Промпты для ИИ
Составьте черновик утверждений об опыте по заметкам интервью.
Here are anonymized notes from [number] interviews with users of [service] in
[type of organization]: [paste notes]. Propose three to five experience
statements in the first person, each tied to one outcome the users care about,
using their wording where possible. For each, suggest one measure from what
people say, one from what they do, and one from what the system records. Do not
invent figures. List your assumptions and anything you could not tell from the
notes.
Найдите разрыв между SLA и опытом.
For [service] in [period], our SLA results were: [paste results]. Our
experience data (pulse scores, comment themes, friction counts) were: [paste
data]. Describe where the two disagree, offer three possible explanations for
each disagreement, and suggest what to check next. Do not assume a cause the
data cannot support. List your assumptions and what additional data would help.
Проверьте подход к приватности для поведенческих мер.
We plan to collect these behavioral signals for experience measurement:
[list]. Users are [staff, public, or both] in [jurisdiction or sector]. Review
the plan for risks to privacy, trust, and fairness, and suggest minimum
aggregation, retention, and disclosure practices. Flag anything I should take
to a privacy specialist. Do not give legal conclusions. List your assumptions.
Подготовьте квартальный пересмотр опыта с пользователями.
Draft an agenda and a one-page summary for a quarterly experience review of
[service] with representatives of [user groups]. Include SLA and experience
results side by side, the top comment themes, last quarter's commitments and
their status, and two questions for users. The data: [paste data]. Keep the
tone plain and avoid jargon. List your assumptions and mark any claim that
needs checking.
Навыки ИИ
- Service Management Metrics skill: используйте, чтобы найти ограждение для меры опыта, прежде чем добавить её на панель.
- Service Management Metrics maintainer skill: используйте, чтобы проверить, что запись метрики XLA несёт свой вектор манипуляции и ограждение.
Главные выводы
- XLA добавляет цели и меры опыта к операционным целям и дополняет SLA.
- Пишите утверждения об опыте вместе с пользователями, их словами, и привязывайте каждое к мерам из того, что люди говорят, делают и что записывает система.
- Показывайте результаты SLA и опыта вместе и относитесь к расхождению как к поводу расследовать.
- Защищайте пользователей: раскрывайте, что собираете, агрегируйте, подавляйте малые группы и держите это вне оценок результативности.
- Избегайте единого индекса опыта и жёстких целей, пока меры не поняты.
- Финансируйте исправления, которые выявляют данные, и говорите пользователям, что изменилось.
Источники и дополнительное чтение
- ISO 9241-210, Ergonomics of human-system interaction: Human-centred design for interactive systems, International Organization for Standardization.
- Norman, D. A., The Design of Everyday Things, revised and expanded edition, Basic Books, 2013.
- Dixon, M., Toman, N., and DeLisi, R., The Effortless Experience, Portfolio/Penguin, 2013.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly, 2016.
- Wikipedia, Соглашение об уровне услуг.
- Wikipedia, Пользовательский опыт.
- Wikipedia, Клиентский опыт.
- Wikipedia, Удобство использования.
- Wikipedia, Закон Гудхарта.
- Wikipedia, Человеко-ориентированное проектирование.
- Wikipedia, Анализ тональности.
- Wikipedia, Мониторинг реальных пользователей.