Метрики удовлетворённости клиентов
Оценки удовлетворённости говорят, что люди почувствовали в момент обслуживания, поэтому задавайте короткие честные вопросы в нужное время, читайте комментарии раньше чисел и никогда не позволяйте оценке стать квотой.
Обзор и мотивация
Операционные меры говорят, что сделала услуга. Меры удовлетворённости говорят, каково было её получать. Заявка может закрыться в целевое время и всё же оставить пользователя в тупике, а восстановленная услуга всё же может ощущаться как плохая неделя. Команды Agile задают тот же вопрос в конце каждого инкремента: помогло ли это тем, для кого предназначено? Управление ИТ-услугами (ITSM), как оно кодифицировано в ITIL, задаёт его через ценность, которую услуга создаёт совместно с клиентами. Измерение удовлетворённости есть место, где эти два вопроса встречаются.
Удовлетворённость клиентов есть мера того, насколько продукты и услуги соответствуют ожиданиям клиентов или превосходят их. В работе с услугами её обычно собирают опросом, и она бывает в трёх распространённых формах, которые охватывает эта тема:
- Оценка удовлетворённости клиента (CSAT): оценка конкретного взаимодействия или услуги, обычно по пятибалльной шкале, сообщаемая как доля удовлетворённых ответов.
- Индекс потребительской лояльности (NPS): основан на одном вопросе о том, насколько вероятно, что респондент порекомендует компанию, продукт или услугу. Ответившие 9 или 10 суть промоутеры, ответившие от 0 до 6 суть критики, а оценка есть процент промоутеров минус процент критиков. Индекс потребительской лояльности популяризовал Фред Райхельд в статье 2003 года в Harvard Business Review.
- Оценка усилия клиента (CES): оценка того, сколько усилий потребовалось, чтобы что-то сделать, или насколько это было легко. Её авторы утверждали, что снижение усилия предсказывает лояльность лучше, чем восхищение людей. Относитесь к этому утверждению как к гипотезе для проверки в вашем контексте, а не как к установленному факту.
Во внутренней ИТ-среде «клиент» есть коллега, а опрос есть короткий вопрос после заявки или релиза. Принципы те же, а этические обязанности больше, потому что люди, которых вы спрашиваете, завтра работают с вами.
Опросы суть форма методологии опросов, области с десятилетиями находок о том, как формулировка вопросов, время и выборка меняют ответы. Команды, пропускающие её, склонны получать оценки, двигающиеся по причинам, не связанным с качеством услуги. Ограждение из закона Гудхарта применимо здесь с особой силой: когда сотрудников награждают за высокую оценку, они учатся её просить (см. тему 1.2, Закон Гудхарта и психология метрик).
Эта тема даёт определения, гигиену данных и привычки, хранящие меры удовлетворённости честными. Следующая тема расширяет их к более полному взгляду на опыт (см. тему 6.2, Соглашения об уровне опыта).
Ключевые принципы
- Спрашивайте о конкретном моменте. Опрос, привязанный к закрытой заявке или релизу, даёт более острые ответы, чем общий годовой вопрос.
- Делайте коротко. Одна оценка и один открытый комментарий лучше десяти вопросов, которые большинство пропускает.
- Читайте комментарии. Оценка говорит, сколько, а слова говорят, почему.
- Сообщайте, кто ответил. Оценка без доли ответивших и состава ответивших есть слух.
- Замыкайте петлю. Люди, сообщившие о плохом опыте, должны получить ответ.
- Сравнивайте с собой во времени. Межкорпоративные ориентиры прячут различия в методе, аудитории и культуре.
- Защищайте респондентов. Собирайте только то, что нужно, говорите, как это будет использовано, и не ранжируйте по этому отдельных людей.
Определения метрик
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| CSAT | Доля ответов, являющихся удовлетворёнными, для определённого типа взаимодействия | ответы с оценкой 4 или 5 по пятибалльной шкале / допустимые ответы | процент | Опрос после взаимодействия, привязанный к заявке или релизу | Служба поддержки; управление инцидентами; управление уровнями услуг | Обратная связь на обзоре для заинтересованных сторон | Раз в неделю или раз в месяц |
| NPS | Промоутеры минус критики для определённой услуги и аудитории | процент ответивших 9 или 10 минус процент ответивших от 0 до 6 | пункты, диапазон от -100 до 100 | Опрос об отношениях, отправляемый с фиксированным интервалом | Непрерывное улучшение; управление уровнями услуг | Обзор результатов продукта | Раз в квартал |
| CES | Среднее или доля благоприятных оценок того, насколько легко было что-то сделать | благоприятные ответы / допустимые ответы или средняя оценка | процент или среднее | Опрос после взаимодействия, привязанный к заявке, запросу или релизу | Управление запросами на обслуживание; служба поддержки | Обратная связь по удобству на уточнении | Раз в месяц |
| Доля ответивших на опрос | Доля приглашённых пользователей, ответивших | полученные ответы / доставленные опросы | процент | Инструмент опросов и система заявок | Измерение и отчётность | Участие в обратной связи на обзорах | Раз в месяц |
| Охват ответивших | Насколько близко состав ответивших соответствует составу пользователей по согласованным измерениям | доля ответивших в каждой группе по сравнению с долей пользователей в этой группе, по группам | процентные пункты | Инструмент опросов, соединённый со справочником пользователей или данными заявок | Измерение и отчётность | Карта заинтересованных сторон | Раз в квартал |
| Доля тем комментариев | Доля свободных комментариев, отнесённых к каждой теме | комментарии в теме / закодированные комментарии | процент | Закодированные комментарии опросов | Непрерывное улучшение | Темы ретроспективы | Раз в месяц |
| Время реакции на критика | Время от низкой оценки до документированного контакта с пользователем | метка времени заметки о реакции минус метка времени низкой оценки, медиана и 85-й перцентиль | часы или дни | Инструмент опросов и система заявок | Управление инцидентами; непрерывное улучшение | Петля обратной связи в рабочем соглашении | Раз в месяц |
Часы и границы важны. CSAT и CES считают только ответы на конкретное взаимодействие, никогда общее настроение. Время реакции на критика начинается в момент записи низкой оценки, а не когда кто-то впервые её прочёл. Исключайте тестовые записи и ответы членов измеряемой команды.
Рекомендации
Проектируйте инструмент
1. Выбирайте один вопрос на цель. Используйте CSAT после взаимодействия, чтобы узнать, как оно прошло, CES после того, что пользователю пришлось сделать, чтобы узнать, где сидит трение, и NPS с регулярным интервалом, чтобы узнать об общих отношениях. Смешивание трёх в одной форме приглашает усталость от опросов и мутные результаты. Если вы можете позволить себе только один, выберите тот, что соответствует решению, которое нужно принять.
2. Пишите нейтральные, конкретные формулировки. «Насколько вы остались довольны тем, как обработан ваш запрос?» лучше, чем «Насколько прекрасным было наше обслуживание?» Избегайте двойных вопросов, спрашивающих о скорости и дружелюбии сразу. Предлагайте последовательную шкалу, подписывайте её концы и сохраняйте порядок ответов каждый раз. Шкала Лайкерта есть распространённый вариант, а небольшие изменения подписей могут сдвигать результаты, поэтому не меняйте их легкомысленно.
3. Добавьте один открытый вопрос. «Какова главная причина вашей оценки?» стоит респонденту мало и даёт команде самые богатые данные. Комментарии объясняют оценку, выявляют проблемы, которых числа не показывают, и дают исполнителям, чему учиться. Читайте их на регулярном пересмотре, вслух, если возможно.
4. Время опроса ставьте близко к событию. Отправляйте вопрос вскоре после решения заявки или выхода релиза, пока память свежа. Не отправляйте его в момент закрытия исполнителем, надеющимся на высокую оценку. Короткая задержка, задаваемая системой, убирает искушение натаскивать ответ.
Сделайте числа заслуживающими доверия
5. Сообщайте долю ответивших и состав ответивших рядом с каждой оценкой. Оценка удовлетворённости от 4 % пользователей есть утверждение об ответивших. Сравнивайте, кто ответил, с тем, кто был приглашён, по атрибутам, которые у вас уже есть, таким как регион, услуга или тип запроса. Большие разрывы означают, что оценке нужна пометка осторожности. Репрезентативность есть центральная тема исследований смещения ответивших, а для команды услуг суть просто в том, чтобы посмотреть.
6. Показывайте неопределённость. Малые выборки сильно колеблются. Предел погрешности или доверительный интервал рядом с месячным CSAT не даёт команде реагировать на шум (см. тему 1.6, Статистическая грамотность для метрик услуг). Если у команды за период меньше нескольких десятков ответов, сообщайте счёты и читайте комментарии, а не проценты.
7. Избегайте отбора того, кого спрашивают. Если человек, закрывший заявку, решает, отправлять ли опрос, оценки растут по неверной причине. Отправляйте опрос автоматически на каждое подходящее взаимодействие или на случайную выборку, если объём велик. Документируйте правило, включая исключения, в реестре метрик.
8. Разделяйте удовлетворённость человека и результативность человека. Удовлетворённость зависит от факторов, которые отдельный исполнитель не контролирует: качество продукта, очередь, политика, настроение пользователя. Не ранжируйте исполнителей по CSAT. Используйте её на уровне команды и услуги, а комментарии для разговоров о наставничестве, которые исполнитель приветствует.
Действуйте по услышанному
9. Замыкайте петлю с недовольными пользователями. Связывайтесь с людьми, сообщившими о плохом опыте, спрашивайте, что бы помогло, и записывайте, что узнали. Задайте цель по времени реакции и делайте реакцию разговором, а не просьбой изменить оценку. Изменение оценки по просьбе есть искажение, поэтому реакция должна быть нацелена на исправление проблемы и обучение.
10. Кодируйте комментарии по темам и отслеживайте их. Согласуйте короткий список тем, таких как «пришлось повторяться», «медленный ответ», «исправление не продержалось», «неясная коммуникация» и «дружелюбно и полезно». Кодируйте выборку каждый месяц вручную или инструментом и пусть человек проверяет результаты. Тренды тем часто показывают проблемы раньше, чем сдвигается оценка.
11. Связывайте удовлетворённость с операционными данными. Сравнивайте CSAT со временем решения, долей повторных открытий и числом обращений на проблему. Пары говорят, покупает ли скорость удовлетворённость или команда быстра и неправа. Используйте их, чтобы находить истории для расследования, а не чтобы доказывать правило.
12. Относитесь к ориентирам с осторожностью. Опубликованные или предоставленные поставщиком цифры оценок удовлетворённости зависят от метода, аудитории и региона, а ваша собственная история есть лучший компаратор. Если вы используете внешнее сравнение, указывайте его источник, метод и дату и не задавайте по нему цель, не проверив, совпадает ли ваш метод. Никогда не выдумывайте ориентир.
Векторы манипуляции и ограждения
| Метрика | Как её искажают | Парная метрика или практика-ограждение |
|---|---|---|
| CSAT | Исполнители натаскивают пользователей на высшие оценки; опросы отправляются только после лёгких заявок; трудные заявки закрываются без опроса | Автоматический опрос на каждую подходящую заявку; доля ответивших и состав ответивших; доля повторных открытий |
| NPS | Опрашивать только дружелюбных пользователей; ставить время опроса после хорошего события; спрашивать лицом к лицу; переименовывать пункты шкалы | Фиксированная аудитория и график в реестре; охват ответивших; читать комментарии критиков |
| CES | Убирать шаги из формы так, что работа переезжает в другое место; спрашивать только после гладких запросов | Число обращений на проблему; время выполнения запросов и переделки (см. тему 3.5, Метрики выполнения запросов на обслуживание) |
| Доля ответивших на опрос | Приглашать только тех, кто вероятно ответит; отправлять опрос каждый раз по другому списку | Правило приглашения записано; сравнение приглашённых с населением пользователей |
| Охват ответивших | Убирать труднодоступные группы из сравнения; перевзвешивать без упоминания | Публиковать измерения и метод; показывать невзвешенный результат рядом со взвешенным |
| Доля тем комментариев | Кодировать комментарии, чтобы избегать плохих тем; сливать темы, чтобы ни одна не выглядела большой | Второй человек кодирует выборку; держать список тем стабильным и записывать изменения |
| Время реакции на критика | Записывать заметку без контакта с пользователем; связываться с пользователем, чтобы попросить лучшую оценку | Проверять содержание заметок о реакции; спрашивать пользователя в следующем опросе, связывался ли кто-нибудь с ним |
Здоровое чтение есть стабильная доля ответивших, состав ответивших, близкий к составу пользователей, оценка, двигающаяся вместе с опытом, который пользователи описывают в комментариях, и недовольные пользователи, говорящие, что кто-то им перезвонил.
Компромиссы: плюсы и минусы
| Мера | Сильная сторона | Слабая сторона |
|---|---|---|
| CSAT | Проста, быстра, привязана к конкретному моменту | Легко раздувается; мало говорит обо всех отношениях |
| NPS | Один вопрос, легко отслеживать во времени | Прячет причины; одно число сжимает широкое распределение; культурные различия влияют на шкалу |
| CES | Указывает прямо на трение, которое команда может убрать | Менее широко понятна; свидетельства оспариваются |
| Годовой длинный опрос | Богат, охватывает многие услуги | Медлен, низкая доля ответивших, трудно действовать |
| Только комментарии | Конкретны, запоминаются | Трудно сравнивать во времени; уязвимы к самым громким голосам |
| Поведенческие сигналы | Нет бремени опроса; объективны | Не улавливают чувства; могут неверно прочесть причину |
Ответ прост: сочетайте короткий опрос о взаимодействии, редкий опрос об отношениях и комментарии и читайте все три вместе с операционными данными. Меры удовлетворённости работают как разговор между пользователями и командой. Они терпят неудачу как табло.
Вопросы для обсуждения в команде
1. Что мы делаем с низкой оценкой и с высокой? Попросите команду описать на практике, когда в последний раз низкая оценка привела к изменению. Затем спросите то же о высокой. Если ответы расплывчаты, опрос есть ритуал. Ведущему стоит искать конкретную связь от данных к действию и договориться об одном месте, где эта связь будет записываться.
2. Кто отвечает на наши опросы, а кто нет? Попросите команду назвать группы пользователей, от которых они слышат меньше всего. Сравните со списком приглашённых и справочником пользователей. Разговор часто показывает, что у самых тихих пользователей самые трудные проблемы. Договоритесь об одном способе достучаться до тихой группы в этом квартале, например короткий звонок или другой канал.
3. В какой момент взаимодействия мы спрашиваем и кто решает? Пройдите путь от решения до опроса. Найдите каждую точку, где человек может влиять на то, отправляется ли опрос, когда и как. Договоритесь, какие из этих точек следует автоматизировать. Ведущий может спросить, что исполнитель мог бы сделать, чтобы защитить оценку, как вопрос проектирования, а не обвинение.
4. Что слышит критик от нас после ответа? Посмотрите несколько недавних низких оценок и прочтите заметки о реакции. Спросите, почувствовал бы пользователь, что его услышали. Обсудите, как сделать реакцию полезной, не прося изменить оценку. Решите, кто владеет реакцией и каково целевое время.
5. Какие комментарии прошлого месяца изменили то, что мы делали? Распечатайте или покажите десять случайных комментариев. Спросите команду, по каким действовали, по каким нет и почему. Это держит фокус на словах и строит привычку их читать. Договоритесь кодировать темы в следующем месяце и пересматривать тренд.
6. С какой опубликованной цифрой нас искушает сравнивать себя и честно ли это сравнение? Назовите цифру, её источник, метод и аудиторию, затем сравните каждое со своим. Спросите, изменило бы это решение. Если нет, отложите её и используйте собственный тренд. Ведущему стоит записать ответ в реестр метрик.
Четыре точки зрения
Продуктовые команды и команды поставки
Продуктовые команды используют обратную связь об удовлетворённости, чтобы решать, что исправить или построить дальше, а короткие опросы после релиза дают более быстрое чтение, чем следующий квартальный пересмотр. Командам поставки следует связывать комментарии с элементами бэклога, показывать пользователям, что изменилось, и избегать отношения к оценке как к цели поставки. Рост комментариев об усилии или путанице после релиза есть сигнал смотреть на релиз, а не на опрос.
Команды услуг и эксплуатации
Службы поддержки собирают большую часть данных о взаимодействиях и острее всех чувствуют давление оценки. Командам эксплуатации следует отправлять опросы автоматически, публиковать правило выборки и использовать комментарии для обучения команды. Им следует держать CSAT рядом с долей повторных открытий и повторных обращений, чтобы быстрые закрытия не выглядели хорошими исходами (см. тему 3.1, Метрики службы поддержки).
Руководство и управление
Руководители задают климат для манипуляций. Просьба о «95 % удовлетворённости к концу года» учит сотрудников защищать число. Руководителям следует просить долю ответивших, состав ответивших и главные темы комментариев, финансировать исправления, которые выявляют комментарии, и держать удовлетворённость вне индивидуальной оплаты и ранжирования. Управлению следует ожидать заявленный метод для любой цифры, сообщаемой вовне.
Клиенты и пользователи
Пользователи отдают своё время и откровенность. Они заслуживают короткий опрос, ясную причину вопроса, обещание о том, как будут использованы их ответы, и ответ, когда они сообщают о проблеме. Где опрос не анонимен, скажите об этом. Пользователи, не видящие изменений, перестанут отвечать, и тишина будет выглядеть как удовлетворённость.
На практике: пример из управления услугами
ИТ-отдел региональной больницы ведёт службу поддержки и малую команду, строящую клинические приложения. Числа ниже иллюстративны.
Месячный CSAT службы поддержки составляет 92 %, вычисленный по 140 ответам из примерно 3100 закрытых заявок, доля ответивших 4,5 %. Руководство довольно. Менеджер услуги читает комментарии и замечает, что многие положительные ответы идут от сотрудников администрации, тогда как медсёстры ночных смен почти не появляются. Менеджер сравнивает состав ответивших со справочником пользователей и находит, что персонал ночных смен составляет около 18 % пользователей и 3 % ответивших.
Команда вносит три изменения. Опрос становится формой из двух вопросов с оценкой и одним комментарием, отправляемой автоматически системой заявок через четыре часа после решения на каждую заявку. Версия в виде текстового сообщения предлагается персоналу на сменах. Месячный отчёт теперь показывает CSAT с долей ответивших, доверительным интервалом, составом ответивших против состава пользователей и пятью главными темами комментариев.
В течение двух месяцев доля ответивших растёт примерно до 11 %, а CSAT падает до 84 %. Темы комментариев показывают «пришлось перезванивать» и «исправление не продержалось» как две главные жалобы, сосредоточенные в клинических системах. Руководитель ИТ говорит совету, что прежняя оценка отражала, кто отвечал, и что новая оценка есть лучший ориентир. Продуктовая команда добавляет элемент бэклога на исправление повторяющейся неисправности, стоящей за перезвонами, а служба поддержки начинает связываться с каждым пользователем, поставившим оценку 1 или 2, в течение одного рабочего дня. В следующем квартале доля повторных обращений по клиническим системам падает, и доля комментариев «пришлось перезванивать» падает вместе с ней. Команда записывает решение в журнал и не задаёт цель по CSAT.
Agile, ИИ, автоматизация и аналитика
Agile
Просите обратную связь непрерывно и малыми порциями и пересматривайте комментарии с заинтересованными сторонами на каждом регулярном разговоре об улучшении. Осторожность в том, что усталость от опросов снижает долю ответивших и перекашивает состав отвечающих.
ИИ
ИИ может резюмировать комментарии и тональность в объёме, а взаимодействия с помощью ИИ могут оцениваться иначе, чем с людьми. Сообщайте удовлетворённость отдельно для обращений, обработанных ИИ и людьми, парьте оценки с темами комментариев и пусть человек читает выборку. Осторожность в том, что модель тональности может неверно прочесть тон или язык, поэтому сверяйте её с ручной выборкой.
Автоматизация
Запускайте опросы автоматически в выбранный момент и измеряйте процесс опроса по доле ответивших и составу ответивших. Осторожность в том, что автоматические опросы только после успешных обращений смещают оценку вверх.
Аналитика
Показывайте оценки с числом ответов и составом ответивших и читайте комментарии раньше чисел. Решение, которое это информирует, состоит в том, какие пути улучшать. Осторожность в том, что оценки по малому числу ответов сильно колеблются, поэтому показывайте счёт.
Отраслевой взгляд
Стартап. Близкий контакт с пользователями делает короткие разговоры лучше опросов поначалу. Добавьте опрос из одного вопроса, когда вырастет объём, и продолжайте читать каждый комментарий. Сопротивляйтесь желанию публиковать оценку, пока не наберётся достаточно ответов, чтобы она что-то значила.
Малый бизнес. Один недовольный клиент может значить больше, чем оценка. Используйте опрос как повод поговорить с людьми и храните записи о реакциях. Отчётам об удовлетворённости от поставщиков стоит относиться скептически в части метода.
Крупная компания. Масштаб приносит сегменты и искушение сводить. Храните оценки по услуге и аудитории, публикуйте метод и избегайте усреднения несходных услуг в одно число. Используйте стабильную платформу опросов с автоматической отправкой и относитесь к любому ранжированию между командами с осторожностью.
Государство и публичный сектор. У государственных органов часто есть формальные обязанности собирать обратную связь пользователей и публиковать результаты, наряду с обязанностями по доступности и приватности. Предлагайте доступные каналы опросов, защищайте личности респондентов и публикуйте методы вместе с результатами. Где цифра удовлетворённости появляется в контракте или законодательном отчёте, определите её точно и покажите ограждение рядом (см. тему 8.5, Регулируемая и государственная отчётность).
Бизнес-обоснование: мотивы, ROI и TCO
Прямые затраты: инструменты опросов, которые во многие системы заявок уже включены, час-два в месяц на пересмотр комментариев и кодирование тем и время на реакцию на недовольных пользователей. Большая цена есть дисциплина действовать по услышанному. Для начала новая платформа не нужна.
Отдача проявляется как исправления, которые ценят пользователи, и избегнутые потери. Комментарии говорят, где сидит трение, так что вы можете убрать причины повторных обращений и неудавшихся исправлений вместо найма людей для их обработки. Лучший взгляд на то, кто не отвечает, защищает вас от решений, основанных на самоотобранных немногих. Описывайте выгоду в терминах найденных и устранённых проблем и измеряйте собственные базовые уровни до и после: доля повторных обращений, доля повторных открытий и время до первого полезного ответа. Не используйте выдуманный процент для оправдания программы. Если нужны цифры, стройте их из собственных данных.
Антипаттерны и ловушки
- Отношение к оценке как к цели. Её выполнят, отбирая, кого спрашивают, или натаскивая ответ. Используйте её как вопрос и парьте с комментариями и операционными мерами.
- Опрос только после лёгких заявок. Отправляйте на каждое подходящее взаимодействие автоматически.
- Ранжирование исполнителей по CSAT. Это наказывает людей, берущих трудные случаи. Используйте виды команды и услуги и учитесь на комментариях.
- Просьба о лучшей оценке. Реакция на низкую оценку должна быть нацелена на исправление проблемы. Не просите изменения.
- Сообщение оценки без доли ответивших. Всегда показывайте, кто ответил и сколько.
- Смена вопроса при сохранении тренда. Записывайте изменения и отмечайте разрыв на графике.
- Импорт ориентира без его метода. Сначала сравнивайте с собственной историей.
- Сбор комментариев и их непрочтение. Поставьте пересмотр в календарь и назначьте владельца.
Модель зрелости
| Измерение | 1 Инициирование | 2 Развитие | 3 Стандартизация | 4 Управление | 5 Оркестрация |
|---|---|---|---|---|---|
| Инструмент и выборка | Редкий разовый опрос | Опрос есть для некоторых услуг, отправляется вручную | Короткий опрос отправляется автоматически на все подходящие взаимодействия | Правило выборки, изменения формулировок и исключения записываются и пересматриваются | Инструменты согласованы между командами и поставщиками и пересматриваются вместе с пользователями |
| Качество данных | Только оценка | Сообщается доля ответивших | Сообщаются доля ответивших, состав ответивших и неопределённость | Охват ответивших управляется; кодирование проверяется вторым человеком | Общий взгляд на опыт между услугами, с участием пользователей в интерпретации |
| Действие и реакция | Оценки сообщаются, ничего не меняется | Разовые исправления по комментариям | Реакция на критиков с целевым временем; темы отслеживаются | Темы управляют финансируемой работой по улучшению и связаны с операционными данными | Замкнутая петля охватывает команды и поставщиков; пользователи видят, что изменилось |
Контрольный список
- У каждого опроса есть одна заявленная цель и одно решение, которое он информирует.
- Вопросы короткие, нейтральные и включают один открытый комментарий.
- Опрос отправляется автоматически на каждое подходящее взаимодействие или на документированную случайную выборку.
- Доля ответивших и состав ответивших показаны рядом с каждой оценкой.
- Неопределённость показана, а малые выборки сообщаются как счёты.
- Ни один отдельный исполнитель не ранжируется по удовлетворённости.
- Названный человек реагирует на низкие оценки в согласованное время.
- Комментарии кодируются в стабильный список тем и пересматриваются ежемесячно.
- Изменения формулировок и выборки записываются и отмечаются на графиках.
- Респондентам говорят, как используются их ответы, а персональные данные защищены.
Промпты для ИИ
Проверьте инструмент опроса.
I run [service or team] for [type of organization]. We survey [audience] after
[event] using this wording: [paste questions and scale]. Review it for leading
language, double-barrelled questions, unclear scales, and burden on the
respondent. Suggest a shorter version that keeps one rating and one open
comment. Do not invent benchmark values or claim research results you cannot
cite. List your assumptions and what you could not judge from the text.
Закодируйте комментарии опроса по темам.
Here are [number] anonymized survey comments for [service], from [period]:
[paste comments with personal data removed]. Propose a short list of themes (no
more than eight) and assign each comment to one theme, with a confidence note
where it is ambiguous. Report the count per theme and three representative
quotes per theme. Do not identify individuals. Tell me what a person should
check before relying on this coding, and list your assumptions.
Проверьте репрезентативность.
We received [responses] responses from [invited] invitations. Respondents by
[dimension, for example region or shift]: [counts]. Our user population by the
same dimension: [counts]. Compare the two, describe where the respondent mix
differs, and say what cautions we should attach to our satisfaction score.
Suggest two practical ways to reach underrepresented groups. Do not infer
causes beyond the data, and list your assumptions.
Спланируйте замкнутую петлю реакции.
Draft a short process for following up with users who give a rating of
[threshold] or lower in [service]. Include who contacts them, within what time,
what to say, what to record, and how to avoid asking for a changed rating.
Context: [team size, tools, hours]. List your assumptions and any steps that
depend on tooling I have not described.
Навыки ИИ
- Service Management Metrics skill: используйте, чтобы найти парное ограждение для метрики удовлетворённости, прежде чем её опубликовать.
- Service Management Metrics maintainer skill: используйте, чтобы проверить, что пересмотренная запись метрики опроса сохраняет свой вектор манипуляции и ограждение.
Главные выводы
- Оценки удовлетворённости описывают, как ощущался момент обслуживания, поэтому привязывайте опросы к конкретным событиям и держите их короткими.
- Всегда сообщайте с оценкой долю ответивших, состав ответивших и неопределённость.
- Комментарии объясняют числа, поэтому читайте их каждый месяц и кодируйте по темам.
- Отправляйте опросы автоматически и никогда не просите пользователей изменить оценку.
- Используйте удовлетворённость на уровне команды и услуги, никогда для ранжирования людей, и относитесь к внешним ориентирам с осторожностью.
- Замыкайте петлю: люди, сообщившие о плохом опыте, должны получить ответ и увидеть изменения.
Источники и дополнительное чтение
- Reichheld, F. F., "The One Number You Need to Grow," Harvard Business Review, 81(12), 2003.
- Dixon, M., Freeman, K., and Toman, N., "Stop Trying to Delight Your Customers," Harvard Business Review, 88(7/8), 2010.
- Dixon, M., Toman, N., and DeLisi, R., The Effortless Experience, Portfolio/Penguin, 2013.
- Likert, R., "A technique for the measurement of attitudes," Archives of Psychology, 22(140), 1932.
- Groves, R. M., Fowler, F. J., Couper, M. P., Lepkowski, J. M., Singer, E., and Tourangeau, R., Survey Methodology, 2nd ed., Wiley, 2009.
- Wikipedia, Удовлетворённость клиентов.
- Wikipedia, Индекс потребительской лояльности.
- Wikipedia, Методология опросов.
- Wikipedia, Закон Гудхарта.
- Wikipedia, Шкала Лайкерта.
- Wikipedia, Смещение ответивших.
- Wikipedia, Предел погрешности.
- Wikipedia, Доверительный интервал.