Метрики ИИ-агентов и чат-ботов
Разговорный ассистент помог только тогда, когда проблема пользователя решена и остаётся решённой, поэтому измеряйте проверенное решение, возвраты, качество передачи человеку и вред неверных действий и никогда не награждайте бота за то, что он держит людей вдали от помощи.
Обзор и мотивация
Многие организации теперь ставят разговорного ассистента между пользователями и службой поддержки, а некоторые дают агентам ИИ возможность действовать: сбросить пароль, заказать оборудование, перезапустить услугу, изменить конфигурацию. Чат-бот есть программное приложение, ведущее разговор, а виртуальный ассистент добавляет способность выполнять задачи от имени пользователя. Более широкая идея интеллектуального агента есть система, воспринимающая среду и предпринимающая действия к целям. Современные языковые модели делают эти системы намного способнее к открытому разговору, чем их предшественники на правилах, а первая разговорная программа, ELIZA Джозефа Вейценбаума 1960-х годов, уже показала, как охотно люди приписывают понимание машине, лишь производящей правдоподобные ответы.
Привлекательность очевидна. Пользователи получают помощь в любой час без ожидания. Команды тратят меньше времени на рутинные запросы. Самообслуживание давно есть цель ITSM, а сдвиг влево (shift-left), перенос решения на более ранние и дешёвые точки, есть основная идея службы поддержки (см. тему 3.7, Метрики самообслуживания и автоматизации). Проблема измерения в том, что очевидные числа награждают не то. Бот, заканчивающий разговор, считается «удержавшим» его, помог ли он пользователю или тот сдался. Бот, никогда не предлагающий человека, максимизирует удержание. Бот, уверенно дающий неверный ответ, производит тихий провал, проявляющийся как сердитое обращение через несколько дней.
Два вида систем нуждаются в различных мерах.
- Разговорные ассистенты отвечают на вопросы, ведут пользователей и собирают информацию. Их риск в неверных или бесполезных ответах и заманивании пользователей в петли. Меры сосредоточены на решении, точности и пути к человеку.
- Агенты, которые действуют меняют вещи в мире: учётные записи, системы, заявки, деньги. Их риск в неверном действии с реальными последствиями. Меры сосредоточены на правильности действий, обратимости, границах прав и журналах аудита. Эти использования требуют более сильного управления и часто одобрения человеком существенных шагов (см. тему 10.5, Метрики управления ИИ и рисков).
Что измерять, формируют несколько вопросов проектирования.
- Честность о том, с чем говорит пользователь. У многих юрисдикций есть или разрабатываются обязанности сообщать людям, когда они взаимодействуют с системой ИИ, и по состоянию на октябрь 2026 года эти правила развиваются, поэтому проверяйте, что применимо к вам. Хорошая практика в любом случае сказать об этом прямо.
- Путь выхода. Пользователи должны мочь добраться до человека без борьбы. Бот, прячущий путь к человеку, есть тёмный паттерн, проект, обманом или ловушкой подводящий пользователей к исходам, которых они не выбрали бы.
- Доступность. Разговорные интерфейсы должны работать для людей со вспомогательными технологиями, с ограниченными языковыми способностями и тех, кому нужен другой язык или канал.
- Автоматизированные решения. Когда вывод ассистента влияет на права или доступ человека, применяются тема автоматизированного принятия решений и связанные с ней обязанности. Оставляйте такие решения людям или сильным гарантиям.
Ограждение из закона Гудхарта здесь ярко: если целью является удержание или отклонение, самый дешёвый способ её выполнить есть затруднить доступ к человеку (см. тему 1.2, Закон Гудхарта и психология метрик). Меры ниже ставят решение и результат пользователя на первое место.
Ключевые принципы
- Решение есть мера, а не удержание. Закончившийся разговор не есть решённая проблема.
- Проверяйте и смотрите на возврат. Засчитывайте обращение как решённое, только когда пользователь подтверждает или не возвращается.
- Всегда обеспечивайте путь к человеку. Делайте его лёгким, быстрым и видимым и переносите контекст.
- Будьте честны о системе. Говорите, что это ИИ, что он может и чего нет.
- Ограничивайте, что агенты могут делать. Давайте наименьшие привилегии, требуйте одобрения для существенных действий и ведите журнал аудита.
- Измеряйте качество ответов выборкой. Гладкие ответы могут быть неверны.
- Слушайте пользователей и персонал, подбирающий осколки. Они видят то, что упускают метрики.
Определения метрик
| Метрика | Определение | Формула | Единица | Источник данных | Практика ITIL | Agile-аналог | Периодичность |
|---|---|---|---|---|---|---|---|
| Доля проверенного решения | Доля разговоров с ботом, в которых пользователь подтвердил решение проблемы или не вернулся в заявленный период | разговоры с подтверждённым решением или без возвратного обращения в течение 7 дней / разговоры, начавшиеся с разрешимого намерения | процент | Логи разговоров, подтверждение пользователя, данные заявок и обращений | Служба поддержки; управление знаниями | Рабочий результат для пользователя | Раз в неделю |
| Доля возвратных обращений | Доля разговоров, завершённых ботом и сопровождаемых обращением по той же проблеме по любому каналу | разговоры, за которыми следует связанное обращение в течение 7 дней / разговоры, завершённые без передачи | процент | Логи разговоров, соединённые с записями заявок и обращений | Служба поддержки; управление инцидентами | Ускользнувшие дефекты | Раз в неделю |
| Полнота контекста передачи | Доля передач человеку, при которых у человека была нужная информация без просьбы к пользователю повторяться | выбранные передачи, признанные полными принимающим исполнителем / выбранные передачи | процент | Выбранные передачи, обратная связь исполнителей | Служба поддержки; управление знаниями | Гладкое сотрудничество через границу | Раз в месяц |
| Время до человека | Время от просьбы пользователя о человеке или решения бота о передаче до принятия разговора человеком | медиана и 85-й перцентиль минут | минуты | Логи разговоров, данные очередей | Служба поддержки; управление инцидентами | Отзывчивость, когда пользователю нужна помощь | Раз в неделю |
| Точность ответов | Доля выбранных ответов бота, признанных верными, полными и безопасными квалифицированным проверяющим | ответы, признанные верными / выбранные ответы | процент | Выборочное рецензирование | Управление знаниями; обеспечение качества | Определение готовности для ответа | Раз в месяц |
| Удовлетворённость и усилие по боту | Оценка пользователем удовлетворённости и лёгкости после разговора, с комментариями | благоприятные оценки / оценки; среднее усилие | процент; пункты шкалы | Короткий опрос после разговора | Служба поддержки; клиентский опыт | Обратная связь о работающем ПО | Раз в неделю |
| Доля отката действий агента | Доля действий ИИ-агента, которые пришлось исправить, отменить или эскалировать | действия, откатанные или исправленные / предпринятые действия, по типу действия и классу риска | процент | Журнал аудита действий, записи об изменениях | Управление изменениями (change enablement); управление инцидентами | Переделки и откат | Раз в неделю |
Определите намерения, которые обрабатывает бот, и исключите из удержания те, что он должен всегда передавать. Проверенное решение засчитывает разговор, только если проблема была в области и пользователь либо подтвердил, либо не показал возвратного обращения. Время до человека начинается с просьбы пользователя, а не с конца меню. Точность ответов оценивается по базе знаний и политике человеком, не строившим бота. Доля отката действий агента разбивается по типу действия и классу риска, а любое вредное действие сообщается отдельно как инцидент.
Рекомендации
Определите успех как решение
1. Определите намерения и желаемый результат. Перечислите проблемы, которые ассистент должен обрабатывать, такие как сброс пароля, статус доступа, вопросы «как», и результат для каждой: отвечено, сделано или передано. Решите, какие намерения всегда должны идти человеку: жалобы, всё, связанное с тяжёлым состоянием, безопасностью, юридическими правами или деньгами. Бот, пытающийся обработать всё, плохо проваливается на краях.
2. Измеряйте проверенное решение и возвраты. Спрашивайте пользователей в конце, решена ли их проблема, и также ищите связанные обращения потом. Ни одного из них недостаточно: пользователи, сдавшиеся, не отвечают, а некоторые, получившие помощь, всё равно звонят. Вместе они приближают истинное решение. Относитесь к доле возвратных обращений как к ключевому ограждению любой цифры удержания (см. тему 3.1, Метрики службы поддержки).
3. Избегайте удержания как цели. Сообщайте удержание только как описательную цифру и всегда рядом с проверенным решением, возвратами и удовлетворённостью. Растущее удержание при растущих возвратах означает, что бот отгоняет людей. Не задавайте цель по удержанию и не привязывайте к нему чью-либо результативность.
Сделайте путь к человеку лёгким и хорошим
4. Позвольте пользователям добраться до человека в любой момент. Обеспечьте ясный простой способ попросить человека и выполняйте просьбу. Измеряйте время до человека и долю разговоров, где пользователи просили более одного раза. Регулярно проверяйте путь сами. Где человека нет, скажите, когда он будет, и предложите обратный звонок.
5. Передавайте с контекстом. Когда бот передаёт разговор человеку, включайте резюме, что было испробовано, слова пользователя и нужные данные учётной записи, чтобы пользователь не повторялся. Просите принимающих исполнителей оценивать, была ли передача полной, и берите выборку результатов. Плохие передачи заставляют пользователей меньше доверять и боту, и службе (см. тему 9.3, Метрики сотрудничества и передачи работы).
6. Проектируйте для всех пользователей. Испытывайте ассистента с пользователями, использующими вспомогательные технологии, пишущими на других языках, торопящимися или в тяжёлом состоянии и неуютно чувствующими себя с технологиями. Предлагайте другие каналы. Измеряйте проверенное решение и удовлетворённость по группам пользователей там, где это безопасно и законно. Средние прячут тех, кого бот подводит больше всего.
Проверяйте качество того, что он говорит и делает
7. Берите выборку ответов на точность и безопасность. Каждый месяц берите случайную выборку разговоров и пусть квалифицированный человек оценит ответы: верные, полные, безопасные и честные о неопределённости. Записывайте ошибки по типу: устаревшие, выдуманные, вне политики или неверно понятые. Передавайте ошибки базе знаний и конфигурации. Добавьте целевые тесты для чувствительных тем и для попыток вытолкнуть ассистента за пределы его области.
8. Держите знания актуальными. Ассистент настолько хорош, насколько хороши содержание и инструменты, из которых он черпает. Связывайте ошибки ответов со статьями знаний и измеряйте свежесть используемых знаний (см. тему 3.6, Метрики управления знаниями). Где система использует извлечение из базы знаний, включите проверку, что она цитирует источники и что источники верны.
9. Будьте честны с пользователями. Сообщайте в начале, что они говорят с ИИ и что он может и чего не может. Не давайте ему человеческого имени или манеры, намекающей иначе. Где он не уверен, он должен сказать это и предложить человека. Проверяйте применимое право о раскрытии.
Управляйте агентами, которые действуют
10. Классифицируйте действия по риску и задавайте соответствующие права. Для каждого действия, которое может предпринять агент, определите его класс риска: информационное, обратимое с малым воздействием или существенное. Давайте наименьшие нужные привилегии. Требуйте одобрения человека для существенных действий. Ведите журнал аудита каждого действия с причиной, пользователем и результатом. Эти контроли связаны с мерами изменений и безопасности из более ранних частей (см. тему 8.1, Метрики инцидентов безопасности и уязвимостей, и тему 8.2, Метрики рисков и контролей).
11. Измеряйте правильность и обратимость действий. Отслеживайте долю откатов по типу действия и пересматривайте каждое вредное действие как инцидент, без поиска виновных. Испытывайте агентов в безопасной среде, прежде чем давать доступ, и повторно испытывайте, когда меняются модель или инструменты. Новая версия модели может менять поведение, поэтому относитесь к ней как к изменению, требующему контроля (см. тему 4.3, Метрики управления изменениями).
12. Слушайте людей, подбирающих осколки. Сотрудники службы поддержки видят последствия сбоев бота: сердитых пользователей, повторные обращения и беспорядок, который надо разгрести. Регулярно спрашивайте их, в чём бот ошибается и что усложняет работу. Их обратная связь и комментарии пользователей суть свидетельство, которое ни одна метрика не улавливает полностью, и оно должно формировать следующий раунд изменений.
Векторы манипуляции и ограждения
| Метрика | Как её искажают | Парная метрика или практика-ограждение |
|---|---|---|
| Доля проверенного решения | Засчитывать любой конец разговора как решённый; задавать наводящие вопросы подтверждения | Определять подтверждение нейтрально; доля возвратных обращений; выборка разговоров |
| Доля возвратных обращений | Измерять только по одному каналу; короткие окна | Соединять все каналы; использовать более длинное окно как проверку; выборка возвратов |
| Полнота контекста передачи | Передавать длинную расшифровку вместо резюме; выбирать лёгкие передачи | Оценка принимающего исполнителя; случайная выборка; время до решения после передачи |
| Время до человека | Запускать часы после меню; засчитывать подтверждение очереди как принятие разговора | Часы запускаются с просьбы; принятие означает, что человек активен в разговоре |
| Точность ответов | Выбирать лёгкие разговоры; снисходительные проверяющие | Случайная выборка независимыми проверяющими; состязательные тестовые случаи |
| Удовлетворённость и усилие по боту | Опрашивать только завершённые разговоры; ставить опрос там, куда доходят только довольные | Опрашивать и брошенные разговоры; доля ответивших и состав; читать комментарии |
| Доля отката действий агента | Не записывать откаты; переклассифицировать исправления как новую работу | Журнал аудита защищён от подделки; связывать откаты с действиями; пересмотр инцидентов |
Здоровое чтение есть высокое проверенное решение при малых возвратах, лёгкие и быстрые пути к человеку с полными передачами, точные ответы при выборочном рецензировании, довольные пользователи по группам и агенты, чьи действия редко требуют отката и никогда не причиняют незамеченного вреда.
Компромиссы: плюсы и минусы
| Подход | Сильная сторона | Слабая сторона |
|---|---|---|
| Бот на правилах | Предсказуем, легко тестировать | Узок; хрупок; раздражает вне сценариев |
| Ассистент на языковой модели | Гибок, гладок | Может уверенно ошибаться; труднее тестировать |
| Извлечение из одобренных знаний | Основанные ответы, легче исправлять | Зависит от качества содержания |
| Открытое порождение | Широкий охват | Выше риск выдумывания |
| Одобрение человеком для действий | Безопасность | Медленнее; усталость рецензента |
| Автономные действия | Скорость | Больший радиус поражения при ошибке |
| Строгая область с ранней передачей | Безопасно | Ниже удержание |
| Широкая область | Выше удержание | Больше ошибок на краях |
Ответ прост: начинайте с узких хорошо понятных намерений, основывайте ответы на одобренных знаниях, делайте помощь человека лёгкой и расширяйте область и автономию, только когда меры это оправдывают.
Вопросы для обсуждения в команде
1. Если бы пользователь захотел человека прямо сейчас, сколько шагов это заняло бы и пробовали ли мы сами? Испытайте путь вместе. Посчитайте шаги и ожидание. Ведущему стоит отметить каждый барьер. Договоритесь об изменениях, чтобы путь был коротким, и измеряйте время до человека.
2. Какая доля разговоров, завершённых нашим ботом, на самом деле решила проблему? Проверьте возвраты и подтверждения на выборке. Сравните с цифрой удержания. Обсудите разрыв. Решите, какую цифру должны видеть руководители.
3. В чём наш бот ошибается и кто об этом узнаёт? Спросите службу поддержки. Просмотрите выбранные разговоры. Ищите закономерности: устаревшие статьи, неоднозначные вопросы, чувствительные темы. Договоритесь о пути от ошибок к исправлениям, с владельцем.
4. Какие действия агент может предпринимать сам, а какие требуют человека? Перечислите действия с классами риска и правами. Спросите, каков был бы худший реалистичный сбой каждого. Договоритесь о правилах одобрения и журнале аудита и о том, кто пересматривает вредные случаи.
5. Кого бот молча подводит? Подумайте о пользователях, которые торопятся, в тяжёлом состоянии, с потребностями доступности или с ограниченным языком. Посмотрите решение и удовлетворённость по группам, где безопасно. Договоритесь об одном испытании с такими пользователями.
6. Что заставило бы нас отключить бота или сузить его область? Определите свидетельство: возвраты выше уровня, вредные действия, точность ниже стандарта. Решите, кто может решать. Правило остановки, заданное заранее, облегчает действие.
Четыре точки зрения
Продуктовые команды и команды поставки
Команды, строящие ассистента, владеют его качеством. Им следует определять намерения, основывать ответы на одобренных знаниях, испытывать состязательными случаями, выпускать изменения под контролем и читать сбои. Им следует отбиваться от целей по удержанию, награждающих заманивание пользователей.
Команды услуг и эксплуатации
Сотрудники службы поддержки работают с ассистентом и наследуют его сбои. Им следует оценивать передачи, отмечать неверные ответы, держать знания актуальными и быстро принимать разговор по просьбе. Они лучшие судьи того, помогает ли ассистент пользователям, и их нагрузка и стресс суть часть картины.
Руководство и управление
Руководители спонсируют ассистента и хотят экономии. Им следует просить проверенное решение, возвраты и удовлетворённость рядом с удержанием, требовать правило остановки, финансировать человеческий путь и пересматривать классы риска для агентов. Управлению следует проверять раскрытие, доступность и юридические обязанности.
Клиенты и пользователи
Пользователи хотят помощи с малым усилием и без обмана. Им следует знать, что они говорят с ИИ, мочь легко добраться до человека и доверять, что система не будет действовать без веских причин. Их опыт, особенно сбоя, есть первичное свидетельство того, стоит ли иметь ассистента.
На практике: пример из управления услугами
Национальный университет ведёт службу поддержки студентов и сотрудников, обрабатывающую около 30 000 обращений в месяц. Он запускает чат-бота для частых запросов, а панель поставщика сообщает удержание 74 %. Числа ниже иллюстративны.
Руководитель студенческих служб проверяет. Из разговоров, завершённых ботом в прошлом месяце, 29 % сопровождались связанным обращением по электронной почте или телефону в течение семи дней. Проверенное решение, по подтверждению пользователя и отсутствию возврата, составляет 49 % для намерений в области. Медианное время до человека после просьбы 6 минут при 85-м перцентиле 22, отчасти потому что путь требует трёх шагов меню. Выборка из 100 разговоров, рецензируемая двумя опытными консультантами, находит 88 верных ответов и 12 с изъянами: 7 устаревших, 3 с выдуманными деталями о сроке и 2 с неверной обработкой чувствительных случаев студента в трудной ситуации. Принимающие исполнители оценивают 54 % передач как полные. Удовлетворённость ботом ниже у студентов, использующих программы чтения с экрана, и тех, кто пишет не на английском. Команда службы поддержки сообщает о многих обращениях, начинающихся словами «чат-бот не смог помочь».
Руководитель студенческих служб вносит изменения вместе с командой. Чувствительные намерения, такие как благополучие, жалобы и споры о платежах, направляются прямо человеку, и бот об этом говорит. Вариант «поговорить с человеком» появляется на каждом экране, а время до человека отслеживается с целью отвечать в течение нескольких минут в часы работы персонала. Передачи включают автоматическое резюме и собственные слова пользователя. Владельцы базы знаний исправляют устаревшие статьи, а месячная выборка рецензирования их питает. Ассистент ограничен ответами из одобренного содержания и обязан говорить, когда не знает. Второй пилот позволяет агенту сбрасывать пароли после проверки личности, с журналом каждого действия и обратимостью в пределах срока и отслеживаемой долей откатов. Панель заменяет удержание проверенным решением, долей возвратных обращений, точностью, временем до человека и удовлетворённостью по группам.
Через три месяца проверенное решение достигает 66 % для намерений в области, доля возвратных обращений падает до 14 %, медианное время до человека падает до 2 минут, доля полных передач растёт до 86 %, а точность на выбранных ответах растёт до 95 %, причём в выборке нет неверно обработанных чувствительных случаев. Доля откатов действий агента в пилоте паролей составляет 1,2 %. Офис ректора просит цель по удержанию в 85 %. Руководитель студенческих служб объясняет, что более высокая цель по удержанию награждала бы сокрытие пути к человеку, и предлагает проверенное решение и возвраты как меры, с пересмотром того, что расширять дальше. Решение записано.
Agile, ИИ, автоматизация и аналитика
Agile
Улучшайте ассистентов малыми шагами с обратной связью от пользователей и людей, принимающих разговор, и регулярно пересматривайте сбои с заинтересованными сторонами. Осторожность в том, что награждение удержания учит бота держать людей вдали от помощи.
ИИ
Разговорный ассистент помог только тогда, когда проблема решена и остаётся решённой, поэтому измеряйте проверенное решение, возвраты, качество передачи и откат действий агента. Определите роль человека: кто одобряет действия, когда бот должен передать и как человек его переопределяет. Осторожность в том, что приятный разговор всё равно может провалить задачу.
Автоматизация
Логируйте каждый разговор и действие агента, с правами и способом отката, и измеряйте автоматизацию по неверным действиям. Осторожность в том, что агент с широкими правами может причинить вред на скорости, поэтому ограничивайте область и пересматривайте логи.
Аналитика
Сообщайте решение, проверенное подтверждением пользователя или окном отсутствия возврата, со счётами и читайте выборку разговоров. Решение, которое это информирует, состоит в том, где ассистента безопасно расширять. Осторожность в том, что оценки удовлетворённости по разговорам с ботом смещены к пользователям, дошедшим до конца.
Отраслевой взгляд
Стартап. Ассистент может покрыть поддержку дёшево, а один плохой ответ может стоить клиента. Держите область узкой, основывайте ответы на вашей документации, делайте вариант человека очевидным и читайте каждую эскалацию. Будьте осторожны, позволяя агенту действовать над учётными записями или платежами.
Малый бизнес. Готовый ассистент на сайте может справляться с частыми вопросами. Испытывайте его как клиент, убедитесь, что номер телефона или электронная почта легко находятся, и пересматривайте разговоры еженедельно. Проверьте, что поставщик делает с данными.
Крупная компания. Масштаб предлагает экономию и риск. Ведите процесс управления классами риска, утверждениями и аудитом, измеряйте по намерениям и группам пользователей и обеспечьте, чтобы человек был досягаем по каждому каналу. Координируйтесь между поддержкой, безопасностью, правом и доступностью.
Государство и публичный сектор. У граждан может не быть альтернативного поставщика, а обязанности по доступности, языковому доступу и справедливому обращению применяются сильно. Держите человека досягаемым, избегайте автоматизированных решений о правах без гарантий, публикуйте, как используется ассистент, и проверяйте обязанности раскрытия и административного права (см. тему 8.5, Регулируемая и государственная отчётность).
Бизнес-обоснование: мотивы, ROI и TCO
Затраты: лицензии или платежи по использованию, интеграция, подготовка содержания, текущая выборка и рецензирование, поддержка базы знаний, тестирование и управление. Хороший человеческий путь тоже стоит денег, потому что должен быть укомплектован.
Возможная отдача есть более короткие ожидания для простых вопросов, облегчение от повторяющихся обращений и покрытие вне рабочих часов. Сторона риска включает возвраты, потерянное доверие, вред от неверных ответов или действий и юридическую уязвимость. Стройте обоснование из собственных чисел: проверенное решение и возвраты, цена на решённое обращение включая передачи, время персонала, потраченное на исправление сбоев бота, и удовлетворённость по группам. Избегайте использования заявлений поставщика об удержании или отклонении как вашей оценки. Учитывайте цену человеческого пути и управления (см. тему 7.7, Возврат инвестиций и бизнес-обоснование).
Антипаттерны и ловушки
- Удержание как цель. Оно награждает удержание людей вдали от помощи. Сообщайте проверенное решение и возвраты.
- Скрытый или медленный путь к человеку. Это тёмный паттерн, и пользователи замечают. Делайте его коротким и испытывайте.
- Передача без контекста. Пользователи повторяются, и доверие падает. Передавайте резюме.
- Позволять боту обрабатывать чувствительные случаи. Благополучие, жалобы и права требуют людей. Направляйте их напрямую.
- Автономные действия без аудита или одобрения. Одна ошибка может масштабироваться. Классифицируйте, ограничивайте и логируйте.
- Измерение только того, что показывает панель поставщика. Она льстит. Соединяйте собственные данные.
- Игнорирование групп, которых бот подводит. Средние их прячут. Испытывайте и сегментируйте, где безопасно.
- Нет правила остановки. Подводящий бот остаётся в работе. Определите свидетельство, которое сузит или отключит его.
Модель зрелости
| Измерение | 1 Инициирование | 2 Развитие | 3 Стандартизация | 4 Управление | 5 Оркестрация |
|---|---|---|---|---|---|
| Результаты | Сообщается удержание | Удовлетворённость опрашивается | Проверенное решение и возвраты отслеживаются по намерениям | Сегментация по группам пользователей; правила остановки определены; точность выбирается ежемесячно | Ассистент, персонал и знания улучшаются вместе по общим свидетельствам |
| Путь к людям | Трудно найти | Вариант доступен | Короткий путь; время до человека отслеживается; передачи несут контекст | Качество передач оценивается и улучшается; штат соответствует спросу | Бот и персонал гладко сотрудничают по каналам, выбор пользователя уважается |
| Агенты, которые действуют | Разовая автоматизация | Сценарные действия | Действия с классами риска, наименьшие привилегии, одобрение и аудит | Доля откатов и вред пересматриваются; изменения контролируются | Поведение агентов управляется по организации и поставщикам с независимым обеспечением уверенности |
Контрольный список
- Намерения ассистента перечислены, с теми, что всегда должны идти человеку.
- Проверенное решение и доля возвратных обращений сообщаются рядом с удержанием.
- Видимый короткий путь к человеку есть на каждом экране, а время до человека измеряется.
- Передачи включают резюме и слова пользователя и оцениваются принимающими исполнителями.
- Ответы выбираются ежемесячно квалифицированными независимыми проверяющими.
- Пользователям говорят, что они говорят с ИИ, и что он может.
- Тестирование доступности и других языков проводится с реальными пользователями.
- Действия агентов классифицированы по риску, снабжены правами по наименьшим привилегиям и ведут журнал аудита.
- Доли откатов и вредные действия пересматриваются без поиска виновных.
- Правило остановки определяет, когда сузить или отключить ассистента.
Промпты для ИИ
Определите намерения и правила передачи.
We run a service desk for [type of organization]. The most common contact reasons
are: [list with volumes]. Propose which intents a chatbot should handle fully,
which it should only help with and then hand off, and which must always go to a
person, with reasons. Include handoff information to pass along. Do not invent
statistics. List your assumptions and risks for sensitive cases.
Проверьте утверждение об удержании.
Our chatbot dashboard shows containment of [value]. We also have: return contacts
within seven days [value], survey results [values], and a sample of
conversations [describe]. Explain what verified resolution might be, how to
compute it from our data, what the gap between containment and resolution
suggests, and what to check next. Do not claim causes the data cannot support.
List your assumptions.
Спроектируйте классификацию риска для действий агента.
An AI agent might take these actions: [list]. For each, propose a risk class
(informational, reversible low impact, consequential), the permission it should
need, whether a person must approve, what to log, how to reverse it, and a
test to run before enabling it. Do not assume specific tools. List your
assumptions and decisions needing security and legal input.
Спланируйте пересмотр разговоров с ботом.
Design a monthly review of bot conversations: sample size and selection
(including some abandoned ones and some from user groups at risk of poor
service), reviewer qualifications, a short rubric for correctness, safety, and
honesty about uncertainty, how to record errors and fix their sources, and how to
report without identifying users. List your assumptions and privacy cautions.
Навыки ИИ
- Service Management Metrics skill: используйте, чтобы найти парное ограждение для метрики чат-бота или агента ИИ.
- Service Management Metrics maintainer skill: используйте, чтобы проверить, что запись метрики чат-бота измеряет решение и несёт свой вектор манипуляции и ограждение.
Главные выводы
- Измеряйте проверенное решение и возвратные обращения и относитесь к удержанию только как к описательной цифре.
- Делайте путь к человеку коротким и видимым и передавайте с контекстом.
- Берите выборку ответов на точность и безопасность и держите знания, используемые ассистентом, актуальными.
- Будьте честны, что пользователи говорят с ИИ, и испытывайте с пользователями, которых скорее всего подведут.
- Для агентов, которые действуют, классифицируйте риск, ограничивайте права, требуйте одобрения для существенных действий и ведите журнал аудита.
- Определите правило остановки заранее.
Источники и дополнительное чтение
- Weizenbaum, J., "ELIZA: A computer program for the study of natural language communication between man and machine," Communications of the ACM, 9(1), 1966.
- National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
- European Parliament and Council, Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act), 2024.
- Dixon, M., Toman, N., and DeLisi, R., The Effortless Experience, Portfolio/Penguin, 2013.
- Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Чат-бот.
- Wikipedia, Виртуальный ассистент.
- Wikipedia, Интеллектуальный агент.
- Wikipedia, Самообслуживание.
- Wikipedia, Тёмный паттерн.
- Wikipedia, Автоматизированное принятие решений.
- Wikipedia, Закон Гудхарта.