概述与动因

许多组织现在在用户和服务台之间放置一个会话式助手,有些还让 AI 代理拥有行动的能力:重置密码、订购设备、重启服务、更改配置。聊天机器人(chatbot)是进行对话的软件应用,而虚拟助手(virtual assistant)增加了代表用户执行任务的能力。更广泛的智能代理(intelligent agent)的理念,是感知环境并朝着目标采取行动的系统。现代语言模型使这些系统比其基于规则的前辈更有能力进行开放的对话,而第一个会话程序,即 Joseph Weizenbaum 在 20 世纪 60 年代的 ELIZA,就已经表明,人们多么容易把理解力归于一台仅仅产生看似合理回复的机器。

吸引力是显而易见的。用户在任何时刻都能获得帮助而无需等待。团队在例行请求上花的时间更少。自助服务(self-service)长期以来一直是 ITSM 的目标,而左移,即把解决移到更早、更便宜的环节,是服务台的核心理念(见主题 3.7,自助服务与自动化度量)。度量上的问题是,显而易见的数字奖励错误的东西。结束一场对话的机器人,无论用户是得到了帮助还是放弃了,都算是“遏制”了它。从不提供真人的机器人,使遏制最大化。自信地给出错误答案的机器人,产生一种悄无声息的失败,几天之后表现为一次愤怒的联系。

两类系统需要不同的测量值。

  • 会话式助手回答问题、引导用户并收集信息。它们的风险是错误或无益的回答,以及把用户困在循环中。测量值聚焦于解决、准确度和通向真人的路径。
  • 采取行动的代理改变世界上的东西:账户、系统、工单、资金。它们的风险是带来真实后果的错误行动。测量值聚焦于行动的正确性、可逆性、权限边界和审计轨迹。这些用途要求更强的治理,并且往往要求对有重大影响的步骤进行人工批准(见主题 10.5,AI 治理与风险度量)。

有几个设计问题塑造你要度量的东西。

  • 对用户正在与什么交谈保持诚实。 许多司法辖区已经或正在制定在人们与 AI 系统互动时告知他们的义务,截至 2026 年 10 月这些规则仍在演变,所以要检查什么适用于你。无论如何,良好的做法是明白地说出来。
  • 一条出路。 用户必须能够毫不费力地联系到真人。隐藏通向人的路径的机器人是一种暗黑模式(dark pattern),即欺骗或困住用户、使其陷入他们不会选择的结果的设计。
  • 无障碍。 会话界面必须对使用辅助技术的人、语言能力有限的人,以及需要另一种语言或渠道的人起作用。
  • 自动化决策。 当助手的输出影响一个人的权利或获得服务的机会时,自动化决策(automated decision-making)的主题及其周围的义务适用。把这类决定留给人,或附有强有力的保障措施。

古德哈特定律的护栏在这里鲜明生动:如果遏制或分流是目标,达成它最廉价的办法,就是使真人更难联系(见主题 1.2,古德哈特定律与度量的心理学)。下面的测量值把解决和用户成果放在第一位。

关键原则

  • 解决才是度量,而不是遏制。 结束的对话不等于已解决的问题。
  • 验证,并检查再次出现。 只有当用户确认、或没有再来时,才把一次联系算作已解决。
  • 始终提供通向真人的路径。 使这条路径容易、迅速且可见,并把背景一并带过去。
  • 对系统保持诚实。 说明它是 AI、它能做什么,以及不能做什么。
  • 限制代理可以做的事。 授予最小权限,对有重大影响的行动要求批准,并保留审计轨迹。
  • 通过抽样度量回答的质量。 流畅的回复可能是错的。
  • 倾听用户以及收拾残局的员工。 他们看到度量所错过的东西。

度量定义

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏
经验证的解决率 用户确认问题已解决、或在规定期间内没有再来的机器人对话占比 有确认的解决或 7 天内无再次联系的对话 / 以可解决的意图开始的对话 百分比 对话日志、用户确认、工单和联系数据 服务台;知识管理 对用户的有效成果 每周
再次联系率 机器人结束的对话之后,通过任何渠道就同一问题再次联系的占比 之后 7 天内有相关联系的对话 / 未经交接而结束的对话 百分比 与工单和联系记录相连的对话日志 服务台;事件管理 逃逸的缺陷 每周
交接背景完整性 向真人的交接中,该人无需用户重复就拥有所需信息的占比 被接收坐席判断为完整的抽样交接 / 被抽样的交接 百分比 抽样的交接、坐席反馈 服务台;知识管理 跨越边界的顺畅协作 每月
到达真人的时间 从用户请求真人、或机器人决定交接,到真人接手的时间 分钟数的中位数和第 85 百分位数 分钟 对话日志、队列数据 服务台;事件管理 用户需要帮助时的响应能力 每周
回答准确度 被合格的评审者判断为正确、完整且安全的、抽样的机器人回答占比 判断为正确的回答 / 被抽样的回答 百分比 抽样评审 知识管理;质量保证 回答的完成定义 每月
机器人满意度与费力程度 用户在对话之后对满意度和容易程度的评分,附评论 偏正面的评分 / 评分;平均费力程度评分 百分比;量表点 简短的对话后调查 服务台;客户体验 对可工作软件的反馈 每周
代理行动撤销率 AI 代理所采取的行动中,必须被更正、撤销或升级的占比 被撤销或更正的行动 / 所采取的行动,按行动类型和风险类别 百分比 行动审计日志、变更记录 变更赋能;事件管理 返工和回退 每周

定义机器人处理的意图,并把它应当始终交接的那些排除在遏制之外。经验证的解决只在问题属于范围、且用户要么确认、要么没有再次联系时才统计一次对话。到达真人的时间从用户的请求开始,而不是从菜单的结尾开始。回答准确度由没有构建该机器人的人,对照知识库和政策来判断。代理行动撤销按行动类型和风险类别拆分,任何有害的行动都作为事件单独报告。

建议

把成功定义为解决

1. 定义意图和你想要的成果。 列出助手应当处理的问题,比如密码重置、访问状态、操作类问题,以及每一项的成果:已回答、已完成,或已交接。决定哪些意图必须始终交给真人:投诉,以及任何涉及困扰、安全、法律权利或金钱的事情。试图处理一切的机器人,在边缘处会失败得很糟糕。

2. 度量经验证的解决和再次出现。 在结束时问用户其问题是否已解决,并在之后寻找相关的联系。单独任何一个都不够:放弃的用户不会回答,而有些得到帮助的人仍然会来电话。两者合在一起近似真正的解决。把再次联系率视为任何遏制数字的关键护栏(见主题 3.1,服务台度量)。

3. 避免把遏制作为目标。 只把遏制作为描述性的数字来报告,并始终与经验证的解决、再次出现和满意度放在一起。遏制上升而再次出现也上升,意味着机器人在把人拒之门外。不要设定遏制目标,也不要把任何人的绩效与它挂钩。

使通向真人的路径容易而良好

4. 让用户在任何时候都能联系到真人。 提供清晰、朴素的请求真人的办法,并予以兑现。度量到达真人的时间,以及用户不止一次请求的对话占比。定期亲自测试这条路径。凡没有真人可用之处,说明何时会有,并提供回电。

5. 带着背景交接。 当机器人把对话传给真人时,包括摘要、已尝试的内容、用户自己的话,以及相关的账户详情,使用户不必重复自己。请接收坐席评价交接是否完整,并抽样结果。糟糕的交接使用户对机器人和服务都更不信任(见主题 9.3,协作与交接度量)。

6. 为所有用户设计。 与使用辅助技术的用户、用其他语言书写的用户、匆忙或困扰中的用户,以及对技术感到不自在的用户一起测试助手。提供其他渠道。在安全且合法的情况下,按用户群体度量经验证的解决和满意度。平均值隐藏了机器人让其失望最多的那些人。

检查它所说和所做的质量

7. 抽样回答,检查准确度和安全。 每月抽取一个对话的随机样本,让合格的人判断回答:正确、完整、安全,并对不确定性诚实。按类型记录错误:过时的、编造的、违反政策的,或误解的。把错误反馈给知识库和配置。为敏感话题,以及试图把助手推到其范围之外的做法,添加有针对性的测试。

8. 保持知识最新。 助手的好坏取决于它所依据的内容和工具。把回答的错误与知识文章相联,并度量它所使用知识的新鲜度(见主题 3.6,知识管理度量)。凡系统从知识库检索之处,包括一项检查,看它是否引用其来源,以及来源是否正确。

9. 对用户诚实。 一开始就说明他们正在与 AI 交谈,以及它能做什么、不能做什么。不要给它暗示相反情形的人名或举止。当它不确定时,应当说出来并提供真人。检查适用的关于披露的法律。

治理采取行动的代理

10. 按风险对行动分类,并设定相匹配的权限。 对代理可以采取的每项行动,定义其风险类别:信息性的、可逆且低影响的,或有重大影响的。授予所需的最小权限。对有重大影响的行动要求人工批准。保留每项行动的审计轨迹,附理由、用户和结果。这些控制措施联系到前面各部分中的变更和安全测量值(见主题 8.1,安全事件与漏洞度量,以及主题 8.2,风险与控制度量)。

11. 度量行动的正确性和可逆性。 按行动类型跟踪撤销率,并把每项有害行动作为事件以免责的方式评审。在授予访问权限之前,在安全的环境中测试代理,并在模型或工具变化时重新测试。新的模型版本可能改变行为,所以把它视为需要控制的变更(见主题 4.3,变更赋能度量)。

12. 倾听收拾残局的人。 服务台人员看到机器人失败的后果:愤怒的用户、重复的联系,以及要清理的烂摊子。定期问他们机器人做错了什么、什么使事情更难。他们的反馈和用户的评论,是没有任何测量值能完全捕捉的证据,它们应当塑造下一轮的变更。

钻空子途径与护栏

度量 如何被钻空子 配对的护栏度量或实践
经验证的解决率 把任何对话的结束都算作已解决;提出引导性的确认问题 中立地定义确认;再次联系率;抽样对话
再次联系率 只通过一个渠道度量;很短的窗口 连接所有渠道;用更长的窗口作为检查;抽样再次联系
交接背景完整性 传递很长的转录而不是摘要;抽样容易的交接 接收坐席的评分;随机抽样;交接之后的解决时间
到达真人的时间 在菜单之后才启动时钟;把队列确认算作接手 时钟从请求开始;接手意味着有真人在对话中活跃
回答准确度 抽样容易的对话;宽松的评审者 由独立评审者进行随机抽样;对抗性的测试用例
机器人满意度与费力程度 只调查已完成的对话;把调查放在只有满意的用户才会到达的地方 也调查被放弃的对话;回复率和构成;阅读评论
代理行动撤销率 不记录撤销;把更正重新归类为新工作 防篡改的审计日志;把撤销与行动相联;事件评审

健康的读数是:高的经验证的解决与低的再次出现、通向真人的容易而迅速的路径和完整的交接、抽样评审中准确的回答、各群体中满意的用户,以及其行动很少需要撤销、且从未在无人察觉时造成危害的代理。

权衡:利与弊

方法 优势 劣势
基于规则的机器人 可预测,易于测试 狭窄;脆弱;在剧本之外令人沮丧
语言模型助手 灵活、流畅 可能自信地出错;更难测试
从获批的知识中检索 回答有依据,更易更正 取决于内容质量
开放式生成 覆盖广泛 编造的风险更高
对行动的人工批准 安全 较慢;评审者疲劳
自主的行动 速度 出错时爆炸半径更大
严格的范围并及早交接 安全 遏制较低
宽泛的范围 遏制较高 边缘处更多错误

答案是从狭窄而被充分理解的意图开始,让回答立足于获批的知识,使人工帮助容易获得,并且只在测量值证明合理时才扩大范围和自主性。

与团队讨论的问题

1. 如果用户现在就想要一个真人,需要几步?我们自己试过吗? 一起测试这条路径。统计步骤和等待。引导者应当记下每一个障碍。商定使路径变短的变更,并度量到达真人的时间。

2. 我们的机器人所结束的对话中,实际解决了问题的占多少? 对一批样本检查再次出现和确认。与遏制数字相比较。讨论差距。决定领导者应当看到哪个数字。

3. 我们的机器人做错了什么?谁会发现? 问服务台。评审抽样的对话。寻找模式:过时的文章、含糊的问题、敏感的话题。商定从错误到修复的路径,附负责人。

4. 代理可以自行采取哪些行动?哪些需要真人? 列出行动及其风险类别和权限。问每一项最糟糕的现实失败会是什么。商定批准规则和审计轨迹,以及由谁评审有害的案例。

5. 机器人在悄悄地辜负谁? 想想匆忙的、困扰中的、有无障碍需要的,或语言能力有限的用户。在安全之处,按群体查看解决和满意度。商定与这类用户一起进行一次测试。

6. 什么会使我们关闭机器人或缩小它的范围? 定义证据:再次出现高于某个水平、有害的行动、准确度低于某个标准。决定谁可以决定。事先有一条停止规则,使采取行动更容易。

四种视角

产品与交付团队

构建助手的团队拥有其质量。他们应当定义意图,使回答立足于获批的知识,用对抗性的用例进行测试,在控制之下发布变更,并阅读失败的案例。他们应当抵制奖励困住用户的遏制目标。

服务与运维团队

服务台人员与助手一起工作,并继承它的失败。他们应当评价交接、标出错误的回答、使知识保持最新,并在被要求时迅速接手。他们是助手是否帮助了用户的最佳裁判,而他们的工作负荷和压力是图景的一部分。

领导层与治理

领导者发起助手,并想要节省。他们应当在遏制旁边索要经验证的解决、再次出现和满意度,要求有停止规则,为人工路径出资,并评审代理的风险类别。治理应当检查披露、无障碍和法律义务。

客户与用户

用户想要毫不费力、没有花招的帮助。他们应当知道自己正在与 AI 交谈,能够轻易联系到真人,并相信系统不会在没有充分理由的情况下行动。他们的体验,尤其是失败的体验,是助手是否值得拥有的主要证据。

实践:一个服务管理示例

一所国立大学运行着每月处理约 30,000 次联系的学生和员工服务台。它为常见请求推出了一个聊天机器人,供应商的仪表盘报告遏制率为 74%。下面的数字均为示意。

学生服务主管进行了检查。在上个月由机器人结束的对话中,有 29% 在七天内被通过电子邮件或电话的相关联系所跟随。使用用户的确认和没有再次出现来计算,范围内意图的经验证的解决率为 49%。请求之后到达真人的时间中位数为 6 分钟,第 85 百分位数为 22 分钟,部分原因是该路径需要三个菜单步骤。两位有经验的顾问评审了 100 条对话的样本,发现 88 个回答正确,12 个有缺陷:7 个过时,3 个编造了关于截止日期的细节,2 个错误地处理了涉及有困难的学生的敏感案例。接收坐席把 54% 的交接评为完整。使用屏幕阅读器的学生,以及用英语之外的语言书写的学生,对机器人的满意度较低。服务台团队报告说,许多联系以“聊天机器人帮不上忙”开始。

学生服务主管与团队一起作出变更。敏感的意图,比如福利、投诉和关于费用的争议,被直接路由给真人,并且机器人这样说明。每个界面上都出现“与真人交谈”的选项,并跟踪到达真人的时间,目标是在有人值守的时间内几分钟内回答。交接包括自动摘要和用户自己的话。知识库负责人修复过时的文章,每月的抽样评审为他们提供输入。助手被限制为从获批的内容中回答,并被要求在不知道时说出来。第二个试点让一个代理在身份验证之后重置密码,每项行动都被记录,并可在时限内撤销,并跟踪撤销率。仪表盘以经验证的解决、再次联系率、准确度、到达真人的时间和按群体的满意度取代遏制。

三个月后,范围内意图的经验证的解决率达到 66%,再次联系率降至 14%,到达真人的时间中位数降至 2 分钟,完整交接的占比升至 86%,抽样回答的准确度升至 95%,样本中没有被错误处理的敏感案例。密码试点中的代理行动撤销率为 1.2%。校长办公室要求设定 85% 的遏制目标。学生服务主管解释说,更高的遏制目标会奖励隐藏通向真人的路径,并提议以经验证的解决和再次出现为测量值,并评审接下来要扩展什么。该决定被记录下来。

敏捷、AI、自动化与分析

敏捷

依据来自用户和接手者的反馈,以小步改进助手,并与干系人一起定期评审失败的案例。需要注意的是,奖励遏制会教会机器人让人们远离帮助。

AI

只有当问题得到解决并保持解决时,会话式助手才算帮了忙,所以要度量经验证的解决、再次出现、交接质量,以及代理行动的撤销。定义人的角色:谁批准行动、机器人何时必须交接,以及人如何覆盖它。需要注意的是,愉快的对话仍然可能辜负任务。

自动化

记录每次对话和代理行动,附权限和回退的办法,并就错误的行动来度量自动化。需要注意的是,拥有广泛权限的代理可能迅速造成危害,所以要限制范围并评审日志。

分析

报告由用户确认或无再次联系窗口所验证的解决,附计数,并阅读一批对话样本。这为之提供依据的决定是助手在哪里可以安全地扩展。需要注意的是,对机器人对话的满意度得分偏向那些完成了对话的用户。

行业视角

初创公司。 助手能以低成本涵盖支持,而一个糟糕的回答可能使你失去一位客户。保持范围狭窄,使回答立足于你的文档,使人工选项显而易见,并阅读每一次升级。对让代理在账户或付款上采取行动要小心。

小型企业。 网站上现成的助手可以处理常见问题。像客户那样测试它,确保电话号码或电子邮件容易找到,并每周评审对话。检查供应商如何处理数据。

大型企业。 规模提供节省,也带来风险。针对风险类别、批准和审计运行一个治理流程,按意图和用户群体度量,并确保在每个渠道上都能联系到真人。在支持、安全、法务和无障碍之间协调。

政府与公共部门。 公民可能没有替代的提供者,无障碍、语言可及和公平对待的职责强烈适用。保持真人可联系,避免在没有保障措施的情况下对资格作出自动化决定,公布助手如何被使用,并检查披露和行政法的义务(见主题 8.5,受监管与政府报告)。

业务论证:动因、投资回报与总拥有成本

成本是许可证或使用费、集成、内容准备、持续的抽样和评审、知识库的维护、测试和治理。良好的人工路径也要花钱,因为它必须配备人员。

潜在的回报是简单问题更短的等待、对重复联系的缓解,以及非工作时间的覆盖。风险一面包括再次出现、失去信任、错误回答或行动造成的危害,以及法律风险。依据你自己的数字构建论证:经验证的解决和再次出现、包括交接在内的每次已解决联系的成本、员工花在修复机器人失败上的时间,以及按群体的满意度。避免把供应商关于遏制或分流的说法用作你的估计。纳入人工路径和治理的成本(见主题 7.7,投资回报与业务论证)。

反模式与陷阱

  • 把遏制作为目标。 它奖励让人们远离帮助。报告经验证的解决和再次出现。
  • 隐藏或缓慢的通向真人的路径。 它是暗黑模式,用户会注意到。使它短并测试它。
  • 不带背景地交接。 用户重复自己,信任下降。传递摘要。
  • 让机器人处理敏感案例。 福利、投诉和权利需要人。直接路由它们。
  • 没有审计或批准的自主行动。 一个错误可以被放大。分类、限制并记录。
  • 只度量供应商仪表盘所显示的东西。 它美化。连接你自己的数据。
  • 忽略机器人辜负的群体。 平均值隐藏了他们。在安全之处测试并细分。
  • 没有停止规则。 失败的机器人一直在线。定义会缩小它或关闭它的证据。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
成果 报告遏制 调查满意度 按意图跟踪经验证的解决和再次出现 按用户群体细分;定义停止规则;每月抽样准确度 助手、员工和知识利用共享的证据一起改进
通向人的路径 难以找到 选项可用 短路径;跟踪到达真人的时间;交接带背景 评价并改进交接质量;人员配置与需求相匹配 机器人与员工跨渠道顺畅协作,尊重用户的选择
采取行动的代理 临时的自动化 脚本化的行动 按风险分类的行动、最小权限、批准和审计 评审撤销率和危害;控制变更 在整个组织和供应商之间治理代理行为,附独立保证

检查清单

  • 列出助手的意图,包括必须始终交给真人的那些。
  • 在遏制旁边报告经验证的解决和再次联系率。
  • 每个界面上都有可见、简短的通向真人的路径,并度量到达真人的时间。
  • 交接包括摘要和用户自己的话,并由接收坐席评价。
  • 回答每月由合格而独立的评审者抽样。
  • 告诉用户他们正在与 AI 交谈,以及它能做什么。
  • 与真实用户一起进行无障碍和其他语言的测试。
  • 代理的行动按风险分类,以最小权限授权,并记录审计日志。
  • 以免责的方式评审撤销率和有害的行动。
  • 停止规则定义何时缩小或关闭助手。

AI 提示词

定义意图和交接规则。

我们为 [组织类型] 运行服务台。最常见的联系原因是:[附数量的清单]。请提出聊天机器人应当完全处理哪些意图、只应协助然后交接哪些,以及必须始终交给真人的哪些,并给出理由。包括要一并传递的交接信息。不要虚构统计数字。请列出你的假设,以及敏感案例的风险。

检查遏制的声称。

我们的聊天机器人仪表盘显示遏制率为 [值]。我们还有:七天内的再次联系 [值]、调查结果 [值],以及一批对话样本 [描述]。请解释经验证的解决可能是什么、如何依据我们的数据计算它、遏制与解决之间的差距说明了什么,以及接下来检查什么。不要声称数据无法支持的原因。请列出你的假设。

为代理行动设计风险分类。

AI 代理可能采取这些行动:[清单]。请对每一项提出风险类别(信息性的、可逆低影响的、有重大影响的)、它应当需要的权限、是否必须由人批准、记录什么、如何撤销它,以及启用之前要运行的测试。不要假定特定的工具。请列出你的假设,以及需要安全和法务参与的决定。

规划对机器人对话的评审。

请设计一次每月的机器人对话评审:样本量和选择(包括一些被放弃的对话,以及一些来自面临服务不佳风险的用户群体的对话)、评审者资质、关于正确性、安全和对不确定性诚实的简短评分标准、如何记录错误并修复其来源,以及如何在不识别用户的情况下报告。请列出你的假设和隐私告诫。

AI 技能

要点

  • 度量经验证的解决和再次联系,并把遏制仅视为描述性的数字。
  • 使通向真人的路径短而可见,并带着背景交接。
  • 抽样回答的准确度和安全,并使助手所使用的知识保持最新。
  • 对用户正在与 AI 交谈这一点保持诚实,并与最可能被辜负的用户一起测试。
  • 对采取行动的代理,对风险分类、限制权限、对有重大影响的行动要求批准,并保留审计轨迹。
  • 事先定义一条停止规则。

参考文献与延伸阅读

  1. Weizenbaum, J., "ELIZA: A computer program for the study of natural language communication between man and machine," Communications of the ACM, 9(1), 1966.
  2. National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
  3. European Parliament and Council, Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act), 2024.
  4. Dixon, M., Toman, N., and DeLisi, R., The Effortless Experience, Portfolio/Penguin, 2013.
  5. Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
  6. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  7. Wikipedia, Chatbot.
  8. Wikipedia, Virtual assistant.
  9. Wikipedia, Intelligent agent.
  10. Wikipedia, Self-service.
  11. Wikipedia, Dark pattern.
  12. Wikipedia, Automated decision-making.
  13. Wikipedia, Goodhart's law.