概述与动因

人工智能如今存在于团队用来构建和运行服务的许多工具之中。人工智能(artificial intelligence)(AI)是计算系统执行与人类智能相关联的任务的能力。在其内部,机器学习(machine learning)系统从数据中学习模式,而往往建立在大语言模型(large language models)之上的生成式 AI(generative AI)系统,则对提示词作出响应而产生文本、代码和其他内容。在 IT 服务管理(ITSM)中,这些能力出现在工单分诊、事件摘要、知识文章起草、服务台的建议回复、交付流水线中的代码补全和评审、监控中的异常检测,以及面向用户的会话式助手之中。AIOps是常用来指把 AI 应用于 IT 运营数据的名称。

对这些工具所作的声称很大,而任何给定组织中的证据通常很少。供应商报告节省的时间。早期采纳者报告热情。高管要求兑现所承诺的效率收益。与此同时,团队报告输出需要检查、有些建议自信而错误,以及工作感觉不同了。度量是组织弄清其中哪一个对其自身工作成立的办法。本书的这一部分认真地把 AI 视为要被度量的东西,附带与任何其他度量族相同的护栏。

AI 以四种方式改变度量问题。

  • 数量和速度上升,而质量变得更难看到。 AI 可以迅速产生工单、回复、代码和文档,所以产出的测量值上升。产出是否好,是另一个问题(见主题 10.4,度量膨胀与质量稀释)。
  • 基线消失。 一旦 AI 进入日常使用,你就无法恢复没有它时的工作是什么样子。必须在变化之前捕获基线,或者必须存在对照组。
  • 人仍在回路中,并带来后果。 人在回路中(human-in-the-loop)的设计使一个人对结果负责。评审机器输出的人,可能过于轻易地服从它,这种模式称为自动化偏差(automation bias),或者他们花在检查上的时间可能比节省的更多。
  • 输出可以流畅而错误。 幻觉(hallucination)是输入或事实不支持的自信的输出。测量值必须包括由人抽样的对正确性的检查。

敏捷和 ITIL 的工作方式都对此提供了立场。持续交付、持续改进和持续演进的敏捷目标,建议把每次对 AI 的使用视为一个小实验:说明预期的收益,与少数愿意的人尝试,比较,并作出决定。ITIL 带反馈地迭代推进的指导原则指向同一方向,它对价值的强调问的是,对用户和业务而言什么成果得到了改善,而不是产生了多少文本。当 AI 减轻乏味的工作并尊重人们的判断时,有积极性的人这一目标得到服务,而当 AI 变成提高节奏或监控使用它的人的办法时,则没有得到服务。可持续的节奏意味着,节省的时间不应被悄悄转化为更多的需求。

古德哈特定律的护栏以最尖锐的形式适用于 AI。如果“AI 采纳”或“AI 生成的代码占比”成为目标,人们就会在没有帮助之处使用该工具,而质量将为这个数字买单(见主题 1.2,古德哈特定律与度量的心理学)。

本主题涵盖基础:AI 在哪里进入工作、要捕获什么基线,以及哪些测量值显示对 AI 的某种使用是否有帮助。接下来的主题更深入地涉及辅助工作、代理和聊天机器人、膨胀与稀释,以及治理。关于 AI 产品和规则的事实变化很快,本部分中关于具体工具或法规的陈述,截至 2026 年 10 月,应当重新核实。

关键原则

  • 在引入 AI 之前捕获基线。 没有基线,每一项收益的声称都是意见。
  • 把每次使用视为带比较的实验。 与同期不用 AI 完成的类似工作相比较。
  • 通过与人一起抽样来度量质量。 流畅的输出不是正确的输出。
  • 统计完整成本。 包括评审时间、返工、许可证和推理成本。
  • 让人保持问责和知情。 使用 AI 的人对结果负责。
  • 不要让 AI 变成节奏的提高或监控。 节省的时间是关于如何使用时间的选择。
  • 从愿意的人和真实的问题开始。 指令产生没有价值的使用。

度量定义

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏
基线完整性 计划中的 AI 用例里,其主要指标有采纳前已记录基线的占比 有带日期基线的用例 / 计划的用例 百分比 用例登记册 持续改进;度量与报告 实验之前的基线 每季度
AI 使用覆盖 按用例,使用了 AI 的合格工作项或任务占比 使用了 AI 辅助的项 / 合格的项,来自工具日志或用户标签,在团队层面 百分比 工具使用日志、标签 服务台;事件管理;发布与部署管理 愿意的团队采纳一种工具 每月
建议接受与覆盖率 被原样接受、被编辑或被拒绝的 AI 建议占比 每个类别的建议 / 提供的建议 百分比 按团队汇总的工具日志 服务台;知识管理 对机器建议的评审 每月
经评审的输出准确度 被合格的评审者判断为正确且适合目的的、抽样的 AI 输出占比 判断为正确的输出 / 被抽样的输出 百分比 抽样评审记录 质量保证;知识管理 输出的完成定义 每月
相对基线的任务时间 使用 AI 完成一项已定义任务的时间,与基线或对照组相比较 使用 AI 的任务时间的中位数和第 85 百分位数,减去基线或对照的同一数字 分钟或小时 计时的任务、工单时间戳 服务台;事件管理 任务的周期时间 每季度
每项 AI 辅助任务的成本 每项任务的 AI 辅助工作的总成本,包括评审和返工 (许可证和使用成本 + 评审和返工的时间成本) / 使用 AI 完成的任务 每项任务的货币 供应商发票、时间估计、工作跟踪器 服务财务管理 每个成果的服务成本 每季度
对照比较的成果变动 AI 辅助的工作相对于类似的非辅助工作,其成果指标的变化 AI 辅助组的指标变化减去对照组的变化 指标单位 每个用例的成果测量值(质量、满意度、重开率、缺陷) 持续改进 从实验中学习 每季度

用任务、用户和成果指标来定义每个用例,并记录在登记册中。AI 使用覆盖是描述性的测量值,而不是目标。经评审的输出准确度,由未产生该输出的合格人员对照书面标准来判断。任务时间包括提示、评审和更正的时间,以及生成的时间。每项任务的成本统计花在检查和修复上的人员时间。成果变动要求事先选定的对照,以及对该期间其他变化的说明。

建议

决定 AI 属于何处

1. 列出任务以及每次使用 AI 所针对的问题。 从痛点出发,而不是从工具出发:重复的起草、缓慢的分诊、分散的知识、冗长的评审、嘈杂的告警。对每个候选用途,写下问题、谁感受到它、应当改善的成果,以及风险。跳过没有明确问题的用途。这就是基线和测量值所依附的登记册。

2. 对每种使用的风险分类。 起草内部笔记的工具,与更改生产系统、回复客户或作出关于人的决定的工具,风险不同。依据输出出错时的伤害、谁受影响,以及是否有人在其生效前评审它来对用途分类。风险较高的用途需要更强的测量值、抽样和治理(见主题 10.5,AI 治理与风险度量)。

3. 从愿意的人和有界限的任务开始。 与志愿者一起,对一项常见且可检查的任务进行试点。志愿者给出诚实的反馈,并使工具适应其工作。有界限的任务使基线和比较变得可行。避免从最敏感的工作开始。

捕获基线并设置比较

4. 在首次使用之前记录基线。 对每个用例,捕获指标的当前状态:完成时间、质量或缺陷率、返工、用户满意度和成本。取足够的观测值,以看到正常的变化(见主题 1.6,服务度量的统计素养)。给基线标注日期并保存它。推出之后取得的基线,是对新世界的记录。

5. 建立比较。 在可能时,在试点期间保留一个不使用 AI 的类似群体或任务集,或者以公平的方式按周或按任务类型交替使用。随机化是理想的,往往不切实际。明确说明还有什么发生了变化。没有比较,由于季节性、人员配置或学习而造成的改进,会被归功于这个工具。

6. 诚实地度量时间。 到达初稿的时间很少是正确的测量值。度量到达已完成、已检查的结果的时间,包括提示、评审和更正。人们常常根据生成这一步来报告节省的时间,而评审这一步吃掉了其中的一部分或全部。对一批任务样本进行时间研究值得付出努力。

度量质量和成本

7. 抽样输出,由合格的人评审。 每月抽取一个 AI 辅助输出的随机样本,让合格的人对照书面标准加以判断。报告准确度、发现的错误种类和趋势。这是防止流畅的错误扩散的主要保护。让评审者独立于产出者,并轮换评审者。

8. 观察接受和覆盖的模式。 非常高的接受率可能表明自动化偏差,即人们未经检查就接受。非常低的比率可能表明工具没用。把这些比率用作与团队交谈的提示,并问这些数字在他们的体验中意味着什么。不要为接受设定目标。

9. 统计每项任务的完整成本。 包括许可费、基于使用的费用、提示、评审和更正所花的时间、培训和治理工作量。与基线成本相比较。快速产生草稿却需要大量更正的工具,成本可能高于旧办法。包括触达用户的错误的成本。

使人的一面正确

10. 保护人们免受监控和节奏蠕变之害。 在团队层面汇总 AI 使用数据,不要用它来评价个人。不要把使用用作绩效测量值。事先商定节省的时间不会自动变成额外的工作负荷,并与团队一起决定如何处理它:质量、学习、改进,或其他工作。恒定的节奏是一项设计目标(见主题 9.2,满意度与福祉度量)。

11. 询问使用它的人。 简短的脉冲和交谈揭示数字所错过的东西:工具在哪里有帮助、在哪里令人沮丧、在哪里把工作从创造转移到检查,以及它是否改变了工作的满意度。尊重地对待关于技能、质量和工作保障的顾虑。

12. 决定、公布并重新审视。 每次试点结束时,决定是扩展、调整还是停止,并记录证据。诚实地分享结果,包括零结果和负面结果。随着工具的变化(它们变化很快)重新审视决定。去年没有帮助的用途,现在可能有帮助,反之亦然。

钻空子途径与护栏

度量 如何被钻空子 配对的护栏度量或实践
基线完整性 事后记录基线;使用方便的指标 带日期戳的基线;对基线方法的独立评审
AI 使用覆盖 强制使用;统计琐碎或自动的调用 绝不作为目标;与成果变动相比较;统计有意义的使用
建议接受与覆盖率 奖励接受;使拒绝变得麻烦 没有目标;经评审的输出准确度;询问用户的体验
经评审的输出准确度 抽样容易的输出;宽松的评审者 由独立评审者进行随机抽样;书面标准;评审者轮换
相对基线的任务时间 只为生成计时;选择容易的任务 到达经检查结果的时间;随机抽样任务;包括评审和返工
每项 AI 辅助任务的成本 遗漏评审时间或治理成本 完整成本检查清单;与时间研究相比较
对照比较的成果变动 选择有利的群体或时期;忽略其他变化 事先商定的对照和期间;其他变化的清单

健康的读数是:每次试点都有基线、度量到达已完成结果的时间、由合格的人检查的准确度、包括评审的成本、被公平比较的成果,以及说这个工具服务其判断的团队。

权衡:利与弊

方法 优势 劣势
与志愿者一起试点 诚实的反馈;风险低 志愿者是热心者;结果可能无法推广
指令式推行 覆盖快 没有价值的使用;怨恨;钻空子
受控的比较 可信的证据 费力;并非总是可能
仅前后对比 简单 被其他变化所混杂
供应商报告的节省 容易获得 乐观;缺乏背景
自己的计时任务 立足于你的工作 耗时;样本小
对每个输出的繁重评审 安全 消除了收益
抽样评审 可扩展 有些错误会漏过

答案是以带基线和比较的小型试点来运行,抽样输出以检查质量,统计完整成本,并依据证据作决定。把供应商的数字用作要检验的假设。

与团队讨论的问题

1. 我们期望 AI 在哪里帮助我们?如果它有帮助,我们会看到什么? 列出候选用途,并对每一个列出指标以及我们今天拥有的基线。引导者应当推动给出具体内容:哪项任务、哪项测量值、多大的变化才算重要。选择一项用途进行试点,并商定基线。

2. 什么会使我们信任或不信任一条 AI 建议?我们如何知道自己错了? 讨论输出有误的情形以及它是如何被注意到的。考虑评审在实践中如何运作,以及压力是否导致跳过它。商定由独立的人运行的抽样方法。

3. 我们节省的时间有多少会花在检查上? 对一项真实的任务,在使用和不使用该工具的情况下计时,包括提示和评审。与人们的预期相比较。这场交流常常揭示收益在哪里、不在哪里。

4. 我们应当如何处理节省的时间? 事先决定。选项包括质量工作、学习、改进,或更少的压力。讨论如何防止这些时间被悄悄吸收进更多的需求。与领导者商定团队将如何保护它。

5. 我们不希望 AI 在这里做什么?为什么? 列出需要人的判断、同理心或问责的任务。讨论对用户和技能的风险。引导者应当把边界记录下来,作为治理的输入。

6. 我们如何知道何时停止? 定义会终结试点或使用的证据。商定由谁在何时决定。没有退出标准的试点,会变成永久的固定设施。

四种视角

产品与交付团队

交付团队把 AI 用于代码、测试、评审和文档。他们应当度量到达经评审的、可工作的结果的时间,观察质量和缺陷,并使人工评审保持有意义。他们应当抵制统计生成的代码行数或接受的测量值,并坚持缺陷和稳定性之类的成果测量值。

服务与运维团队

运维和服务台团队把 AI 用于分诊、摘要、建议和监控。他们应当把处理和解决的质量与基线相比较,抽样输出,并观察对用户和重复联系的影响。在把 AI 放到用户面前之前,应当征求他们的意见。

领导层与治理

领导者发起 AI 计划,并面临展示收益的压力。他们应当坚持基线和比较,为评审工作出资,避免使用目标,并保护人们免受监控和节奏蠕变之害。治理应当要求在扩展之前进行风险分类并提供证据。

客户与用户

用户在回答、建议和自动化的行动中遇到 AI。他们想要正确、易懂的帮助,以及联系真人的能力。在适当时应当告诉他们,他们正在与 AI 互动,而他们的反馈是它是否有帮助的关键证据(见主题 6.1,客户满意度度量)。

实践:一个服务管理示例

一家中型保险公司的技术团队为 4,000 名员工运行内部服务台,并有若干产品团队。领导层购买了一款 AI 助手的许可证,并要求在三个月后提交节省时间的报告。下面的数字均为示意。

服务管理主管坚持要有基线。对服务台最常见的任务,即起草对访问和密码请求的回复,她为最近的 120 张工单计时:处理时间的中位数为 11 分钟,第 85 百分位数为 24,重开率为 6%,来自调查的满意度得分稳定。她选择两个团队试点该助手,并保留两个类似的团队作为对照。试点团队是志愿者。

八周后,试点团队的处理时间中位数为 8 分钟,第 85 百分位数为 19,而对照团队为 11 和 23。工具日志显示,坐席在 52% 的情形下原样接受建议,在 38% 的情形下编辑它们,在 10% 的情形下拒绝。对每月 80 条回复的随机样本,由一位不在试点中的资深坐席评审,发现 91% 完全正确,错误集中在一个很少使用的流程上,助手给出了过时的步骤。试点团队的重开率略升至 7%,在正常变化之内。一旦计入许可证和评审时间,每张工单的成本小幅下降。一项调查显示,坐席欣赏草稿,却不喜欢对长回复的额外检查。两位坐席说,他们感到有压力要每小时处理更多的工单。

服务管理主管报告中位数上节省约四分之一的时间,并说明了告诫:两个团队、八周、志愿者,以及需要观察的重开率。她与领导者商定,节省的时间将用于知识库和复杂案例,并且不会提高工单目标。知识库中过时的流程得到修复。一位高级经理要求全公司强制使用,并设定 80% 的接受率目标。她拒绝了该目标,解释说接受目标会奖励不检查,并提议把试点扩展到另外两个团队,使用同样的测量值。该决定被记录下来。

敏捷、AI、自动化与分析

敏捷

与干系人一起以小步引入 AI,每一步都有基线和比较,并在定期的改进交流中评审结果。需要注意的是,一次性在各处推出 AI,会去掉对照组。

AI

整个主题都是关于 AI 的,所以规则很简单:记录工作如今的样子,依据该基线以及不用 AI 完成的可比工作来度量每次使用,并把每项速度收益与经检查的质量测量值配对。为每项使用指定负责人,并事先决定由人在哪里作决定。需要注意的是,供应商的数字描述的是其他组织,所以要使用你自己的数据。

自动化

自动收集使用、建议、接受和覆盖事件,并就错误和撤销率来度量应用 AI 输出的自动化。需要注意的是,接受率可能因为人们不再检查而上升,所以要对被接受的输出抽样。

分析

连同样本量报告来自经评审样本的准确度,并连同所述局限报告相对于对照的成果。这为之提供依据的决定是扩展、改变还是停止对 AI 的某种使用。需要注意的是,小型试点给出有噪声的结果,所以避免依据试点承诺一个数字。

行业视角

初创公司。 工具被迅速采用,往往是非正式的。为主要用途捕获时间和缺陷的简单基线,对任何面向客户的东西保持人工评审,并避免过早锁定在单一供应商。留意员工使用公共工具时的安全和数据暴露。

小型企业。 现成的助手可以为起草和例行任务提供真正的帮助。小规模地度量:几项真实任务的时间和更正的比率。对保密数据要小心,并核实供应商关于如何使用数据的条款。

大型企业。 规模要求治理、采购标准和通用的度量方法。以对照运行试点,在内部公布结果,并在团队之间分享基线和方法。当心把使用报告为成功的计划。

政府与公共部门。 影响公民的决定可能受透明度、公平和人工评审方面法律义务的约束。依据风险对用途分类,保存关于如何在决定中使用 AI 的记录,并对此保持公开。采购和数据保护适用,而一些司法辖区有特定的 AI 法律,应截至今日加以核实(见主题 8.5,受监管与政府报告)。

业务论证:动因、投资回报与总拥有成本

成本是许可证或使用费、集成、培训、捕获基线和运行比较的时间、花在评审和更正输出上的人员时间,以及治理工作量。成本可能随使用而扩大,并随供应商定价而变化,所以要对一个区间建模。

潜在的回报是在重复性任务上挽回的时间、更快的起草和搜索、对知识更好的覆盖,以及使员工摆脱乏味的工作。这些是要检验的可能性,而不是要入账的假设。依据你自己的试点构建论证:实测的到达经检查结果的任务时间、经评审的准确度、返工,以及每项任务的完整成本,对照基线和比较。避免引用来自供应商或调查来源的生产力百分比,除非你能追溯方法及其与你的工作的契合度。纳入触达用户的错误的风险,以及治理这些工具的成本(见主题 7.7,投资回报与业务论证)。

反模式与陷阱

  • 在没有基线的情况下引入 AI。 你无法知道什么变了。先捕获它。
  • 度量生成速度。 节省可能在评审中消失。度量到达经检查的结果的时间。
  • 采纳目标。 它们产生没有价值的使用。把覆盖视为描述性的。
  • 信任供应商的声称。 它们是假设。在你的工作上检验它们。
  • 不真实的评审。 自动化偏差使评审变成橡皮图章。抽样并独立检查。
  • 把节省的时间转化为更多的需求。 它侵蚀信任和可持续的节奏。事先决定这些时间是做什么用的。
  • 监控个人使用。 它滋生恐惧。汇总到团队层面。
  • 没有终点的试点。 它们默认变成永久的。设定退出标准。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
目的与基线 因热情而采用工具 列出用例 登记册,附每项使用的问题、风险类别、基线和指标 扩展之前要求基线和比较;公布结果 在团队和合作伙伴之间共享基线和方法;在证据消退时淘汰用途
收益的证据 轶事和供应商的声称 非正式的时间估计 计时的任务;抽样的准确度;每项任务的完整成本 连同局限报告相对于对照的成果变动 AI 在哪里有帮助的组合视图,广泛分享学习
人与节奏 指令;监控 非正式的关注 只有团队层面的数据;节省的时间依据商定来分配 跟踪顾虑;度量技能和满意度 与用户和员工共同设计 AI 的使用;保护持续的节奏

检查清单

  • 每项 AI 使用都有书面的问题、风险类别、负责人和退出标准。
  • 每次试点在首次使用之前都有带日期的基线。
  • 事先定义对照组或对照任务。
  • 度量到达已完成、已检查的结果的时间。
  • 每月抽样输出,并由合格而独立的人评审。
  • 每项任务的完整成本包括评审和返工。
  • 使用数据在团队层面汇总,不用于个人。
  • 团队已商定如何处理节省的时间。
  • 询问用户对该工具的体验。
  • 试点以记录的扩展、调整或停止的决定结束。

AI 提示词

起草用例条目。

我们正在考虑把 AI 用于 [团队和服务] 中的 [任务]。请起草一份用例登记册条目:问题以及谁感受到它、应当改善的成果、风险分类及原因、人工评审步骤、现在要捕获的基线指标、比较的做法、要跟踪的成本构成、退出标准,以及要问团队的问题。不要假定特定供应商的功能,也不要声称收益。请列出你的假设。

设计计时任务研究。

请设计一项小型研究,度量 AI 助手对 [任务] 的影响。提出如何选择任务、如何公平地比较使用和不使用该工具、要计时什么(包括提示、评审和更正)、如何判断输出质量,以及如何避免偏差。让它对 [数量] 人的团队切实可行。不要陈述预期的结果。请列出你的假设和该设计的局限。

规划输出抽样。

我们每月的 AI 辅助输出约 [数量] 个,类型为 [清单]。请设计每月的随机抽样和评审流程:样本量和选择方法(附推理,避免夸大精度)、由谁评审、书面标准、错误类别、如何报告,以及如何使用发现。请列出你的假设和风险。

决定如何处理节省的时间。

我们的试点在 [团队] 中,对每周 [数量] 项任务,每项任务节省了中位数 [值]。请建议支持质量、学习和可持续节奏的、使用这些时间的选项,附每一项的权衡和风险,以及与团队和领导者商定选择的办法。不要假定节省会持续。请列出你的假设。

AI 技能

要点

  • 在使用 AI 之前捕获带日期的基线,并与不用它完成的类似工作相比较。
  • 度量到达已完成、已检查的结果的时间,并由独立的评审者抽样输出的准确度。
  • 统计完整成本,包括评审和返工。
  • 把使用和接受视为描述性的,绝不作为目标。
  • 事先决定如何处理节省的时间,并保持可持续的节奏。
  • 让使用数据保持在团队层面,并让每次试点以记录的决定结束。

参考文献与延伸阅读

  1. National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
  2. ISO/IEC 42001, Information technology: Artificial intelligence: Management system, International Organization for Standardization, 2023.
  3. Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
  4. Bender, E. M., Gebru, T., McMillan-Major, A., and Shmitchell, S., "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?" Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, 2021.
  5. Russell, S., and Norvig, P., Artificial Intelligence: A Modern Approach, 4th ed., Pearson, 2020.
  6. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  7. Wikipedia, Artificial intelligence.
  8. Wikipedia, Machine learning.
  9. Wikipedia, Generative artificial intelligence.
  10. Wikipedia, Large language model.
  11. Wikipedia, AIOps.
  12. Wikipedia, Human-in-the-loop.
  13. Wikipedia, Automation bias.
  14. Wikipedia, Hallucination (artificial intelligence).
  15. Wikipedia, Goodhart's law.