本书中的每项度量都建立在一个假设之上,即产出被统计的东西需要真实的努力。已解决的工单反映了工作。写成的文章反映了知识。合并的变更反映了细心。生成式 AI 削弱了这一假设。它可以在几秒钟内起草一封回复、一篇文章、一个测试或一段代码,而它所起草的往往看似合理,有时却是错的。计数上升了。被服务的人是否过得更好,是计数无法回答的另一个问题。

AI 也为度量增加了新的东西。会话式助手和代表用户行动的代理,需要关于解决、交接和错误行动之危害的测量值。模型、提示词和供应商的治理,需要关于覆盖、控制和事件处理的测量值。而与这些工具并肩工作的人,其技能、理解和可持续的节奏需要得到保护。本部分中的测量值借鉴本书其余的部分,因为护栏是同样的:把每项度量与对它可能隐藏之物的检查配对,与基线相比较,由人来抽样,并让关于人的数据远离评价(见主题 1.2,古德哈特定律与度量的心理学)。

敏捷和 ITIL 的工作方式,对这一切提供了合理的立场。把每次 AI 的使用视为一个小实验。说明预期的收益,与愿意的人一起尝试,与不用它所做的类似工作相比较,并依据证据决定。让干系人持续参与,因为他们最先注意到信号何时退化。以可持续的节奏为目标,使节省的时间成为关于质量和学习的选择,而不是需求的自动增加。并记住围绕有积极性的个人来构建的目标:AI 应当减轻乏味的工作并尊重人们的判断,而不应变成监控他们的办法。

关于 AI 工具、产品和规则的事实变化很快。本部分中关于具体法规、标准和工具的陈述,截至 2026 年 10 月,读者应当重新核实。度量的原则比它们所描述的任何技术都更持久。

本部分还涵盖四个视角中的另外两个,即自动化和分析。自动化和编排改变了由谁来做工作,并使失败变得快速而广泛,所以依据它们消除了什么、破坏了什么来度量。流水线产生大量变更和合规的证据,所以要把它们作为系统来度量。分析、预测和可观测性产生本书其他各处所使用的数字,所以它们的数据质量、不确定性和成本需要自己的测量值。

本部分的主题

  • 10.1 服务管理中的 AI 度量:AI 在哪里进入工作、采纳之前的基线、比较、到达经检查的结果的时间,以及完整成本。
  • 10.2 度量 AI 辅助的工作:留存、返工、评审负荷、逃逸的缺陷、理解和技能。
  • 10.3 AI 代理与聊天机器人度量:经验证的解决、再次联系、交接、到达真人的时间、答案准确度,以及代理行动的撤销。
  • 10.4 度量膨胀与质量稀释:数量和速度如何膨胀、有用性抽样、验证负担,以及打破反馈闭环。
  • 10.5 AI 治理与风险度量:使用登记册、风险类别、模型和提示词的变更控制、评估、监督和事件。
  • 10.6 自动化与编排度量:自动化消除了什么、破坏了什么、有意义的覆盖、失败与回退,以及人在回路中的设计。
  • 10.7 流水线与自动化变更度量:流水线健康、自动批准、政策即代码,以及流水线产生的证据。
  • 10.8 分析与数据质量度量:完整性、及时性、谱系、对账,以及一个数字能说明什么、不能说明什么。
  • 10.9 预测与预测分析度量:预测误差、校准、区间,以及预测为之提供依据的决定。
  • 10.10 可观测性与遥测度量:日志、指标和追踪的覆盖、信号质量,以及遥测的成本。

这些主题如何相互关联

基础主题(见主题 10.1,服务管理中的 AI 度量)设定方法:基线、比较、抽样和完整成本。它适用于本部分中的每个其他主题。辅助工作主题(见主题 10.2,度量 AI 辅助的工作)把该方法用于人们在 AI 在旁的情况下所做的工作,并查看什么留存下来,以及理解发生了什么。聊天机器人和代理主题(见主题 10.3,AI 代理与聊天机器人度量)把它应用于直接面向用户或代表用户行动的系统,其中错误回答或行动的代价落在别人身上。

膨胀与稀释(见主题 10.4,度量膨胀与质量稀释)是对所有这些的警示性伙伴。它解释为什么容易的数字会上升,以及要与它们配对什么,并联系到其他主题中的有用性检查。治理(见主题 10.5,AI 治理与风险度量)是使其余部分各就其位的结构:它提供告诉你要度量什么的登记册、告诉你深入到什么程度的风险类别、使行为不在无人看见的情况下漂移的变更控制,以及出问题时的事件流程。

由此得出几组护栏配对。速度测量值应当与到达经检查的结果的时间以及验证负担一起阅读。遏制或分流的数字应当与经验证的解决和再次联系一起阅读。已登记使用的计数应当对照独立的发现来阅读。AI 工具的采纳数字应当被视为描述性的,由相对于对照的成果来承担分量。

本部分联系到前面的部分:第 2 部分的评审和流动测量值、第 3 部分的知识和自助服务测量值、第 8 部分的安全和风险测量值,以及第 9 部分的人员测量值。主题 10.6 至 10.10 把该方法扩展到自动化、流水线、分析、预测和可观测性:同样的基线、同样把速度与质量配对,以及同样检查数字所无法显示之物的习惯。自动化和流水线的测量值(见主题 10.6,自动化与编排度量,以及主题 10.7,流水线与自动化变更度量)依赖主题 10.8 的数据质量测量值(见主题 10.8,分析与数据质量度量),而预测(见主题 10.9,预测与预测分析度量)和遥测(见主题 10.10,可观测性与遥测度量)为两者提供输入。它通向最后一个内容部分,即关于构建度量计划本身,因为不加小心地引入度量的计划,会遭受本部分所描述的同样的扭曲。