概述与动因

测量值之所以起作用,是因为它反映某种难以产生的东西。已解决的工单反映努力。写成的文档反映知识。添加的测试反映细心。当工具使可见的产出几乎免费时,产出与努力之间的联系就断裂了。数字持续上升,意义却被抽空。这就是度量膨胀,它的伙伴是质量稀释:所产生之物中有用的占比下降,而有用的部分变得更难找到。

这不是一个新问题。古德哈特定律及其近亲坎贝尔定律(Campbell's law)描述了用于控制的测量值如何被腐蚀。虚荣度量(vanity metric)看起来令人印象深刻,却对工作的健康状况什么也没说。AI 所改变的,是产出可以被生成的速度和规模,以及随之而来的这些老毛病可能发生的速度和规模。曾经靠手工夸大计数的团队,现在可以在几分钟内完成,而且往往并非有意。

几种模式在服务和交付工作中反复出现。

  • 数量膨胀。 AI 起草更多的工单、更多的回复、更多的评论、更多的测试用例、更多的文档和更多的代码。这些的计数上升。必须阅读、评审和维护它们的人的工作负荷也上升。
  • 速度膨胀。 到达初稿的时间急剧下降,而到达已完成、已检查结果的时间下降较少,或根本没有下降。报告前者的仪表盘讲述一个奉承的故事。
  • 噪声。 更多的内容争夺注意力。信息过载(information overload)是一个人无法处理所呈现的信息量的状况,知识库、工单队列或告警流的信噪比(signal-to-noise ratio)随之下降。告警疲劳(alert fatigue)是其运营上的形式(见主题 5.5,监控与告警质量度量)。
  • 低质量的生成内容。 在很少评审的情况下批量产生的内容,有时称为 AI 垃圾(AI slop),看似合理却单薄。灌满这类文章的知识库变得更不值得信赖,用户学会不信任它。
  • 验证成本。 检查一项声称的工作量,往往远大于作出它的工作量,这种模式有时称为布兰多利尼定律(Brandolini's law)。当生成廉价时,验证就成为瓶颈。
  • 导致消耗增加的效率。 杰文斯悖论(Jevons paradox)描述了效率的提升导致对某种资源更多而不是更少的使用的情形。如果起草一份报告变得廉价,就会有更多的报告被要求。工具所节省的时间,可能被更多价值更低的工作所消耗。
  • 反馈闭环。 如果生成的内容为下一轮生成提供输入,错误就会叠加。研究文献描述了在以自身输出训练的模型中出现的模型崩溃(model collapse)。当助手总结由助手根据另一个助手总结的文章写成的工单时,组织内部也可能出现类似的闭环。
  • 漂移的基线。 如果数据的分布因 AI 而改变,趋势和阈值就不再有原来的含义。这类似于机器学习中的概念漂移(concept drift),即输入与结果之间的关系随时间变化。工单量的上升,可能反映创建工单变得更容易,而不是问题更多。

敏捷的目标在这里很重要。持续交付、持续改进和可持续的节奏,都取决于信号是清晰的。不应要求有积极性的人涉水穿过机器生成的噪声,或以不可持续的节奏验证成堆的输出。持续参与的干系人也是最好的防御:当报告不再有帮助时,他们会告诉你。

本主题给出注意到膨胀和稀释的测量值,以及揭露它们的配对。它建立在基础和辅助工作的测量值之上(见主题 10.1,服务管理中的 AI 度量,以及主题 10.2,度量 AI 辅助的工作)。

关键原则

  • 把每项数量或速度测量值与有用性检查配对。 由人判断输出是否有用。
  • 度量到经验证的结果。 初稿的速度是个陷阱。
  • 观察验证负担。 它悄悄增长并消耗节省的时间。
  • 保护信号。 使知识库、队列和告警保持足够干净,以便信任。
  • 打破反馈闭环。 不要让生成的内容在没有评审的情况下为生成提供输入。
  • 当数据改变时重新建立基线。 跨越技术转变的趋势需要小心。
  • 倾向于更少、更好的产出。 当注意力是限制性资源时,少即是多。

度量定义

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏
产出与成果之比 产出的数量相对于它本意要产生的成果 同期的产出计数(工单、文章、变更)/ 成果测量值(已解决的问题、被使用的文章、留存的变更),作为趋势跟踪 比率 工作跟踪器、知识库、成果测量值 持续改进;度量与报告 可工作的软件高于文档的数量 每月
有用项占比 被合格的评审者判断为有用的抽样项占比 判断为有用(正确、相关、不重复)的抽样项 / 被抽样的项 百分比 随机抽样评审 知识管理;质量保证 内容的完成定义 每月
验证负担 每单位产出,人花在检查和更正生成工作上的时间 评审和更正的小时数 / 产出单位,作为趋势跟踪 每单位小时数 时间估计、评审工具数据 服务财务管理;持续改进 作为约束的评审容量 每月
内容冗余率 与另一项重复或实质重叠的知识项占比 在评审中或通过匹配被标为重复或重叠的项 / 知识库中的项 百分比 知识库评审、匹配报告 知识管理 单一事实来源 每季度
生成的知识中经评审的占比 在发布之前由合格的人评审并批准的 AI 生成知识项占比 附经批准的评审而发布的生成项 / 发布的生成项 百分比 知识库元数据 知识管理;变更赋能 发布之前的评审 每月
待办事项到达与解决 对受 AI 影响的队列,到达的工作的增长相对于已解决工作的增长 (已创建项的变化) / (已解决项的变化),与 AI 之前的基线相比较 比率 工单和跟踪器历史 事件管理;服务请求管理 流动的平衡 每月
度量漂移标记 在引入 AI 之后,其定义或分布发生明显偏移、并经评审和注释的测量值数量 评审中被标记的测量值 / 登记册中的测量值 计数;百分比 度量登记册评审、分布检查 度量与报告 对度量的回顾 每季度

在书面评分标准中定义“有用”:正确、与真实需要相关、不重复、最新。验证负担统计人所花的时间,包括再次提示的时间,并排除仅仅是等待的时间。经评审的占比是一项控制措施:未经评审的生成知识被单独跟踪,并保持明显的标注。度量漂移标记是讨论,而不是惩罚:标记意味着有人已经决定是调整定义、注释趋势,还是重新建立基线。所有测量值描述的都是流程和内容,而不是个人。

建议

把数量与有用性配对

1. 把有用性检查构建到每项数量测量值中。 对仪表盘上的每项数量或速度测量值,指明一项由人判断的有用性测量值。创建的工单与解决质量配对,写成的文章与文章的使用和准确度配对,合并的变更与留存和返工配对(见主题 10.2,度量 AI 辅助的工作)。把它们一起展示,并在它们背离时讨论。

2. 定期抽样并判断。 每月从 AI 所触及的流中抽取一个随机的项样本,让合格的人对照书面标准加以判断。记录有用的占比以及各项失败的原因。轮换评审者,并使其独立于产出者。抽样是对缓慢稀释的主要防御。

3. 先报告成果,后报告产出。 在给领导层的报告中,以成果打头:已解决的问题、满意的用户、避免的缺陷。把产出计数放在后面,作为背景。如果去掉产出计数,报告仍然有价值,那么它的方向就是对的。

控制验证和噪声

4. 度量验证负担。 估算检查和更正生成工作所花的时间,并按每单位产出作为趋势来跟踪。如果它随产出一起上升,净收益就小于生成数字所显示的,评审者也可能正走向过载。把这一负担纳入每项任务的成本(见主题 10.1,服务管理中的 AI 度量)。

5. 限制进入系统的东西。 决定哪些生成的内容可以被自动创建和发布,哪些需要评审。为一次评审中生成变更的规模和数量设定限制。使对数量说不变得容易。更小、条目更清晰的队列,更好地服务用户。

6. 把知识库当作产品来管理。 标注生成的内容,要求在发布前评审,淘汰重复项和陈旧项,并跟踪冗余和使用。知识库的有用程度,与用户信任它的程度成正比。移除没人使用、也没人能担保的文章(见主题 3.6,知识管理度量)。

7. 使告警和工单流保持干净。 如果 AI 根据告警或摘要创建工单,就度量有用的占比和重复项。大力调整。把下降的信噪比视为本身的一次事件,因为当真正的麻烦到来时,它会损害响应。

打破闭环并观察基线

8. 阻止生成的内容在未经检查的情况下为自身提供输入。 凡助手依据知识库、工单历史或过往报告之处,确保这些来源中的生成材料已被评审,或被标注并相应加权。对链条抽样:挑选一个回答,通过其来源追溯它,看它来自哪里。未经检查的闭环放大错误。

9. 当数据偏移时重新建立基线。 在引入 AI 之后,注释趋势图,并在数据的性质已经改变之处,开始新的基线。检查分布,而不仅仅是总数:工单长度、类别组合和创建所需的时间都可能偏移。度量漂移标记促使这些交谈(见主题 1.6,服务度量的统计素养)。

10. 寻找反弹。 当一项任务变得更便宜时,问对它的需求是否会增长。事先决定如何使用节省的时间,使它不被更多低价值的产出所吸收。用同样的工作量产出两倍报告的团队,做的有用工作可能更少。

让人的注意力留在回路中

11. 保护评审者和用户的注意力。 评审容量和注意力是稀缺的。减少人们必须阅读的材料量,给评审者现实的负荷,并问他们什么在变得更困难。可持续的节奏包括阅读和判断的节奏(见主题 9.2,满意度与福祉度量)。

12. 问用户和干系人信号是否清晰。 让使用产出的人持续参与,是最好的检验。问知识库是更容易还是更难使用、报告是否告诉他们所需要的、队列是否感觉更清晰。他们的答案及评论,应当与数字一起阅读。

钻空子途径与护栏

度量 如何被钻空子 配对的护栏度量或实践
产出与成果之比 选择随数量上升的成果测量值;更改期间 成果在登记册中固定;与满意度和重开率相比较
有用项占比 抽样容易的项;宽松的标准;评审者受产出者影响 随机抽样;书面评分标准;独立、轮换的评审者
验证负担 不记录评审时间;把检查转移给下游团队 包括下游的返工;询问评审者的负荷
内容冗余率 漏掉重复项的狭窄匹配规则;合并不同的项 手工抽样重复项;记录合并规则
生成的知识中经评审的占比 在没有阅读的情况下标为评审完成;批量评审 抽样检查评审的实质;每次评审的时间;已发布项中的错误率
待办事项到达与解决 自动关闭项;拆分项 检查解决质量;重开率;抽样已关闭的项
度量漂移标记 为避免工作而不标记;标记一切 每季度评审所有测量值;要求对每个标记作出决定

健康的读数是:随着数量增长而稳定或上升的有用项占比、已知且负担得起的验证负担、冗余度低且生成内容经过评审的知识库、信号清晰的队列,以及以成果打头的领导层视图。

权衡:利与弊

方法 优势 劣势
统计产出 容易、熟悉 膨胀;奖励数量
度量成果 反映价值 较慢;更难归因
抽样并判断 检测稀释 需要有技能的评审者;工作量
自动质量评分 可扩展 是另一个模型的意见;可能有同样的盲区
评审所有生成的东西 安全 消除收益;评审者过载
评审样本 实用 一些糟糕的项会通过
允许开放式生成 快速、广泛 噪声;信任受到侵蚀
把生成限于获批的用途 信号更干净 采纳较慢;错过收益

答案是度量成果,与人一起抽样并判断有用性,限制未经评审就进入共享存储的东西,并重新审视基线。把自动评分用作辅助,而不是裁判。

与团队讨论的问题

1. 自从我们开始使用 AI 以来,我们的哪些数字上升了?它为我们所服务的人做了什么? 列出这些数字。对每一个,查看它本意要反映的成果。引导者应当记下成果没有动的地方。把这些数字与有用性检查配对。

2. 上个月我们发布或创建的东西,有多少我们乐意逐行为之辩护? 取一个随机样本并一起阅读。标出有用的、单薄的、错误的或重复的。讨论比率和原因。商定对进入共享存储的东西的标准。

3. 检查在哪里正成为我们的瓶颈? 问评审者。查看评审的队列、评审的深度,以及他们现在承担的工作量。商定每次评审中生成项的规模或数量的限制,以及度量这一负担的办法。

4. 这里有什么生成的内容正在为其他生成的内容提供输入? 把一个典型的回答追溯到其来源。链条从哪里开始?讨论在哪里应该由人检查链条,或标注内容。

5. 与一年前相比,用户现在会怎么评价我们的知识库? 阅读近期的评论并查看使用数据。问找到可信的答案是更容易还是更难。商定一次清理和一条针对新内容的规则。

6. 我们的哪些趋势应当以新的基线重新开始? 列出依赖数量或依赖项的创建方式的测量值。寻找自 AI 到来以来形态的变化。注释趋势,并决定哪些需要新的基线。

四种视角

产品与交付团队

交付团队产生大部分数量,并承担维护。他们应当倾向于更小、更清晰的变更,使生成的材料经过评审并被标注,并观察留存和返工。他们应当拒绝基于生成数量的测量值,并索要成果测量值。

服务与运维团队

运维团队生活在被稀释所损害的队列、告警和知识库之中。他们应当调整由 AI 创建的工单和告警以保持信号强劲,在生成的知识被发布之前评审它,并在流变成噪声时报告。他们最适合判断有用性。

领导层与治理

领导者收到被膨胀所扭曲的仪表盘。他们应当先索要成果,要求在数量旁边附有用性检查,为评审容量出资,并接受有些测量值需要重新建立基线。治理应当检查共享存储中生成的内容经过评审并被标注。

客户与用户

当回答有误、文章相互矛盾、回复冗长而空洞时,用户承担稀释的代价。他们想要简短、正确、相关的帮助。他们对所收到内容质量的反应,是信号是否幸存的直接检验。

实践:一个服务管理示例

一家全球制药公司的 IT 团队启用了一个 AI 助手,用于起草知识文章、总结工单和准备每周状态报告。一个季度之内,仪表盘看起来极好。下面的数字均为示意。

每月创建的知识文章从 140 篇上升到 610 篇。工单带有详细的 AI 撰写的摘要。每周报告长达十二页。服务质量经理注意到,对自助服务的满意度下降了,服务台报告说“文章没有帮助”的联系更多了。她与两位有经验的坐席一起,对 100 篇新文章抽样。只有 54 篇被判断为有用:23 篇与现有文章重复,15 篇包含过时或不正确的步骤,8 篇过于含糊而无法据此行动。在新文章中,71% 是在没有人工评审的情况下发布的。知识库现有约 3,200 篇文章,她估计内容冗余率为 28%,一年前为 9%。坐席报告说,找到可信的答案需要更长时间。服务台文章编辑者的验证负担已增长到大约每周 40 小时,高于 12 小时。AI 撰写的工单摘要使后来由 AI 生成的回复依赖于没有人写过的文本,而在通过其来源追溯五条回复时,有两条依赖了一份误述了问题的摘要。每周状态报告在被阅读时,所说的几乎没有一条是上一份中没有的,干系人已不再阅读第二页之后的内容。

她提出四项变更,服务领导团队和知识负责人予以采纳。生成的文章在发布之前需要由指名的编辑评审,并在被批准之前被标注。每个主题群只允许一篇生成的文章,以防止重复,并通过一次清扫来合并或淘汰冗余项。报告模板被削减到两页,以成果打头,AI 只用来起草随后由人编辑的部分。工单摘要被标注为生成的,并每月抽样检查。仪表盘在文章数量旁边报告有用项占比、冗余率、经评审的占比和验证负担。

两个季度后,每月创建的文章降至 190 篇,有用项占比升至 91%,冗余率降至 11%,经评审的占比为 100%,验证负担稳定在每周约 16 小时。自助服务满意度恢复,“文章没有帮助”的联系下降。干系人阅读了两页的报告。一位主管要求设定每月 1,000 篇文章的目标,以展示 AI 计划的价值。服务质量经理解释说,问题就在于计数,并提议跟踪有用性和使用。该决定被记录下来。

敏捷、AI、自动化与分析

敏捷

定期评审每个计数是否仍然反映有用性,有助于团队及早注意到膨胀,而干系人可以告诉你他们实际使用什么。需要注意的是,在注意到膨胀之后收紧某个计数,会重新开启这一循环。

AI

AI 使数量和速度变得廉价,所以每个关于数量或速度的计数都会膨胀。把每一个与由人判断为有用的项占比和验证负担配对,并检查冗余的内容。需要注意的是,用 AI 来检查 AI 的输出,可能有同样的盲区,所以要保持人工抽样。

自动化

自动检测重复项、近似重复项和陈旧内容,并就误报来度量检测。需要注意的是,自动清理可能移除罕见但重要的项。

分析

连同样本量报告产出与成果之比和有用项占比。这为之提供依据的决定是停止报告哪些计数。需要注意的是,该比率取决于成果如何被定义,所以要说明。

行业视角

初创公司。 生成很廉价,评审时间很稀缺。保持文档和工单简短,评审客户将阅读的东西,并自由地删除。少而正确的一组文章,胜过多而可疑的一组。

小型企业。 评审的容量很小,所以要限制工具的产出。倾向于少数几份经验证的指南和模板。当心在没有检查的情况下把生成的材料发布到公开页面。

大型企业。 规模放大噪声。建立带负责人、标签和评审规则的内容治理,在整个知识库中度量有用性,并运行定期清理。在团队之间共享评分标准,比较趋势,而不是比较团队。

政府与公共部门。 公共内容必须准确且无障碍,错误可能造成伤害。要求评审生成的公共信息,保存其如何产生的记录,并应用通俗语言和无障碍标准。保留和记录规则可能适用于生成的材料(见主题 8.5,受监管与政府报告)。

业务论证:动因、投资回报与总拥有成本

防范膨胀的成本不高:抽样的评审时间、对生成内容的编辑工作量、重复检测的工具,以及重新建立趋势基线的工作量。不这样做的成本更大,却分散:不再信任自助服务的用户、倦怠的评审者、基于膨胀数字作出的决定,以及清理项目。

依据你自己的数据构建论证:随时间变化的有用项占比和验证负担、由无益内容引起的联系量,以及知识库清理的成本。避免使用关于生成内容质量的已发布数字,它们因工具、任务和方法而差异很大。纳入因发布错误信息而避免的声誉损害成本(见主题 7.7,投资回报与业务论证)。

反模式与陷阱

  • 庆祝数量。 它奖励噪声。庆祝成果和有用性。
  • 把初稿的速度当作生产力的故事。 节省可能在检查中消失。度量到经验证的结果的时间。
  • 不经评审就发布生成的内容。 信任悄悄被侵蚀。评审并标注。
  • 让生成的内容为生成提供输入。 错误会叠加。检查链条。
  • 基线不变。 技术转变之后趋势会误导。注释并重新建立基线。
  • 使评审者过载。 评审变成橡皮图章。限制数量并度量负担。
  • 用 AI 评判一切。 它可能与产出者有同样的盲区。让人留在回路中。
  • 忽略反弹。 更便宜的工作招来更多的工作。决定节省的时间是做什么用的。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
配对与抽样 只报告数量 对质量的非正式印象 每项数量测量值都与抽样的有用性检查配对 管理有用性、负担和冗余,针对评审而不是数量设定目标 跨组织的信号质量视图;与合作伙伴共享评分标准
内容与闭环 生成的内容混杂其中 一些标注 生成的内容在发布之前被标注和评审;对链条抽样 监控闭环;整理存储;按计划淘汰重复项 跨工具和供应商端到端地跟踪来源
基线与注意力 在转变前后读取趋势 一些图表上有注释 在数据变化之处重置基线;考虑反弹 每季度评审漂移标记;管理评审者的负荷 度量设计与干系人一起持续适应技术变化

检查清单

  • 每项数量或速度测量值都有由人判断的有用性伙伴。
  • 每月对照书面评分标准评审 AI 所触及项的随机样本。
  • 估算验证负担并按趋势跟踪。
  • 生成的知识在发布之前被标注和评审。
  • 度量并减少知识库中的冗余。
  • 监控告警和工单流的有用占比和重复项。
  • 对从生成的输出回溯到其来源的链条抽样。
  • 对引入 AI 前后的趋势加以注释或重新建立基线。
  • 领导层报告以成果打头。
  • 询问用户和干系人信号是更清晰还是更嘈杂。

AI 提示词

创建有用性评分标准。

请起草一份简短的评分标准(不超过六条标准),用于判断 [组织类型] 中的 [知识文章、工单摘要、状态报告] 是否有用。包括正确性、与真实需要的相关性、重复、时效和清晰度,附三级评分以及每一级的例子。不要虚构统计数字。请列出你的假设,以及如何保持评审者的一致性。

分析信号的下降。

自从为 [任务] 引入 AI 以来,这些数字发生了变化:[粘贴数量、解决、满意度、重开率、评审者小时数]。请描述这种模式对膨胀或稀释说明了什么、哪些变化可能是由于创建变得更容易、接下来要抽样什么,以及哪些测量值可能需要新的基线。不要假定数据无法支持的原因。请列出你的假设。

规划知识库清理。

我们的知识库有 [数量] 篇文章,其中 [数量] 篇是在最近 [期间] 生成的。请提出清理计划:如何检测重复项和陈旧项、如何按使用情况排定优先级、如何评审生成的文章、防止再发的规则,以及要跟踪的测量值。不要假定特定的工具。请列出你的假设和风险。

追溯生成内容的链条。

这是一个 AI 生成的回答及其所依据的来源:[粘贴]。请把每项声称追溯到其来源,并标出来源是人写的、经评审的生成内容,还是未经评审的生成内容。找出错误可能从哪里进入,并建议一项检查。不要假定文本之外的事实。请列出你的假设。

AI 技能

要点

  • 当 AI 使产出变得廉价时,数量和速度的测量值会膨胀,有用的占比可能下降。
  • 把每项数量或速度测量值与抽样的、由人判断的有用性检查配对。
  • 度量到经验证的结果的时间和验证负担,因为检查成为瓶颈。
  • 在生成的内容进入共享存储之前加以标注和评审,并防止闭环在未经检查的情况下为自身提供输入。
  • 在技术转变之后重新建立趋势基线,并让报告以成果打头。
  • 事先决定节省的时间是做什么用的,并保护评审者和用户的注意力。

参考文献与延伸阅读

  1. Shumailov, I., Shumaylov, Z., Zhao, Y., Papernot, N., Anderson, R., and Gal, Y., "AI models collapse when trained on recursively generated data," Nature, 631, 2024.
  2. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  3. Campbell, D. T., "Assessing the impact of planned social change," Evaluation and Program Planning, 2(1), 1979.
  4. Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
  5. Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
  6. National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
  7. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  8. Wikipedia, Goodhart's law.
  9. Wikipedia, Campbell's law.
  10. Wikipedia, Vanity metric.
  11. Wikipedia, Information overload.
  12. Wikipedia, Signal-to-noise ratio.
  13. Wikipedia, Alert fatigue.
  14. Wikipedia, AI slop.
  15. Wikipedia, Brandolini's law.
  16. Wikipedia, Jevons paradox.
  17. Wikipedia, Model collapse.
  18. Wikipedia, Concept drift.