度量膨胀与质量稀释
当 AI 使数量和速度变得廉价时,每项统计数量和速度的测量值都会膨胀,所以要把每一项与一项由人检查过的有用性测量值配对,并观察你数据中的信号是否正被淹没。
概述与动因
测量值之所以起作用,是因为它反映某种难以产生的东西。已解决的工单反映努力。写成的文档反映知识。添加的测试反映细心。当工具使可见的产出几乎免费时,产出与努力之间的联系就断裂了。数字持续上升,意义却被抽空。这就是度量膨胀,它的伙伴是质量稀释:所产生之物中有用的占比下降,而有用的部分变得更难找到。
这不是一个新问题。古德哈特定律及其近亲坎贝尔定律(Campbell's law)描述了用于控制的测量值如何被腐蚀。虚荣度量(vanity metric)看起来令人印象深刻,却对工作的健康状况什么也没说。AI 所改变的,是产出可以被生成的速度和规模,以及随之而来的这些老毛病可能发生的速度和规模。曾经靠手工夸大计数的团队,现在可以在几分钟内完成,而且往往并非有意。
几种模式在服务和交付工作中反复出现。
- 数量膨胀。 AI 起草更多的工单、更多的回复、更多的评论、更多的测试用例、更多的文档和更多的代码。这些的计数上升。必须阅读、评审和维护它们的人的工作负荷也上升。
- 速度膨胀。 到达初稿的时间急剧下降,而到达已完成、已检查结果的时间下降较少,或根本没有下降。报告前者的仪表盘讲述一个奉承的故事。
- 噪声。 更多的内容争夺注意力。信息过载(information overload)是一个人无法处理所呈现的信息量的状况,知识库、工单队列或告警流的信噪比(signal-to-noise ratio)随之下降。告警疲劳(alert fatigue)是其运营上的形式(见主题 5.5,监控与告警质量度量)。
- 低质量的生成内容。 在很少评审的情况下批量产生的内容,有时称为 AI 垃圾(AI slop),看似合理却单薄。灌满这类文章的知识库变得更不值得信赖,用户学会不信任它。
- 验证成本。 检查一项声称的工作量,往往远大于作出它的工作量,这种模式有时称为布兰多利尼定律(Brandolini's law)。当生成廉价时,验证就成为瓶颈。
- 导致消耗增加的效率。 杰文斯悖论(Jevons paradox)描述了效率的提升导致对某种资源更多而不是更少的使用的情形。如果起草一份报告变得廉价,就会有更多的报告被要求。工具所节省的时间,可能被更多价值更低的工作所消耗。
- 反馈闭环。 如果生成的内容为下一轮生成提供输入,错误就会叠加。研究文献描述了在以自身输出训练的模型中出现的模型崩溃(model collapse)。当助手总结由助手根据另一个助手总结的文章写成的工单时,组织内部也可能出现类似的闭环。
- 漂移的基线。 如果数据的分布因 AI 而改变,趋势和阈值就不再有原来的含义。这类似于机器学习中的概念漂移(concept drift),即输入与结果之间的关系随时间变化。工单量的上升,可能反映创建工单变得更容易,而不是问题更多。
敏捷的目标在这里很重要。持续交付、持续改进和可持续的节奏,都取决于信号是清晰的。不应要求有积极性的人涉水穿过机器生成的噪声,或以不可持续的节奏验证成堆的输出。持续参与的干系人也是最好的防御:当报告不再有帮助时,他们会告诉你。
本主题给出注意到膨胀和稀释的测量值,以及揭露它们的配对。它建立在基础和辅助工作的测量值之上(见主题 10.1,服务管理中的 AI 度量,以及主题 10.2,度量 AI 辅助的工作)。
关键原则
- 把每项数量或速度测量值与有用性检查配对。 由人判断输出是否有用。
- 度量到经验证的结果。 初稿的速度是个陷阱。
- 观察验证负担。 它悄悄增长并消耗节省的时间。
- 保护信号。 使知识库、队列和告警保持足够干净,以便信任。
- 打破反馈闭环。 不要让生成的内容在没有评审的情况下为生成提供输入。
- 当数据改变时重新建立基线。 跨越技术转变的趋势需要小心。
- 倾向于更少、更好的产出。 当注意力是限制性资源时,少即是多。
度量定义
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| 产出与成果之比 | 产出的数量相对于它本意要产生的成果 | 同期的产出计数(工单、文章、变更)/ 成果测量值(已解决的问题、被使用的文章、留存的变更),作为趋势跟踪 | 比率 | 工作跟踪器、知识库、成果测量值 | 持续改进;度量与报告 | 可工作的软件高于文档的数量 | 每月 |
| 有用项占比 | 被合格的评审者判断为有用的抽样项占比 | 判断为有用(正确、相关、不重复)的抽样项 / 被抽样的项 | 百分比 | 随机抽样评审 | 知识管理;质量保证 | 内容的完成定义 | 每月 |
| 验证负担 | 每单位产出,人花在检查和更正生成工作上的时间 | 评审和更正的小时数 / 产出单位,作为趋势跟踪 | 每单位小时数 | 时间估计、评审工具数据 | 服务财务管理;持续改进 | 作为约束的评审容量 | 每月 |
| 内容冗余率 | 与另一项重复或实质重叠的知识项占比 | 在评审中或通过匹配被标为重复或重叠的项 / 知识库中的项 | 百分比 | 知识库评审、匹配报告 | 知识管理 | 单一事实来源 | 每季度 |
| 生成的知识中经评审的占比 | 在发布之前由合格的人评审并批准的 AI 生成知识项占比 | 附经批准的评审而发布的生成项 / 发布的生成项 | 百分比 | 知识库元数据 | 知识管理;变更赋能 | 发布之前的评审 | 每月 |
| 待办事项到达与解决 | 对受 AI 影响的队列,到达的工作的增长相对于已解决工作的增长 | (已创建项的变化) / (已解决项的变化),与 AI 之前的基线相比较 | 比率 | 工单和跟踪器历史 | 事件管理;服务请求管理 | 流动的平衡 | 每月 |
| 度量漂移标记 | 在引入 AI 之后,其定义或分布发生明显偏移、并经评审和注释的测量值数量 | 评审中被标记的测量值 / 登记册中的测量值 | 计数;百分比 | 度量登记册评审、分布检查 | 度量与报告 | 对度量的回顾 | 每季度 |
在书面评分标准中定义“有用”:正确、与真实需要相关、不重复、最新。验证负担统计人所花的时间,包括再次提示的时间,并排除仅仅是等待的时间。经评审的占比是一项控制措施:未经评审的生成知识被单独跟踪,并保持明显的标注。度量漂移标记是讨论,而不是惩罚:标记意味着有人已经决定是调整定义、注释趋势,还是重新建立基线。所有测量值描述的都是流程和内容,而不是个人。
建议
把数量与有用性配对
1. 把有用性检查构建到每项数量测量值中。 对仪表盘上的每项数量或速度测量值,指明一项由人判断的有用性测量值。创建的工单与解决质量配对,写成的文章与文章的使用和准确度配对,合并的变更与留存和返工配对(见主题 10.2,度量 AI 辅助的工作)。把它们一起展示,并在它们背离时讨论。
2. 定期抽样并判断。 每月从 AI 所触及的流中抽取一个随机的项样本,让合格的人对照书面标准加以判断。记录有用的占比以及各项失败的原因。轮换评审者,并使其独立于产出者。抽样是对缓慢稀释的主要防御。
3. 先报告成果,后报告产出。 在给领导层的报告中,以成果打头:已解决的问题、满意的用户、避免的缺陷。把产出计数放在后面,作为背景。如果去掉产出计数,报告仍然有价值,那么它的方向就是对的。
控制验证和噪声
4. 度量验证负担。 估算检查和更正生成工作所花的时间,并按每单位产出作为趋势来跟踪。如果它随产出一起上升,净收益就小于生成数字所显示的,评审者也可能正走向过载。把这一负担纳入每项任务的成本(见主题 10.1,服务管理中的 AI 度量)。
5. 限制进入系统的东西。 决定哪些生成的内容可以被自动创建和发布,哪些需要评审。为一次评审中生成变更的规模和数量设定限制。使对数量说不变得容易。更小、条目更清晰的队列,更好地服务用户。
6. 把知识库当作产品来管理。 标注生成的内容,要求在发布前评审,淘汰重复项和陈旧项,并跟踪冗余和使用。知识库的有用程度,与用户信任它的程度成正比。移除没人使用、也没人能担保的文章(见主题 3.6,知识管理度量)。
7. 使告警和工单流保持干净。 如果 AI 根据告警或摘要创建工单,就度量有用的占比和重复项。大力调整。把下降的信噪比视为本身的一次事件,因为当真正的麻烦到来时,它会损害响应。
打破闭环并观察基线
8. 阻止生成的内容在未经检查的情况下为自身提供输入。 凡助手依据知识库、工单历史或过往报告之处,确保这些来源中的生成材料已被评审,或被标注并相应加权。对链条抽样:挑选一个回答,通过其来源追溯它,看它来自哪里。未经检查的闭环放大错误。
9. 当数据偏移时重新建立基线。 在引入 AI 之后,注释趋势图,并在数据的性质已经改变之处,开始新的基线。检查分布,而不仅仅是总数:工单长度、类别组合和创建所需的时间都可能偏移。度量漂移标记促使这些交谈(见主题 1.6,服务度量的统计素养)。
10. 寻找反弹。 当一项任务变得更便宜时,问对它的需求是否会增长。事先决定如何使用节省的时间,使它不被更多低价值的产出所吸收。用同样的工作量产出两倍报告的团队,做的有用工作可能更少。
让人的注意力留在回路中
11. 保护评审者和用户的注意力。 评审容量和注意力是稀缺的。减少人们必须阅读的材料量,给评审者现实的负荷,并问他们什么在变得更困难。可持续的节奏包括阅读和判断的节奏(见主题 9.2,满意度与福祉度量)。
12. 问用户和干系人信号是否清晰。 让使用产出的人持续参与,是最好的检验。问知识库是更容易还是更难使用、报告是否告诉他们所需要的、队列是否感觉更清晰。他们的答案及评论,应当与数字一起阅读。
钻空子途径与护栏
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| 产出与成果之比 | 选择随数量上升的成果测量值;更改期间 | 成果在登记册中固定;与满意度和重开率相比较 |
| 有用项占比 | 抽样容易的项;宽松的标准;评审者受产出者影响 | 随机抽样;书面评分标准;独立、轮换的评审者 |
| 验证负担 | 不记录评审时间;把检查转移给下游团队 | 包括下游的返工;询问评审者的负荷 |
| 内容冗余率 | 漏掉重复项的狭窄匹配规则;合并不同的项 | 手工抽样重复项;记录合并规则 |
| 生成的知识中经评审的占比 | 在没有阅读的情况下标为评审完成;批量评审 | 抽样检查评审的实质;每次评审的时间;已发布项中的错误率 |
| 待办事项到达与解决 | 自动关闭项;拆分项 | 检查解决质量;重开率;抽样已关闭的项 |
| 度量漂移标记 | 为避免工作而不标记;标记一切 | 每季度评审所有测量值;要求对每个标记作出决定 |
健康的读数是:随着数量增长而稳定或上升的有用项占比、已知且负担得起的验证负担、冗余度低且生成内容经过评审的知识库、信号清晰的队列,以及以成果打头的领导层视图。
权衡:利与弊
| 方法 | 优势 | 劣势 |
|---|---|---|
| 统计产出 | 容易、熟悉 | 膨胀;奖励数量 |
| 度量成果 | 反映价值 | 较慢;更难归因 |
| 抽样并判断 | 检测稀释 | 需要有技能的评审者;工作量 |
| 自动质量评分 | 可扩展 | 是另一个模型的意见;可能有同样的盲区 |
| 评审所有生成的东西 | 安全 | 消除收益;评审者过载 |
| 评审样本 | 实用 | 一些糟糕的项会通过 |
| 允许开放式生成 | 快速、广泛 | 噪声;信任受到侵蚀 |
| 把生成限于获批的用途 | 信号更干净 | 采纳较慢;错过收益 |
答案是度量成果,与人一起抽样并判断有用性,限制未经评审就进入共享存储的东西,并重新审视基线。把自动评分用作辅助,而不是裁判。
与团队讨论的问题
1. 自从我们开始使用 AI 以来,我们的哪些数字上升了?它为我们所服务的人做了什么? 列出这些数字。对每一个,查看它本意要反映的成果。引导者应当记下成果没有动的地方。把这些数字与有用性检查配对。
2. 上个月我们发布或创建的东西,有多少我们乐意逐行为之辩护? 取一个随机样本并一起阅读。标出有用的、单薄的、错误的或重复的。讨论比率和原因。商定对进入共享存储的东西的标准。
3. 检查在哪里正成为我们的瓶颈? 问评审者。查看评审的队列、评审的深度,以及他们现在承担的工作量。商定每次评审中生成项的规模或数量的限制,以及度量这一负担的办法。
4. 这里有什么生成的内容正在为其他生成的内容提供输入? 把一个典型的回答追溯到其来源。链条从哪里开始?讨论在哪里应该由人检查链条,或标注内容。
5. 与一年前相比,用户现在会怎么评价我们的知识库? 阅读近期的评论并查看使用数据。问找到可信的答案是更容易还是更难。商定一次清理和一条针对新内容的规则。
6. 我们的哪些趋势应当以新的基线重新开始? 列出依赖数量或依赖项的创建方式的测量值。寻找自 AI 到来以来形态的变化。注释趋势,并决定哪些需要新的基线。
四种视角
产品与交付团队
交付团队产生大部分数量,并承担维护。他们应当倾向于更小、更清晰的变更,使生成的材料经过评审并被标注,并观察留存和返工。他们应当拒绝基于生成数量的测量值,并索要成果测量值。
服务与运维团队
运维团队生活在被稀释所损害的队列、告警和知识库之中。他们应当调整由 AI 创建的工单和告警以保持信号强劲,在生成的知识被发布之前评审它,并在流变成噪声时报告。他们最适合判断有用性。
领导层与治理
领导者收到被膨胀所扭曲的仪表盘。他们应当先索要成果,要求在数量旁边附有用性检查,为评审容量出资,并接受有些测量值需要重新建立基线。治理应当检查共享存储中生成的内容经过评审并被标注。
客户与用户
当回答有误、文章相互矛盾、回复冗长而空洞时,用户承担稀释的代价。他们想要简短、正确、相关的帮助。他们对所收到内容质量的反应,是信号是否幸存的直接检验。
实践:一个服务管理示例
一家全球制药公司的 IT 团队启用了一个 AI 助手,用于起草知识文章、总结工单和准备每周状态报告。一个季度之内,仪表盘看起来极好。下面的数字均为示意。
每月创建的知识文章从 140 篇上升到 610 篇。工单带有详细的 AI 撰写的摘要。每周报告长达十二页。服务质量经理注意到,对自助服务的满意度下降了,服务台报告说“文章没有帮助”的联系更多了。她与两位有经验的坐席一起,对 100 篇新文章抽样。只有 54 篇被判断为有用:23 篇与现有文章重复,15 篇包含过时或不正确的步骤,8 篇过于含糊而无法据此行动。在新文章中,71% 是在没有人工评审的情况下发布的。知识库现有约 3,200 篇文章,她估计内容冗余率为 28%,一年前为 9%。坐席报告说,找到可信的答案需要更长时间。服务台文章编辑者的验证负担已增长到大约每周 40 小时,高于 12 小时。AI 撰写的工单摘要使后来由 AI 生成的回复依赖于没有人写过的文本,而在通过其来源追溯五条回复时,有两条依赖了一份误述了问题的摘要。每周状态报告在被阅读时,所说的几乎没有一条是上一份中没有的,干系人已不再阅读第二页之后的内容。
她提出四项变更,服务领导团队和知识负责人予以采纳。生成的文章在发布之前需要由指名的编辑评审,并在被批准之前被标注。每个主题群只允许一篇生成的文章,以防止重复,并通过一次清扫来合并或淘汰冗余项。报告模板被削减到两页,以成果打头,AI 只用来起草随后由人编辑的部分。工单摘要被标注为生成的,并每月抽样检查。仪表盘在文章数量旁边报告有用项占比、冗余率、经评审的占比和验证负担。
两个季度后,每月创建的文章降至 190 篇,有用项占比升至 91%,冗余率降至 11%,经评审的占比为 100%,验证负担稳定在每周约 16 小时。自助服务满意度恢复,“文章没有帮助”的联系下降。干系人阅读了两页的报告。一位主管要求设定每月 1,000 篇文章的目标,以展示 AI 计划的价值。服务质量经理解释说,问题就在于计数,并提议跟踪有用性和使用。该决定被记录下来。
敏捷、AI、自动化与分析
敏捷
定期评审每个计数是否仍然反映有用性,有助于团队及早注意到膨胀,而干系人可以告诉你他们实际使用什么。需要注意的是,在注意到膨胀之后收紧某个计数,会重新开启这一循环。
AI
AI 使数量和速度变得廉价,所以每个关于数量或速度的计数都会膨胀。把每一个与由人判断为有用的项占比和验证负担配对,并检查冗余的内容。需要注意的是,用 AI 来检查 AI 的输出,可能有同样的盲区,所以要保持人工抽样。
自动化
自动检测重复项、近似重复项和陈旧内容,并就误报来度量检测。需要注意的是,自动清理可能移除罕见但重要的项。
分析
连同样本量报告产出与成果之比和有用项占比。这为之提供依据的决定是停止报告哪些计数。需要注意的是,该比率取决于成果如何被定义,所以要说明。
行业视角
初创公司。 生成很廉价,评审时间很稀缺。保持文档和工单简短,评审客户将阅读的东西,并自由地删除。少而正确的一组文章,胜过多而可疑的一组。
小型企业。 评审的容量很小,所以要限制工具的产出。倾向于少数几份经验证的指南和模板。当心在没有检查的情况下把生成的材料发布到公开页面。
大型企业。 规模放大噪声。建立带负责人、标签和评审规则的内容治理,在整个知识库中度量有用性,并运行定期清理。在团队之间共享评分标准,比较趋势,而不是比较团队。
政府与公共部门。 公共内容必须准确且无障碍,错误可能造成伤害。要求评审生成的公共信息,保存其如何产生的记录,并应用通俗语言和无障碍标准。保留和记录规则可能适用于生成的材料(见主题 8.5,受监管与政府报告)。
业务论证:动因、投资回报与总拥有成本
防范膨胀的成本不高:抽样的评审时间、对生成内容的编辑工作量、重复检测的工具,以及重新建立趋势基线的工作量。不这样做的成本更大,却分散:不再信任自助服务的用户、倦怠的评审者、基于膨胀数字作出的决定,以及清理项目。
依据你自己的数据构建论证:随时间变化的有用项占比和验证负担、由无益内容引起的联系量,以及知识库清理的成本。避免使用关于生成内容质量的已发布数字,它们因工具、任务和方法而差异很大。纳入因发布错误信息而避免的声誉损害成本(见主题 7.7,投资回报与业务论证)。
反模式与陷阱
- 庆祝数量。 它奖励噪声。庆祝成果和有用性。
- 把初稿的速度当作生产力的故事。 节省可能在检查中消失。度量到经验证的结果的时间。
- 不经评审就发布生成的内容。 信任悄悄被侵蚀。评审并标注。
- 让生成的内容为生成提供输入。 错误会叠加。检查链条。
- 基线不变。 技术转变之后趋势会误导。注释并重新建立基线。
- 使评审者过载。 评审变成橡皮图章。限制数量并度量负担。
- 用 AI 评判一切。 它可能与产出者有同样的盲区。让人留在回路中。
- 忽略反弹。 更便宜的工作招来更多的工作。决定节省的时间是做什么用的。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 配对与抽样 | 只报告数量 | 对质量的非正式印象 | 每项数量测量值都与抽样的有用性检查配对 | 管理有用性、负担和冗余,针对评审而不是数量设定目标 | 跨组织的信号质量视图;与合作伙伴共享评分标准 |
| 内容与闭环 | 生成的内容混杂其中 | 一些标注 | 生成的内容在发布之前被标注和评审;对链条抽样 | 监控闭环;整理存储;按计划淘汰重复项 | 跨工具和供应商端到端地跟踪来源 |
| 基线与注意力 | 在转变前后读取趋势 | 一些图表上有注释 | 在数据变化之处重置基线;考虑反弹 | 每季度评审漂移标记;管理评审者的负荷 | 度量设计与干系人一起持续适应技术变化 |
检查清单
- 每项数量或速度测量值都有由人判断的有用性伙伴。
- 每月对照书面评分标准评审 AI 所触及项的随机样本。
- 估算验证负担并按趋势跟踪。
- 生成的知识在发布之前被标注和评审。
- 度量并减少知识库中的冗余。
- 监控告警和工单流的有用占比和重复项。
- 对从生成的输出回溯到其来源的链条抽样。
- 对引入 AI 前后的趋势加以注释或重新建立基线。
- 领导层报告以成果打头。
- 询问用户和干系人信号是更清晰还是更嘈杂。
AI 提示词
创建有用性评分标准。
请起草一份简短的评分标准(不超过六条标准),用于判断 [组织类型] 中的 [知识文章、工单摘要、状态报告] 是否有用。包括正确性、与真实需要的相关性、重复、时效和清晰度,附三级评分以及每一级的例子。不要虚构统计数字。请列出你的假设,以及如何保持评审者的一致性。
分析信号的下降。
自从为 [任务] 引入 AI 以来,这些数字发生了变化:[粘贴数量、解决、满意度、重开率、评审者小时数]。请描述这种模式对膨胀或稀释说明了什么、哪些变化可能是由于创建变得更容易、接下来要抽样什么,以及哪些测量值可能需要新的基线。不要假定数据无法支持的原因。请列出你的假设。
规划知识库清理。
我们的知识库有 [数量] 篇文章,其中 [数量] 篇是在最近 [期间] 生成的。请提出清理计划:如何检测重复项和陈旧项、如何按使用情况排定优先级、如何评审生成的文章、防止再发的规则,以及要跟踪的测量值。不要假定特定的工具。请列出你的假设和风险。
追溯生成内容的链条。
这是一个 AI 生成的回答及其所依据的来源:[粘贴]。请把每项声称追溯到其来源,并标出来源是人写的、经评审的生成内容,还是未经评审的生成内容。找出错误可能从哪里进入,并建议一项检查。不要假定文本之外的事实。请列出你的假设。
AI 技能
- Service Management Metrics skill:用于查找数量或速度度量的有用性伙伴。
- Service Management Metrics maintainer skill:用于检查受 AI 影响的度量是否把数量与抽样的有用性配对,并带有其钻空子途径和护栏。
要点
- 当 AI 使产出变得廉价时,数量和速度的测量值会膨胀,有用的占比可能下降。
- 把每项数量或速度测量值与抽样的、由人判断的有用性检查配对。
- 度量到经验证的结果的时间和验证负担,因为检查成为瓶颈。
- 在生成的内容进入共享存储之前加以标注和评审,并防止闭环在未经检查的情况下为自身提供输入。
- 在技术转变之后重新建立趋势基线,并让报告以成果打头。
- 事先决定节省的时间是做什么用的,并保护评审者和用户的注意力。
参考文献与延伸阅读
- Shumailov, I., Shumaylov, Z., Zhao, Y., Papernot, N., Anderson, R., and Gal, Y., "AI models collapse when trained on recursively generated data," Nature, 631, 2024.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Campbell, D. T., "Assessing the impact of planned social change," Evaluation and Program Planning, 2(1), 1979.
- Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
- Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
- National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Goodhart's law.
- Wikipedia, Campbell's law.
- Wikipedia, Vanity metric.
- Wikipedia, Information overload.
- Wikipedia, Signal-to-noise ratio.
- Wikipedia, Alert fatigue.
- Wikipedia, AI slop.
- Wikipedia, Brandolini's law.
- Wikipedia, Jevons paradox.
- Wikipedia, Model collapse.
- Wikipedia, Concept drift.