概述与动因

预测(forecasting)依据过去的数据和所述的假设,估计未来的数量。服务组织预测支持的需求、平台的容量、一项工作完成的日期、一项变更失败的可能性,以及一项服务明年的成本。预测模型,包括机器学习模型,把这扩展到给单个事项打分:哪张工单将违反目标、哪项变更有风险、哪个事件可能再次发生。

预测和预测模型以平常的方式失败。过去可能不像未来,因为服务、团队或工具已经改变。数据可能很少或有偏差。区间可能过窄,因为单一数字看起来比区间更有帮助。而且预测可能被当作承诺使用,于是人们努力使它成真,或隐藏与之矛盾的东西。

前面的主题给出了针对具体用途的预测:由吞吐量得出的交付日期(见主题 2.5,交付预测与规划度量)、由需求得出的容量(见主题 5.4,容量与性能度量),以及成本(见主题 7.5,服务成本与单位经济)。本主题给出度量任何预测或预测模型质量的通用方法,适用于所有这些预测。它还涵盖输出驱动某项行动的预测模型,其中错误预测的代价落在某人身上。

这里使用的术语。点预测(point forecast)是单一的预测值。预测区间(prediction interval)是以所述概率包含实际值的范围。校准(calibration)是所述概率与观察到的频率之间的一致:在说是 80% 的预测中,约有 80% 应当成真。预测误差(forecast error)是预测与实际之间的差。基线预测(baseline forecast)是简单的方法,比如“与上一期相同”,用于与更复杂的方法比较。假阳性(false positive)是对未发生的事件的预测,假阴性(false negative)是没有预测到发生的事件。漂移(drift)是数据中、或输入与结果之间关系的变化,它随着时间推移降低模型的准确度。

关键原则

  • 用区间预测并保存历史记录。 从不被检查的预测无法改进。
  • 与简单的基线比较。 不能胜过“与上一期相同”的复杂模型,没有对得起它的成本。
  • 校准与准确同样重要。 说是 90% 的预测,应当在十次中约有九次正确。
  • 使错误的代价与决定相匹配。 误报和漏报的代价并不相同。
  • 留意漂移。 当世界变化时,预测会衰减,所以要监控它们。
  • 预测不是承诺。 不要把它变成给人的目标。

度量定义

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏
预测区间覆盖 落在所述预测区间内的实际结果占比 区间内的结果 / 已评估的预测;已评估的预测是其结果已知的那些 百分比 预测日志和实际值 容量与性能管理;财务管理 依据吞吐量用区间预测 每季度
预测误差 预测与实际之间差异的典型大小 绝对误差的中位数及其第 85 百分位数,其中绝对误差 = (预测减去实际) 的绝对值 / 实际,对已评估的预测 百分比 预测日志和实际值 容量与性能管理 规划评审 每季度
相对基线的技能 预测方法相对于简单基线的改进 1 减去 (方法的绝对误差中位数 / 基线的绝对误差中位数),对同样的预测 比值 预测日志、基线日志和实际值 持续改进 试验并比较 每季度
校准差距 所述概率与观察到的频率之间的差异 对每个概率区段,(所述概率减去观察到的占比) 的绝对值,在各区段上取平均;案例少于所述数量的区段单独报告 百分点 概率预测日志和结果 风险管理;变更赋能 针对估算的回顾会议 每季度
告警的精确率与召回率 对预测性的告警或评分,正确的告警占比和被捕获的事件占比 精确率 = 真阳性 / (真阳性 + 假阳性);召回率 = 真阳性 / (真阳性 + 假阴性) 百分比 预测日志和结果 事件管理;事态管理 模型的完成定义 每月
预测漂移信号 与参考期间相比,误差随时间的上升 最近窗口的绝对误差中位数减去参考窗口的绝对误差中位数,并说明窗口大小 百分点 预测日志和实际值 持续改进;容量管理 检视与适应 每月
预测与决定的联系 在被记录的决定中被引用的预测占比 在决定日志中被引用的预测 / 发布的预测 百分比 决定日志和预测日志 持续改进;治理 评审行动 每季度

预测误差和覆盖只针对其结果已知的预测计算,所以最近的预测要到那时才被纳入。精确率和召回率取决于事件如何定义,所以事件的定义,比如“在 48 小时内引起事件的变更”,要与测量值一起说明。

建议

诚实地预测

1. 公布区间,而不是单一日期。 给出带所述概率的区间,比如“12 到 18 个工作日之间,置信度 85%”,并解释其背后的假设。单一数字会招致承诺。

2. 保存一份预测日志。 在作出每项预测时记录:数量、值或区间、日期、方法和假设。当实际值已知时添加它。没有日志,就没有历史记录。

3. 从简单的基线开始。 把任何新方法与朴素的方法相比较,比如上一期的值或近期的平均值。如果复杂的方法没有随时间明显胜过它,就保留简单的。

4. 说明会使预测失效的假设。 对需求的预测,假定没有重大发布、没有中断、没有新的客户群。把假设写在数字旁边,使读者知道何时不应当信任它。

度量质量

5. 检查覆盖和校准。 统计结果落在区间内的频率。如果 85% 的区间只有一半的时间包含结果,就太窄了。连同案例数一起报告校准,因为小样本有噪声。

6. 把误差作为分布来读。 10% 的中位数误差,可能隐藏了偶尔 50% 的、最重要的失误。展示高百分位数和最大的失误,并评审它们。

7. 使测量值与决定的代价相匹配。 对预测性的告警,依据误报和漏报的代价来选择精确率或召回率。欺诈告警和低风险的路由建议,有不同的平衡。

8. 留意漂移。 把近期误差与参考期间比较,并调查上升。常见的原因是新服务、变更的流程、新工具,或数据记录方式的变化。

良好地使用预测

9. 把预测与决定相联。 说明预测为之提供依据的决定,并在决定日志中记录决定了什么。淘汰无人使用的预测。

10. 让预测远离给人的目标。 变成服务台配额的事件量预测,会扭曲报告。把预测视为关于系统的信息。

11. 让人对依据预测所采取的行动负责。 对给事项打分的模型,指名负责人、依据分数采取的行动、人如何能够推翻它,以及错误如何报告。用抽样的案例评审假阳性和假阴性。

12. 留意偏见和伤害。 依据过去决定训练的模型,可能重复它们的偏见。检查结果对于境遇不同的用户或服务群体的情形,并报告该检查无法显示的东西。本书不提供法律建议,所以要与你自己的法律顾问核实义务。

钻空子途径与护栏

度量 如何被钻空子 配对的护栏度量或实践
预测区间覆盖 把区间放宽到覆盖看起来不错;只评估容易的预测 连同覆盖一起报告区间宽度;评估所有已记录的预测
预测误差 在结果之前不久修订预测;选择评估窗口 使用已记录的原始预测;提前固定窗口
相对基线的技能 选择薄弱的基线;在评估数据上调优方法 提前商定基线;在未用于调优的数据上评估
校准差距 使用很少的区段或案例;合并区段以隐藏差距 报告每个区段的案例数;设最小案例数
告警的精确率与召回率 事后重新定义事件;统计重复项 提前固定事件定义;去重;抽样告警
预测漂移信号 重置参考期间;忽略缓慢的漂移 固定参考窗口,并按计划评审它
预测与决定的联系 在日志中引用预测,却对决定没有影响 问什么变了;抽样条目

健康的读数是:覆盖了所述占比的结果而又不至于宽得荒谬的区间、被复杂方法明显胜过的简单基线、被注意到并被调查的漂移,以及出现在决定中的预测。

权衡:利与弊

方法 优势 劣势
简单的基线预测 易于解释和维护;难以过拟合 错过模式和变化
统计或机器学习模型 捕获更多模式;可跨事项扩展 难以解释;漂移;需要监控和数据
点预测 易于沟通 虚假的精确;招致承诺
区间预测 对不确定性诚实 较难沟通;可能被读作含糊
专家判断 使用模型所缺少的背景 有偏差;难以跟踪

结论是从简单开始,保存日志,展示区间,只有当复杂度相对于基线对得起它的位置时才增加它。如果判断和模型都被记录和检查,两者可以一起工作。

与团队讨论的问题

1. 我们作出的上一项预测是什么?结果如何? 大多数团队不知道,因为预测没有被记录。询问数字、假设和实际值。注意意外来自数据还是假设。随后以该例子开始一份预测日志。

2. 我们把哪项预测当作承诺?当它出错时,谁来买单? 寻找变成目标的预测,比如交付日期或数量数字。问谁感到压力,以及他们怎么做。讨论区间和用来沟通它们的语言。随后把一项承诺改写为带假设的区间。

3. 我们的预测模型或工具能胜过“与上一期相同”吗? 索要比较,而不是供应商的声称。团队常常没有基线。讨论如何对同样的案例公平地比较。随后把基线并行运行一个季度。

4. 一次误报让我们付出什么?一次漏报又让我们付出什么? 这决定了精确率与召回率之间的平衡。索要真实的例子。代价对不同的人往往不同,比如值班工程师和客户。随后商定哪种错误更重要。

5. 什么会使我们的预测不再有效?我们会注意到吗? 讨论像新产品、新工具或不同的数据记录方式之类的变化。索要能显示漂移的信号。随后添加漂移检查和负责人。

6. 谁依据预测采取行动?他们可以说不吗? 对被打分的事项,问由谁决定会发生什么。寻找没有推翻机制的自动行动。讨论错误如何报告和更正。随后写下推翻规则。

四种视角

产品与交付团队

依据你们自己的历史预测,并给出区间。记录预测并与实际值比较,并标出使历史成为糟糕指南的变化,比如新工具或团队变动。让团队内部的规划数字远离团队之间的比较。

服务与运维团队

需求、容量和事件的预测,有助于人员配置和预防。用它们来规划,而不是设定配额。留意增加噪声的告警模型,并报告假阳性,以便调优模型。

领导层与治理

索要预测背后的历史记录,而不仅仅是它的值,并索要区间。避免把预测变成给人的目标。对运维中使用的预测模型,索要负责人、推翻规则和偏见检查。

客户与用户

你以等待、中断和针对你所作决定的形式感受到预测的影响。问影响你的预测是如何被检查的,以及你如何能质疑一项预测。你对错误结果的报告,是模型所需要的反馈的一部分。

实践:一个服务管理示例

一家地区政府机构的 IT 服务台预测每周的工单量,以规划人员配置。本示例中的数字均为示意。一款供应商工具提供机器学习预测,经理想知道是否应当采用它。

团队开始一份预测日志。在十周里,他们为每周记录三项预测:供应商的点预测、朴素的基线(过去四周的平均值),以及依据基线近期误差得出的区间。之后他们计算每一项的预测误差。供应商的中位数误差为 11%,基线的为 13%,所以相对基线的技能为 15%。供应商的第 85 百分位数误差为 38%,在该机构有公告的几周出现了大的失误,而这些并不在该工具所使用的数据中。

团队把供应商的预测作为一项输入采用,添加了一个已知事件的字段,并依据过去的误差公布区间。对所述 85% 的区间,预测区间覆盖在这十周里约为 80%,计数很小,所以他们附带十个案例很少的提醒来报告它。他们还设置了一项漂移检查,把最近八周的误差与最初八周的相比较。

出现了钻空子的风险。一位团队负责人指出,预测被用来确定人员配置,并建议给预测加一个缓冲,使团队看起来人手充足。团队保持预测诚实,并把人员缓冲记录为单独的决定。仍然困难的是:工具看不见的事件仍然造成大的失误,而十周的数据不足以判断校准。计划是在更长的期间之后再次评审。

敏捷、AI、自动化与分析

敏捷

短的规划周期使团队能经常检查预测,并与干系人一起修订。一个好的做法是依据团队自己的吞吐量用区间预测,并在定期的改进交流中评审历史记录。需要注意的是,被当作承诺的预测会导致预留余量、隐藏或拆分工作。

AI

机器学习模型和 AI 助手可以产生预测和风险评分,带着精确的外观。把它们与基线比较,保留负责人,通过抽样检查校准以及假阳性和假阴性率,并让人对依据分数所采取的行动负责(见主题 10.5,AI 治理与风险度量)。需要注意的是,AI 生成的预测可能给出自信的数字,却没有区间也没有所述假设,所以两者都要索要。

自动化

自动化预测的记录、实际值的收集,以及误差和覆盖的计算,使历史记录自己建立起来。对预测之后的自动行动,就其错误的行动来度量。需要注意的是,依据预测行动的自动化,比如扩展容量或呼叫,使预测误差对用户可见,所以要增加限制并评审。

分析

本主题是关于预测的分析:把误差作为分布展示,把覆盖连同计数展示,把漂移连同所用的窗口展示。这为之提供依据的决定是对预测应当信任多少,以及何时替换方法。需要注意的是,小样本给出不稳定的校准,所以要说明每个数字背后的预测数量(见主题 10.8,分析与数据质量度量)。

行业视角

初创公司。 历史很短而服务经常变化,所以预测薄弱。使用简单的基线和宽的区间,并保存一份简短的日志。避免在有数据之前购买预测工具。

小型企业。 季节性和少数大客户占主导。把去年同期作为基线,并记下打破模式的事件。对声称精确的供应商预测要小心。

大型企业。 跨团队的许多预测需要通用的日志和定义。在团队之间公平地比较方法,并避免按预测准确度给团队排名。按计划评审模型的漂移。

政府与公共部门。 预测往往支持公开的预算和人员配置决定。记录方法和假设,并检查影响人的自动化决定的规则。为破坏数据的政策变化等外部事件做好规划(见主题 8.5,受监管与政府报告)。

业务论证:动因、投资回报与总拥有成本

成本是数据工作、预测记录、如使用的话还有建模工具、评审时间,以及对模型漂移的监控。从日志和朴素的基线开始,成本很低。

回报是更好的规划:在需要之前到来的容量、与需求相匹配的人员配置,以及更少的意外。它很难归因,所以避免声称一个数字。把预测方法的成本和误差,与基线随时间推移进行比较,并把假设表述为区间(见主题 7.7,投资回报与业务论证)。风险一面是过度依赖已经漂移的模型的成本,以及依据虚假精确作出决定的成本。

反模式与陷阱

  • 被当作承诺的单一数字预测。 它们造成预留余量和责备。公布带假设的区间。
  • 没有预测日志。 无法学习。记录预测和实际值。
  • 没有基线就购买模型。 收益未知。与“与上一期相同”比较。
  • 依据训练数据来判断准确度。 它奉承模型。在之后的数据上评估。
  • 忽略假阳性。 嘈杂的预测使人们学会忽略它们。报告精确率和召回率。
  • 把预测作为给人的目标。 它们扭曲数据。用它们来规划。
  • 没有漂移检查。 模型悄悄衰减。随时间监控误差。
  • 没有人负责的预测。 错误的行动无人回应。指名负责人和推翻规则。

成熟度模型

维度 起步 发展 标准化 管理 协同
预测实践 单一数字;没有记录 一些区间;非正式的笔记 带区间、假设和实际值的预测日志 按节奏比较误差、覆盖和基线 通过试验改进预测和方法,并在团队之间共享
预测模型 接受供应商的声称 与基线比较的试点 每个模型的负责人、评估和推翻规则 监控漂移、精确率和召回率 以监督和淘汰来管理模型的生命周期
在决定中的使用 预测作为承诺 向决策者展示预测 预测在日志中与决定相联 对照预测结果评审决定 决定适应预测的不确定性

检查清单

  • 预测日志记录数量、值或区间、日期、方法和假设。
  • 添加实际值,并把预测误差作为分布报告。
  • 在任何复杂的预测旁边并行运行一个简单的基线。
  • 连同区间宽度和案例数一起报告区间覆盖。
  • 预测性的告警依据固定的事件定义报告精确率和召回率。
  • 对照固定的参考窗口检查漂移。
  • 每个预测模型都有负责人、推翻规则和评审日期。
  • 预测在决定日志中与决定相联。
  • 预测不被用作个人目标。
  • 每项测量值旁边都展示了钻空子途径和护栏。

AI 提示词

设计预测日志和基线。

我们为 [用途] 预测 [数量]。我们的数据是 [历史和来源的描述]。请提出带字段的预测日志、一种简单的基线方法,以及之后如何计算误差和区间覆盖。不要虚构预期的准确度。标出假设,并列出我应当就数据回答的问题。

对照基线评估预测方法。

以下是 [期间] 内已记录的预测和实际值:[粘贴不含个人信息的数据],并附有基线预测。请计算每一项的绝对百分比误差的中位数和第 85 百分位数、(若给出区间)区间覆盖,以及相对基线的技能。不要在数据之外外推。说明案例数,说明你无法判断的内容,并列出你的假设。

评审预测模型的监督。

我们使用一个模型,它 [描述它预测什么,以及随后的行动]。请起草对其监督的评审:负责人、我们应当索要的评估证据、错误如何报告、推翻规则、漂移检查,以及关于偏见的问题。不要对法律要求作出声明;列出要问我们法律顾问的问题。标出假设。

评审预测测量值的钻空子风险。

我们报告这些预测测量值:[粘贴测量值及其定义]。背景:[团队规模、工具、受众]。对每项测量值,列出它在没有改进预测的情况下看起来更好的现实方式,提出一道护栏,并说明该护栏如何可能被钻空子。不要虚构基准值。请列出你的假设。

AI 技能

要点

  • 预测是附有历史记录的区间,所以要记录预测并与实际值比较。
  • 把任何模型与简单的基线比较,只有当复杂的明显胜过它时才保留。
  • 连同其背后的案例数一起检查区间覆盖和校准。
  • 依据误报和漏报的代价选择精确率或召回率。
  • 不要把预测变成给人的目标,并让人对依据预测所采取的行动负责。

参考文献与延伸阅读

  1. Wikipedia, Forecasting.
  2. Wikipedia, Prediction interval.
  3. Wikipedia, Machine learning.
  4. Wikipedia, Concept drift.
  5. Wikipedia, Precision and recall.
  6. Wikipedia, Capacity planning.
  7. Hyndman, R. J., and Athanasopoulos, G., Forecasting: Principles and Practice, 3rd edition, OTexts, 2021, https://otexts.com/fpp3/