预测与预测分析度量
预测是附有历史记录的一个区间,而不是需要捍卫的日期或数字,所以要度量实际结果落在所述区间内的频率、区间的宽度是否诚实,以及是否有人因此作出了更好的决定。
概述与动因
预测(forecasting)依据过去的数据和所述的假设,估计未来的数量。服务组织预测支持的需求、平台的容量、一项工作完成的日期、一项变更失败的可能性,以及一项服务明年的成本。预测模型,包括机器学习模型,把这扩展到给单个事项打分:哪张工单将违反目标、哪项变更有风险、哪个事件可能再次发生。
预测和预测模型以平常的方式失败。过去可能不像未来,因为服务、团队或工具已经改变。数据可能很少或有偏差。区间可能过窄,因为单一数字看起来比区间更有帮助。而且预测可能被当作承诺使用,于是人们努力使它成真,或隐藏与之矛盾的东西。
前面的主题给出了针对具体用途的预测:由吞吐量得出的交付日期(见主题 2.5,交付预测与规划度量)、由需求得出的容量(见主题 5.4,容量与性能度量),以及成本(见主题 7.5,服务成本与单位经济)。本主题给出度量任何预测或预测模型质量的通用方法,适用于所有这些预测。它还涵盖输出驱动某项行动的预测模型,其中错误预测的代价落在某人身上。
这里使用的术语。点预测(point forecast)是单一的预测值。预测区间(prediction interval)是以所述概率包含实际值的范围。校准(calibration)是所述概率与观察到的频率之间的一致:在说是 80% 的预测中,约有 80% 应当成真。预测误差(forecast error)是预测与实际之间的差。基线预测(baseline forecast)是简单的方法,比如“与上一期相同”,用于与更复杂的方法比较。假阳性(false positive)是对未发生的事件的预测,假阴性(false negative)是没有预测到发生的事件。漂移(drift)是数据中、或输入与结果之间关系的变化,它随着时间推移降低模型的准确度。
关键原则
- 用区间预测并保存历史记录。 从不被检查的预测无法改进。
- 与简单的基线比较。 不能胜过“与上一期相同”的复杂模型,没有对得起它的成本。
- 校准与准确同样重要。 说是 90% 的预测,应当在十次中约有九次正确。
- 使错误的代价与决定相匹配。 误报和漏报的代价并不相同。
- 留意漂移。 当世界变化时,预测会衰减,所以要监控它们。
- 预测不是承诺。 不要把它变成给人的目标。
度量定义
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| 预测区间覆盖 | 落在所述预测区间内的实际结果占比 | 区间内的结果 / 已评估的预测;已评估的预测是其结果已知的那些 | 百分比 | 预测日志和实际值 | 容量与性能管理;财务管理 | 依据吞吐量用区间预测 | 每季度 |
| 预测误差 | 预测与实际之间差异的典型大小 | 绝对误差的中位数及其第 85 百分位数,其中绝对误差 = (预测减去实际) 的绝对值 / 实际,对已评估的预测 | 百分比 | 预测日志和实际值 | 容量与性能管理 | 规划评审 | 每季度 |
| 相对基线的技能 | 预测方法相对于简单基线的改进 | 1 减去 (方法的绝对误差中位数 / 基线的绝对误差中位数),对同样的预测 | 比值 | 预测日志、基线日志和实际值 | 持续改进 | 试验并比较 | 每季度 |
| 校准差距 | 所述概率与观察到的频率之间的差异 | 对每个概率区段,(所述概率减去观察到的占比) 的绝对值,在各区段上取平均;案例少于所述数量的区段单独报告 | 百分点 | 概率预测日志和结果 | 风险管理;变更赋能 | 针对估算的回顾会议 | 每季度 |
| 告警的精确率与召回率 | 对预测性的告警或评分,正确的告警占比和被捕获的事件占比 | 精确率 = 真阳性 / (真阳性 + 假阳性);召回率 = 真阳性 / (真阳性 + 假阴性) | 百分比 | 预测日志和结果 | 事件管理;事态管理 | 模型的完成定义 | 每月 |
| 预测漂移信号 | 与参考期间相比,误差随时间的上升 | 最近窗口的绝对误差中位数减去参考窗口的绝对误差中位数,并说明窗口大小 | 百分点 | 预测日志和实际值 | 持续改进;容量管理 | 检视与适应 | 每月 |
| 预测与决定的联系 | 在被记录的决定中被引用的预测占比 | 在决定日志中被引用的预测 / 发布的预测 | 百分比 | 决定日志和预测日志 | 持续改进;治理 | 评审行动 | 每季度 |
预测误差和覆盖只针对其结果已知的预测计算,所以最近的预测要到那时才被纳入。精确率和召回率取决于事件如何定义,所以事件的定义,比如“在 48 小时内引起事件的变更”,要与测量值一起说明。
建议
诚实地预测
1. 公布区间,而不是单一日期。 给出带所述概率的区间,比如“12 到 18 个工作日之间,置信度 85%”,并解释其背后的假设。单一数字会招致承诺。
2. 保存一份预测日志。 在作出每项预测时记录:数量、值或区间、日期、方法和假设。当实际值已知时添加它。没有日志,就没有历史记录。
3. 从简单的基线开始。 把任何新方法与朴素的方法相比较,比如上一期的值或近期的平均值。如果复杂的方法没有随时间明显胜过它,就保留简单的。
4. 说明会使预测失效的假设。 对需求的预测,假定没有重大发布、没有中断、没有新的客户群。把假设写在数字旁边,使读者知道何时不应当信任它。
度量质量
5. 检查覆盖和校准。 统计结果落在区间内的频率。如果 85% 的区间只有一半的时间包含结果,就太窄了。连同案例数一起报告校准,因为小样本有噪声。
6. 把误差作为分布来读。 10% 的中位数误差,可能隐藏了偶尔 50% 的、最重要的失误。展示高百分位数和最大的失误,并评审它们。
7. 使测量值与决定的代价相匹配。 对预测性的告警,依据误报和漏报的代价来选择精确率或召回率。欺诈告警和低风险的路由建议,有不同的平衡。
8. 留意漂移。 把近期误差与参考期间比较,并调查上升。常见的原因是新服务、变更的流程、新工具,或数据记录方式的变化。
良好地使用预测
9. 把预测与决定相联。 说明预测为之提供依据的决定,并在决定日志中记录决定了什么。淘汰无人使用的预测。
10. 让预测远离给人的目标。 变成服务台配额的事件量预测,会扭曲报告。把预测视为关于系统的信息。
11. 让人对依据预测所采取的行动负责。 对给事项打分的模型,指名负责人、依据分数采取的行动、人如何能够推翻它,以及错误如何报告。用抽样的案例评审假阳性和假阴性。
12. 留意偏见和伤害。 依据过去决定训练的模型,可能重复它们的偏见。检查结果对于境遇不同的用户或服务群体的情形,并报告该检查无法显示的东西。本书不提供法律建议,所以要与你自己的法律顾问核实义务。
钻空子途径与护栏
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| 预测区间覆盖 | 把区间放宽到覆盖看起来不错;只评估容易的预测 | 连同覆盖一起报告区间宽度;评估所有已记录的预测 |
| 预测误差 | 在结果之前不久修订预测;选择评估窗口 | 使用已记录的原始预测;提前固定窗口 |
| 相对基线的技能 | 选择薄弱的基线;在评估数据上调优方法 | 提前商定基线;在未用于调优的数据上评估 |
| 校准差距 | 使用很少的区段或案例;合并区段以隐藏差距 | 报告每个区段的案例数;设最小案例数 |
| 告警的精确率与召回率 | 事后重新定义事件;统计重复项 | 提前固定事件定义;去重;抽样告警 |
| 预测漂移信号 | 重置参考期间;忽略缓慢的漂移 | 固定参考窗口,并按计划评审它 |
| 预测与决定的联系 | 在日志中引用预测,却对决定没有影响 | 问什么变了;抽样条目 |
健康的读数是:覆盖了所述占比的结果而又不至于宽得荒谬的区间、被复杂方法明显胜过的简单基线、被注意到并被调查的漂移,以及出现在决定中的预测。
权衡:利与弊
| 方法 | 优势 | 劣势 |
|---|---|---|
| 简单的基线预测 | 易于解释和维护;难以过拟合 | 错过模式和变化 |
| 统计或机器学习模型 | 捕获更多模式;可跨事项扩展 | 难以解释;漂移;需要监控和数据 |
| 点预测 | 易于沟通 | 虚假的精确;招致承诺 |
| 区间预测 | 对不确定性诚实 | 较难沟通;可能被读作含糊 |
| 专家判断 | 使用模型所缺少的背景 | 有偏差;难以跟踪 |
结论是从简单开始,保存日志,展示区间,只有当复杂度相对于基线对得起它的位置时才增加它。如果判断和模型都被记录和检查,两者可以一起工作。
与团队讨论的问题
1. 我们作出的上一项预测是什么?结果如何? 大多数团队不知道,因为预测没有被记录。询问数字、假设和实际值。注意意外来自数据还是假设。随后以该例子开始一份预测日志。
2. 我们把哪项预测当作承诺?当它出错时,谁来买单? 寻找变成目标的预测,比如交付日期或数量数字。问谁感到压力,以及他们怎么做。讨论区间和用来沟通它们的语言。随后把一项承诺改写为带假设的区间。
3. 我们的预测模型或工具能胜过“与上一期相同”吗? 索要比较,而不是供应商的声称。团队常常没有基线。讨论如何对同样的案例公平地比较。随后把基线并行运行一个季度。
4. 一次误报让我们付出什么?一次漏报又让我们付出什么? 这决定了精确率与召回率之间的平衡。索要真实的例子。代价对不同的人往往不同,比如值班工程师和客户。随后商定哪种错误更重要。
5. 什么会使我们的预测不再有效?我们会注意到吗? 讨论像新产品、新工具或不同的数据记录方式之类的变化。索要能显示漂移的信号。随后添加漂移检查和负责人。
6. 谁依据预测采取行动?他们可以说不吗? 对被打分的事项,问由谁决定会发生什么。寻找没有推翻机制的自动行动。讨论错误如何报告和更正。随后写下推翻规则。
四种视角
产品与交付团队
依据你们自己的历史预测,并给出区间。记录预测并与实际值比较,并标出使历史成为糟糕指南的变化,比如新工具或团队变动。让团队内部的规划数字远离团队之间的比较。
服务与运维团队
需求、容量和事件的预测,有助于人员配置和预防。用它们来规划,而不是设定配额。留意增加噪声的告警模型,并报告假阳性,以便调优模型。
领导层与治理
索要预测背后的历史记录,而不仅仅是它的值,并索要区间。避免把预测变成给人的目标。对运维中使用的预测模型,索要负责人、推翻规则和偏见检查。
客户与用户
你以等待、中断和针对你所作决定的形式感受到预测的影响。问影响你的预测是如何被检查的,以及你如何能质疑一项预测。你对错误结果的报告,是模型所需要的反馈的一部分。
实践:一个服务管理示例
一家地区政府机构的 IT 服务台预测每周的工单量,以规划人员配置。本示例中的数字均为示意。一款供应商工具提供机器学习预测,经理想知道是否应当采用它。
团队开始一份预测日志。在十周里,他们为每周记录三项预测:供应商的点预测、朴素的基线(过去四周的平均值),以及依据基线近期误差得出的区间。之后他们计算每一项的预测误差。供应商的中位数误差为 11%,基线的为 13%,所以相对基线的技能为 15%。供应商的第 85 百分位数误差为 38%,在该机构有公告的几周出现了大的失误,而这些并不在该工具所使用的数据中。
团队把供应商的预测作为一项输入采用,添加了一个已知事件的字段,并依据过去的误差公布区间。对所述 85% 的区间,预测区间覆盖在这十周里约为 80%,计数很小,所以他们附带十个案例很少的提醒来报告它。他们还设置了一项漂移检查,把最近八周的误差与最初八周的相比较。
出现了钻空子的风险。一位团队负责人指出,预测被用来确定人员配置,并建议给预测加一个缓冲,使团队看起来人手充足。团队保持预测诚实,并把人员缓冲记录为单独的决定。仍然困难的是:工具看不见的事件仍然造成大的失误,而十周的数据不足以判断校准。计划是在更长的期间之后再次评审。
敏捷、AI、自动化与分析
敏捷
短的规划周期使团队能经常检查预测,并与干系人一起修订。一个好的做法是依据团队自己的吞吐量用区间预测,并在定期的改进交流中评审历史记录。需要注意的是,被当作承诺的预测会导致预留余量、隐藏或拆分工作。
AI
机器学习模型和 AI 助手可以产生预测和风险评分,带着精确的外观。把它们与基线比较,保留负责人,通过抽样检查校准以及假阳性和假阴性率,并让人对依据分数所采取的行动负责(见主题 10.5,AI 治理与风险度量)。需要注意的是,AI 生成的预测可能给出自信的数字,却没有区间也没有所述假设,所以两者都要索要。
自动化
自动化预测的记录、实际值的收集,以及误差和覆盖的计算,使历史记录自己建立起来。对预测之后的自动行动,就其错误的行动来度量。需要注意的是,依据预测行动的自动化,比如扩展容量或呼叫,使预测误差对用户可见,所以要增加限制并评审。
分析
本主题是关于预测的分析:把误差作为分布展示,把覆盖连同计数展示,把漂移连同所用的窗口展示。这为之提供依据的决定是对预测应当信任多少,以及何时替换方法。需要注意的是,小样本给出不稳定的校准,所以要说明每个数字背后的预测数量(见主题 10.8,分析与数据质量度量)。
行业视角
初创公司。 历史很短而服务经常变化,所以预测薄弱。使用简单的基线和宽的区间,并保存一份简短的日志。避免在有数据之前购买预测工具。
小型企业。 季节性和少数大客户占主导。把去年同期作为基线,并记下打破模式的事件。对声称精确的供应商预测要小心。
大型企业。 跨团队的许多预测需要通用的日志和定义。在团队之间公平地比较方法,并避免按预测准确度给团队排名。按计划评审模型的漂移。
政府与公共部门。 预测往往支持公开的预算和人员配置决定。记录方法和假设,并检查影响人的自动化决定的规则。为破坏数据的政策变化等外部事件做好规划(见主题 8.5,受监管与政府报告)。
业务论证:动因、投资回报与总拥有成本
成本是数据工作、预测记录、如使用的话还有建模工具、评审时间,以及对模型漂移的监控。从日志和朴素的基线开始,成本很低。
回报是更好的规划:在需要之前到来的容量、与需求相匹配的人员配置,以及更少的意外。它很难归因,所以避免声称一个数字。把预测方法的成本和误差,与基线随时间推移进行比较,并把假设表述为区间(见主题 7.7,投资回报与业务论证)。风险一面是过度依赖已经漂移的模型的成本,以及依据虚假精确作出决定的成本。
反模式与陷阱
- 被当作承诺的单一数字预测。 它们造成预留余量和责备。公布带假设的区间。
- 没有预测日志。 无法学习。记录预测和实际值。
- 没有基线就购买模型。 收益未知。与“与上一期相同”比较。
- 依据训练数据来判断准确度。 它奉承模型。在之后的数据上评估。
- 忽略假阳性。 嘈杂的预测使人们学会忽略它们。报告精确率和召回率。
- 把预测作为给人的目标。 它们扭曲数据。用它们来规划。
- 没有漂移检查。 模型悄悄衰减。随时间监控误差。
- 没有人负责的预测。 错误的行动无人回应。指名负责人和推翻规则。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 预测实践 | 单一数字;没有记录 | 一些区间;非正式的笔记 | 带区间、假设和实际值的预测日志 | 按节奏比较误差、覆盖和基线 | 通过试验改进预测和方法,并在团队之间共享 |
| 预测模型 | 接受供应商的声称 | 与基线比较的试点 | 每个模型的负责人、评估和推翻规则 | 监控漂移、精确率和召回率 | 以监督和淘汰来管理模型的生命周期 |
| 在决定中的使用 | 预测作为承诺 | 向决策者展示预测 | 预测在日志中与决定相联 | 对照预测结果评审决定 | 决定适应预测的不确定性 |
检查清单
- 预测日志记录数量、值或区间、日期、方法和假设。
- 添加实际值,并把预测误差作为分布报告。
- 在任何复杂的预测旁边并行运行一个简单的基线。
- 连同区间宽度和案例数一起报告区间覆盖。
- 预测性的告警依据固定的事件定义报告精确率和召回率。
- 对照固定的参考窗口检查漂移。
- 每个预测模型都有负责人、推翻规则和评审日期。
- 预测在决定日志中与决定相联。
- 预测不被用作个人目标。
- 每项测量值旁边都展示了钻空子途径和护栏。
AI 提示词
设计预测日志和基线。
我们为 [用途] 预测 [数量]。我们的数据是 [历史和来源的描述]。请提出带字段的预测日志、一种简单的基线方法,以及之后如何计算误差和区间覆盖。不要虚构预期的准确度。标出假设,并列出我应当就数据回答的问题。
对照基线评估预测方法。
以下是 [期间] 内已记录的预测和实际值:[粘贴不含个人信息的数据],并附有基线预测。请计算每一项的绝对百分比误差的中位数和第 85 百分位数、(若给出区间)区间覆盖,以及相对基线的技能。不要在数据之外外推。说明案例数,说明你无法判断的内容,并列出你的假设。
评审预测模型的监督。
我们使用一个模型,它 [描述它预测什么,以及随后的行动]。请起草对其监督的评审:负责人、我们应当索要的评估证据、错误如何报告、推翻规则、漂移检查,以及关于偏见的问题。不要对法律要求作出声明;列出要问我们法律顾问的问题。标出假设。
评审预测测量值的钻空子风险。
我们报告这些预测测量值:[粘贴测量值及其定义]。背景:[团队规模、工具、受众]。对每项测量值,列出它在没有改进预测的情况下看起来更好的现实方式,提出一道护栏,并说明该护栏如何可能被钻空子。不要虚构基准值。请列出你的假设。
AI 技能
- Demand forecasting:用于建立并检查带区间的需求预测。
- Trend analysis:用于在预测之前考察趋势和变化。
- Machine learning model card:用于记录预测模型的目的、数据和局限。
- Service Management Metrics skill:用于查找涵盖某项度量及其配对护栏的主题。
要点
- 预测是附有历史记录的区间,所以要记录预测并与实际值比较。
- 把任何模型与简单的基线比较,只有当复杂的明显胜过它时才保留。
- 连同其背后的案例数一起检查区间覆盖和校准。
- 依据误报和漏报的代价选择精确率或召回率。
- 不要把预测变成给人的目标,并让人对依据预测所采取的行动负责。
参考文献与延伸阅读
- Wikipedia, Forecasting.
- Wikipedia, Prediction interval.
- Wikipedia, Machine learning.
- Wikipedia, Concept drift.
- Wikipedia, Precision and recall.
- Wikipedia, Capacity planning.
- Hyndman, R. J., and Athanasopoulos, G., Forecasting: Principles and Practice, 3rd edition, OTexts, 2021, https://otexts.com/fpp3/