概述与动因

干系人对每个交付团队提出两个问题:“什么时候能完成?”和“你们能承接多少?”敏捷的回答从《敏捷宣言》原则中的宗旨出发:持续交付有价值的软件,每天与干系人协作,定期反思和改进,并围绕被信任能把事情做成的积极上进的人来组织工作。服务于这些宗旨的预测,是干系人之间关于可能结果和风险的一场交流。它不是在压力下榨取出来的承诺。

运营线上服务的团队有一重额外的困难。他们的容量由计划变更、计划外的事件工作、服务请求和改进共同分担。无视运营负荷的计划,会因没人计划到的原因而失败(见主题 2.9,运维工作与计划外工作)。由 ITIL 体系化的 IT 服务管理(ITSM),把这视为容量与需求的问题。容量规划(Capacity planning)是确定组织满足不断变化的需求所需容量的过程。依据团队实际能完成的内容来规划的敏捷实践,是团队层面的同一理念。

有两种宽泛的交付预测方式:

  • 依据估算。 团队以某种单位给各项定规模,把规模加起来,再除以一个速率。许多团队使用相对规模,比如故事点(story points),其速率称为速率(velocity)。它上手快,取决于团队的估算习惯,并且只在一个团队之内才有意义。
  • 依据流动数据。 团队使用自己已完成工作的记录:每周完成多少项(吞吐量),以及各项从开始到完成需要多长时间(周期时间)。因为它们是计数和经过的时间,而不是意见,所以不易漂移,并可与模拟结合,给出一个结果范围。这种方法来自流动传统,其中包括《看板指南》,适用于任何组织工作的方式,包括无固定规划期的持续交付的团队。

本主题偏向第二种方法,因为持续软件交付产生源源不断的已完成项,流动数据可以直接描述它们(见主题 2.1,流动度量,以及主题 2.2,前置时间、周期时间与流动效率)。它仍然涵盖第一种,因为许多团队使用估算,也因为对速率的误用是交付度量出错最常见的方式之一。

预测是对不确定的未来的预测(forecasting),而不确定性正是关键。不确定性锥(cone of uncertainty)的理念说,早期的估算最不确定。规划谬误(planning fallacy)说,即使人们知道类似的计划曾经延误,他们仍会低估自己计划所需的时间。好的预测度量会点明这一点,并度量预测命中的频率。

来自古德哈特定律(Goodhart's law)的护栏在这里很重要,因为预测和计划很容易变成承诺,进而变成目标。一旦团队因达到某个日期而受到评判,它就会隐藏风险、削减质量,或压低估算(见主题 1.2,古德哈特定律与度量的心理学)。

关键原则

  • 依据已完成的工作来预测。 团队已经交付的内容,是比任何人相信它将交付的内容更好的证据。
  • 给出带概率的范围。 “很可能在下月底前,非常可能在再下一个月底前”胜过单一日期。
  • 依据真实容量来规划。 把运营工作计入,留出改进的时间,并且不按满负荷利用来规划。
  • 让估算保持本地。 任何规模单位都是一个团队的私有规划工具,绝不是比较的依据。
  • 度量预测质量,而不仅仅是交付。 因错误的原因而正确的预测只是运气。
  • 把预测视为共享的。 干系人和团队共同构建它,并在事实变化时修订。
  • 信任团队。 被信任和被支持的人,会给出诚实的预测。

度量定义

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏
预测命中率 实际结果落在所陈述范围内的预测的占比 实际结果在所陈述范围内的预测 / 作出的预测 百分比 预测日志和交付记录 容量与性能管理;持续改进 规划交流中的预测准确度 每月
预测范围宽度 所陈述范围相对于预测中位数有多宽 (上界减下界) / 预测中位数 比值 预测日志 容量与性能管理 不确定性锥的收窄 每月
交付目标达成率 该期间所陈述的交付目标中,被达成的占比,以成果来判断 达成的目标 / 设定的目标 百分比 与干系人商定的目标记录 服务级别管理;持续改进 与干系人的成果评审 每月,或每次发布一个目标时
范围变更率 已承诺的工作中,在预测作出之后被添加、移除或重新定规模的占比 预测之后添加或移除的项 / 原始预测中的项 百分比 工作跟踪器变更历史 变更赋能;服务级别管理 针对反馈的待办事项列表调整 每月
容量分配 团队容量花在变更、运营工作和改进上的占比 每个类别中已完成的项或小时数 / 所有已完成的项或小时数 百分比 带工作类型的工作跟踪器 容量与性能管理;事件管理 工作类型分布 每月
吞吐量稳定性 每周吞吐量的变异 每周吞吐量的标准差 / 每周吞吐量的均值 比值 工作跟踪器 容量与性能管理 流动的可预测性 每月
本地速率 单个团队在每个规划期内以其自身规模单位完成的工作 期内符合完成定义的项的估算之和 团队自定义的点数 工作跟踪器 容量与性能管理 团队容量规划辅助 每个规划期

定义时钟。预测在被记录并与干系人共享时算“作出”,在结果被发布并投入使用时算“达成”,而不是在代码合并时。吞吐量统计符合完成定义的项,规模相差很大的不同类型的项,放在单独的序列中计数。本地速率只展示给拥有它的团队。

建议

依据流动来预测

1. 依据吞吐量和周期时间构建预测。 统计最近 12 至 26 周每周完成的项数。利用这段历史,预测到某个日期将完成多少项,或一组项可能何时完成。蒙特卡洛方法(Monte Carlo method)模拟,从团队自己的历史中抽样数千次,把历史转化为概率范围。简单的电子表格或小脚本就能做得很好。说明历史窗口和预测的日期。

2. 报告结果的百分位数。 说“3 月 14 日前有 50% 的可能,4 月 4 日前有 85% 的可能,4 月 18 日前有 95% 的可能”。每个百分位数都是对风险的诚实陈述,干系人可以选择他们需要多少余量。单一日期隐藏了这一选择(见主题 1.6,服务度量的统计素养)。

3. 对单个项使用周期时间百分位数。 对一个项,过往周期时间的第 85 百分位数,比任何估算都更好地回答“这需要多长时间?”。把它展示在看板上,作为一条线,进行中项的年龄可以与之比较(见主题 2.1,流动度量)。

4. 让项的规模大致均匀。 当项小而相似到足以计数时,基于吞吐量的预测效果最好。团队通过把工作切成仍能交付价值的最小片段达到这一点,这本身就是持续软件交付的习惯。如果项的规模差异很大,就为不同的工作类型跟踪单独的序列。

5. 事实变化时刷新预测。 预测是一个活的视图。当范围改变、团队规模改变,或一起大事件吞噬了一周时,重新运行它,并告诉干系人。为预测标注版本,以便日后评判。

依据真实容量来规划

6. 按工作类型分配容量。 记录团队已完成的工作中,计划变更、计划外运营工作、服务请求和改进各占多少。按经验所示的占比来规划,而不是按理想状态。运营线上服务的团队常常发现,三分之一或更多的容量花在运营工作上,这个数字要靠自己度量,而不是借用(见主题 2.9,运维工作与计划外工作)。

7. 为改进预留容量。 持续改进是工作的常设部分,所以在分配中为它安排时间,并保护它。在每个忙碌期都把它挤掉的团队,会发现自己的运营负荷上升,进而把它挤得更厉害。跟踪改进的占比,以及这些改进对运营占比的影响。

8. 不要按满负荷利用来规划。 按 100% 规划的团队没有应对变化的余地,而且随着利用率接近上限,队列会增长(见主题 2.3,在制品与排队)。为意外留出冗余,并把它视为设计选择,而不是浪费。

如果使用估算,要谨慎

9. 把速率视为本地规划辅助。 如果团队用故事点给工作定规模,其速率可以帮助它在下一次规划交流中决定承接多少,并且只应与同一团队的近期过往比较。绝不比较团队,不设速率目标,也不把速率作为生产力的度量向上报告。点数在各团队之间没有共同单位,而推高数字的压力会膨胀估算,却不会交付更多。

10. 偶尔将估算与实际周期时间比较。 把估算与各项实际花的时间作图。如果大的估算并不比小的耗时更长,说明估算工作没有买到多少东西,直接数项数也许同样对团队有用。如果它们相关,说明估算携带了值得保留的信息。让团队依据数据来决定。

度量它是否奏效

11. 记录每一次预测并给它打分。 记录预测、范围和实际结果,然后计算命中率。校准良好的第 85 百分位数预测,应当约有 85% 的时间成真。如果命中率远高于或远低于此,就调整方法。与干系人共享该日志,因为对预测的信任是由过往记录建立的。

12. 依据成果来评判交付目标。 像“客户可以按发票付款”这样的目标,在客户能够做到时才算达成,而不是在任务关闭时。用平实的话与干系人商定目标,共同评审,并记录结果。这使规划与持续协作相联,并使人们不愿交付无人使用的工作(见主题 1.3,结果重于产出:选择度量什么)。

钻空子途径与护栏

度量 如何被钻空子 配对的护栏度量或实践
预测命中率 陈述非常宽的范围,使每次预测都命中;事后重新预测 预测范围宽度;把原始预测保留在日志中;将范围与同行的历史作比较
预测范围宽度 收窄范围以显得自信 预测命中率;要求范围由记录的历史构建
交付目标达成率 设定容易的目标;事后重新定义目标;把产出算作成果 由干系人评判成果;目标措辞保存在日志中;检查已交付变更的使用数据
范围变更率 拒绝合理的变更以冻结范围;通过重新给项定规模来隐藏范围变更 干系人对响应性的满意度;记录变更原因
容量分配 把运营工作错标为改进;通过在看板之外工作来隐藏运营负荷 与事件和请求记录核对;抽查项的类型
吞吐量稳定性 把项拆成琐碎的片段以提高计数;不完成就关闭项 项规模分布;重开率;抽查所交付的价值
本地速率 膨胀估算;拆分故事以索取点数;比较团队 让它保持团队私有;与吞吐量和周期时间比较;绝不设目标

健康的读数是:预测以大约所陈述的比率成真,目标被干系人认同为已达成,容量图景与团队实际所经历的相符,而速率数字(如果存在的话)只由团队自己使用,不被其他任何人使用。

权衡:利与弊

方法 优势 劣势
基于流动的预测 使用真实数据,抗膨胀,给出范围 需要稳定的历史和规模相近的项
基于估算的预测 上手快,鼓励对工作的讨论 主观,在压力下膨胀,无法跨团队比较
单一日期的承诺 沟通简单 隐藏风险;惩罚诚实
带概率的范围 对不确定性诚实 对某些干系人起初更难读懂
按满负荷利用来规划 看起来高效 队列增长;没有应对事件或学习的余地
计划的冗余 吸收变异并支持改进 在未被说服的人看来像闲置容量

文字上的答案是从流动数据出发,仅在对团队有帮助之处才加入估算,并用范围说话。凡合同要求给出日期之处,就给出第 85 或第 95 百分位数所支持的日期,并说明什么会改变它。

与团队讨论的问题

1. 如果干系人问“什么时候能完成”并想要一个诚实的答案,我们会怎么说? 请团队针对一项真实的工作来回答,先用单一日期,再用一个范围。注意每个答案让人感到的舒适程度有何不同。引导者应当记录团队要诚实地给出范围需要知道什么,比如历史、项的规模和已知的风险。

2. 我们的容量真正有多少花在计划变更上?我们怎么知道? 查看最近三个月按类型划分的已完成工作。与团队制定的计划比较。交流往往会揭示,运营工作比计划的大,而改进工作比计划的小。商定分配应当是什么,以及什么决定会改变它。

3. 我们的估算在哪里对我们有帮助,在哪里只是耗费时间? 把一批估算样本与实际周期时间作图。讨论更大的估算是否真的更慢。如果联系薄弱,问如果只数项数,团队会有什么不同的做法。决定是继续、简化,还是在试用期内停止估算。

4. 谁看到我们团队层面的规划数字?它们在那里遭遇了什么? 追踪每个规划数字从团队到其受众的路径。问是否有人用它比较团队或设定目标。如果有,讨论如何停止这种做法,以及提供什么来替代。引导者应当准备好解释,本地数字一旦流传就失去其价值。

5. 我们的预测是什么时候失败的?我们学到了什么? 挑一次未命中,追踪它。是范围变更、一起大事件、一项依赖,还是一个错误的假设?什么本可以更早发出警示?商定对预测实践的一项更改,比如记录依赖,或每周刷新预测。

6. 上个季度我们达成了哪些目标?谁说的? 列出交付目标以及各自由谁评判。如果团队评判自己的目标,讨论如何把干系人引入。这场交流支持持续协作,并显示目标是关乎成果还是关乎任务。

四种视角

产品与交付团队

交付团队拥有预测和支持预测的流动数据。他们应当发布范围,保持项小,并在事实变化时重新预测。选择用点数给工作定规模的团队,应当让这些数字保留在团队之内。目的是源源不断的已完成的有价值的工作,以及一个因有过往记录而被干系人信任的预测。

服务与运维团队

运维团队承载着打乱计划的需求。他们应当与交付团队分享事件和请求的负荷,使容量计划从真实数字出发。同时也交付变更的运维团队,可以对自己的工作使用同样的基于流动的预测。变更工作与运行工作的联合规划,是跨两个小组开展持续协作的好地方。

领导层与治理

领导者决定预测是一项风险陈述还是一个承诺。他们应当索要范围,为冗余和改进出资,并抵制用速率或吞吐量来比较团队。治理机构应当查看预测命中率随时间的变化以及目标的成果,并把反复的未命中视为关于系统(比如依赖和运营负荷)的信号,而不是关于人的信号。

客户与用户

用户关心的是他们什么时候会看到变更,以及它是否有帮助。带有声明的置信度的范围,比不断推迟的日期更能服务他们。他们应当参与评判目标是否达成,因为他们是感受到成果的人。预测发生变化时告诉用户,并说明原因,是把他们当作协作者对待的一部分。

实践:一个服务管理示例

一家区域能源公司的数字团队构建了一个客户账单门户,并在生产环境中运行它。下面的数字为示意。

团队的干系人要求它给出一项由 22 个项构成的新付款计划功能的日期。上个季度,团队依据其估算给出了确定的日期,因两起重大事件而晚了五周,失去了干系人的信心。这一次,交付负责人提取了过去 20 周的吞吐量,范围为每周 3 至 9 项,中位数为 6,并注意到运营工作约占已完成项的 35%。

她根据这段历史运行了模拟。结果显示,22 个项约有一半的时候在 4 周内完成,约 85% 的时候在 6 周内完成,约 95% 的时候在 8 周内完成。她把这三个日期连同假设一起呈现给干系人:团队规模不变,运营负荷与过去 20 周相似,且没有新的范围。一位产品负责人问起能否赶在八周后的某个特定账单日上线。团队和干系人商定按 85% 的日期规划,保留最后两周作为缓冲,并每两周设一个检查点来重新预测。

在第一个检查点,支付网关的一个故障耗去了三天,模拟把 85% 的日期移动了一周。团队当天就告诉了干系人,并附上原因,他们同意把一个低价值的项移出。该功能在缓冲日期上线。交付目标“客户无需致电就能设置付款计划”,在三周后由产品负责人和一个客户小组评判。对大多数客户而言,它已达成,评论的主题显示对某一屏存在困惑,这被加入了待办事项列表。团队记录下该季度的预测命中率为五分之四。干系人请交付负责人在下一次规划会议上带来预测范围,团队也不再使用故事点,因为数项数得出的答案是一样的。

敏捷、AI、自动化与分析

敏捷

依据已完成工作的流动来规划,并经常与干系人一起修订,给出范围而不是日期。一个好的做法是用团队自己的吞吐量历史进行预测,并在每次定期评审时展示范围。需要注意的是,任何团队本地的规划数字,比如速率,一旦被跨团队比较,就会变成目标。

AI

AI 辅助可以快速且不均匀地改变吞吐量,这使旧的历史在一段时间内成为糟糕的指引。在吞吐量图表上标出采纳 AI 工具的日期,在变化之后放宽预测范围,并将预测命中率与返工配对。需要注意的是,由 AI 生成的估算看起来精确,所以应将其视为讨论的输入,并对照团队自己的记录加以检查。

自动化

根据跟踪器数据自动计算预测,使其无需开会就能刷新。把这些预测的准确度作为预测方法的度量来跟踪。需要注意的是,不带区间展示的自动预测会招致虚假的自信,所以默认展示范围。

分析

使用基于过往吞吐量的模拟或基于百分位数的范围,并连同背后的预测数量一起报告预测命中率。这为之提供依据的决定是承诺什么,以及何时重新规划。需要注意的是,当范围或容量变动时,预测会失败,所以要在旁边跟踪范围变更率。

行业视角

初创公司。 优先级变化很快,所以保持预测简短而粗略。从一开始就跟踪吞吐量,因为这不花钱,并向创始人给出范围。抵制引入为大团队构建的规划系统。

小型企业。 一两个人可能同时做变更和运行工作,没有富余的容量。对划分要明确,并在一起事件会推迟日期时告诉所有者。简单地每周数一数已完成的项就够了。

大型企业。 众多团队和依赖使预测取决于其他团队的流动。依据每个团队自己的数据进行预测,让依赖可见,并谨慎地合并范围,因为把最佳情形相加会给出误导性的总数。避免按速率比较团队的汇总。

政府与公共部门。 固定预算、采购和法定日期造成对单一日期承诺的压力。陈述所选百分位数所支持的日期,解释假设,并公开记录范围的取舍。凡存在强制性日期之处,就按它来规划范围(见主题 8.5,受监管与政府报告)。

业务论证:动因、投资回报与总拥有成本

成本很低。吞吐量和周期时间数据通常已存在于团队的工作跟踪器中。一张预测电子表格或一个小脚本需要一天来构建,而一次预测几分钟就能更新。经常性成本是记录预测和结果的时间,以及与干系人召开简短检查点交流的时间。

回报来自更少的意外和更好的决定。理解风险的干系人可以尽早选择缓冲、调整范围或重新排序工作。如果数项数同样有效,团队花在估算仪式上的时间就更少。因日期落空而起的冲突,以及由此引发的质量捷径会减少。依据你自己的记录建立论证:保持住的预测占比、花在估算上的时间,以及早而非晚作出的范围变更。不要借用其他组织的可预测性数字。

反模式与陷阱

  • 把预测当作承诺。 它把预测变成目标,使诚实变得代价高昂。呈现范围,并修订它们。
  • 按速率比较团队。 点数是本地的,比较会使其膨胀。只把团队与它自己的过往比较。
  • 按满负荷利用来规划。 变异转化为延迟。留出冗余。
  • 忽略运营工作。 计划败在没人计划的负荷上。度量并规划分配。
  • 所有事都用单一日期。 使用百分位数,并说明你选了哪一个。
  • 估算得比数据所能支持的更精确。 对遥远工作的详细估算是最不可靠的。对遥远的工作粗略地预测。
  • 设定速率或吞吐量目标。 数字会上升,价值却不会。
  • 从不给预测打分。 没有过往记录,信任无从增长。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
预测方法 单一日期的猜测 手工汇总估算 带百分位数的基于流动的范围 预测被记录并打分;依据命中率调整方法 预测跨团队和依赖合并,实时与干系人共享
容量规划 计划忽略运营工作 大致了解运营负荷 依据数据按工作类型分配容量 对照成果评审分配;保护改进的时间 与供应商和运维人员跨服务联合规划容量
目标与数字的使用 目标是任务清单 目标被写下来 目标与干系人一起依据成果来评判 将未命中作为系统信号来分析;本地数字保持私有 与用户协作设定和评判目标;学习在团队之间共享

检查清单

  • 预测由团队自己的吞吐量和周期时间历史构建。
  • 预测以带百分位数的范围给出,并陈述假设。
  • 每次预测都连同其范围和实际结果一起记录。
  • 每月评审预测命中率和范围宽度。
  • 容量按工作类型分配,包括运营工作和改进。
  • 计划的利用率为变异和事件留出冗余。
  • 任何规模单位或速率对团队保持私有,不附带目标。
  • 交付目标写成成果,并与干系人一起评判。
  • 范围变更连同理由一并记录。
  • 事实变化时刷新预测,并告知干系人。

AI 提示词

构建基于吞吐量的预测。

我们的团队在最近 [数量] 周每周完成的项数如下:[粘贴每周计数]。我们想知道 [数量] 个项可能何时完成。请解释如何利用我们自己的历史产生一个概率范围,给出一个简单模拟方法的示例,并描述它所作的假设。不要虚构历史或基准值。请列出你的假设,以及预测不适用的条件。

评审我们如何使用估算。

我们以 [单位] 给项定规模,并使用 [实践] 来规划。这是 [数量] 个已完成项的样本,含估算和以天计的实际周期时间:[粘贴数据]。请描述在这个样本中估算是否能预测周期时间,这意味着估算值得投入多少精力,以及我们可以尝试什么来替代。不要声称超出数据的结果。请列出你的假设。

跨变更工作和运行工作规划容量。

在过去 [期间] 里,我们的团队完成了这些类型的 [计数] 个项:[计划变更、事件、请求、改进]。请提出下一个 [期间] 留有冗余的容量分配,并描述如何向干系人解释。建议如何发现运营工作是否被错误标注。不要虚构行业比例。请列出你的假设。

起草与干系人的预测评审。

请为 [工作内容] 的预测检查点起草议程和一页纸摘要。数据:原始预测 [范围],当前状态 [描述],自上次检查点以来的变化 [清单]。包括更新后的范围、改变它的原因、关于范围或时间的选项,以及我们需要干系人回答的问题。使用平实的语言。请列出你的假设。

AI 技能

要点

  • 依据已完成工作的流动来预测,并给出带概率的范围,而不是单一日期。
  • 依据真实容量来规划,包括运营工作、改进时间和冗余。
  • 把任何估算单位或速率视为一个团队的私有辅助,绝不作为目标或比较。
  • 给你的预测打分:命中率建立信任。
  • 依据成果,与干系人和用户一起评判交付目标。
  • 信任并支持团队:诚实的预测来自不因不确定性而受罚的人。

参考文献与延伸阅读

  1. Beck, K., et al., Manifesto for Agile Software Development and Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org.
  2. Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
  3. Humble, J., and Farley, D., Continuous Delivery, Addison-Wesley, 2010.
  4. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  5. Cohn, M., Agile Estimating and Planning, Prentice Hall, 2005.
  6. Kahneman, D., and Tversky, A., "Intuitive prediction: biases and corrective procedures," TIMS Studies in Management Science, 12, 1979.
  7. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  8. Wikipedia, Capacity planning.
  9. Wikipedia, Story point.
  10. Wikipedia, Velocity (software development).
  11. Wikipedia, Forecasting.
  12. Wikipedia, Cone of Uncertainty.
  13. Wikipedia, Planning fallacy.
  14. Wikipedia, Goodhart's law.
  15. Wikipedia, Monte Carlo method.