交付预测与规划度量
持续交付软件并同时运营线上服务的团队,需要的是诚实的预测,而不是从估算中硬挤出来的承诺,所以要依据已完成工作的流动来规划,给出范围而不是日期,并让任何团队本地的规划数字远离比较和目标。
概述与动因
干系人对每个交付团队提出两个问题:“什么时候能完成?”和“你们能承接多少?”敏捷的回答从《敏捷宣言》原则中的宗旨出发:持续交付有价值的软件,每天与干系人协作,定期反思和改进,并围绕被信任能把事情做成的积极上进的人来组织工作。服务于这些宗旨的预测,是干系人之间关于可能结果和风险的一场交流。它不是在压力下榨取出来的承诺。
运营线上服务的团队有一重额外的困难。他们的容量由计划变更、计划外的事件工作、服务请求和改进共同分担。无视运营负荷的计划,会因没人计划到的原因而失败(见主题 2.9,运维工作与计划外工作)。由 ITIL 体系化的 IT 服务管理(ITSM),把这视为容量与需求的问题。容量规划(Capacity planning)是确定组织满足不断变化的需求所需容量的过程。依据团队实际能完成的内容来规划的敏捷实践,是团队层面的同一理念。
有两种宽泛的交付预测方式:
- 依据估算。 团队以某种单位给各项定规模,把规模加起来,再除以一个速率。许多团队使用相对规模,比如故事点(story points),其速率称为速率(velocity)。它上手快,取决于团队的估算习惯,并且只在一个团队之内才有意义。
- 依据流动数据。 团队使用自己已完成工作的记录:每周完成多少项(吞吐量),以及各项从开始到完成需要多长时间(周期时间)。因为它们是计数和经过的时间,而不是意见,所以不易漂移,并可与模拟结合,给出一个结果范围。这种方法来自流动传统,其中包括《看板指南》,适用于任何组织工作的方式,包括无固定规划期的持续交付的团队。
本主题偏向第二种方法,因为持续软件交付产生源源不断的已完成项,流动数据可以直接描述它们(见主题 2.1,流动度量,以及主题 2.2,前置时间、周期时间与流动效率)。它仍然涵盖第一种,因为许多团队使用估算,也因为对速率的误用是交付度量出错最常见的方式之一。
预测是对不确定的未来的预测(forecasting),而不确定性正是关键。不确定性锥(cone of uncertainty)的理念说,早期的估算最不确定。规划谬误(planning fallacy)说,即使人们知道类似的计划曾经延误,他们仍会低估自己计划所需的时间。好的预测度量会点明这一点,并度量预测命中的频率。
来自古德哈特定律(Goodhart's law)的护栏在这里很重要,因为预测和计划很容易变成承诺,进而变成目标。一旦团队因达到某个日期而受到评判,它就会隐藏风险、削减质量,或压低估算(见主题 1.2,古德哈特定律与度量的心理学)。
关键原则
- 依据已完成的工作来预测。 团队已经交付的内容,是比任何人相信它将交付的内容更好的证据。
- 给出带概率的范围。 “很可能在下月底前,非常可能在再下一个月底前”胜过单一日期。
- 依据真实容量来规划。 把运营工作计入,留出改进的时间,并且不按满负荷利用来规划。
- 让估算保持本地。 任何规模单位都是一个团队的私有规划工具,绝不是比较的依据。
- 度量预测质量,而不仅仅是交付。 因错误的原因而正确的预测只是运气。
- 把预测视为共享的。 干系人和团队共同构建它,并在事实变化时修订。
- 信任团队。 被信任和被支持的人,会给出诚实的预测。
度量定义
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| 预测命中率 | 实际结果落在所陈述范围内的预测的占比 | 实际结果在所陈述范围内的预测 / 作出的预测 | 百分比 | 预测日志和交付记录 | 容量与性能管理;持续改进 | 规划交流中的预测准确度 | 每月 |
| 预测范围宽度 | 所陈述范围相对于预测中位数有多宽 | (上界减下界) / 预测中位数 | 比值 | 预测日志 | 容量与性能管理 | 不确定性锥的收窄 | 每月 |
| 交付目标达成率 | 该期间所陈述的交付目标中,被达成的占比,以成果来判断 | 达成的目标 / 设定的目标 | 百分比 | 与干系人商定的目标记录 | 服务级别管理;持续改进 | 与干系人的成果评审 | 每月,或每次发布一个目标时 |
| 范围变更率 | 已承诺的工作中,在预测作出之后被添加、移除或重新定规模的占比 | 预测之后添加或移除的项 / 原始预测中的项 | 百分比 | 工作跟踪器变更历史 | 变更赋能;服务级别管理 | 针对反馈的待办事项列表调整 | 每月 |
| 容量分配 | 团队容量花在变更、运营工作和改进上的占比 | 每个类别中已完成的项或小时数 / 所有已完成的项或小时数 | 百分比 | 带工作类型的工作跟踪器 | 容量与性能管理;事件管理 | 工作类型分布 | 每月 |
| 吞吐量稳定性 | 每周吞吐量的变异 | 每周吞吐量的标准差 / 每周吞吐量的均值 | 比值 | 工作跟踪器 | 容量与性能管理 | 流动的可预测性 | 每月 |
| 本地速率 | 单个团队在每个规划期内以其自身规模单位完成的工作 | 期内符合完成定义的项的估算之和 | 团队自定义的点数 | 工作跟踪器 | 容量与性能管理 | 团队容量规划辅助 | 每个规划期 |
定义时钟。预测在被记录并与干系人共享时算“作出”,在结果被发布并投入使用时算“达成”,而不是在代码合并时。吞吐量统计符合完成定义的项,规模相差很大的不同类型的项,放在单独的序列中计数。本地速率只展示给拥有它的团队。
建议
依据流动来预测
1. 依据吞吐量和周期时间构建预测。 统计最近 12 至 26 周每周完成的项数。利用这段历史,预测到某个日期将完成多少项,或一组项可能何时完成。蒙特卡洛方法(Monte Carlo method)模拟,从团队自己的历史中抽样数千次,把历史转化为概率范围。简单的电子表格或小脚本就能做得很好。说明历史窗口和预测的日期。
2. 报告结果的百分位数。 说“3 月 14 日前有 50% 的可能,4 月 4 日前有 85% 的可能,4 月 18 日前有 95% 的可能”。每个百分位数都是对风险的诚实陈述,干系人可以选择他们需要多少余量。单一日期隐藏了这一选择(见主题 1.6,服务度量的统计素养)。
3. 对单个项使用周期时间百分位数。 对一个项,过往周期时间的第 85 百分位数,比任何估算都更好地回答“这需要多长时间?”。把它展示在看板上,作为一条线,进行中项的年龄可以与之比较(见主题 2.1,流动度量)。
4. 让项的规模大致均匀。 当项小而相似到足以计数时,基于吞吐量的预测效果最好。团队通过把工作切成仍能交付价值的最小片段达到这一点,这本身就是持续软件交付的习惯。如果项的规模差异很大,就为不同的工作类型跟踪单独的序列。
5. 事实变化时刷新预测。 预测是一个活的视图。当范围改变、团队规模改变,或一起大事件吞噬了一周时,重新运行它,并告诉干系人。为预测标注版本,以便日后评判。
依据真实容量来规划
6. 按工作类型分配容量。 记录团队已完成的工作中,计划变更、计划外运营工作、服务请求和改进各占多少。按经验所示的占比来规划,而不是按理想状态。运营线上服务的团队常常发现,三分之一或更多的容量花在运营工作上,这个数字要靠自己度量,而不是借用(见主题 2.9,运维工作与计划外工作)。
7. 为改进预留容量。 持续改进是工作的常设部分,所以在分配中为它安排时间,并保护它。在每个忙碌期都把它挤掉的团队,会发现自己的运营负荷上升,进而把它挤得更厉害。跟踪改进的占比,以及这些改进对运营占比的影响。
8. 不要按满负荷利用来规划。 按 100% 规划的团队没有应对变化的余地,而且随着利用率接近上限,队列会增长(见主题 2.3,在制品与排队)。为意外留出冗余,并把它视为设计选择,而不是浪费。
如果使用估算,要谨慎
9. 把速率视为本地规划辅助。 如果团队用故事点给工作定规模,其速率可以帮助它在下一次规划交流中决定承接多少,并且只应与同一团队的近期过往比较。绝不比较团队,不设速率目标,也不把速率作为生产力的度量向上报告。点数在各团队之间没有共同单位,而推高数字的压力会膨胀估算,却不会交付更多。
10. 偶尔将估算与实际周期时间比较。 把估算与各项实际花的时间作图。如果大的估算并不比小的耗时更长,说明估算工作没有买到多少东西,直接数项数也许同样对团队有用。如果它们相关,说明估算携带了值得保留的信息。让团队依据数据来决定。
度量它是否奏效
11. 记录每一次预测并给它打分。 记录预测、范围和实际结果,然后计算命中率。校准良好的第 85 百分位数预测,应当约有 85% 的时间成真。如果命中率远高于或远低于此,就调整方法。与干系人共享该日志,因为对预测的信任是由过往记录建立的。
12. 依据成果来评判交付目标。 像“客户可以按发票付款”这样的目标,在客户能够做到时才算达成,而不是在任务关闭时。用平实的话与干系人商定目标,共同评审,并记录结果。这使规划与持续协作相联,并使人们不愿交付无人使用的工作(见主题 1.3,结果重于产出:选择度量什么)。
钻空子途径与护栏
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| 预测命中率 | 陈述非常宽的范围,使每次预测都命中;事后重新预测 | 预测范围宽度;把原始预测保留在日志中;将范围与同行的历史作比较 |
| 预测范围宽度 | 收窄范围以显得自信 | 预测命中率;要求范围由记录的历史构建 |
| 交付目标达成率 | 设定容易的目标;事后重新定义目标;把产出算作成果 | 由干系人评判成果;目标措辞保存在日志中;检查已交付变更的使用数据 |
| 范围变更率 | 拒绝合理的变更以冻结范围;通过重新给项定规模来隐藏范围变更 | 干系人对响应性的满意度;记录变更原因 |
| 容量分配 | 把运营工作错标为改进;通过在看板之外工作来隐藏运营负荷 | 与事件和请求记录核对;抽查项的类型 |
| 吞吐量稳定性 | 把项拆成琐碎的片段以提高计数;不完成就关闭项 | 项规模分布;重开率;抽查所交付的价值 |
| 本地速率 | 膨胀估算;拆分故事以索取点数;比较团队 | 让它保持团队私有;与吞吐量和周期时间比较;绝不设目标 |
健康的读数是:预测以大约所陈述的比率成真,目标被干系人认同为已达成,容量图景与团队实际所经历的相符,而速率数字(如果存在的话)只由团队自己使用,不被其他任何人使用。
权衡:利与弊
| 方法 | 优势 | 劣势 |
|---|---|---|
| 基于流动的预测 | 使用真实数据,抗膨胀,给出范围 | 需要稳定的历史和规模相近的项 |
| 基于估算的预测 | 上手快,鼓励对工作的讨论 | 主观,在压力下膨胀,无法跨团队比较 |
| 单一日期的承诺 | 沟通简单 | 隐藏风险;惩罚诚实 |
| 带概率的范围 | 对不确定性诚实 | 对某些干系人起初更难读懂 |
| 按满负荷利用来规划 | 看起来高效 | 队列增长;没有应对事件或学习的余地 |
| 计划的冗余 | 吸收变异并支持改进 | 在未被说服的人看来像闲置容量 |
文字上的答案是从流动数据出发,仅在对团队有帮助之处才加入估算,并用范围说话。凡合同要求给出日期之处,就给出第 85 或第 95 百分位数所支持的日期,并说明什么会改变它。
与团队讨论的问题
1. 如果干系人问“什么时候能完成”并想要一个诚实的答案,我们会怎么说? 请团队针对一项真实的工作来回答,先用单一日期,再用一个范围。注意每个答案让人感到的舒适程度有何不同。引导者应当记录团队要诚实地给出范围需要知道什么,比如历史、项的规模和已知的风险。
2. 我们的容量真正有多少花在计划变更上?我们怎么知道? 查看最近三个月按类型划分的已完成工作。与团队制定的计划比较。交流往往会揭示,运营工作比计划的大,而改进工作比计划的小。商定分配应当是什么,以及什么决定会改变它。
3. 我们的估算在哪里对我们有帮助,在哪里只是耗费时间? 把一批估算样本与实际周期时间作图。讨论更大的估算是否真的更慢。如果联系薄弱,问如果只数项数,团队会有什么不同的做法。决定是继续、简化,还是在试用期内停止估算。
4. 谁看到我们团队层面的规划数字?它们在那里遭遇了什么? 追踪每个规划数字从团队到其受众的路径。问是否有人用它比较团队或设定目标。如果有,讨论如何停止这种做法,以及提供什么来替代。引导者应当准备好解释,本地数字一旦流传就失去其价值。
5. 我们的预测是什么时候失败的?我们学到了什么? 挑一次未命中,追踪它。是范围变更、一起大事件、一项依赖,还是一个错误的假设?什么本可以更早发出警示?商定对预测实践的一项更改,比如记录依赖,或每周刷新预测。
6. 上个季度我们达成了哪些目标?谁说的? 列出交付目标以及各自由谁评判。如果团队评判自己的目标,讨论如何把干系人引入。这场交流支持持续协作,并显示目标是关乎成果还是关乎任务。
四种视角
产品与交付团队
交付团队拥有预测和支持预测的流动数据。他们应当发布范围,保持项小,并在事实变化时重新预测。选择用点数给工作定规模的团队,应当让这些数字保留在团队之内。目的是源源不断的已完成的有价值的工作,以及一个因有过往记录而被干系人信任的预测。
服务与运维团队
运维团队承载着打乱计划的需求。他们应当与交付团队分享事件和请求的负荷,使容量计划从真实数字出发。同时也交付变更的运维团队,可以对自己的工作使用同样的基于流动的预测。变更工作与运行工作的联合规划,是跨两个小组开展持续协作的好地方。
领导层与治理
领导者决定预测是一项风险陈述还是一个承诺。他们应当索要范围,为冗余和改进出资,并抵制用速率或吞吐量来比较团队。治理机构应当查看预测命中率随时间的变化以及目标的成果,并把反复的未命中视为关于系统(比如依赖和运营负荷)的信号,而不是关于人的信号。
客户与用户
用户关心的是他们什么时候会看到变更,以及它是否有帮助。带有声明的置信度的范围,比不断推迟的日期更能服务他们。他们应当参与评判目标是否达成,因为他们是感受到成果的人。预测发生变化时告诉用户,并说明原因,是把他们当作协作者对待的一部分。
实践:一个服务管理示例
一家区域能源公司的数字团队构建了一个客户账单门户,并在生产环境中运行它。下面的数字为示意。
团队的干系人要求它给出一项由 22 个项构成的新付款计划功能的日期。上个季度,团队依据其估算给出了确定的日期,因两起重大事件而晚了五周,失去了干系人的信心。这一次,交付负责人提取了过去 20 周的吞吐量,范围为每周 3 至 9 项,中位数为 6,并注意到运营工作约占已完成项的 35%。
她根据这段历史运行了模拟。结果显示,22 个项约有一半的时候在 4 周内完成,约 85% 的时候在 6 周内完成,约 95% 的时候在 8 周内完成。她把这三个日期连同假设一起呈现给干系人:团队规模不变,运营负荷与过去 20 周相似,且没有新的范围。一位产品负责人问起能否赶在八周后的某个特定账单日上线。团队和干系人商定按 85% 的日期规划,保留最后两周作为缓冲,并每两周设一个检查点来重新预测。
在第一个检查点,支付网关的一个故障耗去了三天,模拟把 85% 的日期移动了一周。团队当天就告诉了干系人,并附上原因,他们同意把一个低价值的项移出。该功能在缓冲日期上线。交付目标“客户无需致电就能设置付款计划”,在三周后由产品负责人和一个客户小组评判。对大多数客户而言,它已达成,评论的主题显示对某一屏存在困惑,这被加入了待办事项列表。团队记录下该季度的预测命中率为五分之四。干系人请交付负责人在下一次规划会议上带来预测范围,团队也不再使用故事点,因为数项数得出的答案是一样的。
敏捷、AI、自动化与分析
敏捷
依据已完成工作的流动来规划,并经常与干系人一起修订,给出范围而不是日期。一个好的做法是用团队自己的吞吐量历史进行预测,并在每次定期评审时展示范围。需要注意的是,任何团队本地的规划数字,比如速率,一旦被跨团队比较,就会变成目标。
AI
AI 辅助可以快速且不均匀地改变吞吐量,这使旧的历史在一段时间内成为糟糕的指引。在吞吐量图表上标出采纳 AI 工具的日期,在变化之后放宽预测范围,并将预测命中率与返工配对。需要注意的是,由 AI 生成的估算看起来精确,所以应将其视为讨论的输入,并对照团队自己的记录加以检查。
自动化
根据跟踪器数据自动计算预测,使其无需开会就能刷新。把这些预测的准确度作为预测方法的度量来跟踪。需要注意的是,不带区间展示的自动预测会招致虚假的自信,所以默认展示范围。
分析
使用基于过往吞吐量的模拟或基于百分位数的范围,并连同背后的预测数量一起报告预测命中率。这为之提供依据的决定是承诺什么,以及何时重新规划。需要注意的是,当范围或容量变动时,预测会失败,所以要在旁边跟踪范围变更率。
行业视角
初创公司。 优先级变化很快,所以保持预测简短而粗略。从一开始就跟踪吞吐量,因为这不花钱,并向创始人给出范围。抵制引入为大团队构建的规划系统。
小型企业。 一两个人可能同时做变更和运行工作,没有富余的容量。对划分要明确,并在一起事件会推迟日期时告诉所有者。简单地每周数一数已完成的项就够了。
大型企业。 众多团队和依赖使预测取决于其他团队的流动。依据每个团队自己的数据进行预测,让依赖可见,并谨慎地合并范围,因为把最佳情形相加会给出误导性的总数。避免按速率比较团队的汇总。
政府与公共部门。 固定预算、采购和法定日期造成对单一日期承诺的压力。陈述所选百分位数所支持的日期,解释假设,并公开记录范围的取舍。凡存在强制性日期之处,就按它来规划范围(见主题 8.5,受监管与政府报告)。
业务论证:动因、投资回报与总拥有成本
成本很低。吞吐量和周期时间数据通常已存在于团队的工作跟踪器中。一张预测电子表格或一个小脚本需要一天来构建,而一次预测几分钟就能更新。经常性成本是记录预测和结果的时间,以及与干系人召开简短检查点交流的时间。
回报来自更少的意外和更好的决定。理解风险的干系人可以尽早选择缓冲、调整范围或重新排序工作。如果数项数同样有效,团队花在估算仪式上的时间就更少。因日期落空而起的冲突,以及由此引发的质量捷径会减少。依据你自己的记录建立论证:保持住的预测占比、花在估算上的时间,以及早而非晚作出的范围变更。不要借用其他组织的可预测性数字。
反模式与陷阱
- 把预测当作承诺。 它把预测变成目标,使诚实变得代价高昂。呈现范围,并修订它们。
- 按速率比较团队。 点数是本地的,比较会使其膨胀。只把团队与它自己的过往比较。
- 按满负荷利用来规划。 变异转化为延迟。留出冗余。
- 忽略运营工作。 计划败在没人计划的负荷上。度量并规划分配。
- 所有事都用单一日期。 使用百分位数,并说明你选了哪一个。
- 估算得比数据所能支持的更精确。 对遥远工作的详细估算是最不可靠的。对遥远的工作粗略地预测。
- 设定速率或吞吐量目标。 数字会上升,价值却不会。
- 从不给预测打分。 没有过往记录,信任无从增长。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 预测方法 | 单一日期的猜测 | 手工汇总估算 | 带百分位数的基于流动的范围 | 预测被记录并打分;依据命中率调整方法 | 预测跨团队和依赖合并,实时与干系人共享 |
| 容量规划 | 计划忽略运营工作 | 大致了解运营负荷 | 依据数据按工作类型分配容量 | 对照成果评审分配;保护改进的时间 | 与供应商和运维人员跨服务联合规划容量 |
| 目标与数字的使用 | 目标是任务清单 | 目标被写下来 | 目标与干系人一起依据成果来评判 | 将未命中作为系统信号来分析;本地数字保持私有 | 与用户协作设定和评判目标;学习在团队之间共享 |
检查清单
- 预测由团队自己的吞吐量和周期时间历史构建。
- 预测以带百分位数的范围给出,并陈述假设。
- 每次预测都连同其范围和实际结果一起记录。
- 每月评审预测命中率和范围宽度。
- 容量按工作类型分配,包括运营工作和改进。
- 计划的利用率为变异和事件留出冗余。
- 任何规模单位或速率对团队保持私有,不附带目标。
- 交付目标写成成果,并与干系人一起评判。
- 范围变更连同理由一并记录。
- 事实变化时刷新预测,并告知干系人。
AI 提示词
构建基于吞吐量的预测。
我们的团队在最近 [数量] 周每周完成的项数如下:[粘贴每周计数]。我们想知道 [数量] 个项可能何时完成。请解释如何利用我们自己的历史产生一个概率范围,给出一个简单模拟方法的示例,并描述它所作的假设。不要虚构历史或基准值。请列出你的假设,以及预测不适用的条件。
评审我们如何使用估算。
我们以 [单位] 给项定规模,并使用 [实践] 来规划。这是 [数量] 个已完成项的样本,含估算和以天计的实际周期时间:[粘贴数据]。请描述在这个样本中估算是否能预测周期时间,这意味着估算值得投入多少精力,以及我们可以尝试什么来替代。不要声称超出数据的结果。请列出你的假设。
跨变更工作和运行工作规划容量。
在过去 [期间] 里,我们的团队完成了这些类型的 [计数] 个项:[计划变更、事件、请求、改进]。请提出下一个 [期间] 留有冗余的容量分配,并描述如何向干系人解释。建议如何发现运营工作是否被错误标注。不要虚构行业比例。请列出你的假设。
起草与干系人的预测评审。
请为 [工作内容] 的预测检查点起草议程和一页纸摘要。数据:原始预测 [范围],当前状态 [描述],自上次检查点以来的变化 [清单]。包括更新后的范围、改变它的原因、关于范围或时间的选项,以及我们需要干系人回答的问题。使用平实的语言。请列出你的假设。
AI 技能
- Service Management Metrics skill:用于查找预测或规划度量所配对的护栏。
- Service Management Metrics maintainer skill:用于检查修订后的规划度量条目是否保留了其钻空子途径和护栏。
要点
- 依据已完成工作的流动来预测,并给出带概率的范围,而不是单一日期。
- 依据真实容量来规划,包括运营工作、改进时间和冗余。
- 把任何估算单位或速率视为一个团队的私有辅助,绝不作为目标或比较。
- 给你的预测打分:命中率建立信任。
- 依据成果,与干系人和用户一起评判交付目标。
- 信任并支持团队:诚实的预测来自不因不确定性而受罚的人。
参考文献与延伸阅读
- Beck, K., et al., Manifesto for Agile Software Development and Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org.
- Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
- Humble, J., and Farley, D., Continuous Delivery, Addison-Wesley, 2010.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Cohn, M., Agile Estimating and Planning, Prentice Hall, 2005.
- Kahneman, D., and Tversky, A., "Intuitive prediction: biases and corrective procedures," TIMS Studies in Management Science, 12, 1979.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Capacity planning.
- Wikipedia, Story point.
- Wikipedia, Velocity (software development).
- Wikipedia, Forecasting.
- Wikipedia, Cone of Uncertainty.
- Wikipedia, Planning fallacy.
- Wikipedia, Goodhart's law.
- Wikipedia, Monte Carlo method.