概述与动因

敏捷的工作方式把可工作的软件放在首位,并让干系人全程协作,使交付的东西就是人们所需要的。由 ITIL 所规范的 IT 服务管理(ITSM),以价值来表述同样的关切:当服务帮助客户以他们接受的成本和风险达成他们想要的成果时,它就是有价值的。两种传统在一个令人不安的问题上相遇。一年之后,人们和组织是否因为这个团队所构建和运行的东西而过得更好?

回答它比统计交付了什么更难。功能上线了,而没有人使用。事件下降,原因却与团队的工作无关。一项成本节省出现在幻灯片上,而它所来自的预算却被花在别处。本主题关乎弥合这一差距,它直接联系到本书早先引入的成果导向(见主题 1.3,结果重于产出:选择度量什么)。

四个理念组织了本主题。

  • 收益(benefit)。 收益是干系人重视的、可度量的改进,比如在某项任务上花的时间更少、错误更少、服务的客户更多,或风险更低。功能不是收益。它是一种手段。收益实现管理(benefits realization management)是识别收益、指定负责人并检查它们是否到来的学科。
  • 价值假设(value hypothesis)。 在构建之前,团队写下它预期改变什么、为谁、改变多少,以及如何判断。这是一个可检验的主张,而且可能是错的。变革理论(theory of change)或逻辑模型(logic model)列出从活动到产出再到成果的链条,这有助于使假设明确。
  • 领先和滞后指标。 领先指标(leading indicator)较早移动并预测结果,比如对新流程的采纳。滞后指标(lagging indicator)事后确认结果,比如每笔交易成本的降低。两者都用:领先指标让你纠正方向,滞后指标告诉你它是否有效。
  • 归因(attribution)。 许多东西同时在变化。要说你的工作导致了某项改进,你需要一个比较:基线、对照组,或考虑到其他变化的前后设计。没有这些,价值的主张只是故事。诚实的立场往往是“与……相关”,而不是“由……引起”。

像目标与关键结果(objectives and key results)(OKR)这样的目标框架,可以把团队工作与业务成果联系起来,关于度量框架的前面主题对它们有详细涵盖(见主题 1.7,度量框架)。每个框架的风险,都是古德哈特定律所指出的那个:一旦收益数字变成目标,人们就会找到办法产生数字而没有收益(见主题 1.2,古德哈特定律与度量的心理学)。

本主题也通向金钱。下一部分中关于投资回报与业务论证的主题,对财务视角有深入阐述(见主题 7.7,投资回报与业务论证)。这里的重点是成果的证据,它为那个论证提供输入。

关键原则

  • 在构建之前写下预期的收益。 之后无法检验的主张,无法从中学习。
  • 为每项收益指定负责人。 负责人是会看到变化的干系人,而不是交付团队。
  • 在发布之后,在用户那里度量。 交付是检查的开始,而不是结束。
  • 用领先指标来引导,用滞后指标来确认。
  • 对归因保持诚实。 说明还有什么在变化,并避免证据无法支持的主张。
  • 统计未到来的收益。 从失败的假设中学习,是这种工作方式的一项收益。
  • 保持协作。 干系人和团队定期共同评审证据。

度量定义

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏
收益实现率 在约定的评审日期观察到的预期收益占比 实测结果达到或高于约定阈值的收益 / 评审日期在期内的预期收益 百分比 带负责人、基线和评审日期的收益登记册 持续改进;服务价值体系治理 与干系人的成果评审 每季度
到达首个价值的时间 从工作开始到用户首个可度量的收益的时间 从首项工作开始到收益指标首次按预期变动的日期之间的天数 天 工作跟踪器和收益指标 服务设计;发布与部署管理 价值的持续交付 每个倡议
假设检查率 发布之后,其所述价值假设被检查过的已发布变更占比 有记录的发布后检查的变更 / 带有假设的已发布变更 百分比 与发布记录相连的假设日志 持续改进;变更赋能 从已发布的工作中学习 每月
证据质量占比 有基线和所述比较方法的、被声称的收益占比 有基线和方法的收益声称 / 所报告的收益声称 百分比 收益登记册评审 度量与报告 对成果的诚实报告 每季度
成果指标变动 所选成果指标相对于其基线的变化,以及可用时相对于比较对象的变化 (之后的指标减去之前的指标),并在旁边报告对照组的变化 指标单位 产品分析、服务数据、财务 服务级别管理;持续改进 关键结果进展 每月
业务影响小时数 因服务问题而使业务流程降级或停止的小时数 流程负责人归因于 IT 服务原因的流程降级或停止的小时数 小时 与流程负责人确认相连的事件记录 事件管理;可用性管理 业务影响评审 每月
与成果相联的容量占比 花在与所述成果相联的工作上的团队容量占比 在与已记录成果相联的项上的容量 / 总容量 百分比 带成果字段的工作跟踪器 服务价值体系;组合治理 与产品目标对齐的工作 每季度

在记录每项收益时,而不是事后,就为其定义评审日期和阈值。到达首个价值的时间在工作开始时启动,在指标首次按所述幅度朝预期方向移动时停止,这可能远在发布之后。业务影响小时数的归因与流程负责人商定,争议被记录下来。

建议

构建之前:使主张可检验

1. 为每项重大变更写一份价值假设。 使用朴素的形式:“我们相信 [变更] 将帮助 [谁] [做什么],从而 [可度量的改进]。我们将通过 [指标] 从 [基线] 变为 [预期] 来得知,在 [日期] 评审。”保持足够简短,能写在看板上的一张卡片上。不能填空的团队,往往还没有理解问题。

2. 记录基线。 没有之前,就没有之后。捕获指标的当前值、如何度量,以及它的变化幅度。如果指标有噪声,单一数字会误导,所以记录若干周内的一个区间(见主题 1.6,服务度量的统计素养)。

3. 选择领先和滞后指标。 对一项新的自助服务请求,领先指标是有多少合格用户完成了它,滞后指标是手工处理小时数的下降(见主题 6.3,服务采纳与目录度量)。商定在何时检查哪个指标。领先指标允许在不等季度结束的情况下进行中途纠正。

4. 在交付团队之外指定收益负责人。 负责人是会在自己领域看到改进、并能对其作出判断的干系人。交付团队支持度量,但不给自己的作业打分。这就是实践中的持续协作:想要这一成果的人,一直参与到它得到确认为止。

发布之后:诚实地检查

5. 在约定的日期评审假设。 与负责人和团队举行简短的评审。查看指标、基线和比较对象。在登记册中记录结果:达成、部分达成、未达成,或无法判断。“无法判断”是合法的结果,也是改进度量的提示。

6. 在可以时使用比较。 最强的比较是对照实验。A/B 测试(A/B testing)在用户被随机分配的情况下比较两个版本,对流量足够的数字化服务效果很好。凡无法随机化之处,分阶段推出使你能比较已收到和未收到变更的群体。双重差分(difference-in-differences)方法比较同一时期内受处理组与未受处理组的变化,从而去除共同的趋势。使用适合的最简单的设计。

7. 寻找混杂因素。 混杂(confounding)因素是其他发生了变化、并可能解释结果的东西:季节性模式、新政策、请求组合的不同。在声称有某种效果之前,列出可能的因素。如果无法排除,就说明证据支持什么,不多说一分。

8. 报告负面和零结果。 当一项变更没有帮助时,说出来,并记录学到了什么。幸存者偏差(survivorship bias),即只看成功的习惯,使计划看起来比实际更好。只包含胜利的登记册,没有被诚实地保存。

让计划保持诚实

9. 把证据质量与收益区分开。 跟踪有基线和所述方法的主张占比。证据薄弱的大主张应当被如此解读。健康的登记册显示证据有力的适度主张,以及少数诚实的“无法判断”条目。

10. 宽松地把容量与成果相联。 问团队的工作有多大占比与所述成果相联,并查看其余部分。有些工作,比如安全修复或维持系统运行,没有新的收益,只要被指明,这就没问题。目的是注意到漂移,而不是把每项任务都硬塞进收益的故事里。

11. 与你所用的目标框架相联。 如果你使用 OKR,就让关键结果成为成果指标,并与干系人一起评审。让关键结果关乎成果,而不是任务,并为可能无法完全达成的宏大目标留出余地。不要把关键结果变成个人目标(见主题 1.7,度量框架)。

12. 既评审项目,也评审组合。 每季度跨倡议查看哪些收益到来了、哪些没有,以及这一模式说明了团队如何估计和选择工作。用它来改进假设的撰写方式,而不是给团队排名。

钻空子途径与护栏

度量 如何被钻空子 配对的护栏度量或实践
收益实现率 设定低阈值;移动评审日期;事后重新定义收益 阈值和日期在批准时固定;证据质量占比;负责人在交付团队之外
到达首个价值的时间 选择因错误原因而移动的早期指标;晚启动时钟 在登记册中定义指标和时钟;与收益负责人确认
假设检查率 撰写总能通过的含糊假设;只检查成功的变更 抽样检查假设是否可检验;在评审中纳入零结果和失败的结果
证据质量占比 回填基线;把任何比较都描述为方法 基线的日期早于变更;由团队之外的人评审
成果指标变动 挑选有利的时期或群体;忽略混杂因素 预先登记的时期和群体;所考虑的混杂因素清单
业务影响小时数 流程负责人夸大或缩小归因;重新归类事件以避免归因 书面记录并登记归因规则;与事件和可用性记录相比较
与成果相联的容量占比 给所有工作贴上一个通用的成果标签;为例行工作编造成果 与干系人一起评审成果清单;抽样检查联系的质量

健康的读数是这样一份登记册:有些收益达成,有些没有,有些不清楚,每个条目都有基线、负责人和所述方法。一律成功的登记册应当受到怀疑。

权衡:利与弊

方法 优势 劣势
正式的收益登记册 问责、跨倡议学习 若应用于每个小变更,就成了官僚主义
每张卡片上的轻量假设 廉价,养成习惯 容易写得含糊
对照实验 因果的强证据 需要流量、时间,以及适合该服务的设计
仅前后对比 简单、快速 被其他变化所混杂
干系人的判断 捕捉到度量所错过的价值 受乐观和政治影响
领先指标 早期纠正方向 可能无法预测真正的成果
滞后指标 确认真实的结果 来得晚;原因众多

答案是使证据的分量与变更的规模和风险相匹配。对小变更使用轻量的假设和简单的前后对比,对大变更使用实验或分阶段推出。始终记录你预期什么、发生了什么,以及你有多确定。

与团队讨论的问题

1. 上个季度我们交付了什么?对本应受益的人来说,什么变了? 列出主要的变更,并为每项指名会注意到差异的人。问他们会怎么说。引导者应当记下没有人能回答的变更,因为它们是发布后检查的候选。商定一个月内与其负责人一起评审的一项变更。

2. 对我们下一项重大变更,价值假设是什么?我们如何知道? 一起填写假设表单。质疑含糊的措辞和缺失的基线。问什么结果会使团队改变计划。如果小组无法就某个测量值达成一致,那就是构建之前的一项探索任务。

3. 谁拥有这项收益?他们在场吗? 检查每项收益是否有交付团队之外的负责人。问负责人多常看到证据。凡负责人就是团队自己之处,讨论还有谁应当分担判断。这场交流支持干系人之间的持续协作。

4. 数字改善时,还有什么发生了变化? 取一个近期被声称的改进,列出同期的其他变化:政策、季节性、人员配置、另一个团队的发布。问哪些可以解释结果。决定把该改进描述为由变更引起、与变更相关,还是不清楚。

5. 我们过去的哪些假设后来证明是错的?我们对此做了什么? 请人讲一个预期落空的故事。如果迟迟没有,团队可能没有在检查,或没有谈论它。讨论如何使报告零结果变得安全而有用。

6. 我们的容量有多大占比与成果相联?这样的感觉对吗? 回顾一个月的已完成工作,给每一项贴上成果或“维持服务运行”的标签。问这一划分是否符合领导者的想法。讨论没有成果的工作,以及是否应当继续。

四种视角

产品与交付团队

交付团队拥有假设和度量计划,并应当分小步交付变更,使证据早日到来。他们应当把指标构建到变更中,例如记录他们所需要的事件,并请收益负责人确认他们所看到的。团队应当欢迎失败的假设作为信息,因为早期的学习节省了构建更多错误东西的成本。

服务与运维团队

运维团队看到变更对事件、请求和容量的真实影响。他们持有滞后指标的大部分数据,比如手工处理小时数和重复联系,并且他们应当帮助检查假设,而不仅仅是吸收变更。当纸面上声称的收益与服务台所见不符时,他们应当发声。

领导层与治理

领导者选择收益是一个学习工具,还是一份推销词。他们应当索要基线和方法,欢迎诚实的“未达成”结果,并避免让团队承担在事实已知之前设定的收益数字。治理应当把登记册作为一个组合来评审,为度量出资,并愿意停止其假设已经失败的工作。

客户与用户

用户知道一项变更是否有帮助,他们是大多数收益的最佳裁判。应当询问他们,向他们展示结果,并在变更没有交付所期望的东西时告诉他们。他们的评论本身就是证据。数字显示了、而用户却没有感受到的收益,值得更仔细地看一看。

实践:一个服务管理示例

一家区域健康保险公司的 IT 团队构建并运行着一个面向医疗服务提供者的理赔门户。下面的数字均为示意。

该团队计划在理赔提交中加入自动资格检查。与理赔运营经理一起撰写的假设是:“我们相信自动资格检查将帮助提供者的计费人员第一次就提交正确的理赔,使因需要更正而被退回的理赔,在三个月内从 18% 降至 12%。我们将通过被退回理赔率得知,3 月 1 日评审。”基线是最近 12 周的平均值,18%,每周范围为 15% 至 21%。领先指标是第一个月内对该检查的使用。理赔运营经理是收益负责人。

团队分小步发布,该检查首先对一个区域可用。三周后,该区域对检查的使用率为 64%。在评审日期,有检查的区域被退回的理赔降至 13%,没有检查的区域为 17%。理赔经理指出,同期还有一项关于某个计费代码的政策变更生效。团队把它列为混杂因素,并从两个组中去除带该代码的理赔,这使结果为 14% 对 17.5%。收益实现被记录为“部分达成”:明显好于基线,但未达到 12% 的目标。团队在登记册中诚实地写明,证据来自一个季度内的分阶段推出,对其他提供者效果可能不同。

随后他们把检查推广到所有区域,并计划在三个月后再次检查,并添加一项任务来改进错误消息,因为来自提供者的评论说消息不清楚。财务总监要求为董事会提供一个单一的数字。IT 负责人提供了区间和方法,并拒绝给出比证据所允许的更精确的数字。该决定被记录下来,连同下一次评审日期。

敏捷、AI、自动化与分析

敏捷

在工作开始之前说明预期的收益,并在发布之后与本应受益的人一起检查它。需要注意的是,没有基线而被声称的收益,只是故事。

AI

AI 项目往往承诺巨大的收益,所以要分别记录由 AI 辅助的工作的基线、预期变化和证据,并把生产力主张与质量和成本配对。需要注意的是,由 AI 工具生成的收益估计应当被检查,因为它们听起来可能很精确却没有依据。

自动化

自动捕获你的系统中已有的成果指标,并就完成情况度量收益评审流程。需要注意的是,自动化的指标仪表盘可能取代关于收益是否发生的交流。

分析

连同证据质量和归因限度,一起报告成果指标的变动。这为之提供依据的决定是继续、改变还是停止什么。需要注意的是,归因很难,所以要描述不确定性。

行业视角

初创公司。 收益接近收入和留存,学习速度很重要。在卡片上写一行字的假设,快速检查,并避免繁重的登记册。使用简单的比较,并接受小样本限制了你能声称的内容。

小型企业。 所有者就是收益负责人,影响是可见的。保存一份简短的变更清单,附预期效果,并每季度评审。避免把微小的收益夸大为巨大的数字,并与变更的成本相比较。

大型企业。 组合、出资周期和众多干系人使收益登记册有用。对小变更保持轻量,对大变更保持严谨,把负责人放在业务单元中,并跨组合评审。防止数字在定义不同的情况下被汇总。

政府与公共部门。 成果往往是公共产品,比如可获得性、公平和安全,不能还原为收入。与所服务的人一起定义成果,使用混合的证据,并公开报告方法。可能需要正式的业务论证和收益评审,而诚实的零结果对公共问责很重要(见主题 8.5,受监管与政府报告)。

业务论证:动因、投资回报与总拥有成本

成本主要是注意力。写一份假设需要几分钟,基线需要一个或几个小时,评审需要一次简短的会议。实验和分阶段推出需要设计工作量和一些工具。收益登记册可以是电子表格,或工作跟踪器中的一个字段。

回报是更好的投资决定。检查其假设的团队,会停止构建没有帮助的东西,扩展有帮助的东西,并了解自己预测得有多好。这节省了未使用的功能和失败计划的成本。依据你自己的数据构建论证:带有假设的变更占比、被检查的占比,以及后来被放弃或撤销的工作的成本。除非你能追溯其来源和方法,否则避免引用关于 IT 项目失败率的已发布数字,因为它们差异很大,且常常被不加语境地引用。财务处理见下一部分(见主题 7.7,投资回报与业务论证)。

反模式与陷阱

  • 把交付算作价值。 上线的功能只是一种手段。检查它对人的影响。
  • 不会失败的假设。 让它们具体,附数字和日期。
  • 给自己的作业打分。 让团队之外的收益负责人来判断结果。
  • 从前后对比中声称因果。 列出混杂因素,并在可能时使用比较。
  • 只报告胜利。 记录零结果和负面结果。只有成功的登记册是不诚实的。
  • 为个人设定收益目标。 与人相联的目标招致夸大的主张。让收益保持在团队和倡议的层面。
  • 过度精确。 报告区间和方法,而不是单一的小数。
  • 忽略没有新收益的工作。 指明它,并且不要为它编造收益故事。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
陈述价值 收益只在业务论证中被声称 为一些变更撰写假设 每项重大变更都有简短的假设、基线和负责人 假设和阈值在批准时固定;定义领先和滞后指标 假设在团队和供应商之间共享;与用户一起定义成果
检查价值 没有发布后检查 交付团队偶尔检查 与独立负责人的定期评审 记录比较和混杂因素;跟踪证据质量 组合层面的证据指导出资;跨团队共享实验
学习 庆祝胜利,忘记失败 记录一些经验教训 记录并评审零结果 未达成假设中的模式改进选择和规模估计 学习为整个组织以及与合作伙伴的规划提供输入

检查清单

  • 每项重大变更都有书面的价值假设,附基线、指标和评审日期。
  • 每项收益都有交付团队之外的负责人。
  • 定义并跟踪领先和滞后指标。
  • 评审在约定的日期与负责人一起进行。
  • 在可行之处使用比较或分阶段推出。
  • 为每个被声称的结果列出混杂因素。
  • 记录并分享零结果和负面结果。
  • 在收益声称旁边跟踪证据质量。
  • 没有个人有个人收益目标。
  • 每季度的组合评审查看达成和未达成假设中的模式。

AI 提示词

撰写价值假设。

我们计划在 [组织类型] 中为 [用户或干系人] [描述变更]。目前的问题:[描述]。请按“我们相信 [变更] 将帮助 [谁] [做什么],从而 [可度量的改进]。我们将通过 [指标] 得知……”的形式起草一份价值假设。建议一个领先指标和一个滞后指标、我们需要什么基线,以及评审日期的逻辑。不要虚构目标值;留作占位符由我们填写。请列出你的假设,以及我们需要弄清楚的事项。

为被声称的结果列出混杂因素。

我们声称,[变更] 使 [指标] 在 [日期] 之间从 [之前] 改善到 [之后]。该期间发生的其他事情:[清单]。请列出可能的混杂因素、每一个如何可能解释结果,以及什么数据或比较有助于排除它。建议能说明证据所支持内容的措辞。不要假定数据无法支持的原因。请列出你的假设。

设计分阶段推出的比较。

我们可以在不同时间把 [变更] 发布给 [数量] 个群体:[描述群体和约束]。请提出一个分阶段推出方案,使我们能比较有变更和没有变更的群体,说明使用什么指标和时期、什么可能使比较产生偏差,以及我们将从不同结果中得出什么结论。不要虚构效应量。请列出你的假设和风险。

评审一个收益登记册条目。

请评审 [倡议] 的这个收益登记册条目:[粘贴条目,包括主张、基线、方法、负责人和评审日期]。指出缺失的信息、含糊的措辞、证据所不支持的主张,以及结果可能被钻空子的方式。建议一种符合我们实际所度量内容的更有力的措辞。请列出你的假设,以及要问负责人的问题。

AI 技能

要点

  • 在构建之前写一份可检验的价值假设,附基线、团队之外的负责人和评审日期。
  • 用领先指标来引导,用滞后指标来确认。
  • 在可以时比较,列出混杂因素,只声称证据所支持的。
  • 记录零结果和负面结果;一律成功的登记册是不诚实的。
  • 在主张的大小旁边跟踪证据的质量。
  • 让干系人和用户持续协作,直到成果得到确认。

参考文献与延伸阅读

  1. Ward, J., and Daniel, E., Benefits Management: How to Increase the Business Value of Your IT Projects, 2nd ed., Wiley, 2012.
  2. Doerr, J., Measure What Matters, Portfolio/Penguin, 2018.
  3. Kohavi, R., Tang, D., and Xu, Y., Trustworthy Online Controlled Experiments, Cambridge University Press, 2020.
  4. Hubbard, D. W., How to Measure Anything: Finding the Value of Intangibles in Business, 3rd ed., Wiley, 2014.
  5. Beck, K., et al., Manifesto for Agile Software Development and Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org.
  6. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  7. Wikipedia, Benefits realisation management.
  8. Wikipedia, Theory of change.
  9. Wikipedia, Logic model.
  10. Wikipedia, Leading indicator.
  11. Wikipedia, Lagging indicator.
  12. Wikipedia, Objectives and key results.
  13. Wikipedia, Goodhart's law.
  14. Wikipedia, A/B testing.
  15. Wikipedia, Difference in differences.
  16. Wikipedia, Confounding.
  17. Wikipedia, Survivorship bias.