结果重于产出:选择度量什么
一项好的服务或交付度量,描述的是客户生活中的一项变化或服务健康状况的一项变化,所以选择测量值时要问:对某个人来说改变了什么?并且至多把活动和产出的计数当作辅助证据。
概述与动因
大多数仪表盘从容易计数的东西开始:关闭的工单、部署的变更、完成的故事、接听的电话。它们已经在工具里打上了时间戳,也在团队的掌控之中。它们没有一个能说明是否有人因此过得更好。
四个词能帮助理清这一点。活动(activity)是投入的精力:工作的小时数、召开的会议、拨打的电话。产出(output)是工作产生的东西:一次发布、一张已解决的工单、一篇已发表的文章。成果(outcome)是该产出为某个人带来的变化:客户完成一项任务的时间减半、一家诊所按时开业、一个重复出现的问题不再再现。影响(impact)是对组织目标的较长期效果,比如留住的客户或更低的服务成本。在 ITIL 4(由 AXELOS 发布、现归 PeopleCert 所有的 2019 年版框架)中,产出是活动有形或无形的可交付物,成果是由一项或多项产出为干系人带来的结果。
ITIL 增加了第二个理念,可以用作检验任何度量的标准:价值是由服务提供者和服务消费者共创(co-created)的,而不是由一方交付给另一方。这遵循服务主导逻辑(service-dominant logic)背后的思想,即价值产生于使用之中,此时客户把提供者的能力应用于自己的目标。完全在提供者一侧度量的指标,无法证明价值。团队可以关闭每一张工单、按时发布每一个版本,而用户却发现自己的工作并没有变得更轻松。
敏捷的视角经由另一条路抵达同一个地方。敏捷软件开发(agile software development)宣言背后的原则说,可工作的软件是进展的首要度量,而简洁,即最大化未完成工作量的艺术,是必不可少的。两者都不奖励更大一堆产出。两者都指向交付对其用户有用的东西,而不是构建没人需要的东西。
产出和活动度量没有错。它们管理流动、容量和成本,后面的主题会大量使用它们(见主题 2.1,流动度量)。错误在于让它们充当价值的替身。虚荣度量(vanity metric)是一个易于报告且几乎总是上升的数字:注册用户总数、累计处理的工单、迄今发布的功能。它让团队看起来很忙,却没有告诉任何人下一步该做什么。检验方法是:这个数字能否在客户的处境变糟的同时上升?
成果度量更难。它们变化缓慢,依赖团队控制之外的因素,且噪声大。对密码重置流程的一项更改,可能需要数周才会体现在联系量上,而营销活动也会影响联系量。对策是谨慎地选择成果,把它们与团队日常引导工作所依据的产出测量值配对,并诚实地说明团队能把多少变动算作自己的功劳。
领先指标(leading indicator)是在你所关心的结果之前变化、并且可以被及早影响的测量值,比如拥有经过测试的支持运行手册的新服务占比。滞后指标(lagging indicator)在事后报告结果,比如重大事件的数量或客户的流失。经济学家使用同样的配对,把经济指标(economic indicator)分为领先、同步或滞后。团队两者都需要:滞后指标说明你是否正确,领先指标则在还来得及的时候给你可以采取行动的东西。领先指标在经过数个周期的检验、证实它确实先于成果变化之前,只是一个假设。
成果度量是对钻空子的部分补救(见主题 1.2,古德哈特定律与度量的心理学)。贴近客户所体验之物的测量值,更难在不帮助他们的情况下被改善,而钻空子正生活在与成果的距离之中。帮助做出选择的框架另行介绍(见主题 1.7,度量框架)。
关键原则
- 从成果出发,向后推。 说出你希望为客户、服务或组织带来的变化,然后问什么证据能显示它,再问哪些领先迹象会更早出现。
- 价值是共创的,所以要包括消费者一侧。 每组测量值中至少有一项应当来自使用服务的人:他们的成功、付出的努力或体验,而不仅仅是提供者的记录。
- 让链条保持可见。 把活动、产出、成果和影响展示为一条链。团队依据产出和领先指标来引导工作,依据成果来评判自己。
- 配对,绝不替代。 成果测量值解释产出测量值为何重要,产出测量值解释对成果测量值该做什么。两者单独都不奏效。
- 宁取既能下降也能上升的测量值。 只增不减的数字是计数,不是信号。
- 把领先指标当作假设。 检查它们是否预测成果,不预测就放弃它们。
- 对归因诚实。 成果有许多原因。说明团队影响了什么,只是观察到了什么。
度量定义
下面五项度量的选择,是为了把一组测量值推向成果。它们是应当采用的形式的示例,后面的主题会定义填充它们的服务和交付测量值。本主题中的示意性阈值不是基准。
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| 成果覆盖率 | 已报告的度量中,在度量登记册里与针对某位明确的客户或某项服务的书面成果相联的占比 | 有书面成果联系的度量 / 期内报告的度量。只统计出现在定期报告中的度量;不包括由单个团队保留的工作视图测量值 | 百分比 | 度量登记册(见主题 1.4,度量治理与归属) | 度量与报告;持续改进 | 产品目标和交付目标 | 每季度 |
| 功能采纳率 | 发布后规定窗口内,使用新增或变更能力的合格用户占比 | 发布后 30 天内使用该能力的不同合格用户 / 该期间不同的合格用户。时钟从正式可用时开始;不包括内部测试账户和无法接触该能力的用户 | 百分比 | 产品分析、服务目录使用日志 | 服务设计;发布管理 | 干系人评审反馈;产品成果度量 | 发布后 3 个月内每月,之后每季度 |
| 重复联系率 | 在先前联系关闭后的规定窗口内,用户就同一服务再次联系的占比 | 同一用户在已关闭联系后 14 天内就同一服务发起的新联系 / 期内已关闭的联系。时钟从关闭时开始;不包括作为计划内跟进而开立的联系 | 百分比 | ITSM 工具的联系和工单历史 | 服务台;事件管理 | 逃逸缺陷;完成的定义 | 每月 |
| 领先指标验证率 | 在评审期内,其变动先于所关联的滞后指标变动的领先指标,占在用领先指标的比例 | 经确认领先于其滞后指标的领先指标 / 在用的领先指标。由团队在有文档记录的评审中,依据至少四个周期的数据判断;不包括数据不足四个周期的指标 | 百分比 | 度量登记册和趋势历史 | 持续改进 | 关于实验的回顾会议行动 | 每年两次 |
| 收益评审完成率 | 获得资助的变更或改进中,在约定延迟后其预期成果已对照其测量值评审的占比 | 在计划评审日期后 90 天内完成成果评审的变更 / 评审日期落在该期间内的变更。不包括发布前撤回的变更 | 百分比 | 变更记录、改进登记册、评审记录 | 持续改进;变更赋能 | 干系人评审;产品增量评审 | 每季度 |
成果覆盖率和收益评审完成率度量的是度量实践本身,很容易靠文书工作满足。功能采纳率和重复联系率更贴近客户,也是最有可能改变决定的。
建议
从成果开始
1. 把成果写成一个关于某个人或某项服务的句子。 “员工无需致电服务台就能重置自己的密码”是成果。“部署新的身份门户”是产出。把这个句子放在登记册中该度量条目的顶部,然后选择测量值。如果你写不出这个句子,说明你还没准备好选择数字。
2. 画出从活动到影响的链条。 对每个目标,勾画四个方框:团队做什么、产生什么、用户那里改变了什么,以及这为组织改变了什么。把每个候选度量放进一个方框。一组左边满、右边空的度量,是应当去寻找成果证据的信号。
3. 对每项度量使用价值共创检验。 问:这显示的是谁眼中的价值?消费者的视角出现在这组度量的任何地方吗?用 ITIL 的话说,服务关系有一个提供者和一个消费者,价值在消费者的使用中实现。从提供者的时钟得出的响应时间测量值,需要一个来自消费者一侧的伙伴,比如用户是否能继续他们的工作(见主题 6.2,体验级别协议)。
4. 索要的是决定,而不是报告。 对每个候选度量,写下如果它变化,有人会采取的决定。淘汰任何没有附带决定的测量值。这是抵御虚荣度量最快的过滤器,并防止仪表盘默认地越长越大。
把产出与成果配对
5. 每项主要的产出测量值配一项成果测量值。 如果你报告部署,就把它们与部署为服务改变了什么的测量值配对,比如变更失败或面向用户的事件(见主题 2.8,DORA 度量)。如果你报告已解决的工单,就把它们与重复联系配对。这个配对应当在同一页上。只看到产出的团队会为产出而优化。
6. 选择团队能够影响的成果测量值,并指出只是观察到的那些。 团队可以影响自己服务的重复联系和自己功能的采纳。它只能观察公司的营收。两者都属于全貌,但目标和改进工作应当附着于被影响的测量值。指明这种差别,可以防止团队为自己不可能造成的变动而被责备。
7. 公开地使用替代指标。 许多成果无法直接度量。选择一个替代指标(proxy),说明它是替代指标,并说明它遗漏了什么。重复联系率是“问题真正得到解决”的替代指标,一份简短的调查或对开放式评论的阅读可以检验它是否仍然说出真相(见主题 6.1,客户满意度度量)。
构建领先与滞后的配对
8. 把每个滞后指标与至少一个你可以据以行动的领先指标配对。 重大事件是滞后指标,而拥有经过测试的恢复运行手册的服务占比可能领先于它们。领先指标给团队本月可做的事。选择你有可写下的理由去相信的领先指标,然后检验这一信念。
9. 通过回顾来验证领先指标。 每年两次,把每个领先指标与其滞后伙伴在至少四个周期内作图,并问变动是否先发生。如果关系薄弱,就更换或放弃该领先指标。
10. 在成果有明确的面向用户的测量值时,使用服务级别目标。 一个选得好的服务级别指标(SLI)是用户满意度的领先信号,而服务级别目标(SLO)说明它需要多好(见主题 5.2,SLI、SLO 与错误预算)。当指标是从用户的角度而不是机器的角度选择时,它们的效果最好。
保持选择诚实
11. 用成果评审闭环。 当一项变更或改进获得资助时,记录它预期产生的成果、测量值,以及有人将去查看的日期。即使答案令人尴尬,也要举行评审。没有评审,成果的措辞只是装饰(见主题 6.5,价值实现与业务成果)。
12. 把产出测量值保留在工作视图中,并说明它们的用途。 流动、容量和成本测量值是团队的仪器,不是它的记分卡。周期时间告诉你工作在哪里等待(见主题 2.2,前置时间、周期时间与流动效率)。把它们向上报告而旁边没有成果,会招致钻空子。
钻空子途径与护栏
转向成果并不会消除钻空子,只是改变了它的形状:成果可以被重新定义,替代指标可以被引导,评审可以被跳过。
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| 成果覆盖率 | 为每项度量写一个含糊的成果句子(“改善服务”),使联系在纸面上存在 | 抽查登记册:句子必须指明某个人或服务以及一项变化;核实是否因该测量值而采取了决定 |
| 功能采纳率 | 把被迫或自动的首次使用算作采纳;缩小合格用户群;把该能力设为默认,使其无需选择就被“使用” | 该能力用户的任务完成率或满意度;30 天和 90 天后的使用留存;阅读开放式评论 |
| 重复联系率 | 告诉用户通过另一渠道提出新请求;把联系作为无关联系的重复项关闭;拉长关闭时间以避免窗口内再次联系 | 同一服务按渠道的联系;对关闭备注的抽样评审;用户报告的“问题已解决”比率 |
| 领先指标验证率 | 在非正式查看后宣布领先指标有效;选择与成果轻易同步变动的指标 | 附有绘制数据的书面评审记录;每个周期邀请团队之外的人质疑一项结果 |
| 收益评审完成率 | 评审有名无实,或在事后设定预期成果,使其总能达成 | 将评审中的成果与变更获得资助时所作的陈述作比较;跟踪导致计划改变的评审占比 |
健康的读数显示成果测量值有时令人失望,评审有时终止一项变更,领先指标有时被放弃。一组每个成果都达成、每个领先指标都得到确认的度量,大概是被调到如此的。
权衡:利与弊
| 方法 | 优势 | 劣势 |
|---|---|---|
| 产出与活动测量值 | 快速、便宜且在团队掌控之内;适合流动和容量决策 | 易于膨胀;对是否有人受益只字未提 |
| 成果测量值 | 贴近客户和组织所重视的东西;不帮助客户就更难改善 | 缓慢、噪声大,且受团队控制之外的因素影响 |
| 领先指标 | 提供早期预警和可采取行动的东西 | 如果与成果的联系是假定而非检验过的,可能误导 |
| 滞后指标 | 报告真实发生了什么 | 来得太晚,无法改变本期的结果 |
| 成果的替代指标 | 让难以度量的成果可见 | 可能偏离其所代表之物,并招致替代(surrogation) |
| 小而以成果为主导的集合 | 易于记忆和讨论;聚焦努力 | 可能错过所选成果之外的问题 |
| 宽泛而平衡的集合 | 覆盖服务更多方面 | 稀释注意力;每项测量值得到的审视更少 |
保持少量全组都能背出的成果测量值,用解释它们的产出和领先测量值来支持每一项,并在战略变化时重新审视这组度量。与平衡计分卡(balanced scorecard)和目标与关键成果(objectives and key results)相关联的平衡方法,都试图把日常工作与重要的结果联系起来。当关键成果变成一份旁边带着百分比的产出清单时,它们会以同样的方式失败。
与团队讨论的问题
1. 在我们最突出的五项度量中,哪些可以在客户境况变差的同时上升? 把这五项写在白板上,对每一项提出这个问题。例如,关闭的工单数可以上升,而重复联系也在上升。引导者应当记录答案为“是”的情形,因为那些就是虚荣度量。最后问,每一项旁边应当放什么成果测量值。
2. 用客户自己的话说,对这项服务的客户而言,美好的一周是什么样的? 询问与客户交谈的人,避免使用团队自己的词汇。答案会变成成果句子,并常常揭示没人度量的东西,比如不必把一个问题解释两遍。记下三个句子,并问哪些可以度量,哪怕是通过替代指标。
3. 我们的领先指标中,有哪些曾经对照它们本应预测的结果检验过? 选一个指标,把它与其滞后伙伴在最近几个周期里作图。问你看到了什么,有多大把握。如果关系薄弱,讨论用什么替换它。把一个被放弃的指标视为学习的正常结果,而不是失败。
4. 我们的团队在哪里把只是观察到的成果算作自己的功劳? 查看向领导层报告中的度量。哪些依赖团队控制之外的因素,比如季节性、一次活动或一个供应商?商定一种平实的方式,陈述团队影响了什么、观察到了什么。这使团队为有一天某个成果因它未曾造成的原因而变化做好准备。
5. 在过去两个季度里我们发布或变更了什么?有没有人评审过它是否奏效? 把变更列在白板上,标出有评审记录的。对其他的,问预期的成果是什么,以及现在怎样才能查明。不要去追究责任。目的是开始养成这个习惯,哪怕最初的评审已经迟了。
6. 哪些产出测量值应当退回到我们的工作视图? 有些测量值对团队有用,放进报告却会误导。问哪些是哪些,以及每一项旁边需要什么才能留在领导层的报告上。商定本季度移动一项测量值。移动测量值是成熟的标志,不是对透明度的退缩。
四种视角
产品与交付团队
交付团队受到产出的诱惑,因为他们的工具默认报告产出。补救办法是让采纳和成果证据成为完成的定义和干系人评审的一部分。没人使用的功能是一个教训,及早发现这一点是敏捷实践的好处之一。团队把流动测量值留在工作视图中,并把它们与采纳和失败测量值配对(见主题 2.5,交付预测与规划度量)。
服务与运维团队
服务团队被按处理量来度量:接听的电话、关闭的工单、解决时间。这些对规划和成本很重要,但对用户的问题是否消失说明得很少。运维团队应当在速度测量值旁边增加重复联系、同一原因的再发,以及用户报告的解决情况,并应当对容易工单数量的上升持怀疑态度(见主题 3.1,服务台度量)。诸如知识文章的使用和经过测试的运行手册等领先指标,让团队在事件之间有事可做。
领导层与治理
领导者要求看到什么,会教给组织什么重要。要求看成果,接受它们更慢、噪声更大,并为检验它们的评审出资。治理机构应当寻求一组简短而稳定的成果测量值,每项都有明确的负责人和它所支持的决定的记录(见主题 1.4,度量治理与归属)。问“我们学到了什么?”的领导者,比问“这为什么是红色?”的领导者得到更好的数据。
客户与用户
客户直接体验成果,很少看到产出计数。他们是这组度量的最终检验:服务是否让他们能继续做他们来做的事?简短的调查、开放式评论和对真实任务的观察,比任何提供者一侧的测量值都是更好的证据。客户在共创价值中也有一个角色,这意味着他们得到多好的告知、赋能和倾听,会影响结果(见主题 6.3,服务采纳与目录度量)。
实践:一个服务管理示例
一家中型在线零售商运营着一个内部平台团队,向约 40 个产品团队提供自助式环境供应服务,由一个小型服务台支持。本示例中的所有数字均为示意。
月度报告显示履行了 310 项请求(此前为 240),履行时间的中位数为 6 小时,本季度发布了 12 个功能。领导层很满意。平台负责人注意到,向服务台就供应事宜的联系也上升了,于是请团队把产出与他们所希望的成果作图对照:产品团队无需等待或求助就能获得环境。
链条练习显示,团队度量了活动和产出,而没有成果。他们增加了三项。第一项是重复联系率:22% 的供应联系之后 14 天内又有就同一服务的另一次联系。第二项是三个最新功能的功能采纳率,30 天后分别是合格团队的 9%、14% 和 61%。第三项是一个领先指标,即无需人工步骤就完成的请求占比,目前为 48%。他们假设这应当领先于重复联系率的下降。
他们决定暂停两个与两个低采纳率功能相似的计划功能,把这个季度花在重复联系最常见的原因上,即超出配额时一条含糊的错误消息。他们记录了预期成果,即重复联系率低于 15%,并把评审日期设在 90 天后。
钻空子的风险在第二个月出现。重复联系率降到 11%,看起来好极了。对 25 个已关闭联系的抽样显示,服务台已开始请用户用聊天渠道提出后续问题,而聊天渠道不在 ITSM 工具中计数。团队在报告中加入按渠道划分的联系,把聊天记录纳入抽样,发现合并后的比率为 17%。这是真实的改善,比第一次读数要小。在评审中,负责人报告 17%,指出领先指标同步从 48% 上升到 57%,并记录该假设在宣称其有效所需的四个周期中成立了两个。
敏捷、AI、自动化与分析
敏捷
持续交付使发布小变更并观察用户成果是否变动的成本很低。一个好的做法是在工作开始前,陈述预期的成果和能显示它的信号,并在发布后与干系人一起检查该信号。需要注意的是,频繁的发布会诱使团队把发布次数算作进展,而这又是产出。
AI
AI 工具很容易提高产出:更多的代码、更多的草稿、更多的回答。成果问题是用户是否得到了更好的服务,所以要把产出计数与一项成果配对,比如 AI 辅助路径的重复联系率或任务成功率。需要注意的是,成果在 AI 使用上升的同时改善,仍然可能有其他原因,所以在没有对比的情况下,避免声称是该工具造成的。
自动化
自动捕获已经存在的成果信号,比如重复联系、放弃和获得首个有用答案的时间。对工作本身的自动化应当按它腾出了什么、破坏了什么来度量。需要注意的是,一项经常运行的自动化任务,即使其结果从未被使用,看起来也很高效。
分析
成果数据通常比产出数据更慢、噪声更大。用领先指标来引导,并不时对照较慢的成果来验证它们。需要注意的是,去年的数据中产出与成果之间的相关,并不意味着该产出将继续预测它。就 ITIL 5 而言,所有者所阐明的对可度量成果的关注,使本主题成为主题 1.8(ITIL 5 度量与价值成果)的基础。
行业视角
初创公司。 成果近在手边:创始人可以与客户交谈,看他们是否留下。风险在于只度量用户和功能的增长,在留存和任务成功可见之前,它们都是虚荣度量。选一个客户能认出的成果测量值,每周检查。
小型企业。 数字太小,不足以做统计,所以宁取直接的交谈、少数几个被跟踪的案例,以及一份简短的替代指标清单。要提防供应商的仪表盘,它们把自身的活动当作你的成果来报告。
大型企业。 规模招致产出报告,因为产出在众多团队之间是可比的,而成果不是。抵制把一种成果定义强加给不相似的服务。商定一小组共享的成果句子,让每项服务选择自己的测量值,并保持登记册为最新。
政府与公共部门。 法定职责、经费规则和服务级别预先固定了一些测量值,通常是产出,比如处理的案件。满足它们,并在旁边为公民和员工增加成果测量值,比如一个人是否得到了他们所需的帮助。公开报告使诚实的成果数据更有价值也更敏感,所以要事先商定如何解释被更正的数字(见主题 8.5,受监管与政府报告)。
业务论证:动因、投资回报与总拥有成本
转向成果的成本主要是精力和耐心:撰写成果句子,增加几项测量值(如一份简短的调查或一个采纳事件),以及举行成果评审。工具成本不高,因为大多数替代指标可以由已收集的数据构建。更大的成本是延迟,因为成果数据到来缓慢,领导者必须等待。
回报来自在哪里花钱的更好选择。没人使用的工作代价高昂,而在重复联系的根本原因依然存在的同时改进处理量测量值,也是如此。可预期的模式是:构建后被搁置的功能更少,对重复出现的原因投入的关注更多,争取资助的故事更有力。不要承诺一个百分比。度量你自己的基线,比如近期发布的采纳和重复联系,并在几个季度后比较(见主题 7.7,投资回报与业务论证)。
反模式与陷阱
- 只数容易数的。 工单和部署计数在每个工具里都有,这使它们成为默认。在增加另一项产出计数之前,先为每项服务增加至少一项成果测量值。
- 成果作秀。 为每项度量写一个成果句子却从不检验。评审登记册的一个样本,并问每项测量值支持了什么决定。
- 未经检验的领先指标。 把一个看似合理的信号当作证据。每年至少两次把它与滞后结果作图,放弃那些不领先的。
- 把成果当作个人目标。 把成果测量值分配给某个人,会招致主题 1.2 所描述的行为。把成果附着于团队和服务。
- 只度量提供者一侧。 一组由内部时钟和计数构成的度量,会错过客户的感受。为每项服务包括一项消费者一侧的测量值。
- 从不评审。 基于承诺的收益为变更出资,却从不检查。在变更获批时,把评审日期写进变更记录。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 选择测量值 | 工具里现成可得的计数 | 一些团队写成果句子 | 每项已报告的度量都有书面成果和它所支持的决定 | 每季度一起评审成果集与产出集 | 成果句子在团队、供应商和客户之间对齐,并在战略变化时修订 |
| 领先与滞后指标 | 只有滞后的结果,报告得晚 | 凭直觉选择的少数领先指标 | 领先与滞后指标配对并记录在登记册中 | 每年两次对照结果验证领先指标 | 指标与供应商和客户共享;这组度量随证据演进 |
| 成果评审 | 不评审变更是否奏效 | 大型变更之后偶尔评审 | 每项获得资助的变更都记录评审日期 | 评审完成,其结果进入下一个计划 | 评审是常规的、跨团队的,并包含客户的意见 |
| 消费者一侧的证据 | 轶事 | 部分服务有调查 | 每项服务有一项消费者一侧的测量值 | 消费者证据被做成趋势,并与运营数据一起阅读 | 客户帮助定义和解读成果测量值 |
检查清单
- 每项服务至少有一个指明某个人或服务以及一项变化的成果句子。
- 每项已报告的度量都被放在从活动到影响的链条上。
- 每项度量都有一个它所支持的明确的决定;没有的被淘汰。
- 报告上的每项产出测量值旁边都有一项成果测量值。
- 每项服务至少有一项消费者一侧的测量值。
- 每个滞后指标都有一个领先指标,并附有联系的书面理由。
- 领先指标至少每年两次对照结果检查。
- 替代指标被标注为替代指标,并说明它们遗漏了什么。
- 每项获得资助的变更都有预期成果、测量值和评审日期。
- 成果测量值附着于团队和服务,绝不附着于个人。
AI 提示词
把产出度量转变为以成果为主导的一组度量。
我们的团队是 [团队名称],向 [客户或用户] 提供 [服务或产品]。我们目前报告 [产出或活动度量的清单]。我们希望转向成果。对每项度量,请建议它可能支持的、关于某位客户或某项服务的成果句子,并提出我们可以考虑的一项成果测量值和一个领先指标。对每条建议,说明该测量值会遗漏什么,以及它可能如何被钻空子。不要虚构基准值或来源。请列出你的假设,以及你需要我提供的事实。
检验一个领先指标是否可信。
我们使用 [领先指标] 作为 [滞后的成果测量值] 的领先指标。以下粘贴了两者 [数量] 个周期的数据,并附有这段时间内任何变化的说明:[数据和说明]。请描述领先指标似乎是否先于滞后指标变动,以及还有哪些其他解释与数据一致。不要声称因果关系。请列出你的假设、这么少的数据的局限,以及哪些额外的数据会有帮助。
为最近的一项变更起草成果评审。
我们做了这项变更:[描述],于 [日期] 获批,预期成果为 [成果句子],测量值为 [测量值]。当前数据:[数据]。请起草一份成果评审议程和一个简短的总结结构,把预期成果与我们所见作比较,区分团队影响了什么与只是观察到了什么,并列出给用户的问题。不要作出超出数据所支持范围的成功判断。请列出你的假设和任何数据缺口。
AI 技能
- Service Management Metrics skill:用于为你即将报告的产出度量查找对应的主题和配套的成果测量值。
- Service Management Metrics maintainer skill:用于检查新的度量主题是否把其产出测量值与成果和护栏配对。
要点
- 活动、产出、成果和影响是不同的东西,只有前两者的仪表盘无法显示价值。
- 在 ITIL 中,价值与消费者共创,所以每组度量都需要一项来自消费者一侧的测量值。
- 把产出与成果配对,把滞后指标与你检验过的领先指标配对。
- 要清楚团队影响了什么,只是观察到了什么。
- 对照预期成果评审获得资助的变更,并让结果改变计划。
- 成果测量值减少钻空子但不会终结它,所以每一项仍然需要护栏。
参考文献与延伸阅读
- Seiden, J., Outcomes Over Output: Why Customer Behavior Is the Key Metric for Business Success, Sense & Respond Press, 2019.
- AXELOS, ITIL Foundation: ITIL 4 Edition, TSO (The Stationery Office), 2019.
- Vargo, S. L., and Lusch, R. F., "Evolving to a New Dominant Logic for Marketing," Journal of Marketing, 68(1), 2004.
- Kaplan, R. S., and Norton, D. P., "The Balanced Scorecard: Measures That Drive Performance," Harvard Business Review, January to February 1992.
- Doerr, J., Measure What Matters: How Google, Bono, and the Gates Foundation Rock the World with OKRs, Portfolio, 2018.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, ITIL.
- Wikipedia, Co-creation.
- Wikipedia, Service-dominant logic.
- Wikipedia, Agile software development.
- Wikipedia, Vanity metric.
- Wikipedia, Economic indicator.
- Wikipedia, Balanced scorecard.
- Wikipedia, Objectives and key results.