概述与动因

古德哈特定律(Goodhart's law)是度量领域最古老的警示。经济学家查尔斯·古德哈特(Charles Goodhart)在 1975 年撰写关于英国货币政策的文章时注意到,一旦当局为了控制目的对某个统计规律施加压力,该规律往往就会瓦解。流行的表述出现得更晚。人类学家玛丽琳·斯特拉森(Marilyn Strathern)在 1997 年将其表述为“当一项测量值变成目标时,它就不再是好的测量值。”这两句话说的是同一件事:一个数字一旦被用来引导人,人就会去引导这个数字。

同样的想法还有其他名称。社会科学家唐纳德·坎贝尔(Donald Campbell)的坎贝尔定律(Campbell's law)说,一项量化指标越是被用于决策,它就越容易受到腐蚀的压力,也越会扭曲它本应监测的过程。眼镜蛇效应(cobra effect)讲的是一项悬赏产生了更多它本想消除的东西的故事。每一个都是反向激励(perverse incentive)的例子:一种把行为推离奖励者所愿的奖励。

构建和运营 IT 服务的团队尤其暴露在这一风险之下。持续交付和由 ITIL 体系化的 IT 服务管理(ITSM),都会产生源源不断的时间戳、计数和状态。工单系统记录工单何时开立、何时分派、时钟何时暂停、何时关闭。交付工具记录工作何时开始和结束。这些数字收集成本低、易于绘图,也易于变成目标。它们同样很容易被移动,而不帮助任何人。

三个术语在本主题和全书其余部分反复出现。测量值(measure)描述某件事。目标(target)是有人被期望达到的数字。护栏(guardrail)是预先选定的第二项测量值或一项实践,如果第一项测量值被钻空子,它就会变化。从测量值到目标这一步,正是麻烦开始之处,而护栏是你察觉它的方式。

本主题确立了统摄其他所有主题的规则。书中的每个度量族都附带其钻空子途径(它通常是如何被钻空子的)和护栏。如果后面某个主题似乎略过了这一点,就把该主题视为未完成。

人们为什么钻数字的空子

钻空子通常不是不诚实。它是有能力的人对眼前激励的寻常反应。有四种力量在起作用。

  • 压力。 某人的奖金、考核、合同续签或声誉取决于这个数字。即使没有正式的联系,人们也会从领导层绘制什么图表来推断领导层关心什么。
  • 替代(surrogation)。 替代(Surrogation)是把测量值当作它所代表之物本身的倾向。在组织中研究它的研究者发现,与某项测量值挂钩的激励薪酬会使这种倾向更有可能出现。跟踪“已关闭工单”的团队开始相信目标是关闭工单,而不是解决问题。
  • 恐惧。 当坏数字带来责备时,人们会隐瞒坏消息。事件被降级,中断被重新标注为“计划内维护”,缺陷被登记为功能请求。
  • 局部优化。 团队改进自己被评判的那部分系统,而把成本推给不被评判的部分。服务台关闭得快,而二线继承了重复出现的问题。

理解这些力量很重要,因为补救办法不是更严的监管,而是改变使钻空子成为理性之举的条件。

关键原则

  • 度量是为了学习,而不是为了评判。 先把数字给做这项工作的团队看,并用它们来提问。
  • 给每项度量配一道护栏。 速度配质量,数量配成果,成本配体验。
  • 描述团队和系统,绝不给人排名。 个人排行榜是败坏数据来源最快的方式。
  • 宁取成果和趋势,而不取目标。 一个方向和一场交流胜过一个阈值。
  • 把定义写下来,包括时钟。 定义含糊之处,就是钻空子的藏身之所。
  • 预期会改变。 当度量不再为决定提供依据时,淘汰或重新设计它。
  • 让坏消息变得安全。 如果诚实的报告受到惩罚,数据就会撒谎。

度量定义

下面的度量不是服务或交付的测量值。它们是度量实践本身的健康状况的测量值,并展示了本书中每张度量表所采取的形式。前三项是护栏的例子,会在后面的主题中反复出现。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏
护栏覆盖率 已报告的度量中,有名称明确并被跟踪的护栏的占比 有护栏的度量 / 已报告的度量 百分比 度量登记册(见主题 1.4,度量治理与归属) 度量与报告;持续改进 工作协议回顾会议 每季度
重开率 在规定窗口内被重新打开的已关闭工单或工作项的占比 14 天内被重开的项 / 期内关闭的项 百分比 ITSM 工具或问题跟踪器的状态历史 事件管理;问题管理 完成的定义;逃逸缺陷 每月
定义变更次数 一个期间内,度量定义或状态工作流的变更次数及其理由 定义变更日志中的条目数 计数 度量登记册变更日志 度量与报告 工作协议 每季度
度量使用率 在期内的某项决定中被引用过的已报告度量的占比 在有记录的决定中被引用的度量 / 已报告的度量 百分比 决定日志或评审记录 持续改进 回顾会议行动 每季度
认知差距 同一服务的满意度调查结果与源自工单的服务级别之间的差值 源自调查的比率减去源自跟踪器的比率 百分点 调查工具和 ITSM 工具 服务级别管理 干系人评审反馈 每季度

重开率只统计在同一记录中被重新打开的项。先被关闭、再作为新工单重新提出的项不会出现。下一节的部分意义在于,护栏需要它自己的护栏,比如把重复的工单关联到其原始工单。

建议

设计度量体系

1. 从问题出发,而不是从数字出发。 在添加度量之前,写下它回答的问题和它支持的决定。“用户的问题是否第一次就得到解决?”是一个问题。“降低平均处理时间”是一个假装成问题的目标。没有附带决定的度量是该被淘汰的候选。

2. 选择相互牵制的度量。 单一数字会招致过度优化,所以要选相互牵制的配对:变更前置时间配变更失败率,工单关闭速度配重开率,可用性配用户报告的体验。这个配对不必是一个公式,只需放在一起、在同一页上展示。

3. 定义时钟和排除项。 对每项时间测量值,写下时钟从何处开始、到何处停止、何时可以暂停。服务数据中的大多数钻空子都藏在这些边界里:置入“等待客户”的工单会停止服务级别时钟,只在应用之后才记录的变更会逃过变更前置时间。如果存在暂停状态,要报告它被使用的频率。

4. 使用分布和百分位数。 工单解决时间的平均值可能改善,因为少数容易的工单被很快关闭,而困难的工单却在老化。展示中位数和一个高百分位数(比如第 85 或第 95 百分位数),并展示最老的未关闭项。工作项年龄和最老的未关闭工单,不真正完成工作就很难钻空子(见主题 2.1,流动度量)。

5. 保持一份度量登记册。 一份简短的登记册列出每项度量、负责人、定义、数据来源、钻空子途径、护栏,以及上次评审的日期。它很枯燥,却是本主题中最有效的单个习惯(见主题 1.4,度量治理与归属)。

安全地引入度量

6. 先给团队看,并展示原始数据。 先于领导层看到数字的团队,更愿意质疑其准确性。从底层的项开始,而不是从图表开始。如果数据经受不住与产生它的人的一次交谈,就经受不住一块仪表盘。

7. 把学习视图与问责视图分开。 团队的工作视图可以包含许多测量值,包括难看的。呈送给领导层的应当是一小组稳定的集合。如果领导层索要工作视图,就预期工作视图会为了更好看而改变。

8. 不要把个人薪酬、纪律或排名与度量挂钩。 可以要求团队解释自己的数字并加以改进。针对工单数、故事点或提交数的个人目标,会教人们去最大化计数。当指标是为整个系统选择并定期评审时,关键绩效指标(key performance indicator)的方法可以奏效。当它变成按人计分的记分卡时,它就失败了。

9. 让诚实的报告变得安全。 心理安全(Psychological safety)是这样一种信念:你不会因为说出一个错误或一个担忧而受到惩罚。对事件的无责评审就是它在实践中的一个例子。没有它,事件数会因错误的原因而下降:人们不再报告。

保持体系诚实

10. 开展钻空子评审。 每季度就每项已报告的度量向团队问一个问题:“如果我们想让这个数字好看而不帮助任何人,我们会怎么做?”把答案写下来,然后检查护栏能否发现每一种做法。这项练习成本低,会产生有用的想法,并把交流从猜疑转向设计。

11. 对照现实审计定义。 抽取少量已关闭的项并阅读它们。它们真的解决了吗?优先级是否诚实?“等待客户”状态是否真的意味着在等客户?十五分钟的抽样,往往比一个月的仪表盘告诉你更多。

12. 淘汰度量。 连续两个季度没有在决定中被引用的度量就是开销。把它移除,并说明这一点。更少的度量、每项都受信任,胜过众多。

钻空子途径与护栏

该表涵盖上一节中的度量。后面的主题把同样的形式应用于服务和交付测量值。

度量 如何被钻空子 配对的护栏度量或实践
护栏覆盖率 在纸面上命名一道护栏,却从不跟踪它 评审登记册:只有当护栏的最新值出现在同一块仪表盘上时,它才算数
重开率 关闭工单并新开一张,而不是重新打开;拉长窗口直到重开落在窗口之外 重复与关联工单的比率;跨工单的同一原因的再发
定义变更次数 不记录变更,使计数保持较低;不告诉任何人就更改工作流 每次评审时,将工具中的状态模型与登记册作比较
度量使用率 出于形式,在决定日志中引用每一项度量 问因为这次引用改变了什么;抽查日志
认知差距 只调查满意的用户;把调查引向一次良好互动之后的时间 调查回复率和受访者构成;在评审中大声读出开放式评论

健康的读数是一种会变化的度量实践:定义因书面记录的理由而调整,度量有来有去,团队能讲出一个数字改变了某项决定的故事。

权衡:利与弊

方法 优势 劣势
度量而不设目标 减少钻空子;邀请诚实的讨论 可能退化为无人采取行动的报告
带护栏的目标 提供方向和紧迫感;配对限制钻空子 维护工作更多;护栏随时间也会被钻空子
个人度量 易于理解;似乎公平 败坏数据;损害协作
团队和服务度量 与工作真实发生的方式相符 更难归因;隐藏个人的支持需求
少量度量 更容易信任和记住 有盲点;可能错过新问题
大量度量 覆盖面广 稀释注意力;每项度量的治理都薄弱

文字上的答案是谨慎地使用目标,仅用于被充分了解且难以钻空子的情形,比如用户提出要求的服务级别目标。即便如此,也宁可把目标与服务挂钩,而不是与某个人的考核挂钩。目的不是把数字从决策中拿走,而是通过让产生数字的人站在你这边,使数字与现实保持联系。

与团队讨论的问题

1. 我们当前仪表盘上的哪个数字,最容易让我们想去改善它而不改善工作? 从人们最先看的度量开始,再转到领导层问及的那一项。询问具体的动作:如果我们承受压力,会对数据做什么?引导者应当记录每个答案而不加评判,因为这份清单将成为登记册中的钻空子途径。最后问,我们的护栏能发现这些动作中的哪些,会漏掉哪些。

2. 在我们最重要的时间测量值中,时钟在何处开始和停止?是谁决定的? 请小组在白板上画出工单或工作项的生命周期,并标出每个状态。寻找时间可能消失的状态,比如等待客户或搁置。统计每个状态被使用的频率以及被谁使用。交流往往会揭示,两个团队对同一个词的用法不同。

3. 上一次有一个数字让我们做了无益的事是什么时候? 邀请讲故事,而不是责备。常见的例子是在核实之前就关闭工单、拆分变更以抬高部署数,或为避免违约报告而重新归类事件。引导者应当问这个人想保护什么。答案通常会显示需要改变的激励。

4. 谁能看到我们的度量,它们在那里遭遇了什么? 追踪每项度量从团队到其受众的路径。问它的任何版本是否被用来比较团队或个人。问如果受众不同,团队会展示什么。团队会改变所展示数字的地方,就是需要与受众谈一谈的信任缺口。

5. 我们最重要的五项度量各自的护栏是什么?它在同一页上吗? 在白板上做一个两栏清单。如果某项度量没有护栏,就商定一个候选和一位负责人,试行一个季度。如果护栏存在却很少被查看,讨论原因。避免选择仅仅是度量的反面的护栏,因为那不会告诉你任何新东西。

6. 本季度我们应当淘汰哪项度量? 索要证据:它上一次用于决定是什么时候?如果没人记得,就把它淘汰一段试用期,看是否有人注意到。引导者应当把淘汰视为正常事件。从不放弃度量的团队,最终会得到没人信任或阅读的报告。

四种视角

产品与交付团队

交付团队通过速率、吞吐量和部署次数遭遇钻空子。尤其是速率(Velocity),它是针对单个团队的规划工具,而不是生产力的度量,按它来比较团队会导致估算膨胀。交付团队应当把工作测量值留给自己,向外发布一小组,并将每项速度测量值与一项质量测量值配对(见主题 2.5,交付预测与规划度量)。

服务与运维团队

服务团队通过解决时间、首次联系解决率和服务级别达标率遭遇钻空子。暂停时钟的状态和优先级字段是通常发生漂移的地方。运维团队应当定期审计状态转换,报告暂停状态的使用,并在速度旁边关注重复联系和重开率。值班团队应当特别小心那些奖励不被呼叫的测量值,因为它们惩罚诚实的告警(见主题 3.3,事件响应与解决时间)。

领导层与治理

领导者设定激励,往往并非有意。评审中提出的一个问题(“这为什么是红色?”)教会团队该隐藏什么。领导者应当询问团队从一个数字中学到了什么,把排行榜挡在会议室之外,保护坦率的报告,并为坏数字所揭示的改进工作出资。治理机构应当把度量登记册和钻空子评审作为报告的一部分,并把度量的一项明确的变更视为正常。

客户与用户

用户体验到钻空子的效果,表现为一项在纸面上好看而实际感觉糟糕的服务:一张被关闭却没有修好的工单、一次被标注为计划内的中断、一份从未送达他们的调查。用户也是最好的护栏。他们的反馈,以调查、投诉和评论的形式,应当与运营数字并列,并应当被完整阅读,而不是被简化成一个分数(见主题 6.1,客户满意度度量)。

实践:一个服务管理示例

一家地区医院的 IT 部门运营着一个服务台和几个构建临床应用的产品团队。本示例中的数字为示意。

领导层设定了在约定时间内关闭 90% 事件的目标。两个月内,仪表盘显示 94%。服务运营主管很高兴,却又不安,因为临床人员的抱怨不减反增。她请团队对这项度量开展一次钻空子评审。

团队勾画出工单的生命周期。他们发现,工单平均每张转入“等待客户”两次,而处于该状态的时间在增长。对 30 张已关闭工单的抽样显示,其中 7 张在一次电话尝试后,以“用户无回应”的备注关闭。他们还发现,重开率持平,只是因为问题再次出现时,用户被告知“请新开一张工单”。

团队做了三项改变。第一,解决时间图表现在显示中位数、第 90 百分位数和最老的未关闭工单,以及处于暂停状态的时间占比。第二,仪表盘增加了重复联系率,定义为同一用户在 14 天内就同一服务提出的新工单的占比。第三,一份简短的调查发给随机抽取的已关闭工单样本,其开放式评论在月度评审中被阅读。

三个月后,总体的达标数字降到 88%,感觉像是坏消息。然而重复联系率下降了,关于问题未解决的调查评论也变少了。运营主管告诉领导层,旧数字是被抬高的,新的图景更诚实,并请他们接受一个基于修正后定义的服务级别目标。记录在决定日志中的决定是:再多收集一个季度的数据之后再设定目标,而不是立即设定。

敏捷、AI、自动化与分析

敏捷

短反馈回路让团队及早察觉钻空子。一个很合适的做法是,在每次定期评审时读几个原始项,并与总体数字作比较,干系人在场。需要注意的是,奖励报告速度的回路本身可能变成目标,所以要让每次评审的目的保持在学习上。

AI

AI 改变了钻空子的样子。模型可以成批地产生看似合理的解决备注、状态更新或工单类别,所以统计这些制品的度量可以在没有任何真实工作的情况下得到满足。把每个受 AI 影响的计数与一次抽样的人工质量检查配对,并报告被人修改过的 AI 输出占比。需要注意的是,低修正率可能意味着草稿好,也可能意味着评审草率,所以要把两者放在一起读。

自动化

自动收集消除了对数据的手工编辑,从而封堵了一些钻空子的途径。把护栏和度量一并自动化,使两者出现在同一页上。需要注意的是,随后人们会去钻自动化所读取的输入,比如工单类别或暂停状态的空子,所以要用真实项的抽样来审计定义。

分析

分析可以通过奇怪的分布揭示钻空子,比如在报告截止日期前夕关闭的工单激增,或恰好聚集在目标值上的一簇。用这些模式来引发交流,而不是作为存心不良的证据。需要注意的是,任何检测规则都会为人所知并随后被规避,所以要轮换护栏,并在评审中保留人。

行业视角

初创公司。 小团队度量少、信任度高,这是有利的。危险在于过早引入庞大的企业仪表盘。从创始人真正使用的两三项测量值开始,写下它们的定义,并让它们远离个人绩效的交流。

小型企业。 资源紧张,负责 IT 的人往往直接向所有者汇报。一次客户抱怨就可能压过任何仪表盘。保持集合很小,偏重用户的直接反馈,并对供应商提供的报告持一些谨慎,因为供应商有自己的激励。

大型企业。 规模放大了对可比数字的需求,也放大了钻空子的压力。使用带有书面定义的一小组标准集合,把团队工作视图与汇总分开,并避免比较从事不同类型服务的团队。度量登记册和评审节奏变得不可或缺。

政府与公共部门。 报告义务和合同约定的服务级别可能使某些目标不可商量。把它们当作设计输入:满足它们,在旁边展示护栏,并报告所用的定义。公共问责提高了隐瞒坏消息的代价,所以要建立安全的内部渠道,并公开说明被修正的定义(见主题 8.5,受监管与政府报告)。

业务论证:动因、投资回报与总拥有成本

应用本主题的成本主要是时间:几个小时用于撰写定义和登记册,一次简短的季度钻空子评审,以及偶尔对已关闭项的抽样。工具成本很少。更大的成本是领导层的注意力,因为这项规范只有在阅读数字的人行为一致时才奏效。

回报来自避免的浪费和更好的决定。基于被败坏的数据所做的决定,可能把投资引向错误的问题,比如增加服务台人手以更快地关闭工单,而真正的问题是某个缺陷造成的重复联系。钻空子还侵蚀团队与依赖它的人之间的信任,这很难修复。要用模式而不是编造的百分比来描述收益:更少的决定被撤销、审计中更少的意外,以及运营数字与用户体验之间更好的一致。如果你的业务论证需要数字,就在变更前后度量你自己的基线,比如认知差距和重复联系率。

反模式与陷阱

  • 有目标没有护栏。 孤零零的目标会通过任何可用的途径被达成。在宣布目标之前,添加一项配对的测量值。
  • 人或团队的排行榜。 它们招致钻空子,阻碍团队之间互相帮助。给每个团队看它自己的趋势,并附上背景。
  • 把度量当作惩罚。 带来责备的红色数字,会通过隐瞒变成绿色。改为询问团队需要什么。
  • 对偏态数据取平均值。 它们隐藏了用户受苦的尾部。使用百分位数和最老项的年龄。
  • 悄悄更改定义。 趋势线变得毫无意义。记录每次更改及其理由,并在图表上标注。
  • 把护栏当作新的目标。 这样护栏随后也会被钻空子。把两者放在一起评审,并在护栏失去效力时轮换。
  • 虚荣度量。 只增不减的计数,比如处理的工单数或提交数,对成果什么也说明不了。宁取既能下降也能上升的测量值。
  • 忽视定性证据。 数字本身无法显示,一张被关闭的工单让人感觉没有解决。请阅读评论。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
定义与时钟 非正式;每个人的计数方式不同 部分度量有书面定义 每项度量有一份书面定义,含时钟与排除项 评审定义,并连同理由记录变更 定义在团队和供应商之间对齐,在不再为决定提供依据时修订
护栏 无 部分度量有命名 每项已报告的度量在同一页上都有护栏 每季度评审护栏是否被钻空子 护栏轮换,并与被度量的人共同设计
使用与安全 数字被用来追究责任 团队看到自己的数字 团队先看到数据;没有个人排名 领导层提出学习性的问题;报告是安全的 客户和供应商共享对数字的坦率看法

检查清单

  • 每项已报告的度量都有书面的问题和它所支持的决定。
  • 每项时间测量值都有书面的开始、停止和暂停规则。
  • 每项已报告的度量旁边都展示了名称明确的护栏。
  • 时间测量值显示百分位数和最老未关闭项的年龄。
  • 存在一份度量登记册,含负责人、定义、钻空子途径、护栏和评审日期。
  • 团队先于领导层看到自己的数据。
  • 没有个人排名、薪酬或纪律与某项度量相挂钩。
  • 日历上有一次季度钻空子评审。
  • 每季度阅读一批已关闭项的样本,检查其是否诚实。
  • 过去一年中至少淘汰或重新设计了一项度量。

AI 提示词

对一项度量开展钻空子评审。

我领导 [团队名称],负责 [服务或交付工作的类型]。我们报告这项度量:[度量名称],定义为 [定义,包括时钟从何处开始和停止]。[受众] 用它来 [决定或目标]。我们的数据来自 [工具]。

请列出在不为用户改善服务的情况下,让这项度量看起来更好的现实途径。对每一种,建议一项能揭示它的护栏度量或实践,并说明该护栏自身的钻空子途径会是什么。不要虚构基准值。请列出你的假设,以及你无法从我所给的信息确定的内容。

起草一条度量登记册条目。

请为 [团队名称] 起草 [度量名称] 的度量登记册条目。字段:它回答的问题、它支持的决定、定义、公式、单位、数据来源、负责人角色、评审节奏、钻空子途径、护栏,以及如果它有误,用户或客户会如何察觉。条目仅基于这段描述:[描述该度量和当前流程]。请标出你不得不假设的每个字段,并列出我应当回答哪些问题以完成该条目。

审计已关闭工单的样本。

这里有来自 [服务] 的 [数量] 张已关闭工单,字段为 [字段清单],解决备注粘贴在下方。请逐张检查是否有以下迹象:工单在问题未解决时被关闭、用暂停状态来停止时钟,或优先级或类别看起来被调整过。报告模式,而不是个人。不要猜测文本所不支持的原因。告诉我哪些你无法从数据中判断,以及哪些额外字段会有帮助。

[粘贴工单,已去除个人数据]

规划如何安全地引入一项度量。

我们计划向 [受众] 引入 [度量]。当前背景:[团队规模、文化、以往使用度量的经验]。请提出一个推行计划,涵盖谁先看到数据、我们如何解释目的、我们不会把它用于什么、与它一起展示哪道护栏,以及何时评审它是否有效。标明钻空子或恐惧的风险,并建议如何降低。请列出你的假设,不要虚构统计数据。

AI 技能

要点

  • 变成目标的测量值不再描述工作,所以要用数字来提问。
  • 钻空子是对压力和恐惧的正常反应,靠改变条件而不是靠监管来减少。
  • 每项度量都需要带有时钟的书面定义,以及旁边展示的护栏。
  • 宁取百分位数和最老项的年龄,而不取平均值。
  • 描述团队和服务,绝不给个人排名,并让团队先看到自己的数据。
  • 每季度评审是否被钻空子,并淘汰不再为决定提供依据的度量。

参考文献与延伸阅读

  1. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  2. Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
  3. Campbell, D. T., "Assessing the impact of planned social change," Evaluation and Program Planning, 2(1), 1979.
  4. Kerr, S., "On the folly of rewarding A, while hoping for B," Academy of Management Journal, 18(4), 1975.
  5. Choi, J., Hecht, G. W., and Tayler, W. B., "Lost in translation: The effects of incentive compensation on strategy surrogation," The Accounting Review, 87(4), 2012.
  6. Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
  7. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  8. Wikipedia, Goodhart's law.
  9. Wikipedia, Campbell's law.
  10. Wikipedia, Cobra effect.
  11. Wikipedia, Perverse incentive.
  12. Wikipedia, Surrogation.
  13. Wikipedia, ITIL.
  14. Wikipedia, Key performance indicator.
  15. Wikipedia, Psychological safety.
  16. Wikipedia, Velocity (software development).