概述与动因

度量计划的成败取决于信任。同一组测量值,在一个组织里可以是有用的镜子,在另一个组织里却是恐惧的来源。差别很少在测量值本身。它在于人们相信,因为这些数字,什么将发生在他们身上。如果他们相信数字将被用来排名、责备或裁减他们,明智的反应就是保护自己:挑选得分好的工作、推迟报告问题、争论定义,并悄悄调整所记录的东西。数据随即不再描述工作,计划也就失去了它被构建来提供的那样东西。

这种模式古老而众所周知。霍桑效应(Hawthorne effect)描述了人们在知道自己被观察时改变行为的方式。坎贝尔定律(Campbell's law)说,量化的指标越是被用于决策,它就越会受到腐化的压力,也就越会扭曲它本意要监控的过程。古德哈特定律(Goodhart's law)就目标提出了类似的观点(见主题 1.2,古德哈特定律与度量心理学)。这些都不是避免度量的理由。它们是设计推行方式的理由,使扭曲的动机低、说真话的理由高。

心理安全(psychological safety)是一种共同的信念:团队对于人际风险的承担是安全的,比如承认错误、提问或报告坏消息。度量计划既依赖它,也可能侵蚀它。关于失败、返工和延迟的测量值,只有在人们感到安全地报告它们时才诚实(见主题 9.2,满意度与福祉度量,以及主题 4.2,事后复盘与学习度量)。被度量的人与使用这些测量值的人之间的信任(trust),是根本的资产,它建立得缓慢,花掉得很快。

变革管理(change management)是准备并支持人们度过变革的学科。引入度量是一项组织变革,值得与新流程或新工具同样的关照(见主题 9.6,组织变革与采纳度量)。技术采纳生命周期(technology adoption life cycle)描述创新如何从热情者传播到大多数人,这提醒我们,带有愿意参与的团队的、受尊敬的试点,比一道强制令作用更大。试点项目(pilot project)是在更广泛的承诺之前测试一种做法的小规模试验。信息辐射器(information radiator)是可见的信息展示,人们无需询问就能一目了然地阅读,当它把团队的数据展示给拥有这些数据的团队时,适合透明。

敏捷的目标赋予推行以形状。持续的干系人参与意味着被度量的人帮助选择测量值以及使用它们的规则。持续改进意味着计划本身会根据人们所说的而改变。持续演进意味着测量值预计会变化,这降低了其中任何一项的风险。可持续的节奏意味着计划不会增加挤掉工作的报告。围绕有积极性的个人来构建,意味着把人视为能够用数据改进自己工作的、有能力的成年人,而不是要被监控的资源。实际的立场很简单:度量系统,与系统中的人分享数据,并让他们带头改进。

本主题与仪表盘的指导(见主题 11.1,设计服务度量仪表盘)以及测量值的治理(见主题 1.4,度量治理与归属)协同工作。

关键原则

  • 说明数据是用来做什么的,以及不是用来做什么的。 把两者都写下来,并遵守。
  • 团队拥有自己的测量值。 做这项工作的人,帮助定义、查看并解释关于它的数字。
  • 度量系统,而不是个人。 没有排行榜,没有按人的评分,也不在个人绩效评审中使用数据。
  • 保持透明。 分享定义、数据来源,以及谁能看到什么。意外会滋生猜疑。
  • 从志愿者开始。 愿意参与的试点,在更广泛的推行之前产生故事和修复。
  • 展示用途。 证明数字引向帮助,比如移除障碍,而不是引向责备。
  • 允许质疑。 人们可以质疑一个数字,更正要迅速而可见地作出。
  • 以可持续的节奏进行。 一次几项测量值,并留出学习的时间。

度量定义

下面的测量值告诉计划团队,推行是在建立信任还是在消耗信任。它们描述的是团队和计划,而不是个人。其中几项依赖于调查和对行为的观察,最好把它们读作值得谈一谈的信号。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏
使用章程覆盖 已就其测量值用于什么、永不用于什么,商定了书面声明的参与团队占比 有已商定章程的团队 / 参与的团队 百分比 计划所保存的章程 治理;组织变革管理 工作协议 每季度
团队归属占比 团队帮助撰写或已批准其定义的、该团队所展示测量值的占比 有团队批准的测量值 / 向团队展示的测量值 百分比 度量目录;批准记录 持续改进 自组织团队 每季度
坦诚信号 在引入测量值之后,对问题和未遂事件的报告是保持稳定还是上升 每个团队每季度的未遂事件或问题报告,前后对比;趋势 报告 事件、未遂事件和事后复盘记录 事件管理;持续改进 免责的反思 每季度
质疑响应时间 从某人或某团队质疑一个数字,到对他们可见的解决之间的时间 从质疑到解决的天数的中位数和第 85 百分位数 天 质疑日志 持续改进;知识管理 回应反馈 每季度
对度量的感知安全(调查) 团队层面的调查中,对诸如“关于我们工作的数据被用来帮助我们”之类陈述的认同 在团队调查中表示认同的百分比;展示回复率 百分比 匿名的团队调查,聚合 组织变革管理 信任与有积极性的个人 每年两次
个人使用事件 违反章程、数据被展示或用来给个人排名或评价的情形 每季度被报告的情形计数,附结果 计数 向计划作出的报告;对仪表盘和评审的审查 治理 尊重人 每季度
自愿采纳 在某期间内、在任何强制要求之前,选择加入计划的合格团队占比 选择加入的团队 / 被邀请的合格团队 百分比 计划记录 组织变革管理 试点与学习 每季度

感知安全的调查,需要为报告设置最小群体规模,使任何个人都无法被识别,并且应当是匿名的。坦诚信号必须谨慎地解读:报告的增加可能意味着更多的问题,也可能意味着更愿意报告,而健康的计划起初通常产生的是后者。个人使用事件不是要隐藏的计数。目标是每一次情形都被报告、被处理并被纠正,少量被报告的情形是报告路径在起作用的标志,而不是计划的失败。自愿采纳只统计任何强制要求之前的期间。

建议

先设定基本规则

1. 写下承诺并公布。 在第一个数字被展示之前,写一份简短的章程。好的章程说明,测量值描述团队、服务和系统,绝不用来给个人排名,也不在个人绩效评审中使用。它说明谁能看到什么、数据保存多久、人们如何质疑一个数字,以及规则被违反时会发生什么。高层领导者签署它。章程是让人们放下戒备的承诺,它应当容易找到、容易阅读。

2. 把为改进而作的度量与为评判而作的度量分开。 团队用他们的测量值来改进自己的工作。领导者用聚合的视图来指导支持和投资。这两种用途都不是为了评估某个人。如果组织必须评估个人,它应当通过交谈、证据和背景来进行,绝不是通过读取仪表盘(见主题 1.2,古德哈特定律与度量心理学)。

3. 对权衡保持坦率。 告诉人们,每项测量值都可能被钻空子,你知道有哪些方式,并且每一种都附有护栏。以本书的风格展示钻空子途径和护栏。公开说出风险,显示了善意,也邀请人们指出你所遗漏的方式。

让团队成为所有者

4. 让团队选择并定义。 提供一份测量值的菜单,让每个团队挑选几项开始,在说明理由的情况下调整定义,并添加自己的。选择了自己的测量值的团队,更可能诚实地使用它们。保留一个小的共同核心,使服务可以在比较有效的层面上被比较(见主题 1.4,度量治理与归属)。

5. 先向团队展示他们的数据。 在任何其他人看到之前,把数字交给每个团队,并留出时间检查、更正和补充背景。团队拥有这个故事。当数据之后被展示给领导者时,由团队来介绍或加注。这避免了意外,并确保解释来自最接近工作的人。

6. 让视图保持在正确的层面。 展示团队层面和服务层面的视图。不展示按人的拆分,并关闭工具中有此功能的特性。凡调查需要详细视图之处,比如单个事件的历史,要限制访问、解释原因,并让它远离评审的交谈(见主题 11.2,工具全景)。

为赢得信任而推行

7. 与志愿者一起试点。 邀请两三个好奇且受尊敬的团队。与他们一起制定测量值和规则。让他们向同行讲述自己的故事。他们的修复和反对意见会改进计划,而他们的背书比任何公告都更有分量。在更广泛的推行之前,问他们会改变什么,并加以改变。

8. 及早并明显地交付价值。 在最初几周内,用数据移除让团队烦恼的东西:总在等待的队列、没有目的的批准步骤、没人读的报告。当人们看到数字引向帮助时,他们提供更诚实的数据。当他们看到数字引向对他们的质询时,他们提供的就更少。

9. 迅速回应质疑。 当有人说某个数字有误时,认真对待。检查它,修复定义或数据,并公开说明做了什么。迅速而尊重的更正建立信任,防御性的回复则消耗信任。保存一份质疑日志,并把反复出现的质疑视为测量值需要改进的信号。

随时间保护信任

10. 留意恐惧的迹象。 迹象包括团队为了避免结果而争论定义、与其他信号不相符的突然改善、更少的被报告问题、为了看起来好而选择的工作,以及人们询问谁能看到数据。把这些视为关于计划的信息,而不是不当行为。询问团队、倾听并调整。

11. 让领导者遵守章程。 领导者面临比较、排名和解释的压力。给他们可以合法使用的东西:团队和服务层面的趋势、分布和成果测量值。使报告违反章程的行为变得容易,回应每一份报告,并公布结果,而不点名提出的人。一次可见的违反,可能抹去几个月的工作,而一次可见的纠正,可以重建它。

12. 与计划中的人一起评审计划。 每个季度,问团队测量值在哪些方面有帮助、扭曲了什么,以及他们会舍弃什么。淘汰通不过检验的测量值。分享评审的结果。对改进计划的持续而可见的承诺,是它为服务团队而存在的最强信号(见主题 9.5,持续改进度量)。

钻空子途径与护栏

度量 如何被钻空子 配对的护栏度量或实践
使用章程覆盖 走过场地签署章程;领导者无视它们 检查章程在实践中的使用;报告个人使用事件;与团队一起评审章程
团队归属占比 团队批准了没读过的定义;计划把已定稿的定义拿来签字 抽样检查定义是如何制定的;跟踪团队要求并作出的变更
坦诚信号 施压让团队报告更多或更少的问题;重新命名类别 与严重性和事后复盘的内容一起阅读;与客户报告的问题比较
质疑响应时间 在没有可见解决的情况下关闭质疑;劝阻质疑 要求有可见的回应;调查质疑者;跟踪重复的质疑
对度量的感知安全(调查) 辅导回答者;低回复率隐藏了不满的团队 匿名和最小群体规模;展示回复率;直接与团队交谈
个人使用事件 不报告;把事件重新归类为别的东西;责怪报告的人 容易的匿名报告;保护报告者;审查评审和仪表盘中的个人数据
自愿采纳 被框定为邀请的压力;统计为避免审查而加入的团队 问团队为什么加入;检查实践中的使用;让该期间不含强制要求

健康的读数显示:团队真正会参考的章程、团队帮助塑造的测量值、稳定或上升的问题报告、被迅速回答的质疑、显示人们相信数据对他们有帮助的调查、少数被公开处理的已报告违反,以及因为想加入而加入的团队。

权衡:利与弊

方法 优势 劣势
一次性对所有团队强制推行 快速而一致 只有服从而没有信念;钻空子和怨恨
自愿试点,然后扩散 建立故事和信任 较慢;覆盖不均
团队选择他们所有的测量值 归属感强 难以比较;覆盖有缺口
共同核心加团队选择 比较与归属的平衡 需要治理
跨团队的开放仪表盘 透明;共同学习 比较和排名的风险
仅团队视图,分享聚合的数据 为诚实的反思提供安全的空间 领导者可能感到蒙在鼓里
书面章程 清晰的承诺;质疑的依据 如果被无视就毫无价值
非正式的保证 快速 被遗忘;没有追索

结论是从愿意参与的团队开始,赋予他们归属,在团队同意并附背景的情况下向上分享聚合数据,并以领导者被要求遵守的章程来支撑承诺。

与团队讨论的问题

1. 我们相信这些数字会带来什么?过去我们见过发生了什么? 邀请大家诚实地讲述测量值被用得好和用得糟的故事。引导者应当记录恐惧而不争论。商定什么承诺会产生最大的差别。

2. 在说明我们的数据永远不会被用于什么的章程中,我们会写下什么? 用平实的话一起起草。如果担心的话,包括个人绩效评审、排名和裁员。把它带给将要签署它的领导者。

3. 在所提议的测量值中,我们会选择哪些?会舍弃哪些? 让每个人私下投票,然后比较。讨论为什么有些看起来有威胁。商定一小组,试用一个季度。

4. 我们如何知道人们是否开始隐藏问题? 列出迹象:更少的报告、软化的措辞、回避的工作。商定由谁来观察,以及我们如何在不责备的情况下提出它。

5. 谁应当看到我们团队的数字?以什么形式?何时? 讨论仅团队、领导层的聚合,以及跨团队的比较。决定分享什么,以及由谁来介绍。把规则写下来。

6. 如果关于我们的某个数字有误,我们如何让它得到修正? 追踪从注意到更正的路径。找出延迟和由谁决定。商定一条简单的质疑路径和时间预期。

四种视角

产品与交付团队

团队承担被度量的风险,也掌握数字意味着什么的知识。他们应当参与选择和定义测量值,在自己的评审中使用数据,并在某个数字误导时发声。当他们先看到数据,并且度量有助于移除障碍时,他们受益。

服务与运维团队

运维团队往往掌握最丰富的数据,也承担最重的值班和事件负担。他们应当对奖励沉默或惩罚上报的测量值保持警惕,保护对事件和未遂事件的报告,并注意不要用值班数据给人排名(见主题 5.7,繁琐工作与值班度量)。

领导层与治理

领导者设定使用的文化。他们应当签署并遵守章程,索要团队和服务的视图,公开回应违反行为,并避免索要排名。他们应当依据计划所促成的改进以及所保全的坦诚来评判它,而不是依据仪表盘的数量。

客户与用户

当团队诚实地报告问题并修复原因时,客户和用户受益。他们也可能是数据收集的对象。他们应得到关于收集了他们什么、如何使用的清晰说明,并且可以成为决定哪些测量值对他们显示价值的伙伴(见主题 6.1,客户满意度度量)。

实践:一个服务管理示例

一家健康服务提供商的技术部门,在其 15 个交付和支持团队中引入度量。三年前的一次尝试,公布了按已关闭工单数对团队的排名,结果是低价值工单的关闭激增,而被报告的事件下降。下面的数字均为示意。

新任服务管理主管先问六位团队负责人,他们记得什么。他们描述了那次排名及其后果。她与他们一起起草章程:测量值描述团队和服务,绝不描述个人;工具中的个人视图被关闭;数据永不用于个人评审;团队先看到自己的数据;任何人都可以质疑一个数字,并在十个工作日内得到回应;而任何违反行为都将被报告给计划并公开评审。首席技术官签署了它,并将其张贴在计划的页面上。

三个团队自愿参加试点。他们各自从菜单中挑选了四项测量值,并重写了两条定义。一个团队坚持“解决时间”应排除等待客户的时间,另一个团队坚持变更失败应依据对用户的影响来定义,而不仅仅是回退。试点在第三周显示了它的第一项收益,当时一个团队看到自己的工作在批准队列中等待,并移除了一个没人能够说明理由的步骤。该团队在部门会议上讲述了它的故事。又有七个团队要求加入。自愿采纳在两个季度内达到 15 个团队中的 10 个,最后五个在没有强制要求的情况下随后加入。

计划留意恐惧。每个团队的未遂事件报告在第一个季度上升,主管把它解读为更愿意报告,并通过阅读一个样本加以确认。一项设有最小群体规模的团队调查显示,在第二个季度初,有 58% 的回答者认同“关于我们工作的数据被用来帮助我们”,到第四个季度初为 76%。质疑响应时间的中位数为四个工作日。随后,一位总监在准备预算论证时,要求一张按部署次数给团队排名的表。计划负责人告诉她这超出了章程,提供了附团队评论的、按服务划分的趋势视图,并把这项请求,连同结果,记录为一次被报告的个人使用的险情。总监接受了。两个季度之后,个人使用事件为一起,已被报告、处理,并在不点名的情况下公布。

敏捷、AI、自动化与分析

敏捷

与被度量的人一起推行,附关于数据将如何使用的书面承诺,以及对他们所见的定期交谈。需要注意的是,从上面宣布、带着团队仪表盘的推行,会招致钻空子。

AI

员工可能把 AI 当作度量工具或替代者而感到恐惧,所以要明确说明,由 AI 得出的关于个人的数据不用于评价他们,并且 AI 辅助的工作在团队层面度量。需要注意的是,使用 AI 工具分析个人行为会违背承诺,即使是悄悄地做。

自动化

当人们知道收集了什么以及为什么时,自动化的收集是可以接受的。公布所收集数据的清单和访问规则。需要注意的是,对活动数据的自动收集让人感觉像监视,所以只收集决定所需要的。

分析

先与团队分享结果,并展示每个数字将如何使用。这为之提供依据的决定是计划是否赢得了信任。需要注意的是,坦诚信号是软性的,所以要把调查与观察结合起来,并把低回复视为信息。

行业视角

初创公司。 团队小,信任是个人的。大声说出这些数字是为了什么,让整个团队选择要跟踪的少数几项测量值,并让它们远离任何个人的交谈。风险是创始人对某个数字随口的一句评论,一夜之间重塑行为。把承诺写下来,哪怕只有几行。

小型企业。 员工可能怀疑数字是关于裁员的。公开地谈论为什么你在度量、你会看什么,以及你不会看什么。让人们参与挑选测量值,分享你的发现,并及早展示一项对他们有帮助的改进。

大型企业。 规模使信任更难,因为大多数领导者远离团队。使用在高层签署的章程、带小型共同核心的团队拥有的测量值、阻止个人视图的工具配置,以及报告违反行为的独立路径。通过同行试点、学习并扩散,并避免单一的全球推行日期。

政府与公共部门。 雇佣规则、工会和公众的监督,增加了约束和期望。及早与员工代表协商,与他们一起商定章程,并明确改进数据与任何正式绩效流程之间的界线。公共报告的要求,应与内部的改进测量值分开(见主题 8.5,受监管与政府报告)。

业务论证:动因、投资回报与总拥有成本

成本主要是人们的时间:起草章程、运行试点、与团队的工作坊、处理质疑、开展调查,以及领导者花在遵守规则上的时间。还有机会成本,因为谨慎的推行比强制要求更慢。与失败的推行的成本相比,这些成本很小,失败的推行中,数据被扭曲、信任被耗尽,计划被放弃。

回报是反映现实的数据、对问题的诚实报告,以及用测量值来改进的团队。这些表现为更早发现问题、更少关于数字的争议,以及无需强制的更高采纳。依据你自己的历史建立论证:以前强加测量值时发生了什么、这一次有多少团队自愿采纳,以及对问题的报告如何变化。避免在没有可追溯来源、与你的情境也不相关的情况下,引用关于参与度或信任的已发表数字(见主题 7.7,投资回报与业务论证)。

反模式与陷阱

  • 意外的排行榜。 排名出现在领导层的幻灯片中。信任就此终结。让排名远离计划。
  • 绩效评审中的测量值。 哪怕只是提一句,也会到处改变行为。以书面形式把它们排除在外。
  • 先强制,后解释。 服从而没有信念。与志愿者试点并解释理由。
  • 没人执行的章程。 没有行动的话语比没有更糟。让领导者遵守它并公布结果。
  • 默认的监视。 工具因为能够而暴露个人活动。关闭这些功能。
  • 对质疑的防御性回答。 人们不再指出错误。迅速而尊重地回应。
  • 急于推出许多测量值。 负担过重和困惑。从少数几项开始并成长。
  • 把沉默读作成功。 更少的报告可能意味着恐惧。留意坦诚信号并与人交谈。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
承诺与使用 没有书面;使用因经理而异 口头的保证;一些团队协议 由领导者签署的书面章程;个人视图被禁用 报告并评审违反行为;检查章程的使用 章程由员工和伙伴共同拥有;依据经验修订
归属与透明 测量值被强加 咨询了一些团队 团队选择并定义测量值,并先看到数据 管理归属占比和质疑响应时间 团队、供应商和客户依协议共享视图;归属成为常规
信任与坦诚 恐惧或冷漠 与志愿者试点 与团队一起评审安全调查和未遂事件的趋势 信号触发有计划的行动;跟踪自愿采纳 坦诚成为常规;对计划的改进来自每一个人

检查清单

  • 书面章程说明数据用于什么、永不用于什么,领导者已签署它。
  • 个人层面的视图和排名在工具中被关闭,或由政策限制。
  • 团队选择或批准他们的测量值,并在其他人之前看到自己的数据。
  • 在任何更广泛的推行之前,先与志愿团队试点。
  • 数据的第一次使用,就为团队带来可见的帮助。
  • 存在质疑路径,附所述的响应时间和日志。
  • 存在违反章程的报告路径,并在不点名的情况下公布结果。
  • 观察团队层面的安全和坦诚信号,并与团队讨论。
  • 公开与团队分享钻空子途径和护栏。
  • 每个季度与团队一起评审计划,并在测量值不再有帮助时淘汰它们。

AI 提示词

起草度量章程。

为 [组织类型] 的度量计划起草一页的章程。它应当说明数据用于什么、永不用于什么(包括个人排名和绩效评审)、谁能看到什么、数据保存多久、人们如何质疑一个数字、违反行为如何报告,以及由谁签署。使用平实的语言。不要提供法律建议。请列出你的假设,以及要与人力资源和法律专家确认的要点。

规划试点。

为 [情境] 中、与两到三个志愿团队的度量计划,规划一次为期六周的试点。包括如何邀请团队、提供哪些测量值、如何设定规则、数据应当提供哪些早期的帮助、在结束时问团队什么,以及如何决定更广泛的推行。不要假定结果。请列出你的假设和风险。

从恐惧的角度评审一项测量值。

这是一项提议的测量值及其将如何使用:[粘贴]。请扮演持怀疑态度的团队成员。描述它可能如何被视为威胁、人们可能如何改变行为以看起来更好,以及它可能阻碍什么样的诚实报告。建议对定义、展示或使用规则作出哪些改变,以降低风险。请列出你的假设。

回应质疑。

有一个团队质疑了这个数字:[描述,不含个人数据]。请起草一份尊重的回复:承认其关切、解释该数字如何计算、提议如何检查它、给出答复的日期,并说明如果该数字有误,将会改变什么。不要防御。列出你尚不知道的内容。

AI 技能

要点

  • 信任是资产。写下数据用于什么、永不用于什么,并信守承诺。
  • 度量团队、服务和系统,并关闭暴露个人的视图。
  • 让团队选择、定义并先看到自己的数据,并拥有它所讲述的故事。
  • 与志愿者试点,及早交付可见的帮助,并通过同行扩散。
  • 迅速回答质疑,并把恐惧的迹象视为关于计划的信息。
  • 让领导者遵守章程,并与计划中的人一起评审计划。

参考文献与延伸阅读

  1. Edmondson, A., "Psychological Safety and Learning Behavior in Work Teams," Administrative Science Quarterly, 1999.
  2. Campbell, D., "Assessing the Impact of Planned Social Change," Evaluation and Program Planning, 1979.
  3. Muller, J., The Tyranny of Metrics, Princeton University Press, 2018.
  4. Kotter, J., Leading Change, Harvard Business School Press, 1996.
  5. Westrum, R., "A Typology of Organisational Cultures," BMJ Quality and Safety, 2004.
  6. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution Press, 2018.
  7. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  8. Wikipedia, Hawthorne effect.
  9. Wikipedia, Campbell's law.
  10. Wikipedia, Goodhart's law.
  11. Wikipedia, Psychological safety.
  12. Wikipedia, Trust (social science).
  13. Wikipedia, Change management.
  14. Wikipedia, Technology adoption life cycle.
  15. Wikipedia, Pilot project.
  16. Wikipedia, Information radiator.