度量框架
度量框架是决定哪些数字配得上占据页面一席之地的方法,而最好的框架都从一个目标和一个问题开始,所以要选择最轻量的、能让每项度量都与一个决定相联的框架。
概述与动因
想要度量自己工作的团队,很早就会遇到一个问题:可能的数字成千上万,却没有在其中做选择的规则。度量框架提供这条规则。它指明一个起点(一个目标、一项战略、少数几个关键条件),并描述如何从这个起点走向一小组人们会阅读并据以行动的测量值。各框架的词汇不同,但目的相同:让每个数字都与拥有它的理由相联。
本主题涵盖几乎所有运营服务的组织中都会出现的五个理念。第一个是目标-问题-度量(Goal-Question-Metric,GQM)方法,由软件工程研究者维克托·巴西利(Victor Basili)及其同事提出。它从一个目标开始,提出能显示目标是否达成的问题,然后才选择度量。第二个是目标与关键成果(objectives and key results)(OKR),一种目标设定方法,由安迪·格鲁夫(Andrew Grove)在英特尔推广,后来经约翰·杜尔(John Doerr)在 Google 推广。目标说明团队想去哪里,少数几项关键成果说明它如何知道自己到了。第三个是平衡计分卡(balanced scorecard),由罗伯特·卡普兰(Robert Kaplan)和戴维·诺顿(David Norton)于 1992 年提出,它要求组织同时审视财务结果、客户、内部流程以及学习与成长,使任何单一视角都不占主导。
第四和第五个理念更古老,也更朴素。关键成功因素(critical success factor)(CSF)是为达成目标而必须成立的条件,关键绩效指标(key performance indicator)(KPI)则度量该条件保持得有多好。ITIL,即由 Axelos 及后来的 PeopleCert 发布的 IT 服务管理(ITSM)框架,正是使用这种配对。在 ITIL 4(截至 2026 年 10 月被广泛使用的版本)中,关于度量与报告以及持续改进的指导,告诉从业者为服务或实践定义 CSF,然后选择显示针对它们的进展的 KPI。更广泛的 ITIL 方法在此只作概述,不予复制。
敏捷和 ITIL 的视角在这一领域有益地相遇。敏捷实践偏好简短的学习周期:团队陈述一个假设,尝试一些东西,检视结果,然后调整。ITIL 实践偏好明确定义的服务、约定的服务级别,以及受管理的改进过程。像 GQM 这样的框架,契合敏捷中询问团队想学习什么的习惯。平衡计分卡契合 ITIL 向领导者展示服务健康状况的完整图景的需要。OKR 介于两者之间,因为它们在短周期内被评审,却用治理机构所理解的成果语言来书写。
本主题中反复出现三个术语。目标(goal)是针对某个指明的受众的预期成果的陈述。问题(question)是你为了判断目标是否达成而需要知道的事。度量(metric)是计数或计时某件事的明确方式,有助于回答一个问题。各框架对第三个术语的处理方式不同,但都坚持它排在最后,在目标和问题之后。这种顺序是对古德哈特定律所描述的失败的最强保护(见主题 1.2,古德哈特定律与度量的心理学),即数字取代了它本应服务的目的。
没有哪个框架能修复糟糕的目标选择,也没有哪个能消除对护栏的需要。把框架当作一场交流的脚手架,并预期随着工作的变化而改变它。尤其是 KPI 可能变成虚荣度量(vanity metrics),即只增不减、从不为决定提供依据的计数,比如处理的工单总数。为什么要度量的更广泛原因,另行阐述(见主题 1.1,为什么要度量服务管理)。
各框架有何不同
各框架回答略有不同的问题,混用它们是常见的。把下表当作地图使用。
| 框架 | 起点 | 典型产出 | 最适用于 | 典型期限 |
|---|---|---|---|---|
| 目标-问题-度量 | 针对某个产品、流程或服务的具体目标 | 一棵由目标、问题和度量构成的树 | 为一个团队或服务设计度量计划 | 数周至数月 |
| OKR | 下一期间一个有雄心的目标 | 少数几个目标,各带可度量的关键成果 | 在成果上统一团队,聚焦努力 | 一个季度 |
| 平衡计分卡 | 组织的战略 | 四个视角下的目标和测量值 | 向领导者展示完整视图,把战略与运营联系起来 | 一年 |
| CSF 与 KPI | 一项服务、实践或目标 | 少数几个必须成立的条件,各带指标 | 运营一项明确定义的 ITIL 实践并报告其健康状况 | 持续,定期评审 |
关键原则
- 从目标出发,然后是问题,然后才是度量。 先选定的度量,无从判断其是否有用。
- 让受众和决定明确。 每个目标都指明谁受益,每项度量都指明谁将据以行动。
- 保持集合很小。 少数几项被阅读和信任的测量值,胜过一份被匆匆浏览的长清单。
- 平衡视图。 速度配质量,成本配体验,短期产出配长期学习,使没有哪个框架以牺牲一者为代价去奖励另一者。
- 把目标当作假设。 目标及其数字是一场可能出错的赌注,所以要按计划评审,并连同记录的理由更改。
- 用框架描述团队和服务,绝不给人排名。 记分卡、关键成果和 KPI 属于团队或服务。
- 有意识地组合框架。 说明哪个框架拥有哪项决定,使同一个数字不会被定义三次。
度量定义
下面的度量衡量使用中的框架的健康状况,而不是服务的健康状况。它们显示目标与度量是否仍然相联,并适用于团队选择的任何框架。计数按团队或服务,绝不按个人。
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| 目标可追溯性 | 已报告的度量中,可追溯到书面目标和问题的占比 | 有记录的目标和问题的度量 / 已报告的度量 | 百分比 | 度量登记册(见主题 1.4,度量治理与归属) | 度量与报告;持续改进 | 交付目标;产品目标 | 每季度 |
| 关键成果得分分布 | 关键成果期末得分的分布,以各分段占比表示 | 处于各得分段(例如 0.0 至 0.3、0.4 至 0.6、0.7 至 1.0)的关键成果 / 期内评分的关键成果;不包括附记录理由而被放弃的关键成果 | 每段百分比 | OKR 跟踪工具或团队文档 | 持续改进;服务级别管理 | 季度规划;评审 | 每季度 |
| 视角覆盖率 | 四个平衡计分卡视角中,至少有一项带当前值的测量值的占比 | 上一期间报告了测量值的视角 / 四 | 百分比 | 记分卡或仪表盘 | 度量与报告;服务价值系统治理 | 干系人评审(客户和学习视图) | 每季度 |
| 指标评审时龄 | 自每项 KPI 的定义和目标上次被评审以来的时间 | 评审日期减去上次评审的日期;时钟从最近一次记录的评审开始,到报告日期停止;报告中位数和最老的 | 天 | 度量登记册变更日志 | 持续改进;度量与报告 | 回顾会议行动 | 每季度 |
| CSF 到 KPI 覆盖率 | 关键成功因素中,至少有一项当前正在报告的 KPI 的占比 | 有当前 KPI 的 CSF / 为该服务或实践定义的 CSF | 百分比 | 实践或服务文档;度量登记册 | ITIL 实践指南中的 CSF 与 KPI 方法 | 完成的定义;工作协议 | 每季度 |
目标可追溯性只有在目标和问题都有书面记录且指明了受众时,才把一项度量算作已追溯;仅有目标是不够的。关键成果得分分布应当作为分布而不是平均值来读,因为平均值会隐藏把一切都压低预期的团队和一切都失败的团队。指标评审时龄不包括期内被淘汰的度量。
建议
选择并组合框架
1. 选择能完成任务的最小框架。 只有一个改进问题的单个服务团队,很少需要完整的平衡计分卡。GQM 往往就够了,因为它有一个清晰的停止点:一棵由一个目标、几个问题和几项度量构成的树。只有当决定需要时才增加结构。
2. 把目标写成三个部分:目的、对象和视角。 GQM 的目标传统上被表述为:从某个指明的视角,改进某个指明对象的某项指明质量,例如,为依赖服务台的人改进事件更新的清晰度。这种结构迫使你说明谁受益。如果一个目标没有视角,它多半只是一句口号。
3. 提出一个人用一个简短的故事就能回答的问题。 “用户在报告问题后多快得到回复?”是个好问题,因为你可以想象一个答案及其背后的证据。“我们的绩效是什么?”则不是。每个目标争取三到五个问题,并预期有些问题要靠访谈或抽样来回答,而不是靠一个数字。
4. 最后选择度量,而且选择不止一个。 对每个问题,指明候选的度量、数据来源和钻空子途径(见主题 1.5,数据来源与埋点)。包括至少一项与其他度量相互牵制的度量,比如响应时间旁边放重开率。如果某个问题没有可行的度量,就直说,并规划一次定性检查。
5. 决定哪个框架拥有哪项决定。 一种常见的安排是:平衡计分卡或其等价物保存领导者评审的少数几项测量值,OKR 保存团队本季度选择的改进,CSF 和 KPI 描述一项实践的运行健康状况。把这一安排写进度量登记册,使每个数字只有一个定义和一个负责人。
用好 OKR
6. 把目标写成成果,把关键成果写成证据。 像“用户无需追着我们就能解决问题”这样的目标是成果。像“获得有用的首次更新的时间中位数从 [当前值] 降至 [目标值]”这样的关键成果是证据。读起来像任务的关键成果(“上线新门户”)是活动,不是成果。如果你说不出用户那里会有什么变化,这个关键成果就还没写完。
7. 让 OKR 保持在团队和服务层面。 为个人设定它们往往会把它们变成任务清单和绩效考核的输入,并招致古德哈特定律所预言的钻空子。让团队公开地撰写自己的关键成果,并让团队互相看到。避免每个层级都必须重述上一层级的层层分解。
8. 把得分当作一场交流,而不是一个等级。 把满分当作目标的团队会写出胆怯的关键成果。聚集在顶部的得分分布暗示压低预期,聚集在底部的则暗示目标是幻想。每个季度评审分布,并问团队从每次未达成中学到了什么。
用好记分卡、CSF 和 KPI
9. 先定义 CSF,再定义 KPI。 关键成功因素是对必须成立之事的陈述,比如“用户能找到并使用正确的自助文章”。然后 KPI 显示它是否成立。从 KPI 开始,会诱使你去数容易数的东西。对每个 CSF 问:“如果这一条不再成立,我们多快会注意到,依据是什么?”答案就是 KPI。
10. 用记分卡视角防止片面的视图。 四个经典视角是财务、客户、内部流程以及学习与成长。服务组织常常给它们改名,例如成本、用户体验、运营健康和能力。重要的是每个视角都至少有一项带当前值的测量值,并且一个视角的下降要与其他视角一起读(见主题 6.5,价值实现与业务成果)。
11. 用一张简单的地图把战略与测量值联系起来。 战略地图(strategy map)画出从能力到流程、到客户、到财务结果的箭头。它适合用于交流,不适合用作计算器。画出它,争论箭头,然后挑选少数几项测量值。不要试图让这张图在数量上精确。
12. 按日历评审框架。 设定每季度一次的评审,让团队对每个目标、关键成果和 KPI 问:它是否仍然重要,是否仍然促使人们采取正确的行动。淘汰不再有用的,并记录理由。比目标活得更久的度量会变成虚荣度量。
钻空子途径与护栏
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| 目标可追溯性 | 在度量已存在之后才写目标和问题,使记录看起来完整;用含糊的目标为任何度量辩护 | 每季度抽查五个条目,问这个问题是否本可以导向另一项度量;检查受众和决定已指明 |
| 关键成果得分分布 | 写容易的关键成果,使得分聚集在 1.0 附近;宽松地重新评分;放弃进展不好的关键成果而不记录原因 | 附理由的被放弃关键成果的计数;将关键成果与上一期间的成果作比较;与领导层评审雄心的中位数 |
| 视角覆盖率 | 给某个视角添加一项象征性的测量值使其算作已覆盖;选择无法变动的测量值 | 检查每个视角的测量值在过去一年中是否改变过数值,并附有书面的决定 |
| 指标评审时龄 | 记录一次评审而不阅读该指标;只更改日期 | 要求每次评审都有书面结果(保留、更改、淘汰),并抽查日志 |
| CSF 到 KPI 覆盖率 | 分配一项与 CSF 无关的 KPI 以达到完全覆盖;选择一项无法揭示失败的 KPI | 对每一对问什么读数会显示 CSF 正在失败;寻找从未变红的 KPI |
健康的读数是:目标随世界变化而变化,少数几项关键成果因所述的理由而未达成,已报告的度量数量在下降或持平而不是增长。如果一切都是绿色,得分聚集在顶部,而且没人能说出今年淘汰了哪项度量,这个框架就已变成装饰。
权衡:利与弊
| 方法 | 优势 | 劣势 |
|---|---|---|
| 目标-问题-度量 | 把每项度量与一个理由联系起来;易于解释;适合团队规模 | 需要一次引导式的会议;可能变成纸面练习;对跨目标的优先级说得很少 |
| OKR | 让一个季度聚焦于少数成果;跨团队可见;契合短规划周期 | 容易把关键成果写成任务;得分可能被钻空子;个人 OKR 会与绩效考核混在一起 |
| 平衡计分卡 | 给领导者完整的视图;把战略与运营联系起来 | 维护繁重;视角可能变成待填的格子;反映变化缓慢 |
| CSF 与 KPI | 在 ITIL 实践中很熟悉;很适合对运行中的服务作报告 | 容易漂移为虚荣的 KPI;指标不加评审就会过时 |
| 无框架 | 对非常小的团队来说轻便快捷 | 度量无缘由地积累;关于度量什么的争论反复出现 |
| 多个框架并用 | 每项决定得到合适的工具 | 定义重复;关于哪个数字是权威的混乱 |
让框架的分量与利害相匹配。一项小型内部服务需要一个目标、三个问题和写在一页纸上的几项度量。按合同交付的服务,可能需要把 KPI 定义到服务级别协议的程度(见主题 5.1,SLA、OLA 与 XLA 度量)。
与团队讨论的问题
1. 我们每项已报告的度量服务于什么目标?如果我们停止报告它,谁会注意到? 把度量列在白板上,在每项旁边写上目标。凡缺少目标之处,问谁要求了这项度量及原因。有些会被发现是从早期项目继承而来,可以淘汰。引导者应当把没有目标的度量视为正常的发现,而不是失败。
2. 如果只能回答关于我们服务的三个问题,会是哪三个? 这迫使在度量之前先给问题排序。让每个人写下三个,然后聚类。将聚类结果与团队目前拥有的仪表盘作比较。两者之间的差距通常是这场会议最有用的产出。
3. 我们的关键成果中,哪些描述用户的成果,哪些描述我们计划要做的工作? 大声读出每项关键成果,问如果它达成,用户是否会注意到。如果答案是否,就把它改写为成果,或移到计划中。引导者可以提到任务没问题,但它们属于待办事项列表(backlog)。最后商定本季度改写一项关键成果。
4. 我们的四个记分卡视角在哪里相互矛盾?这告诉我们什么? 请小组寻找最近一个期间,其中一个视角改善而另一个恶化,比如成本下降而体验下滑。讨论原因,以及是否有人预见到。这培养把测量值放在一起阅读的习惯。记录任何没有测量值的视角,并决定是增加一个,还是明确说它不在范围内。
5. 对每个关键成功因素,什么读数会告诉我们它正在失败? 挑两个 CSF 并指明 KPI,然后问什么数值会触发一场交流。如果团队说不出,说明这个 KPI 没有发挥作用。寻找从未变过颜色的 KPI,这通常意味着阈值设得太松。引导者应当问这项 KPI 的钻空子途径会是什么。
6. 哪个框架应当拥有哪项决定?我们目前在哪里把同一个数字定义了两次? 追踪一项度量,比如事件解决时间,经过它出现的每份报告。比较定义。时钟或排除项的差异很常见,往往能解释团队之间的争论。商定一位负责人和一个定义,并记录在登记册中。
四种视角
产品与交付团队
交付团队主要以 OKR 的形式遇到框架,运气好的话还有 GQM。当团队撰写自己的目标和关键成果、与用户所需相联,并把工作测量值与领导者所见的测量值分开时,团队获益最多。团队应当警惕奖励产出的关键成果,比如故事点或发布次数,因为它们招致这些框架本应防止的行为(见主题 1.3,结果重于产出:选择度量什么)。
服务与运维团队
运维团队主要以 ITIL 实践中的 CSF 和 KPI,以及与客户约定的服务级别目标的形式遇到框架。他们受益于在选择 KPI 之前用平实的语言定义 CSF,受益于对时间测量值报告百分位数,也受益于让服务级别指标和目标等可靠性测量值与用户的体验放在一起(见主题 5.2,SLI、SLO 与错误预算)。他们还应当抵制保留多年前设定、与服务现在如何使用已无关的 KPI 的诱惑。
领导层与治理
领导者选择框架,通常是通过索要记分卡或 OKR,而他们对数字的处理方式决定了框架的行为。惩罚未达成的关键成果的领导者,教会团队写容易的关键成果。问团队学到了什么的领导者,教会他们写诚实的关键成果。治理机构应当期望有一份度量登记册、少量已报告的测量值,以及对框架本身是否有效的定期评审(见主题 11.4,度量计划的成熟度模型)。
客户与用户
客户和用户很少看到框架,只看到它的效果。设计良好的框架表现为服务沿着他们所要求的方向改进,以及对哪些方面没有改进的诚实报告。糟糕的框架表现为与体验不符的绿色报告。在每个目标中包含用户的视角,并让用户反馈与运营数字一起,放在记分卡的客户视角中(见主题 6.2,体验级别协议)。
实践:一个服务管理示例
一家中型在线零售商运营着一个客户支持平台和一个自助服务门户,有几个产品团队和一个小型服务运营小组。所有数字均为示意。
领导层要求一份平衡计分卡,另外还要求季度 OKR。在一个季度内,团队就有了 31 项已报告的测量值,没人能说出其中一半为什么存在。服务负责人用半天时间,围绕一个目标运行了一次 GQM 会议:“从客户的视角,改进对无法完成支付的客户的帮助的清晰度。”
会议产生了四个问题。客户能找到正确的帮助文章吗?读了文章后他们还需要联系支持吗?当他们联系支持时,支付问题要多久才能解决?他们是否觉得答案清晰?在 31 项测量值中,有九项对应这些问题。需要三项新的:文章搜索成功率、查看文章后的联系率,以及解决后的一道题调查。其余 22 项经负责人同意被标记为淘汰。
本季度的 OKR 被写成成果。目标是“客户无需追着我们就能解决支付问题。”三项关键成果是解决时间的中位数和第 90 百分位数、查看文章后的联系率,以及关于清晰度的调查结果。记分卡的客户视角指向同样的测量值,所以只有一个定义,而不是两个。
季度中途,出现了钻空子的风险。查看文章后的联系率急剧下降,看起来像成功。一位评审者抽查了 20 个会话,发现一次改版把“联系我们”的链接挪到了三屏之深的地方。到达支持的人变少了,而调查显示清晰度得分更低。团队把搜索放弃率和调查评论加为护栏,并恢复了链接。
季度结束时,关键成果的得分为 0.6、0.8 和 0.5,团队如实呈现。领导层问团队学到了什么,而不是为什么得分不更高。记录在决定日志中的决定是:把这一目标保留到第二个季度,用首次访问就解决问题的客户占比取代联系率,并再淘汰六项记分卡测量值。
敏捷、AI、自动化与分析
敏捷
目标和问题应当随着团队的学习而重新审视,所以要选择足够轻量、能在与干系人的定期改进评审中修订的框架。一个务实的做法是在一页纸上写下目标、问题和两三项指标,并经常评审。需要注意的是,被用作一次性设计练习的框架会过时,仪表盘会偏离目标。
AI
明确地把 AI 加入框架:某项 AI 辅助实践服务于哪个目标,其测量值回答哪个问题,与之配对的是哪项质量测量值。与 NIST AI 风险管理框架等治理词汇对齐可能有帮助,但在引用之前,请检查现行文本是怎么说的。需要注意的是,只度量 AI 采纳的框架会奖励为使用而使用。
自动化
用自动化保持从目标到指标的可追溯性为最新,例如标记没有关联目标的指标。把自动化作为按其结果和失败来度量的对象,纳入框架。需要注意的是,框架可能变成一份没人阅读的庞大自动化报告。
分析
选择数据能够支持的指标,并说明每项指标支持什么决定。当几个框架同时适用时,比如目标与关键成果、平衡计分卡和 ITIL 的关键成功因素,把它们映射到单一一组,而不是运行三套。需要注意的是,框架无法修复糟糕的数据,所以要把指标的选择与主题 1.5(数据来源与埋点)中的数据质量检查配合起来。
行业视角
初创公司。 初创公司通常需要一个目标、三个问题和写在一页纸上的少数几项度量。OKR 很常见,当由将要做这项工作的团队撰写时效果很好。在投资人或客户要求之前,抵制增加记分卡的做法。
小型企业。 资源紧张,所以选一个框架,轻量地使用它。为企业承担不起出错的两三件事撰写的 CSF 和 KPI,往往就够了。宁取来自客户的直接反馈,而不是精细的评分。
大型企业。 通常几个框架并存,这使定义的归属成为主要的挑战。保持一份登记册,指定哪个框架持有哪个数字,并每年对整个安排进行一次评审。提防迫使每个团队用自己的话重述公司目标的层层分解。
政府与公共部门。 强制性报告和合同约定的服务级别起着固定 KPI 的作用。把它们视为既定的,并用 GQM 或 OKR 处理围绕它们的改进工作。公共问责提高了误导性数字的风险,所以要公布定义,并公开说明变更(见主题 8.5,受监管与政府报告)。
业务论证:动因、投资回报与总拥有成本
框架的成本主要是时间:一次设计测量值的引导式会议、一次简短的季度评审,以及登记册的维护。OKR 或记分卡的软件是有的,但在小规模下,一份文档或电子表格往往就足够。更大的成本是领导层的注意力,因为领导者不使用的框架会变成为报告而报告。
回报来自更少、更好的测量值。能说出每个数字为何存在的团队,花在制作没人阅读的报告上的时间更少,关于定义的争论更少,也更早地注意到某项测量值已不再为决定提供依据。与其引用一个数字,不如度量你自己的基线:在采用框架前后,已报告的度量数量、有记录目标的占比,以及准备定期报告所花的时间。关于投资回报的更完整论述见别处(见主题 7.7,投资回报与业务论证)。
反模式与陷阱
- 度量先于目标。 从你已有的数据出发,产生的是一块只含容易计数之物的仪表盘。先写目标和问题,再看什么数据适合。
- 把 OKR 当任务清单。 点名活动的关键成果使每个季度看起来都很忙,却对成果什么也没告诉你。把每项都改写成用户会注意到的证据。
- 把 OKR 和记分卡当作个人目标。 它们招致钻空子,阻碍人与人之间互相帮助。让它们保持在团队和服务层面。
- 视角为空或只是象征性的记分卡。 把每个格子都填上东西,并不等于看到了全貌。要求每个视角都有当前值和一项决定。
- 从不变化的 KPI。 如果一项指标多年来一直是绿色,它的阈值多半有误,或者它度量的东西不可能失败。问什么读数会显示问题,然后重设。
- 没有归属的叠加框架。 三个框架以三种方式定义同一项测量值,会引发争论。指定一位负责人和一个定义。
- 奖励得分。 如果完美的 OKR 得分能带来表扬或薪酬,团队就会写容易的关键成果。奖励诚实的学习和好的问题。
- 把框架当仪式。 一整天的工作坊产出一张塑封海报,什么也改变不了。把产出保存在登记册中,并按日历评审。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 目标与问题 | 因数据存在而选择度量 | 一些团队在度量之前先写目标 | 通用的目标和问题格式;每项已报告的度量都可追溯到其中一个 | 评审可追溯性,缺口导向有资助的工作 | 目标与客户和供应商共同撰写,并随条件变化而修订 |
| 框架的使用 | 临时的;没有指明的框架 | 各团队采用词汇不同的不同框架 | 书面安排说明哪个框架拥有哪项决定 | 评审框架的成果,丢弃未使用的部分 | 框架在团队和供应商之间对齐,使用同一套定义 |
| 指标与评分 | KPI 设定一次后从不评审 | 一些 KPI 有负责人和阈值 | KPI 和关键成果有负责人、定义和护栏 | 每季度对得分和指标做趋势分析,并评审是否被钻空子 | 例行地淘汰和替换指标,变更与成果相联 |
| 在决定中的使用 | 报告被制作出来后遭忽视 | 出问题时领导者才索要数字 | 评审记录受数字影响的决定 | 学习性问题成为标准;未达成的目标在无责备的情况下讨论 | 跨团队的改进规划使用同样的共享目标和测量值 |
检查清单
- 每项已报告的度量都可追溯到一个书面目标、一个问题和一个指明的受众。
- 度量登记册记录每项度量由哪个框架拥有以及其唯一定义。
- 目标按目的、对象和视角书写。
- 每项关键成果描述的是有人会注意到的成果,而不是任务。
- OKR、记分卡测量值和 KPI 属于团队或服务,而不是个人。
- 每个关键成功因素至少有一项当前的 KPI,以及一个会显示失败的明确读数。
- 每个记分卡视角都有一项带当前值的测量值。
- 每项度量都有指明的钻空子途径和护栏。
- 每季度的评审问每个目标、关键成果和 KPI 是否仍然重要。
- 过去一年中至少淘汰或重新设计了一项度量或指标,并记录了理由。
AI 提示词
把一个目标转化为问题和候选度量。
我们的团队是 [团队名称],为 [受众] 运营 [服务或交付工作的类型]。我们的目标是:[以目的、对象和视角陈述的目标]。请使用目标-问题-度量方法,提出三到五个能显示我们是否达成这一目标的问题。对每个问题,建议我们可以定义的候选度量、我们需要的数据来源类型、可能的钻空子途径和一道护栏。不要虚构基准值或统计数据。请列出你的假设,以及你无法从我所给的信息确定的内容。
评审 OKR 草稿。
这是我们 [期间] 的目标与关键成果草稿:[粘贴 OKR]。我们的团队是 [团队名称],我们的用户是 [受众]。请评审每项关键成果,告诉我它描述的是成果还是活动,是否可以在不帮助用户的情况下达成,以及什么护栏能显示这一点。需要时建议改写,对我们必须自己提供的任何数字使用 [占位符]。不要虚构目标或基准值。请列出你的假设,以及我应当回答的问题。
将关键成功因素映射到 KPI。
对于我们组织中为 [受众] 服务的 ITIL 实践 [实践名称],这是我们起草的关键成功因素:[CSF 清单]。请为每一项提出可以从 [数据来源] 收集的 KPI。对每项 KPI,如果是时间测量值,说明时钟从何处开始和停止,什么读数会显示该因素正在失败,以及它可能如何被钻空子。不要陈述基准值或合规声明。请列出你的假设。
审计记分卡的平衡性。
我们的记分卡有这些测量值,按视角分组:[按视角粘贴测量值]。我们是 [组织类型]。请找出单薄的视角、似乎相互重复的测量值,以及可能以某种方式变动而掩盖另一个视角中问题的测量值。建议护栏和要淘汰的测量值。不要虚构数字或来源。请列出你的假设,以及你无法从我所给的数据中判断的内容。
AI 技能
- Service Management Metrics skill:用于在把度量置入框架之前,查找哪个主题拥有它及其配对的护栏。
- Service Management Metrics maintainer skill:用于检查基于框架的度量条目是否带有其定义、钻空子途径和护栏。
要点
- 框架决定哪些度量配得上一席之地,通行的规则是从目标和问题出发,然后选择度量。
- 目标-问题-度量适合为一个团队设计测量值,OKR 适合聚焦一个季度,记分卡适合领导层的完整视图,CSF 加 KPI 适合运营一项 ITIL 实践。
- 使用最轻量且有效的框架,并说明哪个拥有哪个数字。
- 每个框架都可能被钻空子,所以给每项度量配一道护栏,并按日历评审这组度量。
- 让框架保持在团队和服务层面,绝不作为个人目标。
- 淘汰不再为决定提供依据的目标、关键成果和指标。
参考文献与延伸阅读
- Basili, V. R., Caldiera, G., and Rombach, H. D., "The Goal Question Metric Approach," in Encyclopedia of Software Engineering, Wiley, 1994.
- Kaplan, R. S., and Norton, D. P., "The Balanced Scorecard: Measures That Drive Performance," Harvard Business Review, January-February 1992.
- Kaplan, R. S., and Norton, D. P., The Balanced Scorecard: Translating Strategy into Action, Harvard Business School Press, 1996.
- Doerr, J., Measure What Matters: How Google, Bono, and the Gates Foundation Rock the World with OKRs, Portfolio, 2018.
- Grove, A. S., High Output Management, Random House, 1983.
- Rockart, J. F., "Chief Executives Define Their Own Data Needs," Harvard Business Review, March-April 1979.
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly, 2016.
- Axelos, ITIL Foundation: ITIL 4 Edition, TSO, 2019. Summarized, not reproduced.
- Wikipedia, Victor Basili.
- Wikipedia, OKR.
- Wikipedia, Balanced scorecard.
- Wikipedia, Critical success factor.
- Wikipedia, Key performance indicator.
- Wikipedia, ITIL.
- Wikipedia, Vanity metric.
- Wikipedia, Strategy map.