概述与动因

本书中的其他每个主题,都以关于其主题的一张小小的成熟度表结束。本主题把同样的量表应用于整个度量计划。问题不是一个团队的事件处理时间有多好。而是组织在收集、阅读测量值并据此采取行动方面究竟有多好:定义是否共享、数据是否被信任、数字是否引向决定,以及被度量的人是否把计划视为帮助。

成熟度模型是对组织在一项实践发展时可能经历的各阶段的描述。软件领域最著名的例子是能力成熟度模型(Capability Maturity Model),它源自软件工程研究所的工作,并广为传播。它的影响很大,随之而来的批评也一样大。组织追逐的是等级而不是能力,审计员给文书工作打分,该模型逐渐被当作徽章使用。对任何成熟度模型的负责任使用,都要把三点提醒放在眼前。量表是交谈的工具,而不是认证。更高不一定更好,因为合适的等级取决于背景。而且该模型无法代替成果:不改进服务的成熟计划,是一场非常整洁的失败,而作为徽章展示的等级,很像虚荣度量(vanity metric),一个看起来不错却不为任何决定提供依据的数字。

这里使用的量表,是贯穿本书和《服务管理指南》的共享量表:起步、发展、标准化、管理和协同(见规范中的共享成熟度模型)。它有意与 ITIL、ISO/IEC 33000 或能力成熟度模型中的过程成熟度量表不同,团队不应当凭借这一个量表,就声称在那些框架中的任何一个里得到了分数。

敏捷的目标指出如何使用它。持续改进意味着该模型是用来找到下一步的,而不是用来到达最终状态的。持续演进意味着去年到达协同的计划,在人员离开或优先级变化时可能倒退,所以要重复自我评估。持续的干系人参与意味着评估是与团队一起做的,而不是对团队做的。可持续的节奏意味着计划一次只走一步,不试图在一个季度内跃升三个等级。围绕有积极性的个人来构建,意味着做这项工作的人来判断计划是否帮助了他们。这与 ITIL 中持续改进实践的逻辑相同,组织检查当前状态、设定方向,并以小步改进,这个习惯接近改善(kaizen),即由每个人参与的持续改进这一日本理念。更一般的理念是持续改进过程(continual improvement process)(见主题 9.5,持续改进度量)。

在度量的背景下,该模型有一个特别的陷阱。依据自己的测量值来被评估的计划,会招致它所警告的那种扭曲。如果“有定义的测量值数量”变成目标,定义就会激增。因此,本主题的做法,除了计数之外,还使用来自工作的证据(哪些决定改变了、团队怎么说),并让评估由团队拥有,因为他们从夸大评估中得到的好处最少(见主题 1.2,古德哈特定律与度量心理学)。供团队使用的配套评估表格出现在附录中(见主题 12.5,成熟度自评)。

关键原则

  • 量表是交谈的工具。 它帮助人们描述现状并选择下一步,而不是用于评级、排名或认证。
  • 与团队一起评估。 公开讨论的自我评估,比外部打分更准确。
  • 依据证据判断。 除了存在哪些文件之外,还要问哪些决定改变了、人们说什么,以及数据显示什么。
  • 各维度可以不同。 计划可能在工具上强,在信任上弱。报告概况,而不是单一数字。
  • 一次走一步。 瞄准在一两个维度上的下一个等级,而不是一次做到所有。
  • 更高不一定更好。 选择契合组织规模、风险和需要的等级。
  • 预期会倒退。 员工流动、重组和压力可以把计划推回去。定期重新评估。
  • 绝不公布团队的排行榜。 为计划做聚合,并只与团队分享团队自己的结果。

度量定义

下面的测量值描述计划的健康及其评估。它们是给计划团队和赞助者的,并被读作值得讨论的信号。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏
评估参与 完成了自我评估并附有自己的讨论的参与团队占比 完成并讨论的团队 / 参与的团队 百分比 评估记录 持续改进 反思与回顾会议 每年两次
按维度的概况 团队在每个维度中自评等级的分布,以范围而不是单一分数展示 每个维度中处于各等级的团队计数 每等级的团队 自我评估,聚合 持续改进;治理 可见的工作 每年两次
来自评估的改进行动 已完成、附理由放弃或仍在进行的已商定下一步占比 已关闭或附理由放弃的行动 / 已商定的行动 百分比 改进登记册 持续改进 小试验 每季度
决定的证据 在被抽样的测量值中,团队能指出上一个季度该测量值为之提供依据的决定或有意选择的占比 有被指名决定的测量值 / 被抽样的测量值 百分比 团队访谈;评审笔记 持续改进 证据重于仪式 每季度
对定义和数据的信任 团队层面对定义清晰、数据正确的认同 在简短的团队调查中表示认同的百分比;展示回复率 百分比 匿名的团队调查 知识管理;信息管理 共同的理解 每年两次
到下一等级的时间(描述性) 团队在选择这样做的维度上,上升一个等级所经过的时间 从已商定的步骤到团队重新评估的月数中位数 月 评估历史 持续改进 可持续的节奏 每年
评估负担 评估对每个团队所花的小时数 每个团队的小时数中位数 小时 来自团队的时间估计 持续改进 可持续的节奏 每年两次

参与按带讨论的完成来度量,因为独自填写的表格说明不了什么。概况是一个范围,绝不平均成一个成熟度数字。到下一等级的时间是描述性的:快速的攀升可能反映了自评的夸大,缓慢的则可能反映了恰当的谨慎。评估负担是对评估本身的检查,对每个团队它应当花不超过一两个小时。

建议

善用量表

1. 定义度量计划的维度。 可行的集合有六个维度:(a) 问题与目的,测量值是否回答了受众所问的问题;(b) 定义与归属,测量值是否有书面定义和负责人;(c) 数据与工具,数据是否准确、及时且可移植;(d) 在决定中的使用,数字是否为选择提供依据;(e) 信任与安全,人们是否相信数据对他们有帮助;以及 (f) 评审与演进,计划是否自我精简。六个足够有用,又少到足以在一个小时内讨论。

2. 描述每个等级的样子。 下面“成熟度模型”一节中的表,给出了每个维度在每个等级的简短描述。把它们当作提示。团队应当使措辞适应自己的背景,并写下自己的例子。

3. 不要取平均。 单一的总分隐藏了重要的模式。工具成熟度高而信任低的计划,与相反的计划处境不同,下一步也不同。展示概况。

与团队一起评估,而不是对团队评估

4. 把它变成一个小时的交谈。 带着这张表把团队召集起来。请每个人私下标出他们认为团队在每个维度所处的位置,然后比较。讨论差异,因为它们揭示了对同一个计划的不同体验。商定一个团队的观点,记录其背后的证据,并选择一两个下一步。

5. 索要证据。 对所声称的每个等级,索要一个例子。“我们在决定中使用这些数字”招致“上个季度是哪些决定?”的问题。使用抽样的测量值和访谈来检查。这尊重人,并使评估不至于漂移到一厢情愿。

6. 让结果留在团队。 团队的概况属于团队。计划分享聚合的范围和共同的主题,而不是排名。要明确说明,评估不影响出资、地位或评审。如果它影响,团队就会夸大它,价值就丧失了(见主题 11.3,推行度量而不滋生恐惧)。

选择下一步

7. 选择限制其他维度的那个维度。 信任与安全往往限制其他一切:没有它,数据被扭曲,决定也令人怀疑。定义与归属往往限制数据和使用。一种常见的模式是先加强信任和定义,然后是数据,然后是使用和评审。寻找那个小小的改进就能解锁其他维度的维度。

8. 设定小而具体的步骤。 下一步应当是团队能在一个季度内完成并能认出来的:“商定章程”、“为我们的四项测量值写定义”、“自动化两个馈送”、“举行每月的评审,并在其中记录决定”。避免像“达到等级 4”这样的步骤。等级描述的是状态,而步骤描述的是工作。

9. 把步骤与改进登记册相联。 把行动放在与其他改进工作相同的地方,附负责人和日期,并在定期的改进交流中评审进展(见主题 9.5,持续改进度量)。没有出资或没有排期的步骤不会发生。

保持诚实而轻量

10. 在团队之间校准,而不给它们排名。 召开一次简短的会议,让团队分享他们在某个维度中称之为等级 3 的例子。讨论标准上的差异。目的是共同的理解,而不是相等的分数。轮换引导者,并邀请计划之外的团队来质疑措辞。

11. 按节奏重新评估,并针对事件作出响应。 对大多数计划,每年两次就足够了。在重组、工具变更或违反章程之后重新评估,因为这些可能使信任朝任一方向移动。留意倒退,并把它视为信息,而不是失败。

12. 淘汰或修订模型本身。 每年问团队,维度和等级描述是否仍然适用。重写令人困惑的措辞,并移除无人使用的东西。五年没有变化的模型,可能在描述一个已经不存在的计划。

钻空子途径与护栏

度量 如何被钻空子 配对的护栏度量或实践
评估参与 为满足配额而填写表格;一个人替团队填写 要求团队讨论;索要每项声称背后的证据
按维度的概况 夸大等级以显得好;为获得帮助而故意压低 不与出资或地位挂钩;索要证据;公开校准
来自评估的改进行动 选择琐碎的步骤以便关闭;没做就关闭 评审步骤的大小和价值;在下一次评估时检查成果
决定的证据 事后虚构决定;列出无关紧要的决定 索要日期和涉及的人;接受“选择什么也不做”作为决定
对定义和数据的信任 辅导回答者;低回复隐藏了不满 匿名和最小群体规模;展示回复率;直接与团队交谈
到下一等级的时间(描述性) 抢着声称进步;隐藏倒退 保持描述性;与证据一起阅读;不加惩罚地记录倒退
评估负担 跳过讨论以削减小时数 把小时数与参与度和证据的质量一起跟踪

健康的读数显示:混合了各个等级的概况、信任和定义先于工具和完善而上升、小而完成了的下一步、团队能指出的决定,以及对偶尔倒退的诚实记录。

权衡:利与弊

方法 优势 劣势
团队自我评估 诚实、有归属、快速 主观;需要校准
外部评估 一致;独立 昂贵;招致为评估者表演
单一的总分 易于沟通 隐藏模式;招致目标
按维度的概况 显示在哪里行动 较难概括
年度评估 轻量 较慢才注意到倒退
每年两次,附事件触发 响应及时 更多工作量
与出资挂钩 获得关注 夸大和钻空子
与出资分开 诚实的数据 需要其他获得支持的办法

结论是进行附证据的轻量自我评估,报告概况和范围,让结果留在团队,并把下一步与改进登记册联系起来,而不是与出资或地位。

与团队讨论的问题

1. 六个维度中,我们会说哪一个最弱?是什么使我们这么说? 让每个人私下选择一个,然后分享。引导者应当索要最近的例子。寻找模式,并商定哪个维度限制了其他维度。

2. 我们能指出上个季度一项测量值所改变的某个决定吗? 把它们列出来。如果清单很短,问为什么。讨论问题出在测量值、数据,还是查看的习惯。

3. 在信任与安全方面,我们会把自己放在哪里?我们如何知道? 查看未遂事件的报告、质疑和调查结果。与人们在实践中的说法相比较。商定领导者可以做的、推动它的一件事。

4. 对我们最弱的维度,小而具体的下一步会是什么样? 用一句话起草,附负责人和日期。检查它能在一个季度内完成。商定我们如何知道它有效。

5. 什么会使这次评估让人感觉像威胁?我们如何防止? 讨论人们会害怕的对结果的用途。写下结果永远不会被用于什么。检查计划负责人同意。

6. 有没有我们不需要达到的等级? 想一想我们的规模、风险和目标。描述一个目前足够好的等级,以及一个告诉我们应当重新审视的信号。

四种视角

产品与交付团队

团队评估自己,选择下一步,并保留自己的结果。他们应当用这场交谈来浮现体验上的差异、索要证据,并把步骤设得小到能够完成。他们应当抵制任何把概况变成排名的企图。

服务与运维团队

运维团队承担沉重的数据和事件负荷,能看出计划在哪里支持他们、在哪里加重他们的负担。他们应当指出工具或定义在哪里阻碍了他们的工作,要求谨慎处理值班和事件数据,并就评估的负担给出坦率的反馈。

领导层与治理

领导者赞助计划并收到聚合的全貌。他们应当索要概况和共同的主题,抵制索要单一分数,为团队所选择的下一步出资,并且不要把出资或地位与评估挂钩。他们还应当通过描述度量为之提供依据的决定,来示范这种行为。

客户与用户

当计划改进服务、并且他们的反馈是测量值的一部分时,客户和用户受益。凡他们是伙伴之处,他们可以参与评估与他们相关的测量值,例如满意度调查的有用性,并参与评审其数据如何被使用。

实践:一个服务管理示例

一家全国性保险集团有 20 个交付和支持团队,以及已运行 18 个月的度量计划。赞助者要求“每个团队的成熟度分数”,以指导投资。计划负责人心存戒备,记得之前审计式的打分,如何导致团队准备成捆的文件。下面的数字均为示意。

计划负责人转而提议一份横跨六个维度的概况,由团队在一小时的交谈中评估,附一位来自团队之外的引导者,结果由团队保存。她告诉赞助者,计划将报告范围和共同的主题,并且没有任何团队的概况会与出资挂钩。赞助者同意了,这项决定被记录下来。

20 个团队中有 19 个带着讨论完成了评估,所以参与度为 95%。概况显示了一个范围:在问题与目的上,大多数团队处于等级 2 或 3;在定义与归属上,从 1 到 4 都有;在数据与工具上,大多是 3;在决定中的使用上,大多是 2;在信任与安全上,分成 2 和 4;而在评审与演进上,大多是 1 或 2。证据检查很有启发。11 个团队声称在决定中的使用达到等级 3,但当被要求指出上个季度某项测量值为之提供依据的决定时,只有六个团队能做到。计划负责人不加评判地记下了这一点,它成为一个主题:团队有仪表盘,却很少举行记录决定的评审。

下一步很小。八个团队选择带决定日志的每月评审。四个团队选择为他们的测量值写定义。三个团队选择商定章程。六个月之后,17 项已商定的步骤中有 14 项完成,一项附理由放弃,两项在进行。一次重复的评估显示,决定的证据从被抽样测量值的 38% 上升到 71%,信任调查从 54% 的认同移动到 67%。一个团队在重组之后,在信任上滑了回去,引导者把它记录为信息,而不是失败。一年之后,赞助者再次要求为年度报告提供单一分数。计划负责人提供了一页的概况,附范围、三个主题和已完成的改进步骤。赞助者接受了,并且报告明确说明,该量表是交谈的工具。

敏捷、AI、自动化与分析

敏捷

在定期的改进评审中,把模型作为交谈来使用,由团队选择自己的下一小步。需要注意的是,展示在墙上的成熟度分数会变成目标。

AI

把 AI 视角加入评估:AI 的用途是否已盘点、AI 辅助的测量值是否有质量配对,以及人们是否能质疑由 AI 得出的数字。需要注意的是,由 AI 撰写的自我评估可能听起来自信而遗漏本地的事实,所以团队必须自己写。

自动化

自动化收集评估的证据,比如有负责人和护栏的测量值占比,但由人来解释。需要注意的是,自动收集的证据可能不完整,所以要说明它排除了什么。

分析

展示跨维度的概况,而不是单一分数,并附每项评级背后的证据。这为之提供依据的决定是接下来改进什么。需要注意的是,评级是被评估的人所作的判断,所以避免依据它们比较团队。

行业视角

初创公司。 正式的评估很可能是过度的。每年两次围绕六个维度的简短交谈,附一两个小步骤,就足够了。留意对测量值将被用于评判的恐惧,因为小团队对此感受强烈。

小型企业。 把这些维度当作与所有者和员工谈话的检查清单。问你保留的少数几项测量值是否回答了真实的问题、人们是否知道它们的含义,以及它们是否被使用。选择一步。不要花超过一个小时。

大型企业。 规模需要轻量而一致的流程:同样的维度、附引导者的自我评估、校准会议和聚合的概况。抵制中央的打分办公室。把下一步与改进登记册相联,并向赞助者报告范围和主题。防止量表变成合规的演练。

政府与公共部门。 审计和监督机构可能索要成熟度分数。要清楚区分这种内部的交谈工具与任何正式的框架。让团队的结果留在团队,向监督机构提供聚合的数据,并对量表是什么、不是什么保持透明(见主题 8.3,合规与审计度量)。

业务论证:动因、投资回报与总拥有成本

成本很小:每个团队每年两次一两个小时、一位引导者、一些分析,以及执行改进步骤的工作量。更大的成本出现在模型被误用的时候,随之而来的是顾问、打分办公室和成捆的证据。

回报来自对努力的更好定向。计划不是把投资分散到所有维度,而是找出限制的维度并处理它。其他回报包括更早地认识到倒退、团队之间共同的语言,以及由团队选择并拥有的改进步骤。依据你自己的数据建立论证:完成的改进步骤、决定的证据和信任调查结果的变化,以及评估所花的工作量。避免在没有可追溯来源、与你的背景也不相关的情况下,引用关于成熟度改进回报的已发表声称(见主题 7.7,投资回报与业务论证)。

反模式与陷阱

  • 成熟度徽章。 等级变成了目标。把它作为附证据的交谈来使用。
  • 单一的总数字。 模式丢失,目标出现。展示概况。
  • 由审计员打分。 团队为表演而准备文件。使用附引导者的自我评估。
  • 把分数与出资挂钩。 随之而来的是夸大。把评估分开。
  • 追逐最高等级。 不是每个计划都需要协同。选择契合的。
  • 评估后就忘记。 没有后续步骤。把步骤与改进登记册相联。
  • 过长的评估。 负担增长,质量下降。保持在一个小时。
  • 忽略倒退。 计划在变化之后下滑。按节奏并在事件之后重新评估。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
问题与目的 因为数据存在而收集测量值 一些团队说明他们所问的问题 写下受众和问题;把测量值映射到它们 评审问题覆盖;未回答的问题驱动新的测量值 包括客户和供应商在内的受众塑造测量值;问题随服务一起演进
定义与归属 定义因人而异 一些已写下;非正式的负责人 每项测量值都有定义、来源、负责人和局限的目录 管理定义完整性和质疑 定义由团队和供应商共同拥有;当不再为决定提供依据时修订
数据与工具 手工且脆弱 一些自动化的馈送 经测试的流水线、共享存储、可移植的数据 管理可靠性、对账和退出就绪度 带共享契约的联合流水线;依据反馈改进来源
在决定中的使用 数字被展示,很少被使用 在一些评审中使用 记录决定的定期评审 跟踪决定的证据并据此行动 决定跨团队与成果相联;共享学习
信任与安全 恐惧或冷漠 口头的保证 书面章程;个人视图关闭;安全调查 公开评审违反行为;管理坦诚信号 信任成为常规;计划由员工和伙伴塑造
评审与演进 没有 偶尔的清理 与团队的定期评审;淘汰规则 评估的步骤获得出资并完成 计划持续改进,变化来自每一个人

检查清单

  • 六个维度已商定,等级描述已适应我们的背景。
  • 每个团队在由引导者主持、约一小时的讨论中评估自己。
  • 每个所声称的等级都有例子或抽样检查的支持。
  • 结果以概况和范围展示,绝不作为单一的平均分或排名。
  • 团队的结果留在团队,聚合的结果与赞助者分享。
  • 评估不与出资、地位或绩效评审挂钩,并已写下这一点。
  • 每个团队商定一两个小的下一步,附负责人和日期。
  • 在改进登记册中跟踪下一步。
  • 每年至少重新评估两次,并在重大事件之后重新评估。
  • 每年与团队一起评审模型本身。

AI 提示词

为自我评估的交谈做准备。

请为团队对其度量计划的自我评估,准备一份一小时的引导计划,涵盖六个维度:问题与目的、定义与归属、数据与工具、在决定中的使用、信任与安全,以及评审与演进。使用五个等级:起步、发展、标准化、管理、协同。包括私下标注、比较、关于证据的问题,以及商定一两个小的下一步。不要产生分数。请列出你的假设。

把薄弱的维度变成步骤。

我们的团队在其度量计划的 [维度] 上,把自己评为等级 [n]。证据:[粘贴]。请建议三个小步骤,每个都能在一个季度内完成,可能把我们推向等级 [n+1]。对每一步,描述负责人、工作量、可能的收益,以及我们如何知道它有效。不要承诺成果。请列出你的假设和风险。

检查所声称等级的证据。

一个团队声称在 [维度] 上达到等级 [n],并给出这些证据:[粘贴]。请扮演好奇的同事。列出用来测试证据是否支持这项声称的问题、什么样的例子有说服力,以及哪些迹象表明该声称过于乐观。不要评判该团队。请列出你的假设。

不排名地概括概况。

这是每个维度中处于各等级的团队的聚合计数:[粘贴]。请为赞助者写一份半页的摘要,描述范围、三个共同的主题,以及团队选择的改进步骤。不要给团队排名、产生单一分数,或在没有证据的情况下声称原因。列出关于自我评估的注意事项。

AI 技能

要点

  • 把共享的五级量表用作交谈的工具,绝不用作徽章、排名或认证。
  • 报告跨六个维度的概况,而不是一个平均分。
  • 与团队一起评估,索要证据,并让每个团队的结果留在团队。
  • 在限制其他维度的那个维度中选择小的下一步,往往是信任和定义。
  • 在改进登记册中跟踪步骤,并定期重新评估,因为计划会倒退。
  • 更高不一定更好,成果比等级更重要。

参考文献与延伸阅读

  1. Paulk, M., et al., Capability Maturity Model for Software, Version 1.1, Software Engineering Institute, Carnegie Mellon University, 1993.
  2. Axelos, ITIL 4: Direct, Plan and Improve, 2020.
  3. ISO/IEC 33001, Information technology: Process assessment: Concepts and terminology, International Organization for Standardization, 2015.
  4. Imai, M., Kaizen: The Key to Japan's Competitive Success, McGraw-Hill, 1986.
  5. Muller, J., The Tyranny of Metrics, Princeton University Press, 2018.
  6. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  7. Wikipedia, Capability Maturity Model.
  8. Wikipedia, Kaizen.
  9. Wikipedia, Continual improvement process.
  10. Wikipedia, Goodhart's law.
  11. Wikipedia, Vanity metric.