持续改进度量
改进是一种注意、尝试和检查的习惯,所以要度量想法是否变成了变更、变更是否被检查了效果,以及同样的问题是否不断回来,并把这项工作留在做这项工作的人手中。
概述与动因
《敏捷宣言》的一条原则说,团队定期反思如何变得更有成效,然后相应地调整其行为。ITIL 在其指导原则和持续改进实践中表达同样的信念:服务及其运行方式应当一直被改进,以小步、基于证据。两者要求的是同一件事,即常设的改进习惯,而不是偶尔进行的计划。
大多数组织相信自己在这样做。许多组织有一场产生行动清单的回顾会议式的会议、一份改进想法的登记册,或一份年度改进计划。常见的失败是清单不断增长,却几乎什么也没发生。行动在会议上商定后被遗忘。改进被做出来却从未被检查,所以没人知道它们是否有帮助。同样的问题换了一个名字又回来。持续改进测量值是分辨一个在改进的组织与一个只是谈论改进的组织的办法。
持续改进过程(continual improvement process)在质量管理中有深厚的根源。与 W. Edwards Deming 和 Walter Shewhart 相关联的计划—执行—检查—处理(Plan-Do-Check-Act)循环,把改进描述为反复进行的小实验:计划一项变更、尝试它、检查结果,并根据所学采取行动。改善(Kaizen)是日语中指在每个人参与下持续改进工作实践的术语。两者都来自精益生产(lean manufacturing)和丰田生产系统,如今都是服务和软件工作中的标准词汇。ITIL 4 提供了一个持续改进模型,其步骤问:愿景是什么、你现在在哪里、你想去哪里、你将如何到达那里、采取行动、你是否到达了,以及如何保持势头。它是交流的提示,而不是要机械遵循的程序。
有几个理念有帮助。
- 改进约束。 由 Eliyahu Goldratt 发展的约束理论(theory of constraints)说,系统的吞吐量受其最慢部分的限制,所以别处的改进几乎没有增益。用本书前面的流动测量值找到约束,并首先改进它(见主题 2.3,在制品与排队)。
- 找原因,而不是症状。 根因分析(root cause analysis)寻找问题的根本原因,使修复它们能阻止问题再次出现。当问题有若干原因时,过度使用简单的方法可能误导,所以要检查促成因素。
- 质疑假设。 来自 Chris Argyris 和 Donald Schön 的术语双环学习(double-loop learning),超越修复行动,去检查导致它的信念和规则。只修复症状(单环学习)的团队,往往会再次遇到同样的问题。
- 改进需要容量。 全力以赴的团队没有改进的余地。受保护的容量是前提条件,而可以持续的节奏是使改进成为可能的一部分(见主题 9.2,满意度与福祉度量)。
改进测量值会招致它们自己的钻空子。如果完成的行动数是目标,团队就商定琐碎的行动。如果改进所节省的是目标,声称就会膨胀。如果提交的想法数是目标,想法涌入,却没有一个被采取行动。古德哈特定律的护栏适用:度量改进是否有效,而不是改进计划看起来有多忙(见主题 1.2,古德哈特定律与度量的心理学)。
关键原则
- 改进属于做工作的人。 他们最先看到问题和可能的修复。
- 以小步工作并检查每一步。 小实验降低风险并加速学习。
- 度量落实和效果,而不是活动。 完成的行动和得到确认的效果,比产生的想法更重要。
- 先改进约束。 远离瓶颈的努力几乎没有增益。
- 修复原因。 寻找促成因素,并质疑其背后的假设。
- 为改进保护容量。 它不会在并不存在的闲暇时间里发生。
- 庆祝学习,包括从失败的实验中学习。 试过却没起作用的想法是信息。
度量定义
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| 行动落实率 | 在评审中商定的改进行动,在约定日期之前完成的占比 | 按日期完成的行动 / 期内到期的行动 | 百分比 | 改进登记册或团队待办事项列表(backlog) | 持续改进 | 已交付的反思行动 | 每月 |
| 改进待办事项列表的年龄 | 未关闭的改进项的年龄,特别关注最老的 | 未关闭项的年龄天数的中位数和第 85 百分位数;最老的一项的年龄 | 天 | 改进登记册 | 持续改进 | 待办事项列表年龄 | 每月 |
| 效果检查率 | 已完成的改进中,其效果对照基线被检查的占比 | 有记录的前后检查的已完成改进 / 已完成的改进 | 百分比 | 带基线和结果字段的改进登记册 | 持续改进;度量与报告 | 从实验中学习 | 每季度 |
| 从想法到试验的时间 | 从提出一个改进想法到在真实工作中首次试验的时间 | 从提出到首次试验的天数的中位数和第 85 百分位数 | 天 | 改进登记册 | 持续改进 | 对变更的快速反馈 | 每月 |
| 一线想法占比 | 由做这项工作的人提出的改进想法占比,在团队层面计数 | 由做这项工作的团队成员提出的想法 / 提出的想法 | 百分比 | 改进登记册 | 持续改进 | 自组织团队 | 每季度 |
| 重复问题率 | 在旨在消除其原因的改进之后再次出现的问题占比 | 在相关改进关闭后的规定期间内再次出现的问题 / 带有相关原因而关闭的改进 | 百分比 | 按原因相联的事件、问题和改进记录 | 问题管理;持续改进 | 修复之后逃逸的缺陷 | 每季度 |
| 改进容量占比 | 花在改进工作上的团队容量占比 | 标记为改进的容量或已完成项 / 总容量或已完成项 | 百分比 | 工作跟踪器的工作类型 | 持续改进;容量与性能管理 | 用于反思和技术卓越的时间 | 每月 |
在登记册中定义“改进项”,并使其与普通待办事项列表工作以及纠正性的修理分开。落实的时钟从行动与负责人和日期商定时开始。效果检查要求在变更之前记录基线并有定义的指标,结果可以是“没有效果”或“无法判断”。重复问题率取决于记录的原因,匹配规则写在登记册中。所有测量值描述的都是团队和系统,而不是个人。
建议
使改进可见且有人负责
1. 每个团队保持一份可见的改进清单。 把改进项放在团队已经在看的地方,比如其看板或待办事项列表,并给它们打标签。每一项都有负责人、所述问题、预期效果、指标和日期。存在于单独工具或没人打开的文档中的清单会衰败。展示最老的项,使清单无处躲藏。
2. 举行定期、简短的反思。 团队以稳定的节奏问:什么进展顺利、什么在碍事、接下来试什么。保持简短而具体,并以少数几项有负责人的行动结束。如果你的团队选择使用某种有名称的形式,比如回顾会议,那是团队的选择。原则是定期的习惯。
3. 商定更少的行动并完成它们。 两三项被完成的行动,比一打没有完成的教会更多。检查落实率。当行动反复拖延时,问为什么:不明确的归属、没有容量,还是行动太大。把大的分解为小步。
4. 保护容量。 为改进预留一部分容量,并像任何其他工作一样规划它(见主题 2.5,交付预测与规划度量)。当团队过载时,减少新工作的接收,而不是取消改进,因为改进往往正是减少过载的东西。跟踪已使用的占比。
找出重要的东西
5. 寻找约束。 使用流动数据找出工作在哪里等待、什么限制了吞吐量。在约束处的改进提高整个系统的产出。别处的改进可能只是移动了工作堆。对事件处理、变更批准和请求履行采用同样的视角。
6. 用证据来选择。 依据数据以及最接近痛点的人来选择改进:重复的事件、长时间的等待、返工、用户投诉、障碍清单。把每项改进与一个记录的问题相联。这把改进登记册与问题管理联系起来(见主题 4.1,问题管理度量)。
7. 寻找原因和促成因素。 对反复出现的问题,不止一次地问为什么,并寻找条件以及触发因素。提防停留在第一个看似合理的原因,或停留在某个人身上。质疑假设:我们为什么这样工作,这条规则还需要吗?双环学习在这里有回报。
先小处尝试,再检查
8. 带基线运行小实验。 说明变更、预期效果和指标。在变更之前记录基线。在小范围内短期尝试,然后比较。计划—执行—检查—处理循环是一个简单的框架。从想法到试验的时间越短,学习越快。
9. 检查效果并诚实地记录。 变更之后,把指标与基线以及其他变化的内容相比较。记录效果是看到了、没看到,还是不清楚。从未发现“没有效果”的团队,很可能没有仔细检查(见主题 6.5,价值实现与业务成果)。
10. 保留有效的,放弃无效的。 在适合之处,把有效的改进传播给其他团队,并淘汰增加成本却没有收益的变更。重新审视较早的变更,因为条件会变化。标准应当随团队的学习而演进。
保持习惯鲜活
11. 使提议和停止都是安全的。 当较早的想法被听到并被采取行动时,人们才提出想法。当想法消失或给提议者带来额外工作时,他们就保持沉默。对每个想法都作出回应,即使答案是“现在不行”,也附上理由。允许团队停止不起作用的改进。
12. 不要把改进变成目标。 不要为想法数、关闭的行动数或所声称的节省设定目标。报告落实、效果检查、重复率,以及一些故事。把每个团队与它自己的过去相比较,并在团队之间分享好的想法,而不给它们排名。
钻空子途径与护栏
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| 行动落实率 | 商定琐碎的行动;移动到期日;在没有做的情况下关闭 | 评审行动的规模和价值;记录日期变更;效果检查率 |
| 改进待办事项列表的年龄 | 在没有决定的情况下把旧项以“不做”关闭;拆分项以重置年龄 | 记录关闭的理由;跟踪在没有行动的情况下关闭的项;评审最老的 |
| 效果检查率 | 记录没有基线的检查;只检查成功的 | 基线的日期早于变更;包括零结果和负面结果 |
| 从想法到试验的时间 | 把计划称为试验;试验琐碎的变体 | 把试验定义为真实工作中的变更;查看被试验想法的重要性 |
| 一线想法占比 | 经理以员工的名义提交想法;强制的想法配额 | 在团队层面记录按作者的想法;没有配额;询问团队 |
| 重复问题率 | 为同一个问题记录不同的原因;把较早的记录归入另一种类型关闭 | 按原因匹配并记录规则;由团队之外的人评审 |
| 改进容量占比 | 把普通工作标记为改进;安排随后被用于交付的时间 | 抽样检查项的类型;与实际花费的时间相比较 |
健康的读数是:简短的清单、能够完成的行动、在数天或数周内进入试验的想法、被检查的、有时令人失望的效果、下降的重复问题,以及被使用的受保护容量。
权衡:利与弊
| 方法 | 优势 | 劣势 |
|---|---|---|
| 大型的改进计划 | 可见;能处理大问题 | 缓慢;与日常工作脱节 |
| 小型的持续实验 | 快速学习、低风险 | 可能错过结构性问题 |
| 中央改进团队 | 技能和一致性 | 远离工作;想法停滞 |
| 由团队拥有的改进 | 相关而有积极性 | 质量参差;需要支持 |
| 带奖励的想法计划 | 产生数量 | 配额和钻空子;质量低 |
| 基于证据的选择 | 聚焦于真正的问题 | 需要数据和时间 |
| 正式的效果检查 | 诚实的学习 | 工作量;繁重时可能显得官僚 |
| 没有检查 | 快速 | 不了解什么有效 |
答案是让改进靠近团队,以带轻量效果检查的小实验进行,由几位帮助处理数据和方法的人来支持,并由保护容量、倾听结果的领导者来支持。
与团队讨论的问题
1. 我们在上次评审中商定了什么改进?它发生了吗? 查看这些行动。对每一项,问它是被完成、被放弃,还是被遗忘,以及原因。引导者应当记下原因。商定团队真正能完成多少项行动,并把下一份清单削减到那个数。
2. 我们最近作出的哪项变更,我们知道它有帮助?我们怎么知道? 挑选一项近期的变更,寻找基线和结果。如果没有,讨论下次如何检查。为下一次实验决定一个简单的指标。
3. 无论我们修复多少次,什么都会回来? 列出反复出现的问题。对其中一个,问它为什么回来,以及当前做法背后有什么假设。考虑该修复是否只处理了症状。选择一个反复出现的问题进行更深入的查看。
4. 工作在哪里等待最久?约束是什么? 使用流动数据。问团队正在做的改进是否触及约束。如果没有,讨论是否要改变焦点。
5. 我们的一周有多少用于改进?是什么保护它? 把计划与现实相比较。讨论是什么占去时间。商定保护一小部分的规则,以及团队过载时要削减什么。
6. 有人提出的最后一个想法怎么样了?他们是如何得知的? 追溯一个想法。它是被回答、被尝试,还是丢失了?讨论如何确保每个想法都得到回应和理由。
四种视角
产品与交付团队
交付团队是改进想法的主要来源,也是它们是否有效的最佳裁判。他们应当保持一份可见的清单,每个周期完成几项行动,检查效果,并分享所学。他们需要受保护的容量和有回应的领导者。
服务与运维团队
运维团队每天都看到重复的事件、缓慢的批准和手工的繁琐工作。他们应当把改进与记录的问题相联,跟踪重复的问题,并为减少自己负荷的修复留出时间。他们的反馈显示改进是否触达用户。
领导层与治理
领导者创造条件:受保护的容量、提议和停止的安全,以及对结果的关注。他们应当索要落实和效果检查,接受诚实的“没有效果”的发现,避免配额,并为需要投资的改进出资。治理应当查看各团队的改进登记册,寻找需要结构性行动的模式。
客户与用户
用户受益于不断变好的服务,他们也是想法的丰富来源。应当询问他们,告诉他们变了什么,并邀请他们检查效果。关于同一问题的反复投诉,是改进没有触及原因的信号。
实践:一个服务管理示例
一家国家税务机构的数字服务团队运行着申报门户、支付系统和联络中心平台,有八个团队。每个团队保持一份改进清单,该团队每个季度报告完成的改进数。下面的数字均为示意。
服务改进主管注意到,所报告的数字在上升,而同样的痛点依然存在。她评审了这些清单。整个团队有 212 个未关闭的改进项,年龄中位数为 7 个月,最老的是 26 个月。在上个季度评审中商定的行动里,38% 按日期完成。去年完成的 64 项改进中,只有 9 项有记录的基线和结果,效果检查率为 14%,而这 9 项中有 3 项显示没有效果。重复问题很常见:在与旨在消除其原因的改进相联的 25 起事件中,有 11 起在六个月内再次发生,重复率为 44%。改进工作约占容量的 4%。
该团队与各团队商定四项变更。每个团队把清单削减到未来两个月内能够处理的项,并说明为什么搁置或关闭其余的。各团队商定一次不超过三项行动,附指名的负责人。对每项改进,在变更之前记录基线和指标,并在之后记录结果,包括“没有效果”。每季度的评审查看跨团队的反复出现的问题,并挑选两个进行更深入的原因分析,联络中心和支付团队一起调查一个共同的原因。每个团队为改进预留 10% 的容量,由一条规则保护:取消需要团队负责人同意并记录一条日志。给领导者的报告,从完成的改进数改为落实、效果检查和重复问题。
两个季度后,未关闭项降至 74,年龄中位数为 2 个月。落实率升至 81%,效果检查率升至 70%,36 项被检查的改进中有 9 项显示没有效果并被放弃。重复问题率降至 20%,从想法到试验的时间中位数为 9 天。副主任要求设定每季度完成 100 项改进的目标。服务改进主管解释说,计数正是早先的数字产生误导的原因,并提议跟踪落实、效果和重复率。该决定被记录下来,一个团队关于对其批准流程进行为期四周实验的请求获得批准。
敏捷、AI、自动化与分析
敏捷
让改进留在做这项工作的人手中,并按定期的节奏评审行动。需要注意的是,针对改进数量的目标会鼓励琐碎的改进。
AI
AI 可以根据工单和事件建议改进。跟踪团队尝试过的建议占比以及效果检查的结果。需要注意的是,AI 生成的想法待办事项列表可能使团队过载,所以要限制在制品。
自动化
自动化改进行动的提醒和跟踪,并度量效果检查率。需要注意的是,在没有商定归属的情况下催促的自动化会被忽略。
分析
连同计数报告效果检查率和重复问题率。这为之提供依据的决定是哪些改进有效。需要注意的是,效果很难归因,所以要描述不确定性。
行业视角
初创公司。 改进持续而非正式地发生。保持一份简短的清单,写下预期效果并检查它们,并保护一小块时间。避免繁重的流程,并留意改进被增长完全挤掉。
小型企业。 一两个人做一切,改进与救火竞争。每个季度挑选一个反复出现的问题,修复其原因,并检查效果。问用户什么让他们烦恼,并对其中一件采取行动。
大型企业。 规模使改进不均衡,想法难以分享。提供通用的登记册格式和轻量的辅导,让团队拥有自己的清单,并利用跨团队的论坛来传播有效的做法、处理共同的约束。避免中央配额。
政府与公共部门。 改进可能受采购、立法和批准链的约束,并受到公众的审视。记录实验及其结果,让用户参与选择和检查改进,并诚实地报告效果,包括没有起作用的。寻找能减轻公民负担的改进(见主题 8.5,受监管与政府报告)。
业务论证:动因、投资回报与总拥有成本
成本是受保护的容量(这是主要成本)、记录基线和结果的工作量,以及一些辅导或主持。工具可以简单到团队现有的看板。
回报是更少的重复问题、更低的繁琐工作、更短的等待,以及在看到自己的想法变成变更的团队中更好的士气。依据你自己的数据构建论证:反复出现的事件的成本以及被改进消除的占比、经检查效果的改进所节省的时间,以及已做出却没有起作用的改进的成本,现在检查可防止重复它们。避免引用已发布的改进计划回报,除非你能追溯其来源和方法。也要计入容量的机会成本(见主题 7.7,投资回报与业务论证)。
反模式与陷阱
- 统计完成的改进数。 团队商定琐碎的变更。度量落实和效果。
- 想法配额。 它们产生数量和噪声。回应到来的想法。
- 没有基线。 没人知道是否有什么帮助。记录前后。
- 只记录成功。 从失败中学习丢失了。记录零结果。
- 不修剪的长清单。 清单失去可信度。削减到团队会做的。
- 在闲暇时间里改进。 根本没有闲暇。保护容量。
- 修复症状。 问题会回来。不止一次地问为什么,并质疑假设。
- 由远处的团队进行改进。 想法停滞。让它留在做这项工作的人手中。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 习惯与归属 | 改进是偶尔的 | 发生反思;行动常常丢失 | 带负责人的可见团队清单;少数行动被完成 | 管理落实和从想法到试验的时间;保护容量 | 改进是例行的,在团队、供应商和用户之间共享 |
| 证据与效果 | 意见 | 变更之后有一些测量值 | 为每项改进记录基线和结果 | 效果检查包括零结果;按原因跟踪重复问题 | 组合层面的学习指导接下来在哪里改进,附合作伙伴 |
| 深度 | 修复症状 | 一些原因分析 | 对反复出现的问题做原因分析 | 依据流动数据识别约束;质疑假设 | 跨价值流的系统性改进,附共享的治理 |
检查清单
- 每个团队有一份可见的改进清单,附负责人、预期效果和日期。
- 定期、简短的反思以少数几项有负责人的行动结束。
- 每月评审行动落实和最老项的年龄。
- 规划、保护并跟踪用于改进的容量。
- 改进与记录的问题或证据相联。
- 在每次变更之前记录基线和指标。
- 检查并记录效果,包括没有效果。
- 改进之后按原因跟踪重复问题。
- 每个想法都得到带理由的回应。
- 没有针对想法、行动或节省的配额或目标。
AI 提示词
依据证据选择改进。
这是我们反复出现的问题和障碍,附大致计数和影响:[粘贴]。这是关于工作在哪里等待的流动数据:[粘贴]。请建议哪两三项改进最可能重要、为什么,以及什么证据会确认或反驳这一点。为每一项推荐一个带基线和指标的小实验。不要虚构数字。请列出你的假设。
设计一个小实验。
我们想在 [团队和流程] 中尝试 [变更] 以解决 [问题]。请设计一个小实验:预期效果、现在要记录的基线、指标及如何度量它、试验期间、如何判断其他变化是否混淆了结果,以及没有效果时我们将怎么做。保持轻量。请列出你的假设和风险。
评审改进清单。
这是我们的改进清单,附每项的年龄、负责人和预期效果:[粘贴]。请找出过于含糊、过大或陈旧的项,建议一份团队可以在两个月内完成的更短的清单,并提出一份说明,解释我们搁置的项及原因。不要评判个人。请列出你的假设。
分析一个反复出现的问题。
问题:[描述]。过去的修复以及它何时再次出现:[粘贴]。请建议超出第一个看似合理的原因的促成因素、要质疑的假设(双环学习),以及几种廉价地检验每个假设的办法。不要假定单一的根本原因。请列出你的假设和要问团队的问题。
AI 技能
- Service Management Metrics skill:用于查找改进度量所配对的护栏。
- Service Management Metrics maintainer skill:用于检查改进度量条目度量的是落实和效果,并带有其钻空子途径和护栏。
要点
- 每个团队保持一份可见的改进清单,一次几项有负责人的行动,并完成它们。
- 在每次变更之前记录基线,之后检查效果,并记录零结果。
- 跟踪落实、效果检查、重复问题和最老项的年龄。
- 先改进约束,并寻找原因和其背后的假设。
- 在可持续的节奏之内为改进保护容量。
- 不要为想法、行动或节省设定配额。
参考文献与延伸阅读
- AXELOS (now PeopleCert), ITIL 4 Practice Guide: Continual Improvement, TSO, 2020.
- Deming, W. E., Out of the Crisis, MIT Center for Advanced Engineering Study, 1982 (MIT Press edition, 2000).
- Imai, M., Kaizen: The Key to Japan's Competitive Success, McGraw-Hill, 1986.
- Goldratt, E. M., and Cox, J., The Goal: A Process of Ongoing Improvement, North River Press, 1984.
- Argyris, C., "Teaching smart people how to learn," Harvard Business Review, 69(3), 1991.
- Rother, M., Toyota Kata: Managing People for Improvement, Adaptiveness, and Superior Results, McGraw-Hill, 2009.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Continual improvement process.
- Wikipedia, PDCA.
- Wikipedia, Kaizen.
- Wikipedia, Lean manufacturing.
- Wikipedia, Theory of constraints.
- Wikipedia, Root cause analysis.
- Wikipedia, Double-loop learning.
- Wikipedia, Goodhart's law.