事后复盘与学习度量
被撰写、归档然后遗忘的评审没有教会任何人任何东西,所以要度量评审是否发生、是否够好、其行动是否完成,以及同样的原因是否不再回来,并让整个实践保持无责,使人们继续说出真相。
概述与动因
每项服务有时都会失败。使一个稳步变好的团队区别于一个重复其最糟糕一周的团队的,是失败之后几天里发生的事。事后复盘(postmortem)是对一起事件或一次险情的书面叙述:发生了什么、它是如何被检测和处理的、什么条件使它成为可能,以及团队将改变什么。ITIL 把这项活动称为事后事件评审,本主题把两个名称互换使用。定期的团队反思是近亲,它审视的是普通的工作,而不是一次中断。
本主题涵盖告诉你这个学习回路是否有效的测量值。它问四个问题。本应发生的评审是否真的发生了?它们是否好到足以发现真实的东西?它们产生的行动是否被完成?以及同样的原因是否依然不断回来?第五个问题贯穿其他所有问题之下:人们是否觉得足够安全,可以描述真正发生了什么?
本主题处于两个邻居之间,并避免重复它们。重大事件度量(见主题 3.4,重大事件度量)度量已宣布的重大事件的评审及时性及其行动的跟进落实,是这两项测量值在那个狭窄场景中的归属。问题管理度量(见主题 4.1,问题管理度量)拥有问题记录、已知错误和永久修复的时间。本主题把视野拓宽到每个严重级别的事件、险情和团队回顾会议,并拥有学习本身的质量:覆盖、深度、所有来源的行动关闭、原因的再发,以及使数据保持诚实的无责信号。
本主题中使用的术语
- 事后复盘或事后事件评审: 在服务恢复之后对一起事件进行的结构化的、无责的检视,以一份书面记录结束。
- 险情(near miss): 本可能造成事件或伤害却没有造成的事件,例如在测试环境中被发现的失败部署,或在用户注意到前几分钟触发的告警。
- 行动项(action item): 带有指名的所属团队、截止日期以及判断何时完成的办法的具体变更。
- 促成因素(contributing factor): 使事件成为可能或使之更糟的条件。大多数事件有几个。单一的“根因”往往是一种简化,根因分析(root cause analysis)最好被当作对条件而不是对罪魁祸首的搜寻。
- 原因类别(cause class): 来自一份简短的商定清单(例如“容量限制”“配置漂移”“缺失监控”“归属不清”)的稳定标签,用于发现再发。它描述的是系统条件,绝不是人。
- 无责(blameless): 一种评审风格,问系统如何让一位理性的人按其所为的方式行事,而不问该惩罚谁。它是一种实践,并与公正文化(just culture)的理念相联,在公正文化中,诚实的错误被视为学习,而鲁莽的行为仍被单独处理。
- 信息技术基础架构库(ITIL): 被广泛使用的 IT 服务管理(ITSM)框架。本主题所指的实践,按 ITIL 4(2019)的描述,而全书的日期截至 2026 年 10 月。见 ITIL。
敏捷与 ITIL 的视角有何不同
ITIL 贡献结构。在 ITIL 4 中,事件管理恢复服务,问题管理通过找出和管理原因来降低事件的可能性和影响,持续改进把学到的东西转化为有资助的变更。评审是前两者与第三者之间的枢纽。ITIL 倾向于问评审是否举行、在有必要之处是否开立了问题记录,以及改进是否被登记。
敏捷和站点可靠性工程(site reliability engineering,SRE)的传统贡献习惯。评审是无责的、简短的、为团队之外的读者而写,并广泛分享。定期的团队反思,作为持续改进的习惯,问接下来要改变什么,而敏捷(agile)对小而频繁的调整的偏好,取代了单一的大型改进计划。Google 的《Site Reliability Engineering》一书用一章篇幅讨论复盘文化,并论证评审过程只与其周围的文化一样好。
两种视角合用,就很强大。ITIL 给你覆盖规则和行动所在的位置。敏捷和 SRE 的习惯给你诚实和速度。一起度量,它们显示回路是否在闭合。
关键原则
- 学习是产品,而不是文档。 当系统、流程或共同的理解中发生了某种变化时,评审才算成功。统计变化,而不是文书工作。
- 无责是好数据的前提。 如果人们害怕责备,时间线会单薄,促成因素会过于整齐,同样的事件也会回来。在度量其他任何东西之前,先保护坦率。
- 度量跟进落实和再发,而不是数量。 评审的数量说明得很少。完成的行动占比和一直消失的原因占比,说明得很多。
- 让度量保持在团队和系统层面。 评审关乎条件。绝不按人统计评审、行动或错误,也绝不在绩效交流中使用这些数字。
- 让评审的规模与事件相称。 不是每个事件都值得一份长文档。依据影响和学习价值设定触发条件,让小事件得到简短的评审。
- 让行动诚实地竞争。 行动项就是工作。它属于与其他工作相同的待办事项列表,与之一同排序,并且可以附记录的理由被拒绝。
- 阅读评审。 数字定位问题。人阅读一批样本,告诉你评审是否有任何价值。
度量定义
下面的度量描述一项服务或一组团队的学习回路。每一项都说明统计什么、时钟从何处开始和停止,以及排除什么。时间测量值应当展示为中位数和一个高百分位数(例如第 85 百分位数)以及最老的未关闭项的年龄,而不是平均值(见主题 1.6,服务度量的统计素养)。
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| 评审覆盖率 | 获得了已完成评审的符合条件的事件占比 | 在约定窗口内发布了评审的符合条件的事件 / 期内关闭的符合条件的事件。符合条件的事件是满足书面触发条件的事件。期末仍处于窗口之内的事件被排除。 | 百分比 | 与评审存储库相连的 ITSM 工具事件记录 | 事件管理;问题管理 | 定期的团队反思;团队工作协议 | 每月 |
| 评审质量得分 | 已发布的评审是否符合一份简短的书面标准 | 样本中满足检查清单至少 [约定数量] 项的评审 / 样本中的评审。样本是每个季度随机抽取的固定数量的评审,由所属团队之外的人评分。 | 百分比 | 附评分表的评审存储库季度样本 | 持续改进;问题管理 | 评审的完成定义 | 每季度 |
| 行动关闭率 | 在截止日期前完成的评审行动占比 | 在截止日期前完成或被正式拒绝(附理由)的行动 / 期内到期的行动。时钟从评审发布时开始,到所属团队把行动标为完成并经评审者确认时停止。以“不做”关闭的行动单独计数并报告。 | 百分比 | 与评审相联的团队待办事项列表或 ITSM 改进登记册 | 持续改进;问题管理 | 团队待办事项列表;改进行动 | 每月 |
| 未关闭行动的年龄 | 仍未关闭的评审行动的年龄 | 对每个未关闭的行动,今天减去其评审的发布日期。报告中位数、第 85 百分位数和最老的。 | 天 | 团队待办事项列表或改进登记册 | 持续改进 | 工作项年龄;老化的在制品 | 每月 |
| 原因再发率 | 其原因类别与同一服务较早事件相符的事件占比 | 期内主要原因类别与过去十二个月内就同一服务关闭的某次评审相符的事件 / 期内有记录的原因类别的事件。没有记录原因类别的事件被排除并单独统计。 | 百分比 | 与事件记录相连的评审存储库原因类别字段 | 问题管理;事件管理 | 逃逸缺陷分析;回顾会议主题 | 每季度 |
| 险情报告率 | 人们选择报告的险情和微弱信号的数量 | 期内记录的险情 / 活跃服务,按服务展示趋势,绝不按人。该比率在一个健康计划的早期上升,然后趋于平稳。 | 每项服务的计数 | 险情日志,或问题跟踪器中标记的字段 | 事件管理;风险管理 | 团队健康检查;障碍看板 | 每月 |
| 学习覆盖面 | 一次评审在撰写它的团队之外传播了多远 | 在发布后 [约定天数] 内,在所属团队之外被展示或讨论(共享论坛、跨团队会议,或依赖团队有记录的阅读)的评审 / 期内发布的评审 | 百分比 | 论坛或会议记录以及评审存储库 | 持续改进;知识管理 | 干系人评审;实践社区 | 每季度 |
| 回顾会议行动的结转 | 在下一次回顾会议之前完成的团队回顾会议行动占比 | 在下一次回顾会议之前完成的回顾会议行动 / 在上一次回顾会议上商定的回顾会议行动。附理由被有意放弃的行动从两项计数中移除。 | 百分比 | 回顾会议记录或看板,保存在团队待办事项列表中 | 持续改进 | 定期的团队反思 | 每个评审期,每季度评审 |
| 敢于发声的脉搏 | 人们是否相信自己能够不被责备地描述错误 | 在一组简短的匿名问题(例如“我可以在评审中描述一个错误而不必害怕被责备”)上达到或高于 [约定水平] 的回复 / 收到的回复。该脉搏只针对大到足以保护匿名性的群体报告。 | 百分比 | 匿名脉搏调查 | 持续改进;组织变革 | 团队健康检查;心理安全检查 | 每季度 |
评审在对目标读者可见时即为“已发布”,而不是作为草稿保存。原因类别由评审小组依据评审本身,从一份简短的商定清单中记录,绝不由关闭工单的人记录。
建议
决定什么值得评审
1. 把触发条件写下来并公布。 像“每起重大事件、前两个严重级别的每起事件、任何涉及客户数据丢失的事件,以及团队判断有启发性的任何险情”这样的规则,消除了争论,使覆盖率可度量。没有书面的触发条件,评审就随心情和工作负荷而定,覆盖率数字毫无意义。
2. 让评审的规模与事件相称。 小事件可以有一份半页纸、三十分钟写成的评审,而重大事件可能值得一份完整的时间线和一次有引导的会议。一条轻量的轨道,使覆盖率保持较高,而不使该实践成为负担。
通过阅读来判断质量
3. 每个季度抽样并阅读评审。 抽取一小批随机样本,请所属团队之外的人对照一份简短的检查清单阅读每一份。有用的条目包括:显示决定以及作出决定时可得信息的时间线、不止一个促成因素、对哪些方面做得好的描述、带负责人和日期的行动,以及描述系统而不是个人的语言。报告达到标准的占比,并把发现作为辅导反馈给撰写者。
4. 教授评审的技能。 后见之明偏差(hindsight bias)使事件在事后看起来显而易见,并把作者推向“本该有人注意到”。请引导者重建人们在每一刻所知道的东西,并把五个为什么(five whys)用作提出问题的提示,而不是得到单一答案的配方。
让行动完成
5. 把行动放入真实的待办事项列表。 只存在于评审文档中的行动,对规划是不可见的。在所属团队的跟踪器中创建一个工作项,把它与评审相联,并让它像任何其他工作一样争夺容量。按团队和服务报告关闭情况,使被阻塞的行动对能够解除阻塞的人可见。
6. 允许诚实的“不做”,并记录原因。 有些行动结果证明代价太高或已不再相关。附陈述的理由关闭它们,比让它们开着一年、或不做就标为完成更健康。报告被拒绝的占比,因为非常高的占比暗示评审流程提出的是没人会出资的行动。
7. 除了关闭率,也跟踪未关闭行动的年龄。 未关闭行动年龄的第 85 百分位数和最老的未关闭行动,显示什么被卡住了。在评审服务可靠性的会议上评审最老的。
留意重复
8. 保持一份简短的原因类别清单,并给每次评审打标签。 八到十五个类别就够了。当落入“其他”类别的事件占比超过很小的份额时,就评审该清单。打标签使你能用数据回答“我们以前见过这个吗?”的问题,并为问题管理提供单次评审显示不出的模式(见主题 4.1,问题管理度量,以及主题 4.6,技术债与已知错误)。
9. 把再发视为关于行动的信号,而不是关于人的。 当某个原因类别回来时,问之前的行动是否完成、它们是否是正确的行动,以及这个类别是否过于宽泛。在所有行动关闭之后仍有再发,意味着行动没有奏效,这是有用的消息。
保护诚实
10. 保持评审无责,并使之可见。 在模板中声明评审描述条件和决定而不追究过错,并让领导者感谢作者的坦率。心理安全(Psychological safety),在艾米·埃德蒙森(Amy Edmondson)对工作团队的研究中,是对团队对人际风险承担是安全的共同信念(见主题 9.2,满意度与福祉度量)。
11. 奖励险情报告,并把上升的计数起初读作好消息。 开始报告险情的团队会看到计数攀升,因为这些事件一直都在发生。事先说明这一点,跟踪导致了变更的险情占比,并在团队同意的前提下公布这些故事。
钻空子途径与护栏
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| 评审覆盖率 | 收窄触发条件;降低严重级别使事件落在其外;归档一行字的“评审”来打勾 | 评审质量得分;将事件严重级别的计数与客户报告的影响比较;审计降级 |
| 评审质量得分 | 用套话撰写以迎合检查清单;由所属团队评分;可预测的样本 | 外部评分者;随机样本;每季度大声读出两份评审;跟踪高分评审的行动是否完成 |
| 行动关闭率 | 把截止日期定得很远;把行动拆成琐碎的片段;不经验证就关闭行动;宣布“不做”以清理清单 | 未关闭行动的年龄;附理由的被拒绝占比;评审者确认变更有效;原因再发率 |
| 未关闭行动的年龄 | 关闭并重新打开或重新创建行动以重设其年龄;把行动移到单独的“想法”清单 | 把新行动与其来源评审相联,并保留第一个日期;被移到想法的行动计数 |
| 原因再发率 | 记录含糊或不断变化的原因类别使什么都匹配不上;使用宽泛的“其他”类别;把重复链接到不同的类别 | 落入“其他”的事件占比;按类别定期重读评审;评审类别清单本身 |
| 险情报告率 | 为达成数字而要求报告;记录琐碎的事件;或者反过来,把这个数字读作失败而压制报告 | 导致变更的险情占比;不对计数设定目标;来自敢于发声的脉搏的反馈 |
| 学习覆盖面 | 把名字添加到分发列表;在参加人数很少的会议上展示;把一个链接算作一次阅读 | 出席或实际的讨论记录;问依赖团队在上一次评审之后改变了什么 |
| 回顾会议行动的结转 | 只同意容易完成的琐碎行动;跳过回顾会议;把项标为完成 | 团队判断的行动影响;回顾会议举行率;同一主题是否连续几周出现 |
| 敢于发声的脉搏 | 向受访者施压;只调查有自信的人;报告掩盖了低分群体的平均值 | 回复率和受访者构成;最小群体规模;完整阅读开放式评论;评审语言是否发生变化 |
健康的读数显示:对重要的事件有评审,大多数评审达到质量标准,行动要么完成要么被诚实地拒绝,领导者能叫出名字的少数几个旧行动,其原因类别在被处理之后频率下降,以及一个先上升后稳定的险情计数。当发生困难的事件时,脉搏保持稳定或改善。过于整齐的模式本身就是去阅读一批样本的迹象。
权衡:利与弊
| 方法 | 优势 | 劣势 |
|---|---|---|
| 评审每一起事件 | 覆盖完整;对触发条件没有争论 | 繁重;评审变得肤浅;团队对流程心生怨恨 |
| 依据书面触发条件评审 | 把精力集中在影响和学习价值上 | 触发条件需要维护;边界事件会漏过 |
| 给原因类别打标签 | 发现跨评审的模式 | 类别是一种简化;真实的原因往往同时是几件事 |
| 关于安全的匿名脉搏 | 对敏感问题的诚实信号 | 粗糙;小团队可能被识别;调查疲劳 |
文字上的答案是保持回路简短、数字很少:书面的触发条件、小规模的质量抽样、一个行动跟踪器和一份原因类别清单,并在团队信任其余部分之后再加入安全脉搏。这里没有任何测量值能证明学习已经发生。合在一起,它们显示学习的条件是否具备。
与团队讨论的问题
1. 我们最近五起事件中,哪些得到了评审?是否有人因此改变了什么? 从事件清单而不是评审文件夹开始,使缺失的评审变得可见。对每次评审,问今天系统或流程中有什么不同。如果答案是“什么也没有”,就问为什么要举行评审,以及谁读了它。引导者应当不加评判地记录答案,因为它们显示这项实践产生的是变更还是文书工作。
2. 什么会使人在这里的评审中更难说出真相? 索要具体的例子:经理的反应、绩效评估、客户升级、电子邮件中的语气。邀请人们先匿名写下答案。寻找可以改变的条件,比如谁参加、谁阅读,以及领导者大声说什么。这场交流保护着本主题中的每一个其他数字。
3. 哪些行动项开着的时间最长?是什么阻止了它们? 展示最老的五个。对每一个,问该行动是否仍然正确、是否有一位有容量的负责人,以及它应当被完成、重新安排还是被拒绝。让焦点保持在工作的系统上,而不是负责人。在会议结束之前,为每一个商定一项决定。
4. 同一类问题是什么时候回来的?这对之前的修复说明了什么? 利用原因类别标签找到一次重复,并阅读较早的评审及其行动。问行动是否完成、它们是否针对了促成因素,以及类别是否划得太宽。目标是更好的行动,而不是一个解释。
5. 我们报告险情吗?有人报告时会发生什么? 索要一个近期的例子,并追踪随后发生了什么。如果什么也没发生,就问人们为什么还会再报告。如果计数很低,就问人们害怕什么。引导者应当解释起初上升的计数是预期之中的,并商定团队将如何回应下一次报告,使报告感觉值得。
6. 如果我们不能看任何数字,我们如何知道一次评审是好的? 这请团队用自己的话描述质量。常见的答案包括“团队之外的人学到了东西”“修复站住了”,以及“作者没有害怕”。把答案变成季度抽样的检查清单,并在两个季度之后重新审视它。
四种视角
产品与交付团队
交付团队撰写许多评审并承担大部分行动,所以最先感受到笨拙流程的代价。他们受益于简短的模板、清晰的触发规则,以及行动与团队待办事项列表项之间的可见联系。定期的团队反思应得到与事件评审同样的跟进落实的规范,而完成其回顾会议行动的团队,是在较小的规模上实践同样的习惯。防止行动被功能压力挤掉,并把这一权衡公开地带给产品负责人(见主题 2.5,交付预测与规划度量)。
服务与运维团队
运维团队持有证据(时间线、告警、聊天记录),最适合一致地标记原因类别,并在重复变成中断之前就注意到它。他们需要受保护的写作时间,因为在漫长的班次结束时撰写的评审是单薄的。把每次评审与它所供给的任何问题记录相联(见主题 3.3,事件响应与解决时间)。
领导层与治理
领导者通过他们之后问什么,来为每次评审定下基调。“这是谁干的?”终结诚实的评审,“我们学到了什么,我们正在改变什么?”则邀请诚实的评审。治理机构应当在可靠性评审上期望覆盖、质量、行动年龄和再发,为需要投资的行动出资,并绝不按事件或评审的数量比较团队。
客户与用户
客户很少看到评审,却感受到它的结果:同一个故障不再回来,以及当它回来时得到诚实的说明。凡合同允许之处,在重大事件之后发布通俗语言的摘要(见主题 3.4,重大事件度量)。就同一问题的重复联系,是学习没有落地的客户侧信号(见主题 6.1,客户满意度度量)。
实践:一个服务管理示例
一家中型在线零售商运营着一个面向客户的店面、一项支付服务和一个内部库存平台。五个产品团队构建并运营这些服务,一个小型服务管理小组维护事件和问题流程。本示例中的数字为示意。
在一个季度里,这家零售商有 41 起前两个严重级别的事件。书面的触发条件使所有这些都符合评审条件,36 份评审在十个工作日内发布,所以评审覆盖率约为 88%。领导层很高兴。服务管理小组抽取八份评审的随机样本,请另一个产品领域的团队评分,发现只有三份达到约定的标准。常见的缺口是,时间线列出了发生了什么,却没有说明人们在作出每项决定时知道什么,而促成因素部分只点出了单一的原因。
同一份样本显示,在该季度到期的 74 项行动中,有 51 项按截止日期完成,关闭率约为 69%。最老的未关闭行动已有 210 天,是支付数据库上的一个容量告警阈值,连续六周被推迟。原因标记显示,36 份评审中有 9 份是“容量限制”,其中 4 份涉及支付服务。匿名脉搏由受邀的 70 人中的 58 人回答,在值班组中更低,那里有几条评论说,资深经理会就具体姓名的个人提出尖锐的问题。
团队作出三项决定。第一,他们与参加评审的资深经理开了一次简短的会议,商定一条规则:会议室里的问题是关于条件和决定的,任何关于某个人的后续跟进都通过团队负责人进行。第二,他们把最老的容量行动放在支付团队下一轮规划的最前面,由产品负责人对照功能工作排序,并在可靠性评审上报告结果。第三,他们在评审模板中添加两个检查清单项(人们在每项决定时知道什么,以及至少两个促成因素),并用一份匿名的评审为撰写者举办一次辅导会议。
钻空子的风险出现在下一个季度。评审覆盖率升至 97%,但字数少于 300 字的评审占比翻了一番,有几个团队把事件从严重级别二降到刚好低于触发条件的三。质量抽样和对严重级别变更的审计发现了这一点。小组问为什么会降级,得知团队感觉评审是一种惩罚,于是放宽了对小事件的篇幅期望,同时保留严重级别二的触发条件。
敏捷、AI、自动化与分析
敏捷
评审在作为与干系人一起的定期习惯时效果最好,其行动进入与其他工作相同的待办事项列表。需要注意的是,针对评审数量的目标,会产生依模板撰写而没有学习的评审。
AI
AI 可以为评审起草时间线和摘要,这提高覆盖率和速度。把评审覆盖率与由人作的质量检查以及原因再发率配对,并标明由 AI 起草的部分。需要注意的是,AI 可能在措辞上抹平不确定性或归咎于人,所以最终的无责叙述由人负责。
自动化
自动化时间线的捕获和行动的提醒,并度量有多少提醒导致了关闭。需要注意的是,没有负责人同意的自动催促会变成噪声。
分析
在长窗口上跟踪行动年龄和再发,并附计数。这为之提供依据的决定是哪些学习真正在改变系统。需要注意的是,再发率缓慢且样本小,所以避免作出短期的结论。
行业视角
初创公司。 小团队可以学得很快,因为每个人都参加了事件。风险是什么都没写下来,教训随着下一位员工的入职而离去。保持一页纸的模板,为任何让人夜里被叫醒的事件举行评审,并只跟踪行动关闭和重复的原因。让创始人阅读评审时不对个人加以评论,以保护坦率。
小型企业。 修好问题的那个人往往是唯一理解它的人。使用简短的模板,并每月评审最老的未关闭行动。
大型企业。 标准化模板、触发条件和原因类别清单,让团队调整深度。提供一个可搜索的评审存放处、一个跨团队论坛和一位外部评分者。提防按事件或评审计数给团队排名的排行榜,因为它们惩罚透明。
政府与公共部门。 评审可能面临法定职责、审计或信息自由请求,这使作者变得谨慎。把学习评审与任何给监督机构的正式报告分开,并记录被阻塞的行动及其依赖(见主题 8.5,受监管与政府报告)。
业务论证:动因、投资回报与总拥有成本
这项实践的成本主要是时间。作者在每份评审上花几个小时,许多人在一次会议上花一小时。每季度的质量抽样占用一位外部读者几个小时。原因标记和行动跟踪需要一点工具,它可以是一张电子表格和现有工单与待办事项列表工具中的一个字段。还有一项更大、更不显眼的成本在于领导者的行为,因为如果领导者对坦率的评审反应糟糕,这个计划就会失败。
回报来自不再再发的原因,以及因团队见过类似情形而更短的事件。更少的重复事件释放工程和运维的容量,减少升级,并降低对客户的中断成本。评审的共享库缩短新员工的学习曲线,并降低对少数经验丰富者的依赖。不要引用其他组织的百分比。在开始之前度量你自己的原因再发、未关闭行动年龄和重复联系的基线,并在两三个季度之后比较。
诚实的局限在于学习难以归因:再发的下降可能来自更好的评审、无关的架构变更或运气。更广泛的论述见主题 7.7(投资回报与业务论证)。
反模式与陷阱
- 评审作秀。 评审满足一项规则,没人阅读。改为抽样并阅读评审,并依据它们产生的变化来评判。
- 把根因当作一个人来搜寻。 评审点出一个人的错误就停下了。改为问是什么使这个错误变得可能,并列出几个促成因素。
- 行动膨胀。 评审产生团队无力资助的长清单。改为把每次评审限制为几个排好序的行动,并附理由拒绝其余的。
- 行动在待办事项列表之外。 它们存在于文档中,从未被规划。改为在所属团队的跟踪器中创建工作项,并将其与评审相联。
- 没有验证的关闭。 行动被标为完成,原因却回来了。改为让评审者确认变更有效,并观察原因类别的再发。
- 用计数来比较团队。 评审或险情更多的团队看起来更糟。改为把高计数读作开放,并把每个团队与它自己的历史比较。
- 惩罚报信的人。 领导者在一次坦率的评审之后质问某个人。改为商定领导者如何回应的规范,并在困难的事件之后检查脉搏。
- 把度量当作学习的证据。 把干净的仪表盘当作组织在学习的证据。改为继续阅读评审样本,并询问撰写它们的人。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 触发条件与覆盖 | 评审取决于谁有空,以及感觉有多糟 | 一些团队为严重事件举行评审 | 书面触发条件和通用模板;按严重级别统计覆盖 | 对覆盖做趋势并对照降级审计;轻量和完整的轨道 | 触发条件与客户和供应商一起调整;联合事件的共享评审 |
| 质量与诚实 | 评审点出一个人或单一原因 | 一些团队撰写无责的评审 | 检查清单标准;期望使用无责的语言 | 外部季度抽样;评审脉搏;为撰写者辅导 | 评审与供应商和用户共同撰写;跨团队阅读成为常规 |
| 行动与再发 | 行动存在于文档中,很少被完成 | 一些团队跟踪行动;关闭情况各异 | 行动位于真实的待办事项列表中,带负责人、日期和诚实的拒绝 | 评审关闭、年龄和原因再发,改进获得资助 | 跨团队和供应商协调行动;随模式变化修订原因类别 |
| 分享与学习 | 教训停留在团队内 | 评审发布给团队 | 评审可搜索,并在定期论坛上分享 | 度量覆盖面;依赖团队报告所作的变更 | 学习流向设计、入职和供应商合同 |
检查清单
- 书面的触发条件说明哪些事件接受评审,包括有高学习价值的险情。
- 存在一份简短的模板,并为小事件提供轻量的轨道。
- 评审通过模板和领导者的行为而无责。
- 每项行动都是所属团队待办事项列表中的一个工作项,带负责人和日期。
- 行动可以被拒绝,且理由被记录并报告。
- 存在一份简短的原因类别清单,每次评审都被标记。
- 每个季度,一位外部读者为随机抽取的评审样本评分。
- 与服务可靠性一起评审最老的未关闭行动。
- 未关闭行动的年龄以中位数、一个高百分位数和最老的报告。
- 存在险情的路径,团队知道报告之后会发生什么。
- 本主题中没有任何度量按人报告或使用。
- 敢于发声的脉搏只针对大到足以保护匿名性的群体运行。
AI 提示词
评审一份事后复盘草稿的质量。
这是针对 [服务] 上 [事件描述] 的一份事后复盘草稿。请对照这一标准检查它:[粘贴你的评审检查清单]。对每一项,说明草稿是否满足它,引用支持你判断的行,并指出把过错归于某个人而不是描述条件的语言。不要添加文本中没有的事实。请列出你的假设,以及你无法从我所提供的内容判断的任何事项。
[粘贴草稿,已去除个人数据]
根据过往评审提出原因类别。
下面是 [服务或服务组] 的 [数量] 份过往评审的摘要。请提出一份简短的原因类别清单,数量在 [最少] 到 [最多] 之间,描述系统条件,绝不描述人。对每个类别给出一行定义、适合它的评审,以及含糊的评审。不要虚构文本不支持的原因。请列出你的假设,以及你无法分类的评审。
[粘贴摘要]
分析未关闭的行动项以寻找停滞的模式。
这是 [团队或服务] 的评审行动导出:所属团队、创建日期、截止日期、状态和一行描述。请报告未关闭行动年龄的中位数、第 85 百分位数和最大值,然后按停滞的可能原因(例如范围不清、依赖另一个团队、没有容量或价值低)对最老的行动分组。按团队和服务报告模式,绝不按人。不要猜测数据不支持的原因。请列出你的假设,以及会有帮助的额外字段。
[粘贴导出,已去除个人数据]
AI 技能
- Service Management Metrics skill:用于为你即将报告的评审或学习度量,查找匹配的主题、定义和配对的护栏。
- Service Management Metrics maintainer skill:用于检查修订后的学习度量是否仍带有其时钟、钻空子途径和护栏。
要点
- 评审的价值在于它改变了什么,所以要度量覆盖、质量、行动关闭和原因再发,并阅读评审本身的样本。
- 无责是诚实数据的前提,领导者通过他们对坦率评审的反应来保护它。
- 把行动放入真实的待办事项列表,限制其数量,允许诚实的拒绝,并留意最老的那些的年龄。
- 用一份简短的原因类别清单给评审打标签,使重复的原因可见,并为问题管理提供输入。
- 起初把上升的险情计数读作开放的迹象,并绝不按评审数量给人或团队排名。
- 给这里的每个数字配一道护栏,因为学习回路本身就是一个可以被钻空子的目标。
参考文献与延伸阅读
- Lunney, L., and Lueder, S., "Postmortem Culture: Learning from Failure," in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/postmortem-culture/
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Edmondson, A., "Psychological Safety and Learning Behavior in Work Teams," Administrative Science Quarterly, 44(2), 1999.
- Dekker, S., The Field Guide to Understanding 'Human Error', Ashgate, 2006.
- Reason, J., Human Error, Cambridge University Press, 1990.
- Derby, E., and Larsen, D., Agile Retrospectives: Making Good Teams Great, Pragmatic Bookshelf, 2006.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- AXELOS (now PeopleCert), ITIL Foundation: ITIL 4 Edition, TSO, 2019.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Postmortem documentation.
- Wikipedia, Root cause analysis.
- Wikipedia, Just culture.
- Wikipedia, ITIL.
- Wikipedia, Site reliability engineering.
- Wikipedia, Agile software development.
- Wikipedia, Hindsight bias.
- Wikipedia, Five whys.
- Wikipedia, Psychological safety.