变更失败与返工
把“失败的变更”只定义一次,写成书面,把每一次失败与造成它的变更相联,并把失败和返工与速度放在一起阅读,使更低的数字意味着更安全的变更,而绝不仅仅是更少的报告。
概述与动因
对线上服务的每一次变更,都有使事情变得更糟的某种可能。现实的问题是,这多常发生、它造成了多少计划外工作,以及团队恢复得多快。本主题涵盖回答这些问题的测量值:失败变更的占比、需要紧急路径的占比、回滚和热修复的比率,以及糟糕变更之后的返工。它还涵盖这个主题中最不光彩的部分,即就什么算作失败达成一致。
先说几个术语。在 ITIL 4 中,称为变更赋能的实践,涵盖对任何可能影响服务的东西的添加、修改或移除。因此变更(change)比代码部署的范围更宽:它包括配置编辑、证书续期、防火墙规则或数据库迁移。标准变更(standard change)是预先授权且低风险的,正常变更(normal change)要经过评估,紧急变更(emergency change)则是紧急进行的,通常为了恢复服务或封堵严重的漏洞。部署(deployment)是把某个版本的软件放入某个环境的行为,而发布(release)则使某项能力对用户可用。使用特性开关(feature toggle)的团队,可以部署代码而不发布它(见主题 4.5,发布与部署度量)。
变更失败(change failure)是导致服务降级或需要补救的变更。补救有几种形态。回滚(rollback)使系统返回其先前的状态。热修复(hotfix)是在正常发布节奏之外应用的紧急补丁。向前修复(roll-forward fix)则在损坏的变更之上发布一项新的变更。返工(Rework)是花在重做或修复本应已完成的东西上的计划外工作量。在持续交付(continuous delivery)的环境中,小变更频繁地流向生产环境,这些测量值是关于速度是否在损害稳定性的主要证据。
两种传统以不同的方式看待同一个事件。ITIL 视角围绕变更记录组织:变更是否得到授权、是否成功,以及结果是否被记录?一项在纸面上成功的变更,一小时之后仍可能造成事件。敏捷视角围绕工作项和部署组织:团队的完成定义是否站住了,变更是否不久之后造成了计划外工作?两种视角单独都不完整。DORA 计划背后的研究,把变更失败率和部署返工率视为吞吐量测量值旁边的两项“不稳定性”测量值(见主题 2.8,DORA 度量,它在计划层面定义了它们)。本主题在机制上更深入:如何定义失败、如何把事件与变更相联、紧急工作如何统计,以及这些数字如何被钻空子。
有一项警告从一开始就适用。这些测量值描述的是团队、服务或流水线。它们绝不描述人。附在个别工程师身上的变更失败率,教人们避开有风险而有价值的工作,把变更拆小直到计数看起来不错,并停止报告问题(见主题 1.2,古德哈特定律与度量的心理学)。古德哈特定律(Goodhart's law)在这里咬得很重,因为“更少的失败”很容易通过记录更少的失败来达到。
事件的时间属于主题 3.3(事件响应与解决时间),最严重的事件属于主题 3.4(重大事件度量),批准流程和标准变更占比属于主题 4.3(变更赋能度量),根因属于主题 4.1(问题管理度量),书面评审属于主题 4.2(事后复盘与学习度量)。
关键原则
- 失败需要一份书面定义。 逐案决定的团队产生无法做趋势或比较的数字,关于定义的争论取代了关于工作的争论。
- 失败必须可追溯到其变更。 没有事件、回滚或热修复与造成它的变更之间的记录在案的链接,失败率就是猜测。
- 统计每一条补救路径。 回滚、热修复、向前修复和手工变通,是通向同一个事件的四条路线。只统计其中一种的测量值,会奖励团队选择另一种。
- 把失败与速度和恢复放在一起阅读。 孤立的变更失败率,可以通过更不频繁地变更来改善,这很少是目标。将其与前置时间、部署频率和恢复时间配对。
- 小样本需要计数,而不仅仅是百分比。 一个月里有八次变更、一次失败的团队,其失败率为 12.5%,这几乎说明不了什么,所以展示计数并使用更长的窗口(见主题 1.6,服务度量的统计素养)。
- 紧急是信号,不是罪过。 稳定且有解释的紧急变更占比是正常的。上升的占比通常指向上游的质量、规划或检测问题。
度量定义
失败和返工的测量值依赖于连接变更记录、部署日志和事件工具。下面每项定义说明统计什么、排除什么,以及时钟从何处开始和停止。团队应当把这些定义复制到自己的度量登记册中,并附陈述的理由加以调整。
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| 变更失败率 | 对生产环境的变更中,造成服务降级或需要补救的占比 | 在失败窗口内需要回滚、热修复、向前修复或有关联事件的变更 / 期内完成的对生产环境的所有变更;窗口从变更完成时开始,在固定的天数(例如 7 天)之后停止,写入度量登记册;仍处于窗口之内的变更单独报告,在窗口关闭之前从比率中排除 | 百分比 | 与事件工具和热修复清单相连的变更记录或部署日志 | 变更赋能;事件管理 | 完成定义;逃逸缺陷 | 每月,采用 90 天的滚动窗口 |
| 紧急变更占比 | 通过紧急路径作出的变更占比 | 记录为紧急的变更 / 期内完成的所有变更;紧急指由于紧迫而绕过或缩短了正常评估,预先授权的标准变更从两项计数中排除 | 百分比 | 变更记录的类型字段 | 变更赋能 | 计划外工作和加急服务类别 | 每月 |
| 回滚率 | 被撤回到先前版本的变更占比 | 在到达生产环境之后被撤销的变更 / 期内对生产环境的所有变更;在变更到达任何用户之前所作的回滚(例如在第一步就被停止的金丝雀发布)单独计数 | 百分比 | 部署日志和发布工具 | 发布管理;部署管理 | 流水线和发布实践 | 每月 |
| 热修复率 | 属于在正常发布流程之外应用的紧急补丁的变更占比 | 被标记或分支为热修复的变更 / 期内对生产环境的所有变更;分母包括热修复本身 | 百分比 | 版本控制的分支或标签,以及部署日志 | 变更赋能;事件管理 | 计划外工作;加急 | 每月 |
| 部署返工率 | 作为先前部署中某个问题的计划外修复的部署占比 | 在同一失败窗口内,修复近期较早部署中缺陷或故障的对生产环境的部署 / 期内所有生产部署;来自路线图的计划内后续工作被排除 | 百分比 | 带“修复”链接或标签的部署日志,以及工作跟踪器 | 变更赋能;持续改进 | 返工;逃逸缺陷;失败需求 | 每月 |
| 变更到事件的链接率 | 记录了是否由某项变更引起、以及是哪一项的已解决事件占比 | 带有完整的“由变更引起”字段(是或否,为“是”时附变更标识符)的事件 / 期内已解决的事件;时钟在事件关闭时停止 | 百分比 | 事件工具和变更记录 | 事件管理;变更赋能 | 事后事件评审;完成定义 | 每月 |
| 失败定义的一致度 | 两位评审者就一批变更样本是否失败达成的一致 | 两位独立评审者使用书面定义得出相同失败结论的抽样变更 / 抽样变更;每个季度随机抽取至少 20 项变更的样本 | 百分比 | 与度量登记册一起保存的样本评审表 | 持续改进;度量与报告 | 回顾会议 | 每季度 |
关于这张表的两点说明。失败率和返工率有重叠,但并不相同:被撤销而没有新部署的失败,计入失败率,不计入返工率。并且单位是变更或部署,而不是事件,因为一项变更可能造成三起事件,而一起事件可能来自三项变更。
建议
在收集任何数据之前,先写下失败的定义
商定“失败”意味着什么,并把它放入度量登记册。 一个可行的定义是:如果一项变更在完成之后的规定窗口内,被回滚、需要热修复或向前修复,或与某个规定严重级别或更高的事件相联,它就是失败了。说明窗口(常见的是 7 天,正确的值取决于你的服务多快显示出问题)、事件严重级别的阈值,以及在有争议的案例中由谁决定。写下至少五个有效的示例,包括棘手的,比如在没有任何中断的情况下使性能下降的变更。每年重新审视该定义,并连同理由记录变更,使趋势线在规则移动时可以被重述。
在事件记录中把失败与变更相联
在事件记录中添加一个必填字段:是否由变更引起,是或否,为“是”时附变更标识符。 该字段应当在解决期间填写,并在事后事件评审中检查(见主题 4.2,事后复盘与学习度量)。把链接率作为自己的度量来跟踪。如果只有一半的事件带有该字段,失败率就以未知的量低估了真相,你应当在数字旁边说明这一点。凡可能之处,把第一个猜测自动化,例如列出在事件开始之前数小时内、受影响服务上完成的变更,并让人来确认。
统计所有补救路径,而不只是一条
从几个信号定义一次失败。 从部署工具提取回滚,从版本控制或发布日志提取热修复,从“修复”链接提取向前修复,从事件工具提取事件,然后按变更去重。只统计回滚的团队,会在切换到向前修复的那一天看到失败消失。也要把每条路线作为单独的细分保留,因为构成会讲述一个故事:许多热修复而很少回滚,意味着回滚很困难,这本身就值得修复。
把紧急变更占比当作一个问题,而不是得分
把紧急变更作为一个群体来评审,而不是目标。 每个季度阅读所有紧急变更,并把原因分类:恢复服务、封堵漏洞、迟到的业务请求、遗漏的规划步骤,或对普通工作而言太慢的批准路径。最后两项是系统问题,应当通过改进标准路径来修复,使人们无需绕过它(见主题 4.3,变更赋能度量)。零占比是可疑的,因为真正的紧急情况会发生。稳步上升的占比值得开立一条问题记录(见主题 4.1,问题管理度量)。
把返工度量为失败需求
把返工作为先前失败所产生的工作来跟踪。 失败需求的理念来自服务设计:因为某事第一次没有做对而存在的需求。用交付的话说,统计其唯一目的是纠正近期变更的部署和工作项。这直接与计划内和计划外的划分相联(见主题 2.9,运维工作与计划外工作)。把花在返工上的容量占比用作与产品负责人交流的起点,因为它把一个抽象的比率变成关于接下来做什么的权衡。
以计数、分布和窗口报告比率
在百分比旁边展示计数,并使用滚动窗口。 部署十次的团队的月度失败率是有噪声的。使用滚动 90 天窗口,展示比率背后的变更数和失败数,并给出不确定性的粗略指示(见主题 1.6,服务度量的统计素养)。对于恢复,展示从失败到恢复时间的中位数和第 85 百分位数,而不是均值。当某项服务的变更很少时,用实际失败的清单而不是比率来讲故事。
把失败与速度配对,使改进不能隐藏在任何一方
始终把变更失败率与前置时间和部署频率并排展示。 如果失败率下降而部署频率也急剧下降、前置时间增长,团队可能是在把变更成批,这会提高每项变更的风险。如果速度上升而失败率保持稳定,系统就在变得更擅长变更。这种配对是防范钻空子,以及防范“更少的部署意味着更安全的部署”这种舒适信念的主要防线(见主题 2.8,DORA 度量)。
利用这些数字改进变更本身
把失败数据变成工程实验。 查看失败变更的共同特征:规模、一天中的时间、类型、涉及的人数、是否触及共享组件,以及测试覆盖是否单薄。然后尝试一项小而可逆的实验,比如更小的批量、对有风险区域的自动化回归测试(regression testing)、对下一项有风险变更的金丝雀发布(canary release),或把部署与发布分开的特性开关。在一个完整窗口之后重新度量。目的是更好的变更,改善的度量只是证据。
在无责的论坛上一起评审这些度量
与做出这些变更的人一起,每月评审失败的变更。 议程有三项:计数和趋势、选出研究的两三项失败变更,以及带负责人的一项改进行动。使用无责评审的实践,使人们描述他们当时知道什么。把评审记录与度量一起发布。如果人们因这些数字被使用的方式而不愿报告失败,就在改变其他任何东西之前先修复这一点(见主题 11.3,推行度量而不滋生恐惧)。
钻空子途径与护栏
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| 变更失败率 | 收窄失败窗口;不把事件与变更相联;把糟糕的变更归类为“服务请求”或“维护”;向前修复并称之为新变更;把许多编辑捆绑进一项变更,使一次失败涵盖它们 | 变更到事件的链接率;对照事件清单的季度抽样审计;失败定义的一致度;在其旁边的前置时间和部署频率 |
| 紧急变更占比 | 以虚假的风险评级把紧急工作走标准路径;把普通工作当作紧急以避免批准;把一项紧急变更拆成几项正常变更 | 每季度阅读所有紧急变更;对原因分类并评审;标准变更占比和批准前置时间(见主题 4.3,变更赋能度量) |
| 回滚率 | 向前修复以避免记录回滚;让损坏的版本保持在线;把变更挡在生产环境之外,使没有东西可撤销 | 在其旁边的热修复率和返工率;恢复时间分布;对照部署日志抽查事件 |
| 热修复率 | 不给热修复打标签;让它们走正常分支;把热修复称为“小改进” | 部署返工率;分支和标签审计;计划外工作占比(见主题 2.9,运维工作与计划外工作) |
| 部署返工率 | 不把修复与发起它的部署相联;把一项修复标为“计划内”;把修复与新功能捆绑 | 纠正性部署上必填的“修复”链接;对标为计划内的部署的抽样评审;在其旁边的变更失败率 |
| 变更到事件的链接率 | 不检查就把字段填为“否”;让字段默认为“否”;批量关闭事件以提高百分比 | 在事后事件评审中抽查“否”的答案;无默认值;对样本的评审者评论 |
| 失败定义的一致度 | 为样本选择容易的例子;评审者就是被度量的人;放宽定义使每个人都同意 | 由团队之外的人随机抽取的样本;有意包括边界案例;公布分歧并修复定义 |
健康的读数是这样的:失败率处于团队理解并能解释的范围,链接率高到足以让失败率可信,紧急变更很少且有解释,回滚和热修复简短且经过演练。失败被迅速报告,并在无责的情况下得到讨论。不自然地低的失败率,配上低链接率、下降的部署频率和增长的批量,是警告,而不是成功。把任何突然的改善视为先检查仪器的提示(见主题 1.5,数据来源与埋点)。
权衡:利与弊
| 方法 | 优势 | 劣势 |
|---|---|---|
| 严格、自动化的失败定义 | 一致、重复成本低、易于做趋势 | 漏掉细微的降级;可能把良性的回滚算作失败 |
| 对每项变更基于判断的评审 | 捕获背景和严重性 | 缓慢、主观,易受压力和漂移影响 |
| 长的失败窗口(数周) | 捕获延迟的失败 | 模糊因果;近期的变更尚无法报告 |
| 统计所有补救路径 | 难以通过切换路线来钻空子 | 需要谨慎地连接若干数据来源 |
以自动化的定义为基础,加上抽样的人工评审,并在构建其他任何东西之前先改进变更与事件之间的连接。
与团队讨论的问题
1. 在这里究竟什么算失败的变更?我们两个人是否可能对同一项变更意见不一? 取五项近期的变更,请每个人投票表决它们是否失败。比较投票和理由。分歧显示书面定义在哪里单薄。商定对棘手案例的规则,比如没有中断的性能下降,并连同示例写下来。
2. 我们如何知道哪些事件是由变更引起的? 问链接目前如何记录,由谁填写。评审十起近期的事件,看有多少附有变更,又有多少本应附有。讨论该字段是否可选、是否默认为“否”,以及谁来检查它。引导者应当以对记录作出具体改进为目标,比如无默认值的必填字段。
3. 我们使用哪些补救路线?它们是否都被统计? 列出回滚、热修复、向前修复、手工变通和关闭特性开关。对每一个,问该事件记录在哪里,是否进入失败率。留意不留痕迹的路线。讨论往往揭示,团队偏好的路线恰恰是度量看不到的那一条。
4. 我们上一次紧急变更是什么时候?它本可以避免吗? 走一遍最近的三四项。问每一项为何紧急、早先已知什么,以及更好的标准路径会是什么样子。把真正的紧急情况与迟来的发现和缓慢的批准分开。商定对普通路径的一项修复,以消除紧急的一个反复出现的原因。
5. 我们每周有多少时间花在修复近期的变更上? 利用跟踪器而不是记忆,估算过去四周花在返工上的容量占比。把估计与跟踪器比较。谈谈这个数字在计划工作上的代价,以及产品负责人将如何使用它。选一个失败模式和一项实验来减少它。
6. 如果下个季度我们的失败率减半,我们会相信吗? 想象这条头条,并问还必须有什么也成立:链接率稳定、部署频率稳定、恢复迅速,并且没有新的“维护”类别。讨论团队已经作了其中的哪些检查,缺少哪些。商定一次突然的改善在被庆祝之前将如何被调查。
四种视角
产品与交付团队
交付团队拥有变更,所以拥有失败的定义和修复。从工作出发:在评审中查看失败的变更,找出共同的特征,并尝试更小的批量、更好的测试或开关。把返工作为看板的一部分来跟踪,使计划外的修复在计划工作旁边可见。让这些数字服务于团队自己的学习,并抵制分享个人层面的数据。如果某项度量展示给领导者,团队应当能够解释其中的每一项变更。
服务与运维团队
运维团队在事件队列中看到变更的后果,最适合维护事件与变更之间的链接。他们可以添加必填字段,在解决步骤中检查它,并在无责的情况下把结果反馈给交付团队。运维还拥有紧急路径,应当评审其使用情况。与交付团队一起分享关于恢复路线的信息并演练回滚,因为削减失败代价的最佳办法,是共同养成让变更可逆的习惯(见主题 3.3,事件响应与解决时间)。
领导层与治理
领导者应当索要各服务的趋势、两类不稳定性测量值与速度一并展示,以及其背后的改进实验。避免诸如“失败率低于 5%”这样的固定目标,它们招致重新定义,也避免在个人考核中使用这些数字。治理机构可以把这些数据用作证据,说明较轻的批准路径是否安全,办法是检查随着控制被放松,失败和恢复是否保持稳定。紧急变更的上升趋势是去审视规划和批准设计的信号,而不是去责备值班工程师。
客户与用户
客户不关心失败率。他们关心的是,更新之后服务是否出故障,以及它多快恢复。失败数据支持诚实的沟通:对有风险的变更提前通知,在变更造成麻烦时给出清晰的状态消息,以及公开地承诺学习。凡用户在关键任务上依赖某项服务之处,提前与他们商定维护窗口和回滚预期(见主题 3.4,重大事件度量)。
实践:一个服务管理示例
一家区域医疗机构的 IT 部门运营着一项患者排程服务。一个七人的产品团队每周发布数次变更,一个五人的运维团队处理事件和变更流程。本示例中的所有数字均为示意。
在一个季度里,月度报告显示变更失败率为 4%,低于上一个季度的 11%。首席信息官很高兴。平台负责人并不信服,因为值班团队说他们的夜晚并没有改善。她请团队运行度量登记册中的抽样审计。
审计随机抽取 30 项变更,两位评审者应用书面定义。他们在 30 个结论中有 24 个一致,所以失败定义的一致度为 80%(示意)。然后他们把样本与事件清单比较。在该季度已解决的 22 起事件中,只有 9 起带有“由变更引起”字段,链接率为 41%。人工阅读其余 13 起,评审者发现其中 5 起是在一次变更之后一天内开始的。修正后的计数把失败率提高到约 9%,而审计发现了数字为何看起来不错:有一个新习惯,即在“维护”的标签下部署修复,而报告把它同时排除在分母和分子之外。
钻空子的风险就在这个标签上,而没有人是有意的。团队曾被告知失败是个令人担忧的问题,而“维护”避免了一场交谈。团队作出三项决定。“由变更引起”字段变成必填且无默认值,并由事后事件评审检查。“维护”标签被淘汰,纠正性部署必须带有指向其所修复变更的链接,这为返工率提供输入。失败的定义被重写,附六个有效的示例,包括一个从未造成中断的慢查询回归。
下一个季度显示重述后的失败率为 8%,链接率为 90%(示意)。领导层的报告现在在前置时间旁边展示计数、链接率和返工率,首席信息官不再引用单一的百分比。
敏捷、AI、自动化与分析
敏捷
频繁的小变更使失败更便宜、更易追踪,团队定期与干系人一起评审它们。需要注意的是,如果失败受到惩罚,人们就会停止申报它们。
AI
AI 辅助的变更可能在看起来很快的同时,提高数量和返工。对 AI 辅助的工作,使用与其他工作相同的定义报告失败的变更和返工,并在数据中标明。需要注意的是,比较 AI 辅助的和其他的工作需要谨慎,因为这些变更的种类可能不同。
自动化
通过标识符自动把变更、部署和事件相联,并度量链接率。自动回滚应当就成功及副作用来度量。需要注意的是,断裂的链接使失败率看起来比实际更好。
分析
只陈述一次失败定义,并手工抽查链接。这为之提供依据的决定是变更实践需要在哪里加强。需要注意的是,基于少量变更的比率波动很大,所以要展示计数。
行业视角
初创公司。 变更小而频繁,团队往往对每一次失败都了然于胸。把定义保持在一段话,在部署工具中给回滚和热修复打标签,并在每周的回顾会议上评审失败。基于 20 项变更的失败率是有噪声的,所以用失败的清单作为主要证据。风险是非正式:没有书面的定义,比率就随计数者而变。
小型企业。 同一批人部署、运营并支持,所以返工直接与计划工作竞争。在你已有的任何工具中记录失败,向事件记录添加一个必填字段,并每个季度评审紧急变更。避免仅仅为改善数字而增加繁重的批准。共享的回滚检查清单比变更委员会更有价值。
大型企业。 众多团队、供应商和工具意味着众多定义。在各团队之间标准化失败定义和链接字段,把它发布在度量目录中,并在汇总之前按服务计算比率。利用抽样审计来发现分歧,并把每个供应商的变更记录视为另一个有自己质量的来源(见主题 1.5,数据来源与埋点)。注意汇总不要变成团队的排行榜。
政府与公共部门。 变更记录服务于审计和问责,回滚可能受法规、采购或共享平台的约束。保留正式的记录,并把失败链接作为其中的一部分加入。仔细地向监督机构解释这些数字,附计数和背景,因为关键服务中的单次失败,可能引起不成比例的关注。利用这些数据来为低风险变更的较轻路径辩护,并附证据说明失败和恢复保持稳定。
业务论证:动因、投资回报与总拥有成本
动因是失败变更的代价:事件工作、返工、被延迟的路线图项目,以及用户信任的丧失。许多组织说不出其工作量中有多少用于修复近期的变更,而返工测量值提供了第一个诚实的答案。还有一项间接的益处。能表明变更是安全的团队,可以为较轻的批准辩护,从而缩短前置时间。DORA 研究报告了繁重的外部批准与较弱的交付绩效之间的关联(见主题 4.3,变更赋能度量),而失败数据正是团队对照自己的历史检验这一论断的办法。
如果基础工作已就绪,收集的成本适中:事件记录中的一个必填字段、被标记的纠正性部署、三个数据来源的连接,以及每月一次的评审。更大的成本是注意力,因为必须有人拥有定义、开展审计并据发现采取行动。在定义和链接可以手工运作之前,避免购买工具。
回报表现为更少的重复失败、更短的恢复、更少的计划外工作,以及与治理机构更好的交流。不要承诺一个百分比。改为估算你自己的基线:统计一个季度中花在与变更相关的返工和事件响应上的小时数,用你正常的内部费率定价,并在改进之后比较。说明假设,并以范围而不是单一数字报告结果。把它与该计划的成本以及关键服务中一次严重失败的成本比较。
反模式与陷阱
- 为失败率设定目标。 它招致重新定义和隐藏的失败。改为为学习设定目标,比如完成每一次评审并关闭每一项纠正行动,并观察比率的趋势。
- 给团队或个人按失败排名。 它破坏报告,并惩罚承担有风险而有价值工作的团队。把团队与它自己的过去比较,并讨论背景。
- 只把事件算作失败。 被及早发现并回滚的失败会消失。包括每一条补救路线,并把事件用作若干信号之一。
- 把紧急变更视为坏事。 压力导致被伪装的紧急情况。评审它们的原因并修复普通路径。
- 让事件链接默认为“否”。 默认值产生一个讨好而错误的数字。让字段成为必填,并抽查样本。
- 报告比率而不附计数。 小样本波动很大。展示计数和滚动窗口。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 失败的定义 | 由被询问的人逐案决定 | 一些团队写下定义;各团队不同 | 一份书面定义,附有效示例和明确的窗口 | 通过抽样审计检验定义,并度量一致度 | 当定义不再为决定提供依据时,与供应商和客户一起修订 |
| 联结变更与事件 | 链接靠人记忆,如果有的话 | 一些团队使用可选字段 | 无默认值的必填字段,在事后事件评审中检查 | 链接率做成趋势并评审,缺口得到处理 | 链接通过约定的接口在团队和供应商之间共享 |
| 补救与紧急处理 | 回滚和热修复被临时处理,且不留记录 | 一些团队给回滚和热修复打标签 | 所有补救路线都被记录;写下紧急的检验标准 | 每季度评审紧急变更;演练回滚 | 恢复路径被设计进服务,并在各团队之间联合测试 |
| 在改进中的使用 | 数字在报告中被引用,没有跟进 | 重大事件之后讨论失败 | 每月对失败变更进行无责评审,附行动 | 失败和返工与速度配对;实验被规划并获得资助 | 改进是例行的并在团队之间共享,学习被公布 |
检查清单
- 存在一份书面的变更失败定义,附明确的窗口和至少五个有效的示例。
- 计数的单位(变更、部署或发布)在度量登记册中指明。
- 事件记录有一个必填的“由变更引起”字段,没有默认值。
- 回滚、热修复和向前修复在部署或版本控制工具中被标记。
- 纠正性部署带有指向其所修复变更的链接。
- 紧急变更有简短的书面检验标准,且每项紧急变更都在设定的天数内评审。
- 比率连同计数和滚动窗口展示,绝不作为光秃秃的百分比。
- 变更失败率始终与前置时间、部署频率和恢复时间并排展示。
- 每季度的抽样审计检查失败结论和事件链接。
- 每月运行对失败变更的无责评审,每项行动有负责人。
- 本主题中没有任何度量被用来给个人排名或考核。
AI 提示词
起草变更失败的书面定义。
我们运营 [服务或产品类型],有 [团队规模] 人,发布 [频率,例如每周数次]。我们的工具是 [变更工具、部署工具、事件工具]。请起草一份一页纸的“失败变更”定义,说明单位(变更、部署或发布)、失败窗口、算数的补救路线(回滚、热修复、向前修复、关联事件)以及排除项。包括 [数量] 个有效的示例,包括边界案例。不要虚构基准值或阈值;向我索要你需要的。请列出你的假设。
设计变更到事件的链接。
这是我们的事件记录模板:[字段]。这是我们的变更记录模板:[字段]。请建议如何记录哪项变更造成了哪起事件,包括必填字段、允许的值、由谁填写,以及评审应如何检查它。提出一种根据 [可用数据,例如部署时间和服务名称] 自动建议候选变更的办法。不要猜测我们的工具是如何配置的。请列出你的假设,以及我应当回答的问题。
分析一份失败变更清单以寻找模式。
下面是 [期间] 内的 [数量] 项失败变更,字段为:[字段清单,例如规模、类型、日期和时间、服务、补救路线、恢复时间]。请找出模式和可能的促成因素,并建议至多 [数量] 项小而可逆的实验来减少失败。让分析保持在团队和服务层面,不要给个人排名。不要虚构统计数据或基准值。说明鉴于样本量,你对每种模式有多大把握,并列出你的假设。
检查失败仪表盘的钻空子风险。
我们的仪表盘显示 [度量清单,例如变更失败率、紧急占比、回滚率、热修复率、返工率],定义如下:[定义]。对每项度量,列出在服务没有改善的情况下数字可能改善的合理方式,以及各自的护栏。建议一个 [团队规模] 人的团队每季度可以开展的两项审计检查。不要虚构基准值或合规声明。请列出你的假设。
AI 技能
- Service Management Metrics skill:用于查找哪个主题定义了前置时间或事件持续时间等相关度量,以及应当放在失败率旁边的护栏。
- Service Management Metrics maintainer skill:用于检查新增或编辑的失败度量是否说明了其时钟、来源和钻空子途径。
要点
- 变更失败率只与其定义一样好,所以写一份带窗口、有效示例和指明单位的定义。
- 通过事件记录中的必填字段把每一次失败与其变更相联,并度量链接率。
- 把回滚、热修复、向前修复和关联事件一并统计,使团队无法通过切换路线来躲避度量。
- 把紧急变更占比和返工读作关于规划和普通路径的信号,而不是得分。
- 始终在失败旁边展示速度和恢复,附计数和滚动窗口,并且绝不给人排名。
参考文献与延伸阅读
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- DORA, DORA's software delivery performance metrics, Google Cloud, https://dora.dev/guides/dora-metrics/
- Humble, J., and Farley, D., Continuous Delivery: Reliable Software Releases through Build, Test, and Deployment Automation, Addison-Wesley, 2010.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, ITIL.
- Wikipedia, Feature toggle.
- Wikipedia, Rollback (data management).
- Wikipedia, Hotfix.
- Wikipedia, Rework.
- Wikipedia, Continuous delivery.
- Wikipedia, Goodhart's law.
- Wikipedia, Regression testing.
- Wikipedia, Canary release.