概述与动因

对线上服务的每一次变更,都有使事情变得更糟的某种可能。现实的问题是,这多常发生、它造成了多少计划外工作,以及团队恢复得多快。本主题涵盖回答这些问题的测量值:失败变更的占比、需要紧急路径的占比、回滚和热修复的比率,以及糟糕变更之后的返工。它还涵盖这个主题中最不光彩的部分,即就什么算作失败达成一致。

先说几个术语。在 ITIL 4 中,称为变更赋能的实践,涵盖对任何可能影响服务的东西的添加、修改或移除。因此变更(change)比代码部署的范围更宽:它包括配置编辑、证书续期、防火墙规则或数据库迁移。标准变更(standard change)是预先授权且低风险的,正常变更(normal change)要经过评估,紧急变更(emergency change)则是紧急进行的,通常为了恢复服务或封堵严重的漏洞。部署(deployment)是把某个版本的软件放入某个环境的行为,而发布(release)则使某项能力对用户可用。使用特性开关(feature toggle)的团队,可以部署代码而不发布它(见主题 4.5,发布与部署度量)。

变更失败(change failure)是导致服务降级或需要补救的变更。补救有几种形态。回滚(rollback)使系统返回其先前的状态。热修复(hotfix)是在正常发布节奏之外应用的紧急补丁。向前修复(roll-forward fix)则在损坏的变更之上发布一项新的变更。返工(Rework)是花在重做或修复本应已完成的东西上的计划外工作量。在持续交付(continuous delivery)的环境中,小变更频繁地流向生产环境,这些测量值是关于速度是否在损害稳定性的主要证据。

两种传统以不同的方式看待同一个事件。ITIL 视角围绕变更记录组织:变更是否得到授权、是否成功,以及结果是否被记录?一项在纸面上成功的变更,一小时之后仍可能造成事件。敏捷视角围绕工作项和部署组织:团队的完成定义是否站住了,变更是否不久之后造成了计划外工作?两种视角单独都不完整。DORA 计划背后的研究,把变更失败率和部署返工率视为吞吐量测量值旁边的两项“不稳定性”测量值(见主题 2.8,DORA 度量,它在计划层面定义了它们)。本主题在机制上更深入:如何定义失败、如何把事件与变更相联、紧急工作如何统计,以及这些数字如何被钻空子。

有一项警告从一开始就适用。这些测量值描述的是团队、服务或流水线。它们绝不描述人。附在个别工程师身上的变更失败率,教人们避开有风险而有价值的工作,把变更拆小直到计数看起来不错,并停止报告问题(见主题 1.2,古德哈特定律与度量的心理学)。古德哈特定律(Goodhart's law)在这里咬得很重,因为“更少的失败”很容易通过记录更少的失败来达到。

事件的时间属于主题 3.3(事件响应与解决时间),最严重的事件属于主题 3.4(重大事件度量),批准流程和标准变更占比属于主题 4.3(变更赋能度量),根因属于主题 4.1(问题管理度量),书面评审属于主题 4.2(事后复盘与学习度量)。

关键原则

  • 失败需要一份书面定义。 逐案决定的团队产生无法做趋势或比较的数字,关于定义的争论取代了关于工作的争论。
  • 失败必须可追溯到其变更。 没有事件、回滚或热修复与造成它的变更之间的记录在案的链接,失败率就是猜测。
  • 统计每一条补救路径。 回滚、热修复、向前修复和手工变通,是通向同一个事件的四条路线。只统计其中一种的测量值,会奖励团队选择另一种。
  • 把失败与速度和恢复放在一起阅读。 孤立的变更失败率,可以通过更不频繁地变更来改善,这很少是目标。将其与前置时间、部署频率和恢复时间配对。
  • 小样本需要计数,而不仅仅是百分比。 一个月里有八次变更、一次失败的团队,其失败率为 12.5%,这几乎说明不了什么,所以展示计数并使用更长的窗口(见主题 1.6,服务度量的统计素养)。
  • 紧急是信号,不是罪过。 稳定且有解释的紧急变更占比是正常的。上升的占比通常指向上游的质量、规划或检测问题。

度量定义

失败和返工的测量值依赖于连接变更记录、部署日志和事件工具。下面每项定义说明统计什么、排除什么,以及时钟从何处开始和停止。团队应当把这些定义复制到自己的度量登记册中,并附陈述的理由加以调整。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏
变更失败率 对生产环境的变更中,造成服务降级或需要补救的占比 在失败窗口内需要回滚、热修复、向前修复或有关联事件的变更 / 期内完成的对生产环境的所有变更;窗口从变更完成时开始,在固定的天数(例如 7 天)之后停止,写入度量登记册;仍处于窗口之内的变更单独报告,在窗口关闭之前从比率中排除 百分比 与事件工具和热修复清单相连的变更记录或部署日志 变更赋能;事件管理 完成定义;逃逸缺陷 每月,采用 90 天的滚动窗口
紧急变更占比 通过紧急路径作出的变更占比 记录为紧急的变更 / 期内完成的所有变更;紧急指由于紧迫而绕过或缩短了正常评估,预先授权的标准变更从两项计数中排除 百分比 变更记录的类型字段 变更赋能 计划外工作和加急服务类别 每月
回滚率 被撤回到先前版本的变更占比 在到达生产环境之后被撤销的变更 / 期内对生产环境的所有变更;在变更到达任何用户之前所作的回滚(例如在第一步就被停止的金丝雀发布)单独计数 百分比 部署日志和发布工具 发布管理;部署管理 流水线和发布实践 每月
热修复率 属于在正常发布流程之外应用的紧急补丁的变更占比 被标记或分支为热修复的变更 / 期内对生产环境的所有变更;分母包括热修复本身 百分比 版本控制的分支或标签,以及部署日志 变更赋能;事件管理 计划外工作;加急 每月
部署返工率 作为先前部署中某个问题的计划外修复的部署占比 在同一失败窗口内,修复近期较早部署中缺陷或故障的对生产环境的部署 / 期内所有生产部署;来自路线图的计划内后续工作被排除 百分比 带“修复”链接或标签的部署日志,以及工作跟踪器 变更赋能;持续改进 返工;逃逸缺陷;失败需求 每月
变更到事件的链接率 记录了是否由某项变更引起、以及是哪一项的已解决事件占比 带有完整的“由变更引起”字段(是或否,为“是”时附变更标识符)的事件 / 期内已解决的事件;时钟在事件关闭时停止 百分比 事件工具和变更记录 事件管理;变更赋能 事后事件评审;完成定义 每月
失败定义的一致度 两位评审者就一批变更样本是否失败达成的一致 两位独立评审者使用书面定义得出相同失败结论的抽样变更 / 抽样变更;每个季度随机抽取至少 20 项变更的样本 百分比 与度量登记册一起保存的样本评审表 持续改进;度量与报告 回顾会议 每季度

关于这张表的两点说明。失败率和返工率有重叠,但并不相同:被撤销而没有新部署的失败,计入失败率,不计入返工率。并且单位是变更或部署,而不是事件,因为一项变更可能造成三起事件,而一起事件可能来自三项变更。

建议

在收集任何数据之前,先写下失败的定义

商定“失败”意味着什么,并把它放入度量登记册。 一个可行的定义是:如果一项变更在完成之后的规定窗口内,被回滚、需要热修复或向前修复,或与某个规定严重级别或更高的事件相联,它就是失败了。说明窗口(常见的是 7 天,正确的值取决于你的服务多快显示出问题)、事件严重级别的阈值,以及在有争议的案例中由谁决定。写下至少五个有效的示例,包括棘手的,比如在没有任何中断的情况下使性能下降的变更。每年重新审视该定义,并连同理由记录变更,使趋势线在规则移动时可以被重述。

在事件记录中把失败与变更相联

在事件记录中添加一个必填字段:是否由变更引起,是或否,为“是”时附变更标识符。 该字段应当在解决期间填写,并在事后事件评审中检查(见主题 4.2,事后复盘与学习度量)。把链接率作为自己的度量来跟踪。如果只有一半的事件带有该字段,失败率就以未知的量低估了真相,你应当在数字旁边说明这一点。凡可能之处,把第一个猜测自动化,例如列出在事件开始之前数小时内、受影响服务上完成的变更,并让人来确认。

统计所有补救路径,而不只是一条

从几个信号定义一次失败。 从部署工具提取回滚,从版本控制或发布日志提取热修复,从“修复”链接提取向前修复,从事件工具提取事件,然后按变更去重。只统计回滚的团队,会在切换到向前修复的那一天看到失败消失。也要把每条路线作为单独的细分保留,因为构成会讲述一个故事:许多热修复而很少回滚,意味着回滚很困难,这本身就值得修复。

把紧急变更占比当作一个问题,而不是得分

把紧急变更作为一个群体来评审,而不是目标。 每个季度阅读所有紧急变更,并把原因分类:恢复服务、封堵漏洞、迟到的业务请求、遗漏的规划步骤,或对普通工作而言太慢的批准路径。最后两项是系统问题,应当通过改进标准路径来修复,使人们无需绕过它(见主题 4.3,变更赋能度量)。零占比是可疑的,因为真正的紧急情况会发生。稳步上升的占比值得开立一条问题记录(见主题 4.1,问题管理度量)。

把返工度量为失败需求

把返工作为先前失败所产生的工作来跟踪。 失败需求的理念来自服务设计:因为某事第一次没有做对而存在的需求。用交付的话说,统计其唯一目的是纠正近期变更的部署和工作项。这直接与计划内和计划外的划分相联(见主题 2.9,运维工作与计划外工作)。把花在返工上的容量占比用作与产品负责人交流的起点,因为它把一个抽象的比率变成关于接下来做什么的权衡。

以计数、分布和窗口报告比率

在百分比旁边展示计数,并使用滚动窗口。 部署十次的团队的月度失败率是有噪声的。使用滚动 90 天窗口,展示比率背后的变更数和失败数,并给出不确定性的粗略指示(见主题 1.6,服务度量的统计素养)。对于恢复,展示从失败到恢复时间的中位数和第 85 百分位数,而不是均值。当某项服务的变更很少时,用实际失败的清单而不是比率来讲故事。

把失败与速度配对,使改进不能隐藏在任何一方

始终把变更失败率与前置时间和部署频率并排展示。 如果失败率下降而部署频率也急剧下降、前置时间增长,团队可能是在把变更成批,这会提高每项变更的风险。如果速度上升而失败率保持稳定,系统就在变得更擅长变更。这种配对是防范钻空子,以及防范“更少的部署意味着更安全的部署”这种舒适信念的主要防线(见主题 2.8,DORA 度量)。

利用这些数字改进变更本身

把失败数据变成工程实验。 查看失败变更的共同特征:规模、一天中的时间、类型、涉及的人数、是否触及共享组件,以及测试覆盖是否单薄。然后尝试一项小而可逆的实验,比如更小的批量、对有风险区域的自动化回归测试(regression testing)、对下一项有风险变更的金丝雀发布(canary release),或把部署与发布分开的特性开关。在一个完整窗口之后重新度量。目的是更好的变更,改善的度量只是证据。

在无责的论坛上一起评审这些度量

与做出这些变更的人一起,每月评审失败的变更。 议程有三项:计数和趋势、选出研究的两三项失败变更,以及带负责人的一项改进行动。使用无责评审的实践,使人们描述他们当时知道什么。把评审记录与度量一起发布。如果人们因这些数字被使用的方式而不愿报告失败,就在改变其他任何东西之前先修复这一点(见主题 11.3,推行度量而不滋生恐惧)。

钻空子途径与护栏

度量 如何被钻空子 配对的护栏度量或实践
变更失败率 收窄失败窗口;不把事件与变更相联;把糟糕的变更归类为“服务请求”或“维护”;向前修复并称之为新变更;把许多编辑捆绑进一项变更,使一次失败涵盖它们 变更到事件的链接率;对照事件清单的季度抽样审计;失败定义的一致度;在其旁边的前置时间和部署频率
紧急变更占比 以虚假的风险评级把紧急工作走标准路径;把普通工作当作紧急以避免批准;把一项紧急变更拆成几项正常变更 每季度阅读所有紧急变更;对原因分类并评审;标准变更占比和批准前置时间(见主题 4.3,变更赋能度量)
回滚率 向前修复以避免记录回滚;让损坏的版本保持在线;把变更挡在生产环境之外,使没有东西可撤销 在其旁边的热修复率和返工率;恢复时间分布;对照部署日志抽查事件
热修复率 不给热修复打标签;让它们走正常分支;把热修复称为“小改进” 部署返工率;分支和标签审计;计划外工作占比(见主题 2.9,运维工作与计划外工作)
部署返工率 不把修复与发起它的部署相联;把一项修复标为“计划内”;把修复与新功能捆绑 纠正性部署上必填的“修复”链接;对标为计划内的部署的抽样评审;在其旁边的变更失败率
变更到事件的链接率 不检查就把字段填为“否”;让字段默认为“否”;批量关闭事件以提高百分比 在事后事件评审中抽查“否”的答案;无默认值;对样本的评审者评论
失败定义的一致度 为样本选择容易的例子;评审者就是被度量的人;放宽定义使每个人都同意 由团队之外的人随机抽取的样本;有意包括边界案例;公布分歧并修复定义

健康的读数是这样的:失败率处于团队理解并能解释的范围,链接率高到足以让失败率可信,紧急变更很少且有解释,回滚和热修复简短且经过演练。失败被迅速报告,并在无责的情况下得到讨论。不自然地低的失败率,配上低链接率、下降的部署频率和增长的批量,是警告,而不是成功。把任何突然的改善视为先检查仪器的提示(见主题 1.5,数据来源与埋点)。

权衡:利与弊

方法 优势 劣势
严格、自动化的失败定义 一致、重复成本低、易于做趋势 漏掉细微的降级;可能把良性的回滚算作失败
对每项变更基于判断的评审 捕获背景和严重性 缓慢、主观,易受压力和漂移影响
长的失败窗口(数周) 捕获延迟的失败 模糊因果;近期的变更尚无法报告
统计所有补救路径 难以通过切换路线来钻空子 需要谨慎地连接若干数据来源

以自动化的定义为基础,加上抽样的人工评审,并在构建其他任何东西之前先改进变更与事件之间的连接。

与团队讨论的问题

1. 在这里究竟什么算失败的变更?我们两个人是否可能对同一项变更意见不一? 取五项近期的变更,请每个人投票表决它们是否失败。比较投票和理由。分歧显示书面定义在哪里单薄。商定对棘手案例的规则,比如没有中断的性能下降,并连同示例写下来。

2. 我们如何知道哪些事件是由变更引起的? 问链接目前如何记录,由谁填写。评审十起近期的事件,看有多少附有变更,又有多少本应附有。讨论该字段是否可选、是否默认为“否”,以及谁来检查它。引导者应当以对记录作出具体改进为目标,比如无默认值的必填字段。

3. 我们使用哪些补救路线?它们是否都被统计? 列出回滚、热修复、向前修复、手工变通和关闭特性开关。对每一个,问该事件记录在哪里,是否进入失败率。留意不留痕迹的路线。讨论往往揭示,团队偏好的路线恰恰是度量看不到的那一条。

4. 我们上一次紧急变更是什么时候?它本可以避免吗? 走一遍最近的三四项。问每一项为何紧急、早先已知什么,以及更好的标准路径会是什么样子。把真正的紧急情况与迟来的发现和缓慢的批准分开。商定对普通路径的一项修复,以消除紧急的一个反复出现的原因。

5. 我们每周有多少时间花在修复近期的变更上? 利用跟踪器而不是记忆,估算过去四周花在返工上的容量占比。把估计与跟踪器比较。谈谈这个数字在计划工作上的代价,以及产品负责人将如何使用它。选一个失败模式和一项实验来减少它。

6. 如果下个季度我们的失败率减半,我们会相信吗? 想象这条头条,并问还必须有什么也成立:链接率稳定、部署频率稳定、恢复迅速,并且没有新的“维护”类别。讨论团队已经作了其中的哪些检查,缺少哪些。商定一次突然的改善在被庆祝之前将如何被调查。

四种视角

产品与交付团队

交付团队拥有变更,所以拥有失败的定义和修复。从工作出发:在评审中查看失败的变更,找出共同的特征,并尝试更小的批量、更好的测试或开关。把返工作为看板的一部分来跟踪,使计划外的修复在计划工作旁边可见。让这些数字服务于团队自己的学习,并抵制分享个人层面的数据。如果某项度量展示给领导者,团队应当能够解释其中的每一项变更。

服务与运维团队

运维团队在事件队列中看到变更的后果,最适合维护事件与变更之间的链接。他们可以添加必填字段,在解决步骤中检查它,并在无责的情况下把结果反馈给交付团队。运维还拥有紧急路径,应当评审其使用情况。与交付团队一起分享关于恢复路线的信息并演练回滚,因为削减失败代价的最佳办法,是共同养成让变更可逆的习惯(见主题 3.3,事件响应与解决时间)。

领导层与治理

领导者应当索要各服务的趋势、两类不稳定性测量值与速度一并展示,以及其背后的改进实验。避免诸如“失败率低于 5%”这样的固定目标,它们招致重新定义,也避免在个人考核中使用这些数字。治理机构可以把这些数据用作证据,说明较轻的批准路径是否安全,办法是检查随着控制被放松,失败和恢复是否保持稳定。紧急变更的上升趋势是去审视规划和批准设计的信号,而不是去责备值班工程师。

客户与用户

客户不关心失败率。他们关心的是,更新之后服务是否出故障,以及它多快恢复。失败数据支持诚实的沟通:对有风险的变更提前通知,在变更造成麻烦时给出清晰的状态消息,以及公开地承诺学习。凡用户在关键任务上依赖某项服务之处,提前与他们商定维护窗口和回滚预期(见主题 3.4,重大事件度量)。

实践:一个服务管理示例

一家区域医疗机构的 IT 部门运营着一项患者排程服务。一个七人的产品团队每周发布数次变更,一个五人的运维团队处理事件和变更流程。本示例中的所有数字均为示意。

在一个季度里,月度报告显示变更失败率为 4%,低于上一个季度的 11%。首席信息官很高兴。平台负责人并不信服,因为值班团队说他们的夜晚并没有改善。她请团队运行度量登记册中的抽样审计。

审计随机抽取 30 项变更,两位评审者应用书面定义。他们在 30 个结论中有 24 个一致,所以失败定义的一致度为 80%(示意)。然后他们把样本与事件清单比较。在该季度已解决的 22 起事件中,只有 9 起带有“由变更引起”字段,链接率为 41%。人工阅读其余 13 起,评审者发现其中 5 起是在一次变更之后一天内开始的。修正后的计数把失败率提高到约 9%,而审计发现了数字为何看起来不错:有一个新习惯,即在“维护”的标签下部署修复,而报告把它同时排除在分母和分子之外。

钻空子的风险就在这个标签上,而没有人是有意的。团队曾被告知失败是个令人担忧的问题,而“维护”避免了一场交谈。团队作出三项决定。“由变更引起”字段变成必填且无默认值,并由事后事件评审检查。“维护”标签被淘汰,纠正性部署必须带有指向其所修复变更的链接,这为返工率提供输入。失败的定义被重写,附六个有效的示例,包括一个从未造成中断的慢查询回归。

下一个季度显示重述后的失败率为 8%,链接率为 90%(示意)。领导层的报告现在在前置时间旁边展示计数、链接率和返工率,首席信息官不再引用单一的百分比。

敏捷、AI、自动化与分析

敏捷

频繁的小变更使失败更便宜、更易追踪,团队定期与干系人一起评审它们。需要注意的是,如果失败受到惩罚,人们就会停止申报它们。

AI

AI 辅助的变更可能在看起来很快的同时,提高数量和返工。对 AI 辅助的工作,使用与其他工作相同的定义报告失败的变更和返工,并在数据中标明。需要注意的是,比较 AI 辅助的和其他的工作需要谨慎,因为这些变更的种类可能不同。

自动化

通过标识符自动把变更、部署和事件相联,并度量链接率。自动回滚应当就成功及副作用来度量。需要注意的是,断裂的链接使失败率看起来比实际更好。

分析

只陈述一次失败定义,并手工抽查链接。这为之提供依据的决定是变更实践需要在哪里加强。需要注意的是,基于少量变更的比率波动很大,所以要展示计数。

行业视角

初创公司。 变更小而频繁,团队往往对每一次失败都了然于胸。把定义保持在一段话,在部署工具中给回滚和热修复打标签,并在每周的回顾会议上评审失败。基于 20 项变更的失败率是有噪声的,所以用失败的清单作为主要证据。风险是非正式:没有书面的定义,比率就随计数者而变。

小型企业。 同一批人部署、运营并支持,所以返工直接与计划工作竞争。在你已有的任何工具中记录失败,向事件记录添加一个必填字段,并每个季度评审紧急变更。避免仅仅为改善数字而增加繁重的批准。共享的回滚检查清单比变更委员会更有价值。

大型企业。 众多团队、供应商和工具意味着众多定义。在各团队之间标准化失败定义和链接字段,把它发布在度量目录中,并在汇总之前按服务计算比率。利用抽样审计来发现分歧,并把每个供应商的变更记录视为另一个有自己质量的来源(见主题 1.5,数据来源与埋点)。注意汇总不要变成团队的排行榜。

政府与公共部门。 变更记录服务于审计和问责,回滚可能受法规、采购或共享平台的约束。保留正式的记录,并把失败链接作为其中的一部分加入。仔细地向监督机构解释这些数字,附计数和背景,因为关键服务中的单次失败,可能引起不成比例的关注。利用这些数据来为低风险变更的较轻路径辩护,并附证据说明失败和恢复保持稳定。

业务论证:动因、投资回报与总拥有成本

动因是失败变更的代价:事件工作、返工、被延迟的路线图项目,以及用户信任的丧失。许多组织说不出其工作量中有多少用于修复近期的变更,而返工测量值提供了第一个诚实的答案。还有一项间接的益处。能表明变更是安全的团队,可以为较轻的批准辩护,从而缩短前置时间。DORA 研究报告了繁重的外部批准与较弱的交付绩效之间的关联(见主题 4.3,变更赋能度量),而失败数据正是团队对照自己的历史检验这一论断的办法。

如果基础工作已就绪,收集的成本适中:事件记录中的一个必填字段、被标记的纠正性部署、三个数据来源的连接,以及每月一次的评审。更大的成本是注意力,因为必须有人拥有定义、开展审计并据发现采取行动。在定义和链接可以手工运作之前,避免购买工具。

回报表现为更少的重复失败、更短的恢复、更少的计划外工作,以及与治理机构更好的交流。不要承诺一个百分比。改为估算你自己的基线:统计一个季度中花在与变更相关的返工和事件响应上的小时数,用你正常的内部费率定价,并在改进之后比较。说明假设,并以范围而不是单一数字报告结果。把它与该计划的成本以及关键服务中一次严重失败的成本比较。

反模式与陷阱

  • 为失败率设定目标。 它招致重新定义和隐藏的失败。改为为学习设定目标,比如完成每一次评审并关闭每一项纠正行动,并观察比率的趋势。
  • 给团队或个人按失败排名。 它破坏报告,并惩罚承担有风险而有价值工作的团队。把团队与它自己的过去比较,并讨论背景。
  • 只把事件算作失败。 被及早发现并回滚的失败会消失。包括每一条补救路线,并把事件用作若干信号之一。
  • 把紧急变更视为坏事。 压力导致被伪装的紧急情况。评审它们的原因并修复普通路径。
  • 让事件链接默认为“否”。 默认值产生一个讨好而错误的数字。让字段成为必填,并抽查样本。
  • 报告比率而不附计数。 小样本波动很大。展示计数和滚动窗口。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
失败的定义 由被询问的人逐案决定 一些团队写下定义;各团队不同 一份书面定义,附有效示例和明确的窗口 通过抽样审计检验定义,并度量一致度 当定义不再为决定提供依据时,与供应商和客户一起修订
联结变更与事件 链接靠人记忆,如果有的话 一些团队使用可选字段 无默认值的必填字段,在事后事件评审中检查 链接率做成趋势并评审,缺口得到处理 链接通过约定的接口在团队和供应商之间共享
补救与紧急处理 回滚和热修复被临时处理,且不留记录 一些团队给回滚和热修复打标签 所有补救路线都被记录;写下紧急的检验标准 每季度评审紧急变更;演练回滚 恢复路径被设计进服务,并在各团队之间联合测试
在改进中的使用 数字在报告中被引用,没有跟进 重大事件之后讨论失败 每月对失败变更进行无责评审,附行动 失败和返工与速度配对;实验被规划并获得资助 改进是例行的并在团队之间共享,学习被公布

检查清单

  • 存在一份书面的变更失败定义,附明确的窗口和至少五个有效的示例。
  • 计数的单位(变更、部署或发布)在度量登记册中指明。
  • 事件记录有一个必填的“由变更引起”字段,没有默认值。
  • 回滚、热修复和向前修复在部署或版本控制工具中被标记。
  • 纠正性部署带有指向其所修复变更的链接。
  • 紧急变更有简短的书面检验标准,且每项紧急变更都在设定的天数内评审。
  • 比率连同计数和滚动窗口展示,绝不作为光秃秃的百分比。
  • 变更失败率始终与前置时间、部署频率和恢复时间并排展示。
  • 每季度的抽样审计检查失败结论和事件链接。
  • 每月运行对失败变更的无责评审,每项行动有负责人。
  • 本主题中没有任何度量被用来给个人排名或考核。

AI 提示词

起草变更失败的书面定义。

我们运营 [服务或产品类型],有 [团队规模] 人,发布 [频率,例如每周数次]。我们的工具是 [变更工具、部署工具、事件工具]。请起草一份一页纸的“失败变更”定义,说明单位(变更、部署或发布)、失败窗口、算数的补救路线(回滚、热修复、向前修复、关联事件)以及排除项。包括 [数量] 个有效的示例,包括边界案例。不要虚构基准值或阈值;向我索要你需要的。请列出你的假设。

设计变更到事件的链接。

这是我们的事件记录模板:[字段]。这是我们的变更记录模板:[字段]。请建议如何记录哪项变更造成了哪起事件,包括必填字段、允许的值、由谁填写,以及评审应如何检查它。提出一种根据 [可用数据,例如部署时间和服务名称] 自动建议候选变更的办法。不要猜测我们的工具是如何配置的。请列出你的假设,以及我应当回答的问题。

分析一份失败变更清单以寻找模式。

下面是 [期间] 内的 [数量] 项失败变更,字段为:[字段清单,例如规模、类型、日期和时间、服务、补救路线、恢复时间]。请找出模式和可能的促成因素,并建议至多 [数量] 项小而可逆的实验来减少失败。让分析保持在团队和服务层面,不要给个人排名。不要虚构统计数据或基准值。说明鉴于样本量,你对每种模式有多大把握,并列出你的假设。

检查失败仪表盘的钻空子风险。

我们的仪表盘显示 [度量清单,例如变更失败率、紧急占比、回滚率、热修复率、返工率],定义如下:[定义]。对每项度量,列出在服务没有改善的情况下数字可能改善的合理方式,以及各自的护栏。建议一个 [团队规模] 人的团队每季度可以开展的两项审计检查。不要虚构基准值或合规声明。请列出你的假设。

AI 技能

要点

  • 变更失败率只与其定义一样好,所以写一份带窗口、有效示例和指明单位的定义。
  • 通过事件记录中的必填字段把每一次失败与其变更相联,并度量链接率。
  • 把回滚、热修复、向前修复和关联事件一并统计,使团队无法通过切换路线来躲避度量。
  • 把紧急变更占比和返工读作关于规划和普通路径的信号,而不是得分。
  • 始终在失败旁边展示速度和恢复,附计数和滚动窗口,并且绝不给人排名。

参考文献与延伸阅读

  1. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  2. DORA, DORA's software delivery performance metrics, Google Cloud, https://dora.dev/guides/dora-metrics/
  3. Humble, J., and Farley, D., Continuous Delivery: Reliable Software Releases through Build, Test, and Deployment Automation, Addison-Wesley, 2010.
  4. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  5. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  6. Wikipedia, ITIL.
  7. Wikipedia, Feature toggle.
  8. Wikipedia, Rollback (data management).
  9. Wikipedia, Hotfix.
  10. Wikipedia, Rework.
  11. Wikipedia, Continuous delivery.
  12. Wikipedia, Goodhart's law.
  13. Wikipedia, Regression testing.
  14. Wikipedia, Canary release.