对线上服务的每一次变更都是一场赌注。它可能更早地交付价值,也可能破坏用户所依赖的东西。第 3 部分度量了当事情出错时,支持与恢复工作做得如何(见主题 3.0,第 3 部分导读:服务台、事件与请求度量)。本部分审视同一枚硬币的另一面:变更如何进入环境、它多常造成麻烦,以及组织学习得多好,使同样的麻烦不再回来。

持续交付和 ITIL 从不同的方向接近这片领域。敏捷实践偏爱以小变更持续交付软件,并把快速反馈视为一种安全措施。问题管理、变更赋能和发布管理等 ITIL 实践的存在,是为了保护稳定性,并找出和消除事件的原因。本部分的度量使两种视角能对照同样的证据来检验。如果频繁的变更是安全的,失败和返工的测量值会显示出来。如果某项控制在拖慢交付却没有降低风险,批准和前置时间的测量值则会显示这一点。

两点告诫贯穿整个部分。速度和稳定性必须放在一起阅读,因为改善其中一个却悄悄损害另一个的数字,是一桩糟糕的交易。时间测量值也应当作为带百分位数的分布来阅读,如第 1 部分所阐述的(见主题 1.6,服务度量的统计素养)。这里的每项度量描述的都是团队、服务或系统。没有一项给个人排名,也没有一项是应当孤立地推动的目标(见主题 1.2,古德哈特定律与度量的心理学)。

四个视角塑造了本部分。持续交付使小而频繁的变更成为常态,所以变更和发布测量值同时描述流动和安全。AI 辅助的变更和由 AI 生成的风险得分,需要它们自己的质量配对。流水线把证据和批准自动化,所以自动化必须就其失败来度量。分析把变更、事件和问题联系起来,并说明每个比率背后有多少案例。

本部分的主题

  • 4.1 问题管理度量:被开立和关闭的问题、已知错误的复用、再发,以及永久修复的时间。
  • 4.2 事后复盘与学习度量:评审完成、行动项关闭、原因的再发,以及无责学习的信号。
  • 4.3 变更赋能度量:按类型划分的变更数量、批准前置时间、标准变更占比,以及批准的自动化。
  • 4.4 变更失败与返工:变更失败率、紧急变更占比、回滚和热修复率,以及对失败的一致定义。
  • 4.5 发布与部署度量:部署频率、发布频率、特性开关的使用、发布前置时间,以及把部署与发布分开。
  • 4.6 技术债与已知错误:已知错误待办事项列表、债务存量与利息,以及对照功能工作确定修复的优先级。

这些主题如何相互关联

本部分分为相互依赖的两半。主题 4.1 和 4.2 关乎学习:事件如何被追溯到原因,以及评审如何转化为被完成的修复。主题 4.3、4.4 和 4.5 关乎变更:它如何被批准、多常失败,以及如何到达用户。主题 4.6 把两半联结起来,因为学习所发现的债务和已知错误,正是与新功能争夺团队时间的同一批项。

最重要的配对是速度与失败之间的配对。主题 4.5 中的部署和发布频率(见主题 4.5,发布与部署度量)描述变更多常到达生产环境,而 DORA 研究计划把这类吞吐量测量值与稳定性测量值配对(见主题 2.8,DORA 度量)。主题 4.4(见主题 4.4,变更失败与返工)提供稳定性的一面。部署更频繁而失败率和返工率保持持平或下降的团队,是在改进。频率上升而回滚和热修复随之上升的团队,是在把成本转移到别处。

变更赋能处于两者之间。主题 4.3(见主题 4.3,变更赋能度量)度量控制的一面:批准要多长时间、有多少变更被预先授权为标准变更,以及有多少批准是自动化的。批准前置时间是一项控制的成本,而主题 4.4 的变更失败率,是这项控制是否奏效的证据。放在一起阅读,它们显示繁重的批准步骤是在买来安全,还是只是增加延迟,以及更轻、自动化的批准是否让失败保持稳定。

学习类的主题为其他主题把关。主题 4.1 中的问题管理(见主题 4.1,问题管理度量)度量再发和永久修复的时间,这是第 3 部分中的事件处理是在消除原因,还是只是恢复服务的长期检验。主题 4.2(见主题 4.2,事后复盘与学习度量)检查评审是否真的发生、其行动是否被关闭,因为没有跟进落实的已完成评审什么也改变不了。统计评审或已关闭的问题很容易被钻空子,所以这些计数应当与同样原因的再发放在一起阅读,后者更难伪造。

最后,主题 4.6(见主题 4.6,技术债与已知错误)解释了其他测量值为何漂移。未被处理的已知错误和累积的债务,提高了失败的可能,也提高了之后每一次变更的成本。把已知错误待办事项列表与变更失败率放在一起阅读,可以显示推迟修复何时已开始拖慢交付。

后面的部分建立在这些测量值之上。第 5 部分中的服务级别目标和错误预算,给出一个可靠性的限度,据以评判变更的节奏,第 11 部分则展示如何在不滋生恐惧的情况下引入这些度量。