DORA 度量
DORA 度量描述一个团队的软件变更多快、多安全地到达生产环境,所以要把速度测量值和稳定性测量值放在一起阅读,根据流水线和事件的事件来计算它们,并用它们来开启关于交付系统的交流,绝不用来给团队或个人排名。
概述与动因
DORA 度量来自DevOps 研究与评估(DevOps Research and Assessment,DORA)的研究计划,这是一项长期的研究,探讨软件交付实践与团队和组织成果之间的关系。妮科尔·福斯格伦(Nicole Forsgren)、杰兹·亨布尔(Jez Humble)和吉恩·金(Gene Kim)于 2018 年在《Accelerate》一书中介绍了早期的发现,该计划此后在 Google Cloud 之下继续进行,每年发布一份报告。这项研究问的是,交付中哪些可度量的方面能预测良好的成果,并确定了一小组可由交付流水线和事件记录计算出来的软件交付绩效测量值。
截至 2026 年 10 月,DORA 网站描述了五项软件交付绩效度量,分为两组。三项描述吞吐量,即变更移动得多快:变更前置时间、部署频率和失败部署恢复时间。两项描述不稳定性,即一次发布多常引发麻烦:变更失败率和部署返工率。早期的出版物描述的是四项度量,其中用“服务恢复时间”代替了失败部署恢复时间,也没有返工率。多年来定义不断完善,所以务必说明你遵循的是哪一版指导,以及你上次核对它的日期。
使这些度量闻名的研究发现是,速度和稳定性在各团队中往往一起变动。部署频繁且前置时间短的团队,平均而言并没有为此付出更多失败的代价。这推翻了越快就越容易出错的旧有假设。这是调查和流水线数据中的一种模式,而不是定律,并且它适用于在持续交付(continuous delivery)、小批量、自动化测试和快速反馈等实践上投资的团队。这些度量是那些底层能力的信号。它们不是能力本身。
下面这些术语在本主题中反复出现。
- 部署(deployment)是把软件的某个版本放入给定环境的行为。除非另有说明,本主题指的是生产环境。
- 变更(change)是对软件的一组修改,通常是一起发布的一个或多个提交。在 ITIL 4 中这个词的含义更广,涵盖可能影响服务的任何添加、修改或移除,而治理它的 ITIL 实践是变更赋能。
- 失败的部署(failed deployment)是导致生产环境中服务降级或中断、并需要补救(比如热修复、回滚或补丁)的部署。你的团队把确切的规则写下来,因为研究把它留给本地定义。
- 回滚(rollback)是把生产环境恢复到上一个已知良好版本的行为。
- 百分位数(percentile)是低于它的观测值占规定比例的数值。前置时间的第 85 百分位数,就是 85% 的变更都优于它的那个数字。
敏捷和 ITIL 的视角在这片土地上相遇。敏捷团队把这些数字视为对其工程实践和工作协议的反馈。ITIL 从业者把它们视为变更赋能、发布管理、部署管理和事件管理的成果证据。矛盾通常在于控制。传统的变更咨询委员会试图通过在每项变更发布之前对其进行检查来减少失败。DORA 研究发现,繁重的外部批准与更好的稳定性无关,而同行评审、自动化测试和小变更则有关。在 ITIL 4 中,变更赋能通过区分标准变更、正常变更和紧急变更,并允许低风险变更被预先授权,来容纳这一点(见主题 4.3,变更赋能度量)。
这些度量也有研究自己所陈述的局限,本主题中的实用建议正是建立在它们之上。它们描述的是一个应用或服务的交付系统,是为改进交流而设,对所交付的工作是否有价值则只字未提。团队可以发布出色的数字,却交付了错误的东西。为此,本主题与流动测量值(见主题 2.1,流动度量)、服务可靠性测量值(见主题 5.2,SLI、SLO 与错误预算)和成果测量值(见主题 1.3,结果重于产出:选择度量什么)并列,而不在其上。
最后,这些度量一旦出现在领导层的仪表盘上,就会招来古德哈特定律(Goodhart's law)。部署频率最容易膨胀,失败部署的计数最容易隐藏。因此下面的每条建议都把一项测量值与一个检查它可能如何被扭曲的措施配对(见主题 1.2,古德哈特定律与度量的心理学)。
关键原则
- 根据事件计算,而不是凭记忆。 部署来自流水线,失败和恢复来自事件记录,前置时间来自与流水线相连的版本控制(见主题 1.5,数据来源与埋点)。
- 把速度和稳定性读作一幅图景。 失败不断上升的快速团队,或每季度才发布一次的稳定团队,在告诉你任何一半单独都显示不出的东西。
- 度量一项服务或应用,而不是一个人。 分析单位是交付系统。个人不会独自部署,给他们排名会毁掉数据。
- 把团队与它自己的过去比较,而不是与另一个团队比较。 支付服务、数据平台和移动应用的背景截然不同,研究本身就警告不要把这些度量用作排行榜。
- 对时间使用分布。 前置时间和恢复时间有长尾,所以报告中位数和一个高百分位数(见主题 1.6,服务度量的统计素养)。
- 把度量当作症状。 当一个数字变动时,到其下的能力中寻找原因,比如批量大小、测试自动化、评审实践和架构,然后开展一项实验。
- 把定义写下来。 失败、部署和“工作开始”都是判断性的决定。记录这一选择并保持稳定,使趋势有意义。
度量定义
下面的五项度量遵循截至 2026 年 10 月的 DORA 指导。公式说明你的团队应当写下的时钟和排除项。凡研究把某条边界留空之处,表中给出一个合理的默认值,并由建议来解释这一选择。
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| 变更前置时间 | 一项已提交的变更到达生产环境的时间 | 时钟从该变更的首次提交开始(或者,如果定义中这样规定,则从其合并到主分支时开始),到部署到生产环境成功完成时停止;报告期内所部署变更的中位数和第 85 百分位数;从未部署的变更被排除,并作为在制品单独报告 | 小时或天 | 与部署流水线相连的版本控制 | 部署管理;发布管理;变更赋能 | 周期时间;到生产环境的前置时间 | 每周或每次发布,每月评审 |
| 部署频率 | 团队多常部署到生产环境 | 期内该应用成功的生产部署次数 / 期内天数;失败或被回滚的部署不计入成功计数;部署到测试环境的不计入 | 每天或每周的部署次数 | 部署流水线事件日志 | 部署管理;发布管理 | 持续交付;在每个增量结束时发布 | 每周 |
| 失败部署恢复时间 | 当一次部署导致生产故障时,恢复需要多久 | 时钟从故障被检测到或被报告时开始(每次采用同一规则),到用户的服务恢复时停止;报告期内失败部署的中位数和第 85 百分位数;并非由部署引起的事件被排除 | 分钟或小时 | 与部署事件和监控告警相连的事件记录 | 事件管理;服务连续性管理 | 恢复时间;恢复工作 | 每次故障,每月评审 |
| 变更失败率 | 导致需要补救的故障的生产部署占比 | 需要热修复、回滚、补丁或事件响应的部署 / 期内所有生产部署;把故障与其部署联系起来的规则已写下来,每次采用相同方式应用 | 百分比 | 与事件、回滚和热修复部署相连的部署事件 | 变更赋能;事件管理 | 完成的定义;逃逸缺陷 | 每月 |
| 部署返工率 | 为修复面向用户的问题而进行的计划外生产部署占比 | 为响应生产问题而进行的计划外部署 / 期内所有生产部署;碰巧包含修复的计划内部署被排除;“计划外”的规则已写下来 | 百分比 | 按部署原因标记的流水线日志,与事件或缺陷记录相连 | 变更赋能;问题管理 | 计划外工作;在计划之外发布的缺陷修复 | 每月 |
关于这张表有两点说明。第一,变更失败率和部署返工率有重叠,但并不相同:团队注意到并回滚而没有任何新部署的故障,计入变更失败率但不计入返工率,而团队安排的计划性修复则两者都不计入。第二,研究把部署作为单位,并按应用计数,所以有五十项服务的平台有五十组数字,而不是一组。
建议
从定义和时钟开始
1. 在绘制每项度量之前,先为它写一页定义。 说明什么算部署,哪个环境是生产环境,前置时间的时钟从何处开始,以及一次故障如何与一次部署联系起来。把这一页放入度量登记册(见主题 1.4,度量治理与归属)。只存在于某人脑中的定义,会在工具或团队第一次变化时漂移。
2. 选定一个前置时间的起点,并坚持下去。 最常见的选择是变更的首次提交、合并到主分支,以及工单的创建。首次提交度量的是交付系统,忽略工作在待办事项列表中停留的时间。工单起点度量了客户等待的更多部分,但混入了优先级排序(见主题 2.2,前置时间、周期时间与流动效率)。始终使用同一个,并在每张图表中说明是哪一个。
3. 依据声明的规则归因故障。 故障属于某次部署,比如当一起事件在部署后的规定窗口内开立,且其原因分析指向该变更,或当有回滚或热修复被标记到它时。选一条人们无需争论就能应用的规则,每季度评审一批案例样本,并让规则保持足够长的时间以便看到趋势。
从流水线埋点
4. 从流水线而不是电子表格获取部署事件。 记录每次生产部署的时间戳、版本和结果的 CI/CD 系统,无需人工录入就能给你部署频率和前置时间时钟的终点。手工录入的计数是滞后且不一致的,并招致主题 1.5(数据来源与埋点)所述的补录问题。DORA 团队的开源 Four Keys 项目是收集这些事件的一个实例,不过你自己任何等价的流水线都行。
5. 把事件记录与部署连接起来。 故障和恢复测量值需要两个来源:部署日志和事件工具。在事件记录中添加“由部署引起”和部署标识符的字段,在解决期间填写,并在事后事件评审中检查(见主题 4.2,事后复盘与学习度量)。没有这个连接,变更失败率就成了猜测。
6. 标记每次部署的原因。 返工率需要把计划内的部署与计划外的修复区分开。流水线运行上一个简单的标签,比如“计划变更”或“修复生产问题”,就足够了。让标签清单保持简短,使人们在压力下不必去想它。
诚实地报告数字
7. 报告分布和计数,而不是单一平均值。 展示前置时间和恢复时间的中位数和第 85 百分位数,并附上每项背后的观测数。一周有两次部署和一次故障,变更失败率就是 50%,这几乎没有意义,所以要在百分比旁边展示计数,并对比率宁取更长的窗口(见主题 1.6,服务度量的统计素养)。
8. 把吞吐量组和不稳定性组并排展示。 把三项吞吐量度量和两项不稳定性度量,按服务放在一个视图上,附至少一个季度的趋势。绝不在不附带失败测量值的情况下发布部署频率。如果领导者要一个数字,就解释说并不存在单一的 DORA 得分,并提供两组并列的视图作为替代。
9. 把比较限制在团队自己的历史之内。 把中位数前置时间从九天缩短到五天的团队,学到了东西。把它与架构、监管负荷或发布列车不同的另一个团队相比较,几乎证明不了什么,而且会教两个团队都去保护自己的数字。当你必须为治理汇总时,展示各服务的分布和改进趋势,而不是排行榜(见主题 1.2,古德哈特定律与度量的心理学)。
改进这些数字所描述的系统
10. 先减小批量。 小变更缩短前置时间,使故障更容易诊断,并降低回滚的成本。技术包括特性开关(feature toggles)、主干式工作,以及拆分工作使每个增量都能单独发布(见主题 2.7,拉取请求与代码评审度量)。在前置时间旁边跟踪变更规模的中位数,以便看到批量是否真的在缩小。
11. 投资于快速检测和快速撤销。 当团队能在数分钟内看到故障,并能在不重新构建的情况下回滚(roll back)或关闭某项变更时,恢复时间就会下降。金丝雀发布(canary release)、特性开关和自动回滚,各自缩短了从故障到恢复之间的间隔。单独度量从部署到检测的时间,因为缓慢的检测藏在恢复时间的数字里(见主题 3.3,事件响应与解决时间)。
12. 用这些数字选择要改进的一项能力。 选一项薄弱的度量,问它为什么薄弱,并从研究的能力清单中选择一项针对原因的实践,比如测试自动化、松耦合架构或轻量的变更批准。把这项变更运行一个季度,并看趋势。把实验与一个回顾会议议题配对,使团队拥有这项改进(见主题 9.5,持续改进度量)。
钻空子途径与护栏
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| 变更前置时间 | 把时钟的起点往后移,比如从合并而不是首次提交开始;过早合并到长期存在的分支;把困难的变更当作“非代码”而排除;把琐碎的变更推过流水线以拉低中位数 | 在制品的百分位数和年龄;固定的书面时钟起点;每季度抽查最慢的 10% 的变更;变更规模分布 |
| 部署频率 | 把一项变更拆成许多琐碎的部署;重新部署未变化的构建;计入部署到预发环境或空的配置变更 | 每次部署的变更规模;包含面向用户可见变更的部署占比;在其旁边的变更失败率和返工率 |
| 失败部署恢复时间 | 开始计时晚或关闭事件早;在部分修复之后把故障重新归类为新事件;提高“故障”的严重性阈值 | 同一事件在规定窗口内的再发;取自监控告警的时钟起点;客户报告的影响持续时间 |
| 变更失败率 | 不把事件与部署联系起来;只计入造成完全中断的故障;放宽窗口使故障落在其外;向前修复并称之为新变更 | 每季度对照部署日志评审事件样本;跟踪记录了部署关联的事件占比;部署返工率 |
| 部署返工率 | 把修复标注为计划内工作;把修复捆绑进计划发布;通过推迟修复来避免修复性部署 | 来自跟踪器的缺陷和逃逸缺陷计数;未关闭的生产缺陷的年龄;对一批部署样本的标签审计 |
健康的读数显示:前置时间和恢复时间在缩短或稳定在低位,部署频率稳定或在上升且变更很小,失败率和返工率持平或下降,且计数大到足以信任。可疑的读数包括:部署频率突然跳升而工作没有变化、失败率在一个月内降到零,以及恢复时间下降而客户抱怨依旧。每一项都要求在庆祝之前先检查仪器。
权衡:利与弊
| 方法 | 优势 | 劣势 |
|---|---|---|
| 按服务使用全部五项 DORA 度量 | 基于研究,平衡速度与稳定性,由客观事件计算 | 需要能干净连接的流水线和事件记录;对工作是否有价值只字未提 |
| 只报告部署频率和前置时间 | 易于从流水线收集 | 只奖励速度,并招致稳定性测量值本可发现的钻空子 |
| 每个团队使用本地定义 | 契合团队的架构和发布风格 | 无法比较团队,汇总不可靠 |
| 使用全组织统一的定义 | 报告一致;治理简单 | 对某些系统不合适,比如有批处理窗口的大型机或受监管的发布 |
| 将团队与公布的绩效区间比较 | 让领导者快速了解所处位置 | 忽略背景,而研究警告这些区间并非每个团队的目标 |
| 将度量用于团队自我改进 | 建立归属;支持诚实的数据 | 给想要单一得分的领导者的安慰较少 |
核心的矛盾在于可比性与诚实之间。一个数字越是被用来评判团队,数据就越被扭曲,对拥有它的团队也就越没有帮助。首先用这些度量支持改进,接受不完美的可比性,并让领导层的视图保持在趋势和分布上。凡受监管的报告需要标准定义之处,就记录下来,并让团队层面的改进视图与之分开。
与团队讨论的问题
1. 我们的五个 DORA 数字中,哪些来自事件,哪些来自某人的回忆? 把每项度量追溯到其来源。记下有人键入日期或决定某件事是否算作故障的地方。引导者应当帮助小组按手工步骤可能扭曲数字的程度对它们排序,并商定首先自动化哪一个。
2. 我们的前置时间时钟究竟在何处开始和停止?大家是否一致? 请三个人描述最近一次发布的变更的时钟起点和终点。比较答案。差异通常出现在首次提交、合并、工单和批准步骤附近。商定一个定义并写下来,讨论所选定义隐藏了什么等待时间。
3. 对我们来说,什么算失败的部署?谁来决定? 走一遍最近五起生产事件,问每一起是否属于某次部署。分歧显示规则在哪里不清楚。讨论用配置变更、回滚或快速补丁修复的故障会怎样,并决定各自如何记录。
4. 如果下个季度部署频率翻倍,我们在称之为好消息之前会检查什么? 邀请小组指出数字在不交付更多价值的情况下上升的方式。查看变更规模、含用户可见变更的部署占比,以及失败率和返工率。引导者应当记下仪表盘上已有哪些检查,哪些需要添加。
5. 团队之外的人如何使用这些数字? 问谁看到它们、以何种形式、对它们做什么。留意与其他团队的比较、从外部设定的目标,以及在个人考核中的使用。讨论团队需要看到这种用法发生什么变化,才能信任自己的数据,以及谁有立场作出改变。
6. 哪一项能力最能改善我们最弱的数字?一个可以尝试的小实验是什么? 选出最弱的度量,谈谈其可能的原因,比如大批量、缓慢的评审、不稳定的测试,或手工发布步骤。选一个原因,设计一项四到六周、带观察效果办法的实验。商定评审结果的日期,以及由谁带来数据。
四种视角
产品与交付团队
交付团队拥有驱动这些数字的能力:小变更、自动化测试、快速的流水线,以及互相评审工作的习惯。他们应当把这些度量当作自己工程实践的镜子,设定自己的改进目标,并抵制向上报告单一数字的压力。他们还决定定义,所以肩负着保持定义诚实的责任(见主题 2.7,拉取请求与代码评审度量)。
服务与运维团队
运维团队持有故障和恢复测量值所依赖的事件记录。他们通过用引起事件的部署来标记事件、提供能迅速检测故障的监控,以及参加对每次失败部署的评审来帮助交付团队。他们应当留意交付的速度不是在以他们作为值班负荷吸收的不稳定性为代价换来的(见主题 5.7,繁琐工作与值班度量),并要求在回滚和检测方面的投资,以缩短恢复时间。
领导层与治理
领导者应当索要各服务的趋势和分布、两组度量放在一起,以及其背后的改进实验。他们应当避免锁死某个数字的目标,比如“每天部署”,也避免在个人考核中使用这些度量。治理机构可以将这些数字用作证据,说明较轻的变更批准路径是安全的,或者是重新考虑它的理由,办法是显示随着流程变化稳定性是否保持稳定(见主题 4.4,变更失败与返工)。
客户与用户
客户很少关心部署计数。他们关心的是,修复或功能多快到达他们手中,一次发布多么少地破坏他们所依赖的东西,以及当它发生时服务多快恢复。把 DORA 度量用作这些成果很可能出现的内部证据,并辅以面向客户的测量值,比如可用性和满意度(见主题 5.3,可用性度量,以及主题 6.1,客户满意度度量)。
实践:一个服务管理示例
一家中型在线零售商运营着一项由一个产品团队拥有、由一个平台团队和服务台支持的结账服务。以下所有数字均为示意。
团队大约每周向生产环境部署两次,前置时间(从首次提交到生产环境)的中位数为 11 天,第 85 百分位数为 26 天。在上个季度,24 次部署中有 6 次(25%,示意)之后出现了回滚或事件。这些故障的恢复时间中位数为 3 小时。变更批准委员会每周开会,评审结账服务的每一项变更。
团队提出一项计划。它将拆分大变更,在流水线中添加自动检查,把新行为置于特性开关之后,并请委员会把通过检查的低风险变更作为标准变更预先授权。变更经理心存疑虑,所以团队同意每月报告全部五项度量,并在失败率连续两个月上升时终止实验。
一个季度后,数字(示意)为每月 19 次部署,前置时间中位数 3 天,第 85 百分位数 8 天,变更失败率 8%,恢复时间中位数 40 分钟,返工率 5%。团队很高兴,一位区域经理要求将结账团队的部署频率与其他产品团队比较,并设定一个共同的目标。
团队负责人把返工和失败的细分带到评审会上,注意到一个钻空子的风险。部署频率得益于流水线所计入的若干微小的配置部署,而变更规模的中位数缩小的速度快于实际工作。更糟的是,上个月有两起事件是通过一项配置变更修复的,流水线把它记录为被标记为“计划内”的正常部署,所以返工率被低估了。变更失败率看起来不错,部分原因是这两起事件没有被联系到它们原来的部署。
记录在决定日志中的决定有四个部分。仅配置的部署被单独计数,并展示在主数字旁边。部署原因标签每月抽 10 次部署的样本进行审计。当原因是变更时,事件工具现在要求填写部署标识符。并且团队拒绝了共同的部署频率目标,转而提供一个显示每项服务趋势及其失败率的共享视图。变更经理同意保留对标准变更的预先授权,并在下个季度末进行评审。
敏捷、AI、自动化与分析
敏捷
DORA 度量描述变更多快、多安全地到达生产环境,这是持续交付的实际核心。一个好的做法是在与干系人的定期评审中,将速度和稳定性测量值放在一起阅读,并选择一项改进。需要注意的是,团队可以通过拆分变更来膨胀部署频率,所以要关注变更规模和返工。
AI
AI 辅助编码可以提高变更量并加快前置时间,同时提高返工或失败的变更。在同样的稳定性测量值上,把 AI 辅助的变更与其他变更放在一起报告,并比较采纳前后的失败部署恢复时间和部署返工率。需要注意的是,DORA 关于 AI 的研究在不断演进,所以在引用任何发现之前,先查阅当前发布的报告。
自动化
根据流水线和事件的事件自动计算全部五项测量值,并对什么算部署、什么算故障有明确的规则。就流水线本身的故障和不稳定性来度量它。需要注意的是,自动化可能隐藏位于流水线之外的手工步骤,比如通过电子邮件的批准,所以要把真实的路径映射一次。
分析
报告分布,而不只是平均值,并把团队与它自己的过去比较,而不是与其他团队比较。这为之提供依据的决定是交付系统在哪里缓慢或脆弱。需要注意的是,跨团队的排行榜鼓励钻空子,而且这些数字取决于对部署和故障的本地定义。
行业视角
初创公司。 小团队往往每天部署许多次,事件记录单薄,所以部署频率和前置时间很容易得到,而故障数据则零散。从在流水线中标记每次回滚和热修复开始,并保持一份带部署标识符的简单事件日志。不要让高频率使你相信稳定性没问题,而不检查失败率。
小型企业。 托管平台或外包的开发人员可能每月只部署一次,工具很少。几个月内用手工统计你能统计的,书面向供应商索要部署和事件的日期,并聚焦于前置时间和失败率。用这些数字来决定持续交付的更小变更是否会降低风险,而不是去追逐某个区间。
大型企业。 众多团队、若干种发布风格,以及现代与遗留系统的混合,使一致的定义变得困难。为每项度量商定一个共同的最低定义,公布它,并允许团队附陈述的理由添加更严格的本地定义。汇总时展示各服务的分布和趋势,而不是平均值,并让团队层面的细节只对所属团队及其支持小组可见。
政府与公共部门。 发布窗口、审计规则和采购合同塑造了可能的做法,有些系统由供应商运行。在合同中包括交付和事件数据的权利,以便这些度量可以被计算。用这些数字作为证据,说明现代化计划在缩短前置时间的同时没有提高失败率,并把所有度量放在一起报告,使结果不是被挑选出来的(见主题 8.5,受监管与政府报告)。
业务论证:动因、投资回报与总拥有成本
动因是缩短从想法到使用之间的时间,同时保持生产环境稳定。该计划的成本有三个部分:埋点(流水线事件、部署标签和事件连接)、评审例行工作(每月查看趋势,每季度抽查失败和返工案例),以及这些数字所指向的改进工作,比如测试自动化或更快的流水线。前两项不高。第三项才是真正的开支所在,它花在工程能力上,而不是度量上。
回报来自这些数字使之更容易的决定。团队可以向变更委员会证明小变更是安全的,从而取消一个批准步骤。平台小组可以看到哪些服务的流水线缓慢或回滚不佳,并据此安排其投资。运维团队可以凭数据争取更好的检测工具。通过你可以自己观察的模式来描述回报,比如从提交到生产环境的时间、需要修复的发布占比,以及每次发布的值班负荷,在变更前后对比。避免引用其他组织的基准数字作为预期回报,因为你的背景会有所不同。总拥有成本以人的时间为主,所以要保持度量集很小,并将其收集自动化(见主题 7.7,投资回报与业务论证)。
反模式与陷阱
- 把这些度量当作个人的绩效记分卡。 它破坏研究的基础并败坏数据。只在服务和团队层面报告。
- 设定“每天部署”或“前置时间少于一天”之类的目标。 目标取代了目的。设定一个改进的方向和一项实验,并把数字保持为信号。
- 将团队相互排名,或对照公布的区间排名。 背景不同,随之而来的是钻空子。把团队与它自己的趋势比较,只把区间用作宽松的参照。
- 只报告速度而不报告稳定性。 配对才是关键。始终把吞吐量组和不稳定性组放在一起展示。
- 让定义漂移。 失败、部署和前置时间起点会随工具悄悄变化。连同理由记录对定义的每一次更改,并在图表上标注。
- 统计任何东西的部署。 配置推送、测试环境发布和同一构建的重新部署会膨胀计数。定义什么是生产部署,并单独展示其他种类。
- 忽视所交付的内容。 强劲的数字可能隐藏无关紧要的工作。把它们与流动和成果测量值放在一起阅读(见主题 2.9,运维工作与计划外工作)。
- 追逐度量而不是能力。 当批量缩小、测试更快时,前置时间下降得最可靠。改进实践,让数字随之而来。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 定义与时钟 | 每个人对部署和失败的定义不同 | 少数团队记录了他们的定义 | 每项度量一份书面定义,含时钟和排除项,位于度量登记册中 | 定义变更被记录并在图表上标注;每季度抽查 | 当定义不再为决定提供依据时,与供应商和治理机构联合修订 |
| 数据捕获 | 根据工单手工拼凑的计数 | 一些服务有流水线数据;事件手工关联 | 对大多数服务自动捕获部署、原因和事件关联 | 度量并跟踪数据质量(关联率、标签审计)的趋势 | 事件通过约定的接口在团队和供应商之间共享 |
| 数字的使用 | 作为单一得分向上报告 | 团队偶尔查看自己的图表 | 由所属团队每月一起评审吞吐量组和不稳定性组 | 趋势为带护栏的、有资助的改进实验提供输入 | 分布和趋势为全组织的平台投资和变更政策提供依据 |
| 防范钻空子的护栏 | 无 | 非正式的意识 | 为每项度量列出配对的护栏 | 评审护栏和样本,并记录钻空子的案例 | 随着团队和工具的变化持续调整护栏 |
检查清单
- 五项度量都有书面定义,含时钟、排除项,以及所遵循的 DORA 指导的日期和版本。
- 生产部署由流水线记录,含时间戳、版本和结果。
- 前置时间的起点(首次提交、合并或其他)已声明并一致应用。
- 事件带有记录引起它们的部署的字段,在解决期间填写。
- 每次部署都带有原因标签,每月审计一批样本。
- 时间以中位数和一个高百分位数报告,并附计数。
- 吞吐量和不稳定性度量按服务一并展示。
- 在部署频率和前置时间旁边跟踪变更规模。
- 这些数字不用于个人考核,也不用于给团队排名。
- 一位指名的负责人每月评审这些度量,并记录对定义的任何更改。
- 一项与最薄弱度量相联的改进实验正在进行,并有评审日期。
AI 提示词
为五项度量撰写一页定义集。
我正在为 [服务或应用名称] 定义 DORA 软件交付度量。我们的工具是 [版本控制托管方、CI/CD 系统、事件工具、ITSM 工具]。我们的发布风格是 [持续、每周、每月或其他]。请为变更前置时间、部署频率、失败部署恢复时间、变更失败率和部署返工率各起草一份定义,说明时钟从何处开始和停止、统计什么和排除什么、数据来源,以及一项含糊之处的风险。不要虚构基准值,也不要声称我们的实践符合任何已公布的绩效区间。请列出你的假设,以及我应当回答哪些问题以完成这些定义。
检查一组度量的钻空子风险。
这是我们目前计算交付度量的方式:[对每项度量、其数据来源及报告方式的描述]。受众是 [团队、领导层或治理机构]。对每项度量,列出数字在没有真正改进的情况下被膨胀、隐藏或扭曲的合理方式,并建议能发现它的配对护栏度量或实践。不要虚构统计数据。请列出你的假设,以及为了更精确你需要的任何信息。
分析部署和事件的数据导出。
我将粘贴 [数量] 次生产部署和 [数量] 起事件的小型导出,字段为:[字段清单,例如部署 id、时间戳、结果、原因标签、事件 id、开立时间、解决时间、部署关联]。请计算恢复时间的中位数和第 85 百分位数、变更失败率和返工率,并展示每项背后的计数。标出缺少关联或时间戳可疑的记录。不要在数据之外外推,也不要将结果与外部基准比较。请列出你的假设,以及限制结论的数据质量问题。
规划一项改进实验。
我们最薄弱的交付度量是 [度量名称],目前为 [所报告的值,附日期范围和计数]。团队讨论过的可能原因有 [清单]。我们的约束有 [约束,例如受监管的发布、共享的测试环境]。请提出三项四到六周的小实验,各附一个假设、一种观察效果的办法、一道护栏度量和一项风险。不要虚构预期的改进数字。请列出你的假设,以及我们在开始之前应当检查什么。
AI 技能
- Service Management Metrics skill:用于查找相关的变更、发布和事件主题,以及应当放在每项 DORA 度量旁边的护栏。
- Service Management Metrics maintainer skill:用于检查本主题的修订版本是否保持其时钟、钻空子途径和交叉引用一致。
要点
- DORA 度量是软件交付的五项测量值,三项关乎吞吐量,两项关乎不稳定性,针对一项服务放在一起阅读最有用。
- 根据流水线和事件的事件,用书面定义来计算它们,因为失败和前置时间起点都是判断性的决定。
- 用它们来了解一个交付系统,并把团队与它自己的历史比较,绝不用来给人或团队排名。
- 报告中位数、高百分位数和计数,并给每项度量配一道能发现其被钻空子的护栏。
- 改进底层的能力,比如小批量、快速检测和易于回滚,让数字随之而来。
- 说明你所遵循的指导的版本和日期,因为定义已随时间不断完善。
参考文献与延伸阅读
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- DORA, DORA's software delivery performance metrics, Google Cloud, https://dora.dev/guides/dora-metrics/
- DORA, DORA research program, Google Cloud, https://dora.dev/research/
- DORA, Four Keys project, https://github.com/dora-team/fourkeys
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 2021.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, DevOps Research and Assessment.
- Wikipedia, Accelerate (book).
- Wikipedia, Continuous delivery.
- Wikipedia, ITIL.
- Wikipedia, Goodhart's law.
- Wikipedia, CI/CD.
- Wikipedia, Feature toggle.
- Wikipedia, Rollback (data management).
- Wikipedia, Canary release.