发布与部署度量
部署代码和向用户发布它是两个风险不同的事件,所以要分别度量它们,按书面规则统计每一个,并把频率、前置时间、批量大小和开关的整洁度放在一起阅读,而不是为任何单一计数而庆祝。
概述与动因
许多团队把“部署”和“发布”这两个词当作同一回事使用。它们并不相同,而这种差别是本主题中最有用的理念。部署(deployment)是把某个版本的软件放入某个环境(通常是生产环境)的行为,如关于软件部署(software deployment)的条目所述。发布(release)是一项变更对其预期用户变得可用的时刻,是发布管理(release management)所要治理的一项决定。当两者同时发生时,部署就是发布,一个数字同时描述两者。当两者分开时,团队可以频繁而安静地部署,并有意识地发布。
这种分离之所以重要,是因为两个事件携带不同的风险。部署携带技术风险:新的构建可能无法启动、可能破坏某个依赖,或可能需要回滚。发布携带业务和用户风险:变更可能使客户困惑,或可能需要在约定的日期落地。把两个事件耦合在一起的团队,同时接受两种风险,这把他们推向很少发布的大批量变更。把它们分开的团队,则以小步承担技术风险,并以受控的步骤承担用户风险。
分离的主要工具是特性开关(feature toggle),也称特性标志:配置中的一个开关,可以在无需新部署的情况下开启或关闭某种行为。相关的技术包括金丝雀发布(canary release),它先把变更暴露给一小部分流量;以及蓝绿部署(blue-green deployment),它保留两个生产环境,并在它们之间切换流量。所有这些都让你回答两个独立的问题:新版本是否在安全地运行,以及谁应当在何时看到新行为。
下面这些术语在本主题中反复出现。
- 发布(release)是向用户提供的某个版本或一组变更。
- 部署(deployment)是把某个版本移到某个环境。ITIL 4 为此命名了一项实践,即部署管理。
- 暗发布(dark launch)是新行为对用户处于关闭状态的部署。
- 渐进式推出(progressive rollout)是分阶段扩大暴露范围的发布,例如 1%、10%,然后是所有人。
- 批量(batch)是在一次部署或发布中一起发布的变更集合。批量大小是其中变更的数量,或变更的量。
- 发布前置时间(release lead time)是从规定的起点,到变更对其用户可用所经过的时间。你的团队要把起点写下来,因为有几种常见的起点。
- 百分位数(percentile)是低于它的观测值占规定比例的数值。发布前置时间的第 85 百分位数,是 85% 的发布都优于它的那个数字。
敏捷和 ITIL 的视角在这里相遇。遵循持续交付(continuous delivery)的敏捷团队,希望每项变更随时都可发布,并把发布视为与技术行为分开作出的业务决定。ITIL 从业者把发布管理、部署管理和变更赋能视为规划、安排和控制变更进入线上使用的实践。当发布管理被理解为大事件的日历时,两种视角就会冲突。当这项实践被理解为按需安全发布的能力,且控制内置于流水线和开关之中时,两者就相契合。
本主题不重复 DORA 研究计划的五项交付绩效测量值的定义(见主题 2.8,DORA 度量),也不重复发布之后失败和返工的测量值(见主题 4.4,变更失败与返工),也不重复变更的数量和批准(见主题 4.3,变更赋能度量)。它补充了那些主题所留下的空白:如何把发布与部署区分开来统计、一项完成的变更在用户得到它之前要等多久、批量有多大,以及使分离成为可能的开关是否被保持整洁。
最后,发布和部署的计数是领导层仪表盘上诱人的数字,古德哈特定律(Goodhart's law)立即适用(见主题 1.2,古德哈特定律与度量的心理学)。把变更拆成琐碎的片段,部署的计数就会上升。更改一个标签,发布的计数就会上升。因此,下面每项度量都附有它如何被扭曲,以及能发现这种扭曲的护栏。
关键原则
- 部署和发布是两个事件。 凡架构允许之处,就分别度量它们,并明确说出它们仍是同一个事件之处。
- 按书面规则统计。 当一个指明的环境收到一个指明的版本并成功时,部署才算数。当预期用户能够触及变更时,发布才算数。把规则只写一次,并每次以同样的方式应用。
- 描述服务,而不是人。 计数属于一项服务及其团队,绝不属于某个个人。
- 度量等待,而不仅仅是工作。 发布前置时间往往包含等待窗口、批准或决定的好几天。等待是改进通常所在之处。
- 小批量是杠杆。 频率和规模是同一件事的两个视图。把每个计数与每次发布所携带变更量的测量值配对。
- 开关是有持有成本的存货。 存活太久的开关会变成死代码和失败的来源,所以要像跟踪开关的覆盖那样仔细地跟踪开关的年龄。
度量定义
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| 部署频率 | 一项服务多常得到对生产环境的成功部署 | 期内该服务成功的生产部署计数 / 期内天数;对测试或预发环境的部署、失败或被回滚的部署,以及对未变化构建的重新部署被排除;仅配置的部署在单独的序列中计数 | 每天或每周的部署次数 | 部署流水线事件日志 | 部署管理 | 持续交付;发布可工作的增量 | 每周 |
| 发布频率 | 用户多常收到他们可以触及的变更 | 期内的发布事件计数 / 期内天数;发布事件是一项变更或一组变更对其预期用户变得可触及的时刻(对所有用户开启的开关、渐进式推出的最后阶段,或没有开关的变更的部署);暗发布、停在部分阶段的推出,以及只影响内部用户的开关变更被排除 | 每周或每月的发布次数 | 与流水线日志和发布日历相连的开关服务审计日志 | 发布管理 | 在每个增量结束时发布;提供一个可能可发布的增量 | 每周,每月评审 |
| 发布前置时间 | 一项完成的变更在用户可以触及它之前要等多久 | 时钟从变更被合并到主线并通过其自动检查时开始(或者,如果你的团队这样规定,从首次提交开始),到变更按上述定义被发布时停止;报告期内所发布变更的中位数和第 85 百分位数;尚未发布的变更被排除,并作为等待中的工作的年龄报告 | 小时或天 | 与流水线和开关审计日志相连的版本控制 | 发布管理;部署管理 | 从完成到交付的前置时间;到客户的前置时间 | 每周,每月评审 |
| 部署到发布的间隔 | 已部署的代码在用户可以触及之前保持暗状态多久 | 时钟从变更被部署到生产环境时开始,到它被发布时停止;报告中位数和第 85 百分位数;在部署的那一刻就被发布的变更间隔为零,并被包括在内;被部署后又在没有发布的情况下被移除的变更被排除并单独计数 | 小时或天 | 与开关审计日志相连的流水线日志 | 发布管理;部署管理 | 暗发布;把部署与发布解耦 | 每月 |
| 发布批量大小 | 一次发布中有多少变更一起发布 | 期内每次发布中已合并变更(拉取请求或工作项)数量的中位数和第 85 百分位数;变更的单位已写下来;每项变更只计一次,计入使其可触及的那次发布 | 每次发布的变更数 | 与发布事件相连的版本控制和问题跟踪器 | 发布管理;变更赋能 | 小批量;工作的垂直切片 | 每次发布,每月评审 |
| 特性开关覆盖率 | 在开关之后发布的、对用户可见的变更占比 | 期内发布时带有开关的、对用户可见的变更 / 期内发布的所有对用户可见的变更;无法加开关的基础设施变更和缺陷修复被排除,并写下“对用户可见”的规则 | 百分比 | 与问题跟踪器和发布日志相连的开关服务 | 发布管理;变更赋能 | 渐进式交付;实验驱动的开发 | 每月 |
| 陈旧开关计数 | 有多少开关已超出其用途 | 在其所守护的变更到达所有用户之后,仍存在于代码或配置中超过规定天数的发布开关数量;永久的运营开关(终止开关、权限开关)被标记并排除;每种开关类型的年龄上限都写下来 | 开关数,以及发布开关年龄的中位数(天) | 与代码搜索相连的开关服务清单 | 发布管理;知识管理 | 技术债清理;以移除开关作为完成标准 | 每月 |
建议
写下什么算部署、什么算发布
在统计任何一个之前,先定义这两个事件。 当一个指明的版本到达一个指明的环境且流水线报告成功时,部署才算数。当预期用户能触及变更时,发布才算数,对带开关的变更来说,这是对他们开启开关的那一刻,而不是代码到达的那一刻。在同一句话中说明排除项:测试环境、回滚、对未变化构建的重新部署,以及仅供内部的暴露。
并排报告两个序列
在一张图上展示部署频率和发布频率。 两条线重合之处,服务仍耦合着两个事件。部署远远领先于发布之处,团队已开始把它们解耦,两条线之间的距离是这项能力的标志。合并成一个数字会把这一点隐藏,并让团队可以声称一个用户从未见到的高频率。
从规定的起点到用户度量发布前置时间
一次选定时钟的起点,并坚持下去。 从首次提交开始,显示完整的旅程,从合并到主线开始,则把发布流水线及其批准隔离出来。只要在图表上说明,并且从不悄悄更改,两者都可接受。让时钟在发布而不是部署时结束,否则这项度量就不再度量用户等待的东西了。
在频率旁边跟踪批量大小
把每个频率与一个规模配对。 团队可以通过把一项变更切成自身并不独立有用的片段来提高部署计数,计数上升了,而真实的流动保持不变。批量大小的中位数和第 85 百分位数,显示这些切片是否真实。小批量更容易评审、测试和撤销,而这正是频率所代表的益处。
把渐进式推出的阶段视为事件
为推出的每个阶段记录时间戳。 从 1% 到 10% 再到所有人的推出,给出三个时间戳,每一个都是一次可以停止的机会。捕获阶段、暴露占比,以及允许进入下一阶段的健康检查结果。这使你能把因真实信号而暂停的推出与停滞的推出区分开。
保持一份带负责人和到期日期的开关清单
在创建时就给每个发布开关一位负责人、一个目的和一个计划的移除日期。 开关服务或一份朴素的登记册可以保存这些。每月评审登记册并计算陈旧开关计数。在全面推出之后仍然开着的开关,是仍会分支的死代码。把移除视为该变更完成的一部分。
按类型给开关打标签
把临时的发布开关与永久的运营开关分开。 终止开关和权限开关按设计是永久的,而发布开关应当在全面推出之后被移除。把类型混在一起,会使陈旧计数产生噪声,并招致团队删除有人在事件期间需要的开关。在创建开关时要求填写类型。
把发布与事件和变更记录相联
在事件和变更上记录发布标识符。 发布事件应当可以从事件工具追溯,使事件的原因能与被发布的变更相联,无论它是上周部署的还是今天早晨开启的。没有这个链接,不稳定性测量值就把失败归因于部署日期,而漏掉由开关变更引起的失败。生产环境中的开关变更,在 ITIL 的意义上就是变更,应当对变更赋能可见,即使它们被预先授权为标准变更(见主题 4.3,变更赋能度量)。
钻空子途径与护栏
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| 部署频率 | 把一项变更拆成琐碎的部署;重新部署未变化的构建;统计对预发环境的部署;把仅配置的部署与主序列一起统计 | 发布批量大小以及带有用户可见变更的部署占比;单独的配置序列;在其旁边的变更失败率 |
| 发布频率 | 把部署重新标注为发布;把对内部员工开启的开关算作发布;为达成目标而发布空洞或表面的变更;把推出的每个阶段算作单独的发布 | 书面的发布定义;每季度对照用户可见的变更抽查发布样本;批量大小和面向客户的变更计数 |
| 发布前置时间 | 把时钟起点往后移,例如从批准而不是合并开始;把等了很久的变更当作“被阻塞”而排除;先发布一项琐碎的变更以拉低中位数;让时钟在部署时结束 | 第 85 百分位数和最老的等待变更的年龄;固定的书面起点;每季度评审最慢的 10% 的变更 |
| 部署到发布的间隔 | 为一位象征性的用户开启开关以提早记录发布;把长期处于暗状态的代码称为“不是发布”而排除在样本之外;删除暗代码以避免长间隔 | 发布时的暴露占比(被视为已发布的阈值);已部署而被移除、未发布的变更计数;陈旧开关计数 |
| 发布批量大小 | 把工作拆成人为的拉取请求;把无关的变更合并成一项以降低发布次数;只统计捆绑中的大变更 | 以行数或文件数计的变更规模中位数作为背景测量值;评审一批发布样本是否有无关的捆绑;频率旁边的规模 |
| 特性开关覆盖率 | 给琐碎的变更添加开关以提高比率;只给安全的变更加开关,而让有风险的不加开关就发布;创建一个实际上无法关闭的开关 | 对一批开关样本的关闭测试结果;陈旧开关计数;没有开关的事件原因 |
| 陈旧开关计数 | 把发布开关重新标记为永久,使其离开陈旧计数;删除开关记录而让它留在代码中;不经评审就延长到期日期 | 对照登记册的定期代码搜索;评审对开关类型的每一次更改;最老的发布开关的年龄 |
健康的读数显示:对使用开关的服务,部署领先于发布,间隔适度,批量大小小而稳定,前置时间的第 85 百分位数离中位数不太远。有风险的变更开关覆盖率高,陈旧开关计数很低或在下降。一个看起来太好的读数,比如高频率配上增长的批量大小,或零陈旧计数配上膨胀的永久开关计数,在任何庆祝之前都值得做一次抽样审计。
权衡:利与弊
| 方法 | 优势 | 劣势 |
|---|---|---|
| 持续部署并按开关发布 | 每次部署的技术风险小;发布时机成为业务选择;快速关闭 | 需要开关的规范和工具;增加必须被测试和移除的代码路径 |
| 把部署与发布耦合 | 易于解释;一个事件可数;没有开关债 | 每次发布同时携带技术风险和用户风险,这鼓励很少发布的大批量 |
| 定期的发布列车 | 对支持人员和监管机构可预测 | 变更要等下一班列车;计数反映的是日历,而不是能力 |
| 按百分比渐进式推出 | 限制糟糕发布的影响;在每个阶段产生证据 | 需要良好的遥测和健康检查;混合的版本可能在一段时间内并行运行 |
| 同时统计部署和发布 | 显示解耦和等待 | 需要把开关审计日志或发布记录与流水线连接 |
尚无法把部署与发布解耦的服务,例如经应用商店审核而分发的移动应用,应当度量它所能度量的:发布频率、发布前置时间和批量大小,并把商店审核时间作为单独的等待来报告。
与团队讨论的问题
1. 我们是否把“部署”和“发布”用于同一个事件?这是否与实际发生的相符? 请三个人描述最近一项上线的变更,并记下代码何时到达、用户何时首次能使用它。引导者应当帮助小组为每个术语商定一句话,并决定现有每个仪表盘数字度量的是两个事件中的哪一个。
2. 一项完成的变更等待发布的最长时间是多少?为什么? 提取用户仍无法触及的最老的已合并变更。追踪它从合并到现在的路径,并写下沿途的每一次等待。
3. 如果我们的部署计数翻倍,我们在称之为好消息之前会检查什么? 邀请小组说出计数在没有更多价值到达用户的情况下上升的方式。查看批量大小、带有用户可见变更的部署占比,以及失败和返工的数字。引导者应当记下仪表盘上已有哪些检查,哪些需要在任何人设定目标之前添加。
4. 我们的哪些开关是我们不敢删除的?这告诉我们什么? 走一遍开关登记册,挑出最老的三个。问每一个由谁负责、守护什么,以及如果被移除会发生什么。不敢删除通常意味着缺失的测试、缺失的负责人或缺失的目的记录。至少为一个商定移除日期,并商定使移除安全的检查。
5. 谁决定何时发布一项变更?他们是否拥有所需的信息? 凡发布是业务选择之处,作出这项选择的人需要看到推出的状态、健康信号和支持的就绪情况。问这些事实目前存在哪里,以及决策者能多快撤销一次发布。
6. 上个季度哪次发布最糟?哪项测量值本可以提醒我们? 选择一次造成麻烦的发布,一起阅读时间线。问批量是否很大、间隔是否很长、推出是否有阶段,以及开关是否本可以限制损害。作为结果,选择一项要添加的测量值或一个要收紧的阈值。
四种视角
产品与交付团队
交付团队用这些测量值来看他们的流水线和开关是否真的给了他们对暴露的控制。最有用的视图是间隔、批量大小和最老的等待变更的年龄,因为每一个都指向团队可以改变的东西。
服务与运维团队
运维和支持团队关心生产环境中什么变了、何时变的。发布事件和开关变更需要对他们可见,最好在每起事件上都有发布标识符。分阶段推出和快速关闭,减少了需要完全恢复的事件数量,而这些度量帮助运维团队要求那些使其工作更平静的控制。
领导层与治理
领导者应当索要每项服务的趋势和分布,以及一个简单问题的答案:一项完成的变更需要多长时间才能到达用户,以及有多安全。跨团队的部署频率目标招致拆分和重新标注,所以宁取针对成果的目标,比如更窄的前置时间分布,以及消除已知的等待。只要开关审计线索完整,治理就可以通过预先授权低风险的带开关变更,来减轻发布批准的负担(见主题 4.3,变更赋能度量)。
客户与用户
客户看到的是发布,而不是部署。他们关心修复很快到来、新行为不会让他们意外,以及糟糕的变更可以被迅速撤销。把两个事件分开的团队,可以让客户提前使用某个功能、可以宣布一个能守住的日期,并且可以回滚某一项功能而不失去其余部分。把这些测量值与面向客户的测量值配对(见主题 5.3,可用性度量,以及主题 6.1,客户满意度度量)。
实践:一个服务管理示例
一家区域在线零售商运营着一项由一个产品团队拥有、由一个平台团队和服务台支持的商品搜索服务。该服务通过流水线部署到生产环境,并有一个六个月前引入的开关服务。以下所有数字均为示意。
在上个季度,团队进行了 52 次生产部署,约每周四次。发布频率,按一项变更对所有预期用户变得可触及的时刻来统计,同一季度是 11 次,约每周一次。从合并到发布的发布前置时间中位数为 9 天,第 85 百分位数为 21 天。部署到发布的间隔中位数为 6 天。发布批量大小的中位数为 3 项变更,第 85 百分位数为 14。对用户可见的变更的开关覆盖率为 58%,有 17 个发布开关在全面推出之后已超过 30 天。
钻空子的风险已经可见。有些部署是仅配置的,而流水线把每一个都算作部署,所以仪表盘现在显示单独的配置序列,月度评审则抽取 10 次部署的样本,检查是否有用户可见的变更。一位区域经理看到部署计数,要求团队把它提高到与另一个团队的数字相当。团队负责人抵制这个目标,转而把完整的一套数字带到月度评审上。评审发现,间隔之所以长,是因为发布要等每周的市场和支持简报会,17 个陈旧开关中有四个守护着没人测试过的代码路径,而批量大小的第 85 百分位数来自几次在节假日冻结之前捆绑了无关变更的发布。
记录在决定日志中的决定有四个部分。支持和市场团队将参加一个更短的、每周两次的简报会,使发布决定不再等待每周的时段。每个发布开关都获得一位负责人和一个移除日期,四个未经测试的陈旧开关在接下来的两周内被移除。捆绑无关变更的发布,需要在发布记录中陈述理由。并且团队拒绝了共同的部署目标,转而提供一个显示各服务发布前置时间分布和开关整洁度的共享视图。变更经理同意把通过流水线检查的带开关变更视为标准变更,并在下个季度评审。在下个季度(示意),发布前置时间中位数降至 5 天,陈旧开关计数降至 6,而变更失败率保持稳定,所以实验继续进行。
敏捷、AI、自动化与分析
敏捷
把部署与发布分开,让团队可以持续发布小变更,并在干系人准备好时发布。定期评审开关的整洁度。需要注意的是,统计部署会奖励拆分变更。
AI
AI 辅助编码可以提高部署计数和批量大小。把频率与失败部署恢复和陈旧开关计数配对,并在数据中标明 AI 辅助的变更。需要注意的是,更多的部署伴随更多的返工,不是进步。
自动化
根据流水线事件统计部署和发布,并把开关清理的提醒自动化。就流水线本身的失败率来度量它。需要注意的是,在流水线之外的手工发布会从数据中消失。
分析
连同前置时间和批量大小,以及部署与发布之间的间隔,一起展示频率。这为之提供依据的决定是通往用户的路径在哪里缓慢。需要注意的是,各团队对部署的定义不同。
行业视角
初创公司。 初创公司往往只有一项服务,代码中有一个开关库,所以部署与发布可以低成本地分开。保持一份带到期日期的简单开关登记册,并在业务量足够之后才信任百分位数。
小型企业。 小型企业可能运行由供应商控制发布的打包或外购软件。有用的测量值是供应商发布与企业采纳之间的时间,以及在一个主要版本中一起到来的变更批量。记录供应商的发布日期和你自己的部署日期,使两者之间的等待可见。
大型企业。 大型企业面对众多采用不同发布风格的服务、一个中央变更流程和共享环境。主要的工作是在团队和供应商之间就部署和发布的定义达成一致,并保持一个尊重差异的汇总。为治理使用分布和趋势,并把开关平台视为带负责人的共享服务。
政府与公共部门。 发布往往与固定日期、法律、采购周期或保证关口相联,所以发布频率可能因合理的原因而较低。部署频率以及部署到发布的间隔,仍然可以显示有多少风险被提前承担了,又有多少在等待日期。把对外部关口的等待与团队自己的流水线时间分开报告。
业务论证:动因、投资回报与总拥有成本
这些度量的动因,是降低完成一项变更与交付其价值之间的风险和延迟。很少发布的大批量,每个事件携带更多变更,所以失败更难诊断、更难撤销。把部署与发布分开,给了团队一种及早且少量地承担技术风险、并有意识地承担用户风险的办法。这些度量显示分离是否真实,以及变更在哪里等待。
成本适中。收集部署和发布事件,需要把流水线日志和开关审计日志与版本控制和问题跟踪器相连,这是一次性的集成,之后只需偶尔维护(见主题 1.5,数据来源与埋点)。开关实践本身有运行成本:平台或库、登记册、测试带开关变更的两条路径,以及清理过期的开关。主要的隐性成本是开关债,陈旧开关计数使它保持可见。
回报遵循大多数团队可以在自己数据中观察到的模式。更短的发布前置时间,意味着关于一项变更是否帮助了用户的反馈回路更快。更小的批量,意味着更容易诊断、更容易撤销。更短的部署到发布的间隔,意味着已完成的工作未被兑现的时间更少。不要虚构价值的数字。使用团队自己的例子,即那些暗置数周的变更,以及它自己测量值的趋势。
反模式与陷阱
- 为每个团队设定部署频率目标。 它招致拆分和重新标注。设定成果目标,比如更窄的前置时间分布,让频率随之而来。
- 把发布列车视为能力的证明。 固定的日历给出稳定的计数,却隐藏了等待中的工作的年龄。跟踪用户仍无法触及的最老的已合并变更的年龄。
- 在主序列中把配置变更算作部署。 它膨胀数字。保持单独的序列,并并排展示。
- 从不移除开关。 代码累积死分支和未经测试的组合。给每个发布开关一位负责人和移除日期,并把移除视为完成的一部分。
- 在没有记录的情况下更改生产环境中的开关。 开关变更是对生产行为的变更。把它送入审计日志,并使其对变更赋能可见。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 定义与时钟 | “部署”和“发布”被互换使用;每个人的统计方式不同 | 少数团队写下自己的定义 | 度量登记册中有一份关于部署和发布的书面定义,含时钟和排除项 | 定义变更被记录并在图表上标注;每季度抽查 | 当定义不再为决定提供依据时,与供应商和治理机构联合修订 |
| 部署与发布的分离 | 每次部署都是发布 | 一些团队对有风险的变更使用开关或分阶段推出 | 开关和分阶段推出是标准选项,并记录发布事件 | 对间隔、批量大小和推出阶段做趋势分析并评审 | 为相关服务在团队和供应商之间协调发布时机 |
| 数据捕获 | 根据工单和聊天手工拼凑计数 | 一些服务有流水线数据;发布手工记录 | 对大多数服务自动捕获部署、发布和开关变更 | 度量并做趋势分析数据质量(链接率、样本审计) | 事件通过约定的接口在团队和供应商之间共享 |
| 开关整洁度 | 没有清单 | 一些团队有非正式的清单 | 为每个发布开关建立带负责人、类型和到期日期的登记册 | 对陈旧开关计数做趋势分析;移除是完成的一部分并被检查 | 开关平台作为共享服务管理,带自动的到期提醒 |
| 数字的使用 | 作为单一计数向上报告 | 团队偶尔查看自己的图表 | 由所属团队每月连同失败和返工的数字一起评审 | 趋势为带护栏的、有资助的改进提供输入 | 分布和趋势为全组织的平台投资和变更政策提供依据 |
检查清单
- “部署”和“发布”已书面定义,含各自的时钟事件和排除项。
- 对生产环境的部署由流水线自动捕获,测试环境被排除。
- 发布事件从开关审计日志、推出阶段或发布记录中捕获。
- 发布前置时间使用明确的时钟起点,并报告中位数和第 85 百分位数。
- 在频率旁边报告部署到发布的间隔和发布批量大小。
- 仅配置的部署出现在单独的序列中。
- 每个发布开关在登记册中都有负责人、类型和到期日期。
- 每月评审陈旧开关,其移除是完成的一部分。
- 发布标识符出现在事件和变更记录上。
- 每个季度对照定义审计一批部署和发布的样本。
- 一项与最长等待相联的改进实验正在进行,并有评审日期。
AI 提示词
为一项服务起草部署和发布的定义。
我正在为 [服务名称] 定义发布和部署度量。我们的工具是 [版本控制托管方、CI/CD 系统、开关服务、问题跟踪器、ITSM 工具]。我们的发布风格是 [持续、每周列车、每月、经商店审核或其他]。请为部署频率、发布频率、发布前置时间、部署到发布的间隔、发布批量大小、特性开关覆盖率和陈旧开关计数起草定义,说明时钟从何处开始和停止、统计什么和排除什么、数据来源,以及一处需要解决的含糊之处。不要虚构基准值,也不要声称我们的实践符合任何已公布的绩效区间。请列出你的假设,以及我应当回答哪些问题以完成这些定义。
检查一组发布度量的钻空子风险。
这是我们计算和报告发布与部署度量的方式:[对每项度量、其数据来源及报告方式的描述]。受众是 [团队、领导层或治理机构],目标(如有)是 [目标或无]。对每项度量,列出数字可能被膨胀、隐藏或扭曲而没有真正改进的合理方式,并建议能发现它的配对护栏度量或实践。不要虚构统计数据。请列出你的假设,以及为了更精确你需要的任何信息。
分析部署、发布和开关的导出数据。
我将粘贴一份带有这些字段的小型导出数据:[字段清单,例如部署 id、部署时间、结果、变更 id、开关名称、开关开启时间、暴露占比、发布时间]。它涵盖 [服务名称] 在 [开始日期] 与 [结束日期] 之间的 [数量] 次部署和 [数量] 个开关。请计算发布前置时间和部署到发布间隔的中位数和第 85 百分位数、批量大小分布,以及自全面推出以来超过 [年龄上限] 天的开关清单,并显示每项背后的计数。标出缺少链接或时间戳可疑的记录。不要在数据之外外推,也不要将结果与外部基准比较。请列出你的假设,以及限制结论的数据质量问题。
规划开关清理和发布等待的实验。
我们最长的发布等待是 [等待的描述,附日期范围和计数],我们的开关登记册持有 [数量] 个发布开关,其中 [数量] 个已超过到期日期。约束有 [约束,例如受监管的发布、商店审核、共享的测试环境]。请提出三项四到六周的小实验,各附一个假设、一种观察效果的办法、一道护栏度量和一项风险。不要虚构预期的改进数字。请列出你的假设,以及我们在开始之前应当检查什么。
AI 技能
- Service Management Metrics skill:用于查找相关的变更、发布和事件主题,以及应当放在每项发布度量旁边的护栏。
- Service Management Metrics maintainer skill:用于检查本主题的修订版本是否保持其时钟、钻空子途径和交叉引用一致。
要点
- 部署把一个版本放入一个环境,发布使一项变更对用户可触及。凡可能之处,就分别度量两者。
- 发布前置时间应当在发布时结束,附明确的起点,并以中位数和第 85 百分位数报告。
- 部署到发布的间隔和批量大小显示解耦是否真实,并防范频率被拆分和重新标注。
- 特性开关使分离成为可能,也带来成本,所以要用负责人和到期日期跟踪覆盖率和陈旧开关。
- 按书面规则统计,把发布与事件和变更相联,并把一项服务与它自己的历史而不是其他团队比较。
参考文献与延伸阅读
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Humble, J., and Farley, D., Continuous Delivery: Reliable Software Releases through Build, Test, and Deployment Automation, Addison-Wesley, 2010.
- DORA, DORA's software delivery performance metrics, Google Cloud, https://dora.dev/guides/dora-metrics/
- Hodgson, P., "Feature Toggles (aka Feature Flags)," martinfowler.com, 2017, https://martinfowler.com/articles/feature-toggles.html
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Software deployment.
- Wikipedia, Release management.
- Wikipedia, Feature toggle.
- Wikipedia, Canary release.
- Wikipedia, Blue-green deployment.
- Wikipedia, Continuous delivery.
- Wikipedia, Goodhart's law.