流水线与自动化变更度量
交付流水线既是变更到达用户的途径,也是它们安全的证据的来源,所以要度量它的速度、它的可靠性、它处理多少变更批准,以及它所产生的证据是否能说服审计员,并把所有这些都读作系统的测量值,绝不是使用它的人的测量值。
概述与动因
持续集成(continuous integration)和持续交付(continuous delivery)流水线,通过自动化的构建、测试、安全检查和部署,把变更从开发人员的工作带到运行中的服务。当流水线被信任时,它也能为例行变更作出过去由变更咨询委员会作出的决定。ITIL 把管理变更的实践称为“变更赋能”,其目的是让有益的变更安全而迅速地发生。运行检查、记录证据,并自动批准低风险变更的流水线,是达成这一目的的一种办法。
因此,流水线同时是两件事。它是生产系统,有自己的可用性、速度和失败,它也是一项控制措施,带有关于测试了什么、谁评审过以及批准了什么的证据。两者都需要度量。跳过检查的快速流水线是风险。缓慢而不稳定的流水线促使人们绕开它,而被绕开的变更逃脱了流水线本意要提供的每一项控制。
本主题通过聚焦于作为系统的流水线,补充第 4 部分的变更测量值(见主题 4.3,变更赋能度量,以及主题 4.4,变更失败与返工)和发布测量值(见主题 4.5,发布与部署度量)。它通过查看流水线内部发生的事,补充 DORA 测量值(见主题 2.8,DORA 度量)。它也与主题 10.6 的一般自动化测量值相关(见主题 10.6,自动化与编排度量)。
这里使用的术语。流水线运行(pipeline run)是流水线对一项变更的一次执行。阶段(stage)是流水线中的一步,比如构建或测试。不稳定的测试(flaky test)是在同样的代码上有时通过、有时失败的测试。绕开(bypass)是在没有通过流水线的情况下到达生产环境的变更,例如通过紧急的手工部署。政策即代码(policy as code)意味着把“没有通过安全扫描就不得部署”之类的规则,写成流水线所强制执行的软件。证据(evidence)是对一项变更经历了什么的记录证明。ITIL 中的标准变更(standard change)是低风险、被充分理解、预先批准的变更类型。
关键原则
- 流水线是一项服务。 像对任何生产系统一样,度量它的可靠性、速度和失败,并给它一个负责人。
- 度量绕开。 避开流水线的变更数量,显示流水线能被信任多少。
- 依据风险并带证据地自动化批准。 预先批准被充分理解的,把人工评审保留给没有被理解的。
- 证据是一种产品。 流水线所记录的,应当无需手忙脚乱就回答审计员的问题。
- 快速与安全一起度量。 速度测量值与失败和返工配对。
- 描述系统,而不是人。 关于谁推送了变更的流水线数据,不是绩效排名。
度量定义
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| 流水线成功率 | 完成时没有由流水线或其环境引起的失败的流水线运行占比 | 通过、或仅因真正的代码缺陷而失败的运行 / 启动的运行;被用户取消的运行被排除并报告 | 百分比 | 流水线平台日志 | 发布管理;变更赋能 | 持续集成的健康 | 每周 |
| 流水线时长 | 一项变更通过流水线所需的时间 | 对到达部署的运行,(最后一个阶段完成的时间减去运行开始的时间) 的中位数和第 85 百分位数 | 分钟 | 流水线平台日志 | 发布管理 | 短的反馈闭环 | 每周 |
| 不稳定测试率 | 在没有代码变更的情况下重新运行就通过的测试失败占比 | 重新运行通过的失败 / 测试失败 | 百分比 | 测试结果和重新运行日志 | 发布管理 | 完成定义;测试实践 | 每月 |
| 自动批准占比 | 在没有人工批准步骤的情况下,由流水线政策批准的变更占比 | 仅由政策批准的变更 / 已部署的变更 | 百分比 | 流水线和变更记录 | 变更赋能 | 带自动化检查的主干开发 | 每月 |
| 绕开率 | 没有通过流水线的生产变更占比 | 通过把部署记录与流水线记录相比较而发现的、在流水线之外作出的生产变更 / 所有生产变更 | 百分比 | 部署记录、配置审计和流水线日志 | 变更赋能;配置管理 | 工作协议 | 每月 |
| 证据完整性 | 记录显示必需证据的、通过流水线部署的变更占比 | 所有必需证据项(测试、评审、扫描、批准)都已相联的变更 / 已部署的变更 | 百分比 | 流水线和变更记录 | 变更赋能;治理 | 完成定义 | 每月 |
| 政策关口失败率 | 被政策检查停止的运行占比,按真正的违规和政策错误拆分 | 被政策关口停止的运行 / 启动的运行;原因通过抽样分类 | 百分比 | 流水线日志和关口记录 | 变更赋能;风险管理 | 验收标准 | 每月 |
流水线成功率排除被人取消的运行,后者单独报告,并把由不稳定的测试或环境故障引起的失败计为流水线失败。绕开率需要对生产中正在运行之物的独立记录,所以不能单从流水线计算。
建议
把流水线视为一项服务
1. 给流水线一个负责人和目标。 一个指名的团队拥有流水线的可靠性和速度,附服务级别目标,比如在规定时间内完成的运行占比。没有负责人,不稳定就会增长,直到人们不再信任它。
2. 把时长作为分布来度量。 中位数隐藏了人们所等待的缓慢运行。展示中位数和第 85 百分位数,并把时长拆分为各个阶段,以找出最长的等待,它往往是对共享运行器的排队或手工批准。
3. 跟踪并修复不稳定的测试。 不稳定的测试教会人们重新运行直到变绿。统计不稳定的失败,把每一个指派给负责人,并在某个日期之前修复或隔离它。人们出于习惯而重新运行的流水线,没有在产生证据。
谨慎地自动化批准
4. 按风险对变更分类。 与变更负责人商定哪些类型的变更是标准的、可以由政策批准,哪些需要人。依据失败数据定期评审该分类(见主题 4.4,变更失败与返工)。
5. 把政策写成代码并测试它。 由流水线强制执行的规则就是代码,需要像任何代码一样有测试和负责人。记录每次运行适用了哪个政策版本。
6. 为不寻常的情形保留人工路径。 紧急和高风险的变更需要一个能依据证据作决定的人。测试这条路径是否有效,并度量它需要多久。
产生有用的证据
7. 决定你需要什么证据。 从审计员或事件评审者所问的问题倒推:测试了什么、谁评审过、扫描了什么、谁批准了、部署了什么。让流水线恰好记录这些,并把它与变更相联。
8. 通过抽样度量完整性。 依据流水线自己的计数,证据完整性可能很高,而内容却是空的。检查一批记录样本,以确认证据是真实的并与实际运行的相符。
9. 使证据防篡改。 把流水线记录存放在部署者无法编辑的地方,并按你的规则所要求的保留期限保存它们。与你自己的法律顾问核实保留要求。
留意绕开和漂移
10. 把生产与流水线相比较。 把生产中正在运行的东西与流水线所部署的对账。差异就是绕开或漂移,每一个都值得简短、免责地看一看,为什么流水线被避开了。
11. 使流水线成为最容易的路径。 人们会绕开缓慢而不稳定的流水线。如果绕开上升,首先看速度和可靠性,以及流水线未能满足的紧急需要。
12. 评审关口的价值。 从未阻止过真正缺陷、却延迟每次运行的关口,是移除或重新设计的候选。因政策错误而阻止许多运行的关口,需要修复政策。
钻空子途径与护栏
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| 流水线成功率 | 把基础设施的失败重新归类为已取消;重新运行直到变绿,只统计最后一次运行 | 统计所有的尝试;报告每项变更的重新运行 |
| 流水线时长 | 把缓慢的阶段移到所度量的窗口之外;跳过阶段 | 从提交到已部署端到端地度量;把已运行的阶段与必需的阶段相比较 |
| 不稳定测试率 | 删除或静默不稳定的测试;把失败标记为已知 | 测试数量和覆盖趋势;评审被隔离的测试,附日期 |
| 自动批准占比 | 放宽“标准”类别,把有风险的变更包括进来 | 自动批准的变更的变更失败率;抽样已批准的变更 |
| 绕开率 | 把紧急的手工部署记录为流水线运行;不与生产对账 | 把生产状态与流水线记录对账;抽样部署 |
| 证据完整性 | 附上空的或不相关的证据;链接一份通用的报告 | 抽样证据的内容;检查它是否与变更相符 |
| 政策关口失败率 | 放松政策以减少失败;把真正的违规归类为政策错误 | 抽样被停止的运行;逃逸的缺陷率和来自审计的发现 |
健康的读数是:快速而稳定到人们对一切都使用它的流水线、接近于零且每个例外都得到理解的绕开率、不断增长的自动批准占比并附稳定的变更失败率,以及在抽样时经得起检验的证据。
权衡:利与弊
| 方法 | 优势 | 劣势 |
|---|---|---|
| 繁重的流水线检查 | 及早发现缺陷;强有力的证据 | 运行缓慢;更多不稳定;绕开的压力 |
| 轻量的流水线 | 快速反馈 | 较弱的证据;更多缺陷到达生产环境 |
| 对标准变更的自动批准 | 消除等待;决定一致 | 放宽类别的风险;政策错误被放大 |
| 对所有变更的人工批准 | 熟悉;问责可见 | 等待;批准可能变成形式 |
结论是使流水线保持快速且受信任,只通过政策批准被充分理解的东西,并度量绕开。人们避开的繁重检查,什么也保护不了。
与团队讨论的问题
1. 我们的生产变更中有多大比例通过流水线?我们怎么知道? 索要把生产状态与流水线记录相比较的办法。团队常常发现绕过流水线的紧急修复、配置变更和数据变更。预料会有防御性的回答,所以把每次绕开视为信息。随后问什么本来会使流水线成为更容易的路径。
2. 我们的哪些测试要重新运行直到它们通过?由谁拥有? 重新运行的习惯显示信任在哪里被侵蚀。列出一份清单并指定负责人。讨论是修复还是移除每一个。这场交谈常常显示,少数几个测试造成大部分噪声。
3. 我们今天自动批准哪些变更?应当批准哪些? 列出变更的类型以及每一类的失败历史。决定哪些风险低且测试良好。问什么会使你停止自动批准某一类。随后商定对该分类的评审日期。
4. 如果审计员问起上周二的部署,我们能展示什么? 走一遍一项真实的变更,并调出它的证据。注意缺口和手工步骤。问证据是当时记录的,还是事后重建的。随后选择一个要弥合的缺口。
5. 我们的流水线把时间花在哪里?谁在等待? 查看阶段的拆分。最长的等待往往是队列或手工批准。问等待的人是否可以做别的事,以及等待在反馈延迟方面的代价是什么。选择一项要消除的延迟。
6. 哪个关口从未阻止过任何有用的东西? 查看过去一个季度关口的停止原因。只有政策错误的关口需要修复,而从未停止任何东西的关口可能是多余的。问移除它是否会增加风险。商定一次试验。
四种视角
产品与交付团队
你每天都依赖流水线。让测试可靠,让变更保持小,并把不稳定的测试视为产品中的缺陷。使用流水线数据找出你自己的延迟,并让它远离个人绩效的谈话。
服务与运维团队
你继承流水线所发布的东西。索要事件所需要的证据,比如什么变了、何时变的,以及快速回退。跟踪绕开和漂移,并把它们作为关于为什么的交谈带给团队。
领导层与治理
把流水线作为生产服务出资,附负责人、容量和修复不稳定的时间。索要绕开率、通过抽样得到的证据完整性,以及自动批准的变更失败率。抵制把部署次数作为成功测量值的压力。
客户与用户
当变更频繁而安全地到来时你受益,当某项变更破坏了什么时你受害。问变更是如何被测试的,以及糟糕的变更多快被撤销。你在发布之后对问题的报告,是流水线无法提供的反馈的一部分。
实践:一个服务管理示例
一家区域医院的 IT 部门为其临床排程应用运行一条流水线。本示例中的数字均为示意。变更咨询委员会每周开会,例行变更平均要等四天才获批准。团队提议通过流水线批准标准变更。
在开始之前,他们先度量。流水线成功率为 82%,对失败的抽样显示,约三分之一是不稳定的测试。第 85 百分位数的时长为 47 分钟,其中对共享构建运行器有 20 分钟的排队。把部署记录与流水线记录相比较,显示约 12% 的生产变更绕开了流水线,主要是配置编辑和紧急修复。
团队修复了最不稳定的五个测试,添加了一个构建运行器,并创建了一条通过流水线的配置变更路径。三个月后,绕开降至 3%。随后他们为排程应用定义了一个由小型、经过测试、可逆的变更构成的标准变更类别,附针对测试、安全扫描和同行评审的政策检查。自动批准占比达到约 40%,这些变更的批准前置时间从数天降至几分钟。
出现了一个钻空子的风险。一位经理要求通过把数据库模式变更加入标准类别,来提高自动批准占比。团队检查了模式变更的变更失败率,它高于其他变更,于是继续把它们交给人工评审者。依据流水线自己的计数,证据完整性为 98%,但对 20 条记录的抽样显示,其中有四条附着的是来自另一次构建的测试报告。团队修复了链接规则。仍然困难的是:紧急修复的绕开仍需要事后记录,而影响患者安全的变更的临床风险评审仍由人来承担。
敏捷、AI、自动化与分析
敏捷
通过受信任的流水线进行小而频繁的变更,是持续交付的核心,而流水线自己的待办事项列表,值得与产品一样与干系人进行定期评审。一个好的做法是在定期的改进交流中评审不稳定的测试和绕开。需要注意的是,只庆祝部署频率,会奖励拆分变更。
AI
AI 可以在流水线内编写代码和测试、评审变更并评估变更风险。在数据中标记 AI 辅助的变更,并把它们的失败和返工与其他变更相比较(见主题 10.2,度量 AI 辅助的工作)。如果 AI 关口作决定或提出建议,就通过抽样度量它的误批准和误阻止,并让人对高风险的变更负责。需要注意的是,AI 生成的测试可能在没有测试重要行为的情况下提高覆盖数字。
自动化
流水线就是自动化,所以做法是把它视为生产服务,附日志、负责人和针对紧急情况的手工后备。自动化证据的收集,以及生产与流水线记录的对账。需要注意的是,自动批准放大政策错误的影响,所以要测试政策并保留暂停控制。
分析
使用流水线事件来显示时间花在哪里、失败聚集在哪里,并把运行与事件和返工相联。这为之提供依据的决定是在速度、可靠性或测试上在哪里投资。需要注意的是,流水线数据不显示测试的质量,所以要把它与逃逸的缺陷结合起来,并展示每个比率背后的运行次数(见主题 10.8,分析与数据质量度量)。
行业视角
初创公司。 带快速测试和自动部署到生产环境的简单流水线可能就足够了。度量时长和绕开,并在代码仓库中记录测试和评审的证据。
小型企业。 流水线可能是托管服务或供应商的。问它在哪里记录什么,并保留重建已部署内容的办法。避免构建你不会维护的控制措施。
大型企业。 跨团队的许多流水线,需要通用的证据格式和共享的政策。保持对绕开和证据完整性的中央视图,由团队层面负责修复。避免在团队需求不同之处强制使用一种工具。
政府与公共部门。 职责分离、审计轨迹和保留规则塑造流水线。为审计设计证据,并检查法律和采购要求,包括针对自动化决定的要求(见主题 8.3,合规与审计度量,以及主题 8.5,受监管与政府报告)。
业务论证:动因、投资回报与总拥有成本
成本是流水线平台和运行器、编写和维护测试与政策的工作、修复不稳定的时间,以及存储证据的成本。当流水线和变更记录相联时,这些测量值本身成本很低。
回报是更短的批准等待、更少的手工步骤、更早发现缺陷,以及在需要时已经就绪的证据。这些表现为更快的交付和审计时更少的工作量,但容易夸大。度量你自己的基线,比如批准前置时间和汇编审计证据的工作量,前后对比,并把假设表述为区间(见主题 7.7,投资回报与业务论证)。风险一面是逃出流水线的失败的成本,以及阻止所有变更的流水线中断的成本。
反模式与陷阱
- 把部署次数算作成功。 它奖励拆分变更。与失败和返工配对。
- 重新运行直到变绿。 它隐藏不稳定的测试和薄弱的证据。统计不稳定并修复它们。
- 忽略绕开。 避开流水线的变更,正是它无法保护的。把生产与流水线记录对账。
- 放宽标准类别以提高自动化。 占比上升,失败率随之上升。依据失败数据评审该类别。
- 存在却什么也说明不了的证据。 抽样内容,而不仅仅是存在。
- 没有负责人的流水线。 它会衰败。指名一个团队并给它时间。
- 把政策错误当作代码缺陷。 人们学会忽略关口。对停止分类并修复政策。
- 没有紧急情况的手工路径。 人们会绕开。提供快速、经审计的路径。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 流水线可靠性 | 临时的构建;频繁的无法解释的失败 | 流水线存在;跟踪成功率 | 负责人、目标和不稳定测试的处理 | 按阶段评审时长和失败 | 流水线在团队之间共享模式和容量 |
| 批准与政策 | 对所有变更的手工批准 | 定义了一些标准变更 | 针对标准变更的政策即代码,附测试 | 依据失败数据评审批准类别 | 在约定的限度内,基于风险的批准自动适应 |
| 证据与绕开 | 事后重建证据 | 记录一些证据 | 记录并相联必需的证据 | 对账绕开并抽样完整性 | 证据和对账完全自动化并被审计 |
检查清单
- 流水线有指名的负责人,以及针对可靠性和速度的目标。
- 按阶段报告流水线成功率和时长百分位数。
- 统计不稳定的测试,每一个都有负责人和修复日期。
- 以风险标准定义标准变更类别,并依据失败数据评审。
- 政策是代码、经过测试并有版本管理,并记录每次运行的版本。
- 把生产状态与流水线记录对账,以发现绕开。
- 为每项已部署的变更定义并记录必需的证据。
- 通过抽样内容来检查证据完整性。
- 存在并测试经审计的紧急路径。
- 每项测量值旁边都展示了钻空子途径和护栏。
AI 提示词
为自动批准按风险对变更分类。
这是我们所作变更的类型清单,以及每一类近来的历史:[粘贴变更类型,附变更和失败的计数(如有)]。请提出哪些类型可能是自动批准的候选、哪些应当保留人工评审者,附推理以及我需要的证据。不要虚构失败率。把每项建议标为由变更负责人来决定的提议。请列出你的假设,以及我应当收集的数据。
定义流水线应当记录的证据。
我们的流水线是 [阶段和工具的描述]。我们的变更记录保存在 [工具] 中。在任何部署之后,我们必须回答这些问题:[列出来自审计员或事件评审者的问题]。请提出流水线应当记录并链接的证据项、存放在哪里,以及如何检查它们是真实的而不是空的。不要陈述合规声明或法律要求。请列出你的假设,以及要问我们合规团队的问题。
分析不稳定测试的数据。
以下是 [期间] 内失败的测试和重新运行结果的摘要:[粘贴不含个人信息的数据]。请找出失败后重新运行又通过的测试,按领域对它们分组,并提出修复它们的顺序。不要猜测数据所不支持的原因。说明哪些额外的数据会有帮助。请列出你的假设。
评审流水线仪表盘的钻空子风险。
我们报告这些流水线测量值:[粘贴测量值及其定义]。背景:[团队规模、工具、受众]。对每项测量值,列出它在没有改进交付或安全的情况下看起来更好的现实方式,提出一道护栏,并说明该护栏如何可能被钻空子。不要虚构基准值。请列出你的假设。
AI 技能
- Change request:用于定义变更记录及其证据应当包含什么。
- Release notes:用于把流水线的输出变成给用户和运维的说明。
- Service Management Metrics skill:用于查找涵盖某项度量及其配对护栏的主题。
要点
- 流水线既是生产服务也是控制措施,所以要度量其可靠性、速度和它所产生的证据。
- 通过把生产与流水线记录对账来度量绕开,并使流水线成为最容易的路径。
- 只自动批准被充分理解的变更,附经过测试的政策,其余的则走人工路径。
- 统计不稳定的测试并修复它们,因为重新运行直到变绿会破坏信任和证据。
- 抽样检查证据的内容,因为仅有完整性计数,可以用空记录来满足。
参考文献与延伸阅读
- Wikipedia, Continuous integration.
- Wikipedia, Continuous delivery.
- Wikipedia, Software deployment.
- Wikipedia, DevOps.
- Wikipedia, Test automation.
- Wikipedia, ITIL.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.