概述与动因

持续集成(continuous integration)和持续交付(continuous delivery)流水线,通过自动化的构建、测试、安全检查和部署,把变更从开发人员的工作带到运行中的服务。当流水线被信任时,它也能为例行变更作出过去由变更咨询委员会作出的决定。ITIL 把管理变更的实践称为“变更赋能”,其目的是让有益的变更安全而迅速地发生。运行检查、记录证据,并自动批准低风险变更的流水线,是达成这一目的的一种办法。

因此,流水线同时是两件事。它是生产系统,有自己的可用性、速度和失败,它也是一项控制措施,带有关于测试了什么、谁评审过以及批准了什么的证据。两者都需要度量。跳过检查的快速流水线是风险。缓慢而不稳定的流水线促使人们绕开它,而被绕开的变更逃脱了流水线本意要提供的每一项控制。

本主题通过聚焦于作为系统的流水线,补充第 4 部分的变更测量值(见主题 4.3,变更赋能度量,以及主题 4.4,变更失败与返工)和发布测量值(见主题 4.5,发布与部署度量)。它通过查看流水线内部发生的事,补充 DORA 测量值(见主题 2.8,DORA 度量)。它也与主题 10.6 的一般自动化测量值相关(见主题 10.6,自动化与编排度量)。

这里使用的术语。流水线运行(pipeline run)是流水线对一项变更的一次执行。阶段(stage)是流水线中的一步,比如构建或测试。不稳定的测试(flaky test)是在同样的代码上有时通过、有时失败的测试。绕开(bypass)是在没有通过流水线的情况下到达生产环境的变更,例如通过紧急的手工部署。政策即代码(policy as code)意味着把“没有通过安全扫描就不得部署”之类的规则,写成流水线所强制执行的软件。证据(evidence)是对一项变更经历了什么的记录证明。ITIL 中的标准变更(standard change)是低风险、被充分理解、预先批准的变更类型。

关键原则

  • 流水线是一项服务。 像对任何生产系统一样,度量它的可靠性、速度和失败,并给它一个负责人。
  • 度量绕开。 避开流水线的变更数量,显示流水线能被信任多少。
  • 依据风险并带证据地自动化批准。 预先批准被充分理解的,把人工评审保留给没有被理解的。
  • 证据是一种产品。 流水线所记录的,应当无需手忙脚乱就回答审计员的问题。
  • 快速与安全一起度量。 速度测量值与失败和返工配对。
  • 描述系统,而不是人。 关于谁推送了变更的流水线数据,不是绩效排名。

度量定义

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏
流水线成功率 完成时没有由流水线或其环境引起的失败的流水线运行占比 通过、或仅因真正的代码缺陷而失败的运行 / 启动的运行;被用户取消的运行被排除并报告 百分比 流水线平台日志 发布管理;变更赋能 持续集成的健康 每周
流水线时长 一项变更通过流水线所需的时间 对到达部署的运行,(最后一个阶段完成的时间减去运行开始的时间) 的中位数和第 85 百分位数 分钟 流水线平台日志 发布管理 短的反馈闭环 每周
不稳定测试率 在没有代码变更的情况下重新运行就通过的测试失败占比 重新运行通过的失败 / 测试失败 百分比 测试结果和重新运行日志 发布管理 完成定义;测试实践 每月
自动批准占比 在没有人工批准步骤的情况下,由流水线政策批准的变更占比 仅由政策批准的变更 / 已部署的变更 百分比 流水线和变更记录 变更赋能 带自动化检查的主干开发 每月
绕开率 没有通过流水线的生产变更占比 通过把部署记录与流水线记录相比较而发现的、在流水线之外作出的生产变更 / 所有生产变更 百分比 部署记录、配置审计和流水线日志 变更赋能;配置管理 工作协议 每月
证据完整性 记录显示必需证据的、通过流水线部署的变更占比 所有必需证据项(测试、评审、扫描、批准)都已相联的变更 / 已部署的变更 百分比 流水线和变更记录 变更赋能;治理 完成定义 每月
政策关口失败率 被政策检查停止的运行占比,按真正的违规和政策错误拆分 被政策关口停止的运行 / 启动的运行;原因通过抽样分类 百分比 流水线日志和关口记录 变更赋能;风险管理 验收标准 每月

流水线成功率排除被人取消的运行,后者单独报告,并把由不稳定的测试或环境故障引起的失败计为流水线失败。绕开率需要对生产中正在运行之物的独立记录,所以不能单从流水线计算。

建议

把流水线视为一项服务

1. 给流水线一个负责人和目标。 一个指名的团队拥有流水线的可靠性和速度,附服务级别目标,比如在规定时间内完成的运行占比。没有负责人,不稳定就会增长,直到人们不再信任它。

2. 把时长作为分布来度量。 中位数隐藏了人们所等待的缓慢运行。展示中位数和第 85 百分位数,并把时长拆分为各个阶段,以找出最长的等待,它往往是对共享运行器的排队或手工批准。

3. 跟踪并修复不稳定的测试。 不稳定的测试教会人们重新运行直到变绿。统计不稳定的失败,把每一个指派给负责人,并在某个日期之前修复或隔离它。人们出于习惯而重新运行的流水线,没有在产生证据。

谨慎地自动化批准

4. 按风险对变更分类。 与变更负责人商定哪些类型的变更是标准的、可以由政策批准,哪些需要人。依据失败数据定期评审该分类(见主题 4.4,变更失败与返工)。

5. 把政策写成代码并测试它。 由流水线强制执行的规则就是代码,需要像任何代码一样有测试和负责人。记录每次运行适用了哪个政策版本。

6. 为不寻常的情形保留人工路径。 紧急和高风险的变更需要一个能依据证据作决定的人。测试这条路径是否有效,并度量它需要多久。

产生有用的证据

7. 决定你需要什么证据。 从审计员或事件评审者所问的问题倒推:测试了什么、谁评审过、扫描了什么、谁批准了、部署了什么。让流水线恰好记录这些,并把它与变更相联。

8. 通过抽样度量完整性。 依据流水线自己的计数,证据完整性可能很高,而内容却是空的。检查一批记录样本,以确认证据是真实的并与实际运行的相符。

9. 使证据防篡改。 把流水线记录存放在部署者无法编辑的地方,并按你的规则所要求的保留期限保存它们。与你自己的法律顾问核实保留要求。

留意绕开和漂移

10. 把生产与流水线相比较。 把生产中正在运行的东西与流水线所部署的对账。差异就是绕开或漂移,每一个都值得简短、免责地看一看,为什么流水线被避开了。

11. 使流水线成为最容易的路径。 人们会绕开缓慢而不稳定的流水线。如果绕开上升,首先看速度和可靠性,以及流水线未能满足的紧急需要。

12. 评审关口的价值。 从未阻止过真正缺陷、却延迟每次运行的关口,是移除或重新设计的候选。因政策错误而阻止许多运行的关口,需要修复政策。

钻空子途径与护栏

度量 如何被钻空子 配对的护栏度量或实践
流水线成功率 把基础设施的失败重新归类为已取消;重新运行直到变绿,只统计最后一次运行 统计所有的尝试;报告每项变更的重新运行
流水线时长 把缓慢的阶段移到所度量的窗口之外;跳过阶段 从提交到已部署端到端地度量;把已运行的阶段与必需的阶段相比较
不稳定测试率 删除或静默不稳定的测试;把失败标记为已知 测试数量和覆盖趋势;评审被隔离的测试,附日期
自动批准占比 放宽“标准”类别,把有风险的变更包括进来 自动批准的变更的变更失败率;抽样已批准的变更
绕开率 把紧急的手工部署记录为流水线运行;不与生产对账 把生产状态与流水线记录对账;抽样部署
证据完整性 附上空的或不相关的证据;链接一份通用的报告 抽样证据的内容;检查它是否与变更相符
政策关口失败率 放松政策以减少失败;把真正的违规归类为政策错误 抽样被停止的运行;逃逸的缺陷率和来自审计的发现

健康的读数是:快速而稳定到人们对一切都使用它的流水线、接近于零且每个例外都得到理解的绕开率、不断增长的自动批准占比并附稳定的变更失败率,以及在抽样时经得起检验的证据。

权衡:利与弊

方法 优势 劣势
繁重的流水线检查 及早发现缺陷;强有力的证据 运行缓慢;更多不稳定;绕开的压力
轻量的流水线 快速反馈 较弱的证据;更多缺陷到达生产环境
对标准变更的自动批准 消除等待;决定一致 放宽类别的风险;政策错误被放大
对所有变更的人工批准 熟悉;问责可见 等待;批准可能变成形式

结论是使流水线保持快速且受信任,只通过政策批准被充分理解的东西,并度量绕开。人们避开的繁重检查,什么也保护不了。

与团队讨论的问题

1. 我们的生产变更中有多大比例通过流水线?我们怎么知道? 索要把生产状态与流水线记录相比较的办法。团队常常发现绕过流水线的紧急修复、配置变更和数据变更。预料会有防御性的回答,所以把每次绕开视为信息。随后问什么本来会使流水线成为更容易的路径。

2. 我们的哪些测试要重新运行直到它们通过?由谁拥有? 重新运行的习惯显示信任在哪里被侵蚀。列出一份清单并指定负责人。讨论是修复还是移除每一个。这场交谈常常显示,少数几个测试造成大部分噪声。

3. 我们今天自动批准哪些变更?应当批准哪些? 列出变更的类型以及每一类的失败历史。决定哪些风险低且测试良好。问什么会使你停止自动批准某一类。随后商定对该分类的评审日期。

4. 如果审计员问起上周二的部署,我们能展示什么? 走一遍一项真实的变更,并调出它的证据。注意缺口和手工步骤。问证据是当时记录的,还是事后重建的。随后选择一个要弥合的缺口。

5. 我们的流水线把时间花在哪里?谁在等待? 查看阶段的拆分。最长的等待往往是队列或手工批准。问等待的人是否可以做别的事,以及等待在反馈延迟方面的代价是什么。选择一项要消除的延迟。

6. 哪个关口从未阻止过任何有用的东西? 查看过去一个季度关口的停止原因。只有政策错误的关口需要修复,而从未停止任何东西的关口可能是多余的。问移除它是否会增加风险。商定一次试验。

四种视角

产品与交付团队

你每天都依赖流水线。让测试可靠,让变更保持小,并把不稳定的测试视为产品中的缺陷。使用流水线数据找出你自己的延迟,并让它远离个人绩效的谈话。

服务与运维团队

你继承流水线所发布的东西。索要事件所需要的证据,比如什么变了、何时变的,以及快速回退。跟踪绕开和漂移,并把它们作为关于为什么的交谈带给团队。

领导层与治理

把流水线作为生产服务出资,附负责人、容量和修复不稳定的时间。索要绕开率、通过抽样得到的证据完整性,以及自动批准的变更失败率。抵制把部署次数作为成功测量值的压力。

客户与用户

当变更频繁而安全地到来时你受益,当某项变更破坏了什么时你受害。问变更是如何被测试的,以及糟糕的变更多快被撤销。你在发布之后对问题的报告,是流水线无法提供的反馈的一部分。

实践:一个服务管理示例

一家区域医院的 IT 部门为其临床排程应用运行一条流水线。本示例中的数字均为示意。变更咨询委员会每周开会,例行变更平均要等四天才获批准。团队提议通过流水线批准标准变更。

在开始之前,他们先度量。流水线成功率为 82%,对失败的抽样显示,约三分之一是不稳定的测试。第 85 百分位数的时长为 47 分钟,其中对共享构建运行器有 20 分钟的排队。把部署记录与流水线记录相比较,显示约 12% 的生产变更绕开了流水线,主要是配置编辑和紧急修复。

团队修复了最不稳定的五个测试,添加了一个构建运行器,并创建了一条通过流水线的配置变更路径。三个月后,绕开降至 3%。随后他们为排程应用定义了一个由小型、经过测试、可逆的变更构成的标准变更类别,附针对测试、安全扫描和同行评审的政策检查。自动批准占比达到约 40%,这些变更的批准前置时间从数天降至几分钟。

出现了一个钻空子的风险。一位经理要求通过把数据库模式变更加入标准类别,来提高自动批准占比。团队检查了模式变更的变更失败率,它高于其他变更,于是继续把它们交给人工评审者。依据流水线自己的计数,证据完整性为 98%,但对 20 条记录的抽样显示,其中有四条附着的是来自另一次构建的测试报告。团队修复了链接规则。仍然困难的是:紧急修复的绕开仍需要事后记录,而影响患者安全的变更的临床风险评审仍由人来承担。

敏捷、AI、自动化与分析

敏捷

通过受信任的流水线进行小而频繁的变更,是持续交付的核心,而流水线自己的待办事项列表,值得与产品一样与干系人进行定期评审。一个好的做法是在定期的改进交流中评审不稳定的测试和绕开。需要注意的是,只庆祝部署频率,会奖励拆分变更。

AI

AI 可以在流水线内编写代码和测试、评审变更并评估变更风险。在数据中标记 AI 辅助的变更,并把它们的失败和返工与其他变更相比较(见主题 10.2,度量 AI 辅助的工作)。如果 AI 关口作决定或提出建议,就通过抽样度量它的误批准和误阻止,并让人对高风险的变更负责。需要注意的是,AI 生成的测试可能在没有测试重要行为的情况下提高覆盖数字。

自动化

流水线就是自动化,所以做法是把它视为生产服务,附日志、负责人和针对紧急情况的手工后备。自动化证据的收集,以及生产与流水线记录的对账。需要注意的是,自动批准放大政策错误的影响,所以要测试政策并保留暂停控制。

分析

使用流水线事件来显示时间花在哪里、失败聚集在哪里,并把运行与事件和返工相联。这为之提供依据的决定是在速度、可靠性或测试上在哪里投资。需要注意的是,流水线数据不显示测试的质量,所以要把它与逃逸的缺陷结合起来,并展示每个比率背后的运行次数(见主题 10.8,分析与数据质量度量)。

行业视角

初创公司。 带快速测试和自动部署到生产环境的简单流水线可能就足够了。度量时长和绕开,并在代码仓库中记录测试和评审的证据。

小型企业。 流水线可能是托管服务或供应商的。问它在哪里记录什么,并保留重建已部署内容的办法。避免构建你不会维护的控制措施。

大型企业。 跨团队的许多流水线,需要通用的证据格式和共享的政策。保持对绕开和证据完整性的中央视图,由团队层面负责修复。避免在团队需求不同之处强制使用一种工具。

政府与公共部门。 职责分离、审计轨迹和保留规则塑造流水线。为审计设计证据,并检查法律和采购要求,包括针对自动化决定的要求(见主题 8.3,合规与审计度量,以及主题 8.5,受监管与政府报告)。

业务论证:动因、投资回报与总拥有成本

成本是流水线平台和运行器、编写和维护测试与政策的工作、修复不稳定的时间,以及存储证据的成本。当流水线和变更记录相联时,这些测量值本身成本很低。

回报是更短的批准等待、更少的手工步骤、更早发现缺陷,以及在需要时已经就绪的证据。这些表现为更快的交付和审计时更少的工作量,但容易夸大。度量你自己的基线,比如批准前置时间和汇编审计证据的工作量,前后对比,并把假设表述为区间(见主题 7.7,投资回报与业务论证)。风险一面是逃出流水线的失败的成本,以及阻止所有变更的流水线中断的成本。

反模式与陷阱

  • 把部署次数算作成功。 它奖励拆分变更。与失败和返工配对。
  • 重新运行直到变绿。 它隐藏不稳定的测试和薄弱的证据。统计不稳定并修复它们。
  • 忽略绕开。 避开流水线的变更,正是它无法保护的。把生产与流水线记录对账。
  • 放宽标准类别以提高自动化。 占比上升,失败率随之上升。依据失败数据评审该类别。
  • 存在却什么也说明不了的证据。 抽样内容,而不仅仅是存在。
  • 没有负责人的流水线。 它会衰败。指名一个团队并给它时间。
  • 把政策错误当作代码缺陷。 人们学会忽略关口。对停止分类并修复政策。
  • 没有紧急情况的手工路径。 人们会绕开。提供快速、经审计的路径。

成熟度模型

维度 起步 发展 标准化 管理 协同
流水线可靠性 临时的构建;频繁的无法解释的失败 流水线存在;跟踪成功率 负责人、目标和不稳定测试的处理 按阶段评审时长和失败 流水线在团队之间共享模式和容量
批准与政策 对所有变更的手工批准 定义了一些标准变更 针对标准变更的政策即代码,附测试 依据失败数据评审批准类别 在约定的限度内,基于风险的批准自动适应
证据与绕开 事后重建证据 记录一些证据 记录并相联必需的证据 对账绕开并抽样完整性 证据和对账完全自动化并被审计

检查清单

  • 流水线有指名的负责人,以及针对可靠性和速度的目标。
  • 按阶段报告流水线成功率和时长百分位数。
  • 统计不稳定的测试,每一个都有负责人和修复日期。
  • 以风险标准定义标准变更类别,并依据失败数据评审。
  • 政策是代码、经过测试并有版本管理,并记录每次运行的版本。
  • 把生产状态与流水线记录对账,以发现绕开。
  • 为每项已部署的变更定义并记录必需的证据。
  • 通过抽样内容来检查证据完整性。
  • 存在并测试经审计的紧急路径。
  • 每项测量值旁边都展示了钻空子途径和护栏。

AI 提示词

为自动批准按风险对变更分类。

这是我们所作变更的类型清单,以及每一类近来的历史:[粘贴变更类型,附变更和失败的计数(如有)]。请提出哪些类型可能是自动批准的候选、哪些应当保留人工评审者,附推理以及我需要的证据。不要虚构失败率。把每项建议标为由变更负责人来决定的提议。请列出你的假设,以及我应当收集的数据。

定义流水线应当记录的证据。

我们的流水线是 [阶段和工具的描述]。我们的变更记录保存在 [工具] 中。在任何部署之后,我们必须回答这些问题:[列出来自审计员或事件评审者的问题]。请提出流水线应当记录并链接的证据项、存放在哪里,以及如何检查它们是真实的而不是空的。不要陈述合规声明或法律要求。请列出你的假设,以及要问我们合规团队的问题。

分析不稳定测试的数据。

以下是 [期间] 内失败的测试和重新运行结果的摘要:[粘贴不含个人信息的数据]。请找出失败后重新运行又通过的测试,按领域对它们分组,并提出修复它们的顺序。不要猜测数据所不支持的原因。说明哪些额外的数据会有帮助。请列出你的假设。

评审流水线仪表盘的钻空子风险。

我们报告这些流水线测量值:[粘贴测量值及其定义]。背景:[团队规模、工具、受众]。对每项测量值,列出它在没有改进交付或安全的情况下看起来更好的现实方式,提出一道护栏,并说明该护栏如何可能被钻空子。不要虚构基准值。请列出你的假设。

AI 技能

要点

  • 流水线既是生产服务也是控制措施,所以要度量其可靠性、速度和它所产生的证据。
  • 通过把生产与流水线记录对账来度量绕开,并使流水线成为最容易的路径。
  • 只自动批准被充分理解的变更,附经过测试的政策,其余的则走人工路径。
  • 统计不稳定的测试并修复它们,因为重新运行直到变绿会破坏信任和证据。
  • 抽样检查证据的内容,因为仅有完整性计数,可以用空记录来满足。

参考文献与延伸阅读

  1. Wikipedia, Continuous integration.
  2. Wikipedia, Continuous delivery.
  3. Wikipedia, Software deployment.
  4. Wikipedia, DevOps.
  5. Wikipedia, Test automation.
  6. Wikipedia, ITIL.
  7. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.