自动化与编排度量
只有当自动化消除了人们不想做的工作,而没有产生新的工作、新的失败或新的风险时,它才算有回报,所以要度量每项自动化消除了什么、多常失败、撤销有多快,以及由谁决定何时停止。
概述与动因
服务管理中的自动化(automation),意味着让软件去做以前由人做的工作:配置账户、重启服务、路由工单、批准标准变更,或发布状态更新。编排(orchestration)把若干自动化的步骤,往往跨越工具和团队,协调成一个流,比如“让新员工入职”或“恢复这项服务”。ITIL 的指导原则“优化和自动化”是对这一理念的长期表述,而持续交付依赖于它。基础设施即代码(infrastructure as code)之类的实践,把系统的设置变成带版本、可测试的文件,所以自动化也是一种记录。
自动化把风险从缓慢而可见转变为快速而广泛。犯错的人影响一张工单。带有同样错误的自动化步骤,可以在一分钟内影响每一张工单。这就是自动化需要自己的测量值的原因,也是“自动化的数量”或“节省的小时数”之类的计数薄弱的原因。它们描述的是构建了多少、声称了多少,而不是是否有人过得更好。
本主题不同于前面关于服务请求中自助服务和自动化的测量值(见主题 3.7,自助服务与自动化度量),后者关乎面向用户的请求流。这里的主题是作为工程和运营资产的自动化:它的覆盖、可靠性、安全、归属和成本。它也不同于主题 10.7 的流水线测量值(见主题 10.7,流水线与自动化变更度量),后者涵盖变更到达生产环境所走的路径。
这里使用的术语。自动化(automation)是不需要人执行其步骤就能运行的已定义任务。运行手册(runbook)是运营任务的文档化流程,而运行手册自动化执行它。编排(orchestration)是协调多项自动化的流。人在回路中(human in the loop)意味着在行动生效之前,由人评审或批准。繁琐工作(toil)是随服务扩大而增加、没有持久价值的重复性手工运营工作(见主题 5.7,繁琐工作与值班度量)。这里的护栏(guardrail)有两种含义:本书通篇使用的配对测量值,以及对自动化可以做什么的技术限制。文中会说明指的是哪一种。
关键原则
- 度量效果,而不是数量。 自动化的数量说明很少。它们消除了什么、破坏了什么,则说明很多。
- 每项自动化都有负责人。 没有负责人的自动化是随年龄增长的风险。
- 使每个自动化的行动可见且可逆。 记录什么运行了、在什么上运行、结果如何,并知道如何撤销它。
- 选择由人在哪里作决定。 使人的角色与行动的风险相匹配,并测试这个角色能够被行使。
- 把自动化作为一项服务来度量。 它与任何其他服务一样,有可靠性、变更、成本和淘汰。
- 先自动化稳定而乏味的。 自动化理解不充分的东西,就把问题固化进系统。
度量定义
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| 自动化运行成功率 | 已完成并达到预期结果的自动化运行占比,由运行之后的检查确认 | 运行后检查成功的运行 / 期内启动的运行;没有运行后检查的运行被排除并单独报告 | 百分比 | 编排和自动化平台日志 | 服务请求管理;发布管理 | 自动化工作的完成定义 | 每月 |
| 任务自动化覆盖 | 被自动化的合格重复任务占比 | 在约定的合格清单上、被自动化运行的任务 / 合格清单上的任务;合格清单每季度评审 | 百分比 | 任务清单和运行手册登记册 | 持续改进 | 自动化候选的待办事项列表(backlog) | 每季度 |
| 人工干预率 | 需要有人介入或修复的自动化运行占比 | 启动之后添加了手工步骤的运行 / 启动的运行 | 百分比 | 自动化日志和工单链接 | 事件管理 | 自动化工作中逃逸的缺陷 | 每月 |
| 由自动化引起的事件率 | 归因于自动化行动的事件,按每 1,000 次运行计 | 有确认的自动化原因的事件 / 自动化运行 x 1,000 | 每 1,000 次运行的计数 | 与运行标识符相联的事件记录 | 事件管理;问题管理 | 自动化变更的变更失败率 | 每月 |
| 回退时间 | 在认识到需要时,撤销一项自动化行动的时间 | (撤销完成的时间减去作出撤销决定的时间) 的中位数和第 95 百分位数 | 分钟 | 自动化日志和事件时间线 | 变更赋能 | 完成定义中的回退能力 | 每季度 |
| 经验证的节省时间 | 消除的手工工作小时数,通过抽样检查 | 被自动化的任务 x (时间样本中手工任务时间的中位数减去残余手工时间的中位数),在该期间内;说明样本日期 | 小时 | 时间样本和运行计数 | 持续改进 | 每项工作所交付的价值 | 每季度 |
| 自动化归属时效 | 有在过去 12 个月内确认归属并评审了该自动化的负责人的自动化占比 | 12 个月内有已确认的负责人和评审的自动化 / 登记册中的自动化 | 百分比 | 自动化登记册 | 治理;资产与配置管理 | 团队章程和归属 | 每季度 |
除非另有说明,公式统计的是运行,而不是任务。“成功”要求有独立的运行后检查,比如确认服务是健康的或账户存在;仅仅无错误退出的运行不算成功。节省的时间排除构建和维护自动化所花的时间,后者作为成本单独计算(见主题 7.7,投资回报与业务论证)。
建议
决定自动化什么
1. 从重复任务的清单开始,而不是从工具开始。 按发生的频繁程度、花费的时间、出错的可能性,以及被理解得有多好,给重复任务排序。先自动化稳定而被充分理解的,把罕见和理解不充分的留给人。
2. 在自动化之前先修复流程。 自动化一个令人困惑的流程,使困惑更快。与做这些步骤的人一起走一遍,移除什么也没增加的步骤,然后再自动化。
3. 依据风险选择人的角色。 对低风险、可逆的行动,人可能只需事后评审日志。对风险较高的行动,人在行动之前批准。对最高的,行动可以保持手工。写下规则,并测试批准者是否拥有作出决定的信息。
使自动化安全
4. 要求有负责人和登记册。 每项自动化都有指名的负责人,并在登记册中有一个条目,附其目的、范围、权限和上次评审。当负责人离开时,归属要在人走之前转移。
5. 限制权限和范围。 自动化应当拥有刚好能完成工作的最小访问权限,并对一次运行中它能更改多少设限,比如账户或服务器的最大数量。范围限制是一道技术护栏,它为一次糟糕的运行所造成的损害设定上限。
6. 检查结果,而不是退出码。 添加一项确认预期状态的运行后检查,并依据该检查度量成功。干净退出的脚本可能什么也没做。
7. 记录并规划撤销。 每次运行都记录它更改了什么,每项自动化都有经过测试的、撤销其变更的办法,或说明它无法撤销的理由。在安全的环境中演练回退,并度量它所需要的时间。
诚实地度量
8. 通过抽样验证节省的时间。 节省小时数的声称往往是乐观的。在之前和之后对手工任务的样本计时,说明样本的日期,并减去维护和失败的成本。
9. 在覆盖旁边报告失败和干预。 高覆盖数字配上高人工干预率,意味着人们在修复自动化所破坏的东西。把两者展示在同一页上。
10. 淘汰不再有帮助的东西。 其任务已改变或已消失的自动化是风险。按定期的节奏评审使用情况,并移除没有运行或没有负责人的自动化。
11. 让人能够停止它。 提供一种清晰的办法,迅速暂停某项自动化或整类自动化,并度量这能多快发生。
钻空子途径与护栏
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| 自动化运行成功率 | 在干净退出时把运行算作成功;从日志中删除失败的运行 | 独立的运行后检查;把日志与下游记录相比较 |
| 任务自动化覆盖 | 缩小合格清单使覆盖上升;先自动化琐碎的任务 | 与第二个团队一起评审合格清单;按数量和时间加权 |
| 人工干预率 | 把手工修复记录为单独的工单,使运行看起来干净 | 把工单与运行标识符相联;抽样检查运行中隐藏的修复 |
| 由自动化引起的事件率 | 把自动化的失败归因于人或工具;不把事件与运行相联 | 要求事件记录中有运行标识符;抽样检查事件中漏掉的联系 |
| 回退时间 | 只度量容易的回退;晚点启动时钟 | 对最难的自动化在演练中练习回退;定义时钟的开始 |
| 经验证的节省时间 | 使用乐观的任务时间;忽略维护和失败的成本 | 由团队之外的人做时间样本;包括构建和维护成本 |
| 自动化归属时效 | 指名一个分发列表或一位前员工为负责人 | 负责人以书面形式确认;检查负责人仍在任 |
健康的读数是:覆盖上升,同时人工干预率和事件率稳定或下降;与团队的感受相符的、经验证的节省时间;以及因被淘汰的自动化被移除而保持最新的登记册。
权衡:利与弊
| 方法 | 优势 | 劣势 |
|---|---|---|
| 广泛而及早地自动化 | 消除繁琐工作;工作更快、更一致 | 快速、广泛的失败;维护负担;隐藏的依赖 |
| 有选择地自动化并附人工检查 | 风险更低;人保持技能 | 较慢;批准者可能走过场 |
| 统计自动化的数量和节省的小时数 | 易于报告和比较 | 奖励数量;声称往往未经验证 |
| 度量效果、失败和回退 | 显示真正的价值和风险 | 收集更费力;需要把记录相联 |
结论是自动化稳定而被理解的东西,度量它消除了什么、破坏了什么,并让人们能够停止它。节省小时数却偶尔造成严重事件的自动化,可能是糟糕的交易,而只有配对的测量值才会显示这一点。
与团队讨论的问题
1. 我们今天运行着哪些自动化?各由谁拥有? 一起建立清单,因为团队通常会发现没人记得自己构建过的自动化。询问目的、权限和上次评审的日期。预料会有个人机器上的脚本,以及由前员工作为负责人的计划作业。随后商定到季度末由谁拥有每一项。
2. 一项自动化上一次使问题比人所能造成的更大或更快是什么时候? 邀请不带责备地讲述故事。典型的例子是一个清理作业移除了错误的资源,或是一次修复在中断期间重启了服务。问什么限制本可以为损害设上限。这些答案成为范围限制和批准规则。
3. 对于我们风险最大的自动化行动,谁来决定?他们能决定得好吗? 查看批准者在批准的那一刻看到什么。批准请求常常缺少判断所需要的信息。问批准者能否说不,以及如果他们说了会发生什么。随后改进请求或更改角色。
4. 我们如何知道一项自动化已悄悄停止工作? 悄无声息的失败是最常见的问题,它常常表现为平坦的数字。询问能察觉到它的检查。讨论针对缺失的运行和不符合预期的结果的告警。选择一项自动化并测试。
5. 我们节省的小时数,哪些实际上被花在了更好的事情上? 纸面上节省的时间,未必变成容量。问时间去了哪里,以及由谁决定。对维护和失败的成本保持诚实。随后选择一项声称,用样本来验证。
6. 我们应当淘汰哪项自动化?这需要什么? 询问使用和价值的证据。淘汰可能感觉像失败,所以把它框定为例行的维护。在移除任何东西之前,识别依赖。商定一个试用期,以及恢复它的办法。
四种视角
产品与交付团队
把自动化作为产品的一部分来构建,附测试、日志、负责人和回退的办法。把运行后检查纳入完成定义,并避免自动化团队尚不理解的步骤。让测量值保持在团队自动化的层面,而不是个别工程师的层面。
服务与运维团队
当自动化失败时,背着呼叫器的是你们,所以要坚持可见性和容易的停止。跟踪人工干预和由自动化引起的事件,并用它们来为修复排优先级。把自动化登记册视为服务记录的一部分。
领导层与治理
索要效果、失败和回退就绪,而不仅仅是自动化的数量。为自动化的维护以及其创建出资,并预期有些自动化会被淘汰。依据风险设定对人工监督的期望,并评审风险最大的行动的清单。
客户与用户
当自动化起作用时,你不应当注意到它,而当它不起作用时,你应当有一个真人可以求助。问如何联系到真人,并在某个自动化的行动有误时说出来。你的反馈是检查自动化是否有帮助的一部分。
实践:一个服务管理示例
一家中型在线零售商的运维团队自动化了三项任务:重启故障的 Web 服务器、重置客户服务密码,以及清理未使用的云存储。本示例中的数字均为示意。一个季度之后,仪表盘显示 3 项自动化、2,400 次运行,以及“约节省 180 小时”。领导层很高兴,并要求更多。
团队应用这些测量值。按退出码看,自动化运行成功率像是 98%。加上运行后检查,它降至 91%:密码重置报告成功,但在 9% 的运行中,用户无法登录。该自动化的人工干预率为 11%。重启自动化造成了两起事件,其中一起是它在数据库故障切换期间重启了服务器,回退时间约为 40 分钟,因为没有人演练过。
时间样本显示,手工重置密码花约四分钟,而不是最初估计所用的十分钟,并且处理失败的重置所需的时间,与最初的任务差不多。经验证的节省时间更接近 60 小时。存储清理的负责人已在春天离开了公司。
团队决定为密码重置添加运行后检查,为重启自动化添加范围限制和暂停规则,并为清理指定新的负责人。一位经理提议把“已构建的自动化”作为团队目标来统计。团队拒绝了,因为它会奖励构建更多同样的东西。剩下的困难是,密码的运行后检查需要一个测试账户,而重启自动化的回退演练安排在下个季度。
敏捷、AI、自动化与分析
敏捷
把自动化视为与使用和依赖它的人一起持续改进的产品。一个好的做法是与干系人简短、定期地评审自动化的待办事项列表、失败和干预。需要注意的是,对自动化频繁的小变更需要与其他变更同样的测试,否则失败会来得更快。
AI
AI 可以起草运行手册、编写脚本并决定采取什么行动,而具有代理能力的 AI 可以对系统采取行动。把任何能够行动的 AI 视为自动化,附负责人、权限、范围限制、批准规则和回退。把它的成功率与错误行动的比率以及人必须撤销的占比配对(见主题 10.3,AI 代理与聊天机器人度量)。需要注意的是,AI 撰写的脚本看起来很权威,所以要像测试任何代码一样测试它。
自动化
这是本主题的主题,所以做法是度量自动化平台本身:它的可用性、运行失败和排队时间,因为许多服务依赖它。自动收集运行数据,附与工单和事件相联的运行标识符。需要注意的是,自动化平台会成为单点故障,所以要为关键任务保留手工的后备办法。
分析
把运行与成果相联:成功的运行后检查、工单和事件。这为之提供依据的决定是修复、扩展还是淘汰哪项自动化。需要注意的是,归因取决于一致的标识符,所以要审计关联率,并展示每个比率背后的运行次数(见主题 10.8,分析与数据质量度量)。
行业视角
初创公司。 小团队自动化得快,控制措施却很少。保存一份带负责人的简短自动化清单,对任何触及客户的东西加上运行后检查,并避免在有需要之前构建编排平台。
小型企业。 自动化往往意味着几个计划作业和一项托管服务。问你的供应商,有哪些自动化代表你运行,以及回退是什么。保存一份清单,并检查有人拥有每一项。
大型企业。 跨许多团队的许多自动化造成依赖和重复。保存中央登记册、标准的日志和运行标识符,以及针对高风险行动的评审路径。在团队之间共享自动化,而不是重新构建它们。
政府与公共部门。 问责和审计的需要,意味着每个自动化的行动都必须可追溯到一项决定和一名负责人。把日志和批准保存为证据,并检查影响公民的自动化决定的采购和法律规则(见主题 8.5,受监管与政府报告)。
业务论证:动因、投资回报与总拥有成本
成本是构建和测试自动化、运行平台、随系统变化而维护自动化,以及失败的成本。如果运行被附标识符地记录,收集这些测量值成本很低。更大的成本是负责人、评审和回退演练的纪律。
回报是繁琐工作的消除、更快更一致的工作,以及更少的手工错误。这些是真实的,却容易夸大,所以要用样本验证。风险一面是由自动化引起的事件,以及没人维护的自动化的成本。公平的业务论证,把经验证的节省时间加上避免的错误,与包括维护和事件在内的完整成本相比较,并把假设表述为区间(见主题 7.7,投资回报与业务论证)。这里没有给出基准数字,因为它们因背景而差异很大。在开始之前,度量你自己的基线。
反模式与陷阱
- 统计已构建的自动化。 它奖励数量。改为报告效果、失败和回退。
- 按退出码判断成功。 干净的退出几乎证明不了什么。检查预期的结果。
- 没有负责人的自动化。 它们随系统变化而悄悄失败。保存登记册并确认负责人。
- 自动化糟糕的流程。 缺陷移动得更快。先修复流程。
- 没有撤销。 快速而错误、又无法撤销的行动,是最糟糕的情形。规划并演练回退。
- 在没有样本的情况下声称节省了小时数。 用时间样本验证,并减去维护。
- 作为作秀的批准。 没有判断所需信息的批准者,增加延迟却没有增加安全。重新设计请求。
- 作为单点故障的自动化。 为关键任务保留手工路径。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 归属与登记册 | 脚本只有其作者知道 | 列出主要的自动化 | 带负责人、范围和评审日期的登记册 | 按节奏评审和淘汰 | 跨团队共享的目录和标准模式 |
| 安全与回退 | 没有撤销;退出码检查 | 一些运行后检查和日志 | 运行后检查、范围限制和经过测试的回退 | 回退演练;事件与运行相联 | 安全模式被构建到平台中 |
| 价值的证据 | 计数和估计 | 估计节省的时间 | 抽样并验证节省的时间 | 一起评审效果、失败和成本 | 依据价值和风险管理自动化的组合 |
检查清单
- 每项自动化都有已确认归属的负责人。
- 登记册列出每项自动化,附目的、范围和权限。
- 每项自动化都有确认预期结果的运行后检查。
- 运行被记录,附与工单和事件相联的标识符。
- 每项自动化都有范围限制,以及经过测试的撤销或暂停的办法。
- 依据风险为每个自动化的行动定义人的角色。
- 节省的时间通过带日期的样本来验证。
- 在覆盖旁边报告人工干预和由自动化引起的事件。
- 评审并淘汰未使用或没有负责人的自动化。
- 每项测量值旁边都展示了钻空子途径和护栏。
AI 提示词
依据你粘贴的材料建立自动化登记册。
我将粘贴我们运行的脚本、计划作业和自动化的清单:[粘贴附任何备注的清单]。请建立一张表,列为:名称、目的、受影响的系统、负责人(只使用我提供的;否则写“未知”)、权限(仅在给出时)、上次评审(仅在给出时),以及我应当对它问的第一个问题。不要虚构负责人、日期或权限。在末尾列出你的假设。
为一项自动化设计运行后检查和回退。
我们的自动化是 [名称],它在 [系统] 上做 [描述]。它以 [频率] 运行,权限为 [权限]。请提出确认预期结果的运行后检查、为损害设上限的范围限制、暂停它的办法,以及回退的做法。如果我们增加批准步骤,说明人工批准者需要什么信息。不要假定我们没有指明的工具。请列出你的假设,以及我应当回答的问题。
评审自动化仪表盘的钻空子风险。
我们报告这些自动化测量值:[粘贴测量值及其定义]。我们的背景:[团队规模、工具、受众]。对每项测量值,列出它在没有帮助任何人的情况下看起来更好的现实方式,提出一道护栏,并说明该护栏如何可能被钻空子。不要虚构基准值。请列出你的假设。
规划对节省时间的验证。
我们声称,通过自动化 [任务] 节省了 [数量] 小时。请起草一份通过抽样来验证的简短计划:要计时什么、取多少样本、如何纳入维护和失败的处理,以及如何报告不确定性。不要虚构数字;对我应当收集的数字使用占位符。请列出假设。
AI 技能
- Runbook:用于在自动化之前记录任务。
- Root cause analysis:用于分析由自动化行动引起的事件。
- Service Management Metrics skill:用于查找涵盖某项度量及其配对护栏的主题。
要点
- 自动化的数量和节省的小时数描述的是努力和声称,所以要度量效果、失败和回退。
- 每项自动化都需要负责人、登记册条目、运行后检查、范围限制,以及撤销或暂停的办法。
- 依据风险选择由人在哪里作决定,并测试人能否决定得好。
- 用带日期的样本验证节省的时间,并减去维护和失败的成本。
- 淘汰没有负责人、未被使用或不再需要的自动化。
参考文献与延伸阅读
- Wikipedia, Automation.
- Wikipedia, Orchestration (computing).
- Wikipedia, Infrastructure as code.
- Wikipedia, Site reliability engineering.
- Wikipedia, DevOps.
- Wikipedia, Goodhart's law.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016.