概述与动因

服务管理中的自动化(automation),意味着让软件去做以前由人做的工作:配置账户、重启服务、路由工单、批准标准变更,或发布状态更新。编排(orchestration)把若干自动化的步骤,往往跨越工具和团队,协调成一个流,比如“让新员工入职”或“恢复这项服务”。ITIL 的指导原则“优化和自动化”是对这一理念的长期表述,而持续交付依赖于它。基础设施即代码(infrastructure as code)之类的实践,把系统的设置变成带版本、可测试的文件,所以自动化也是一种记录。

自动化把风险从缓慢而可见转变为快速而广泛。犯错的人影响一张工单。带有同样错误的自动化步骤,可以在一分钟内影响每一张工单。这就是自动化需要自己的测量值的原因,也是“自动化的数量”或“节省的小时数”之类的计数薄弱的原因。它们描述的是构建了多少、声称了多少,而不是是否有人过得更好。

本主题不同于前面关于服务请求中自助服务和自动化的测量值(见主题 3.7,自助服务与自动化度量),后者关乎面向用户的请求流。这里的主题是作为工程和运营资产的自动化:它的覆盖、可靠性、安全、归属和成本。它也不同于主题 10.7 的流水线测量值(见主题 10.7,流水线与自动化变更度量),后者涵盖变更到达生产环境所走的路径。

这里使用的术语。自动化(automation)是不需要人执行其步骤就能运行的已定义任务。运行手册(runbook)是运营任务的文档化流程,而运行手册自动化执行它。编排(orchestration)是协调多项自动化的流。人在回路中(human in the loop)意味着在行动生效之前,由人评审或批准。繁琐工作(toil)是随服务扩大而增加、没有持久价值的重复性手工运营工作(见主题 5.7,繁琐工作与值班度量)。这里的护栏(guardrail)有两种含义:本书通篇使用的配对测量值,以及对自动化可以做什么的技术限制。文中会说明指的是哪一种。

关键原则

  • 度量效果,而不是数量。 自动化的数量说明很少。它们消除了什么、破坏了什么,则说明很多。
  • 每项自动化都有负责人。 没有负责人的自动化是随年龄增长的风险。
  • 使每个自动化的行动可见且可逆。 记录什么运行了、在什么上运行、结果如何,并知道如何撤销它。
  • 选择由人在哪里作决定。 使人的角色与行动的风险相匹配,并测试这个角色能够被行使。
  • 把自动化作为一项服务来度量。 它与任何其他服务一样,有可靠性、变更、成本和淘汰。
  • 先自动化稳定而乏味的。 自动化理解不充分的东西,就把问题固化进系统。

度量定义

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏
自动化运行成功率 已完成并达到预期结果的自动化运行占比,由运行之后的检查确认 运行后检查成功的运行 / 期内启动的运行;没有运行后检查的运行被排除并单独报告 百分比 编排和自动化平台日志 服务请求管理;发布管理 自动化工作的完成定义 每月
任务自动化覆盖 被自动化的合格重复任务占比 在约定的合格清单上、被自动化运行的任务 / 合格清单上的任务;合格清单每季度评审 百分比 任务清单和运行手册登记册 持续改进 自动化候选的待办事项列表(backlog) 每季度
人工干预率 需要有人介入或修复的自动化运行占比 启动之后添加了手工步骤的运行 / 启动的运行 百分比 自动化日志和工单链接 事件管理 自动化工作中逃逸的缺陷 每月
由自动化引起的事件率 归因于自动化行动的事件,按每 1,000 次运行计 有确认的自动化原因的事件 / 自动化运行 x 1,000 每 1,000 次运行的计数 与运行标识符相联的事件记录 事件管理;问题管理 自动化变更的变更失败率 每月
回退时间 在认识到需要时,撤销一项自动化行动的时间 (撤销完成的时间减去作出撤销决定的时间) 的中位数和第 95 百分位数 分钟 自动化日志和事件时间线 变更赋能 完成定义中的回退能力 每季度
经验证的节省时间 消除的手工工作小时数,通过抽样检查 被自动化的任务 x (时间样本中手工任务时间的中位数减去残余手工时间的中位数),在该期间内;说明样本日期 小时 时间样本和运行计数 持续改进 每项工作所交付的价值 每季度
自动化归属时效 有在过去 12 个月内确认归属并评审了该自动化的负责人的自动化占比 12 个月内有已确认的负责人和评审的自动化 / 登记册中的自动化 百分比 自动化登记册 治理;资产与配置管理 团队章程和归属 每季度

除非另有说明,公式统计的是运行,而不是任务。“成功”要求有独立的运行后检查,比如确认服务是健康的或账户存在;仅仅无错误退出的运行不算成功。节省的时间排除构建和维护自动化所花的时间,后者作为成本单独计算(见主题 7.7,投资回报与业务论证)。

建议

决定自动化什么

1. 从重复任务的清单开始,而不是从工具开始。 按发生的频繁程度、花费的时间、出错的可能性,以及被理解得有多好,给重复任务排序。先自动化稳定而被充分理解的,把罕见和理解不充分的留给人。

2. 在自动化之前先修复流程。 自动化一个令人困惑的流程,使困惑更快。与做这些步骤的人一起走一遍,移除什么也没增加的步骤,然后再自动化。

3. 依据风险选择人的角色。 对低风险、可逆的行动,人可能只需事后评审日志。对风险较高的行动,人在行动之前批准。对最高的,行动可以保持手工。写下规则,并测试批准者是否拥有作出决定的信息。

使自动化安全

4. 要求有负责人和登记册。 每项自动化都有指名的负责人,并在登记册中有一个条目,附其目的、范围、权限和上次评审。当负责人离开时,归属要在人走之前转移。

5. 限制权限和范围。 自动化应当拥有刚好能完成工作的最小访问权限,并对一次运行中它能更改多少设限,比如账户或服务器的最大数量。范围限制是一道技术护栏,它为一次糟糕的运行所造成的损害设定上限。

6. 检查结果,而不是退出码。 添加一项确认预期状态的运行后检查,并依据该检查度量成功。干净退出的脚本可能什么也没做。

7. 记录并规划撤销。 每次运行都记录它更改了什么,每项自动化都有经过测试的、撤销其变更的办法,或说明它无法撤销的理由。在安全的环境中演练回退,并度量它所需要的时间。

诚实地度量

8. 通过抽样验证节省的时间。 节省小时数的声称往往是乐观的。在之前和之后对手工任务的样本计时,说明样本的日期,并减去维护和失败的成本。

9. 在覆盖旁边报告失败和干预。 高覆盖数字配上高人工干预率,意味着人们在修复自动化所破坏的东西。把两者展示在同一页上。

10. 淘汰不再有帮助的东西。 其任务已改变或已消失的自动化是风险。按定期的节奏评审使用情况,并移除没有运行或没有负责人的自动化。

11. 让人能够停止它。 提供一种清晰的办法,迅速暂停某项自动化或整类自动化,并度量这能多快发生。

钻空子途径与护栏

度量 如何被钻空子 配对的护栏度量或实践
自动化运行成功率 在干净退出时把运行算作成功;从日志中删除失败的运行 独立的运行后检查;把日志与下游记录相比较
任务自动化覆盖 缩小合格清单使覆盖上升;先自动化琐碎的任务 与第二个团队一起评审合格清单;按数量和时间加权
人工干预率 把手工修复记录为单独的工单,使运行看起来干净 把工单与运行标识符相联;抽样检查运行中隐藏的修复
由自动化引起的事件率 把自动化的失败归因于人或工具;不把事件与运行相联 要求事件记录中有运行标识符;抽样检查事件中漏掉的联系
回退时间 只度量容易的回退;晚点启动时钟 对最难的自动化在演练中练习回退;定义时钟的开始
经验证的节省时间 使用乐观的任务时间;忽略维护和失败的成本 由团队之外的人做时间样本;包括构建和维护成本
自动化归属时效 指名一个分发列表或一位前员工为负责人 负责人以书面形式确认;检查负责人仍在任

健康的读数是:覆盖上升,同时人工干预率和事件率稳定或下降;与团队的感受相符的、经验证的节省时间;以及因被淘汰的自动化被移除而保持最新的登记册。

权衡:利与弊

方法 优势 劣势
广泛而及早地自动化 消除繁琐工作;工作更快、更一致 快速、广泛的失败;维护负担;隐藏的依赖
有选择地自动化并附人工检查 风险更低;人保持技能 较慢;批准者可能走过场
统计自动化的数量和节省的小时数 易于报告和比较 奖励数量;声称往往未经验证
度量效果、失败和回退 显示真正的价值和风险 收集更费力;需要把记录相联

结论是自动化稳定而被理解的东西,度量它消除了什么、破坏了什么,并让人们能够停止它。节省小时数却偶尔造成严重事件的自动化,可能是糟糕的交易,而只有配对的测量值才会显示这一点。

与团队讨论的问题

1. 我们今天运行着哪些自动化?各由谁拥有? 一起建立清单,因为团队通常会发现没人记得自己构建过的自动化。询问目的、权限和上次评审的日期。预料会有个人机器上的脚本,以及由前员工作为负责人的计划作业。随后商定到季度末由谁拥有每一项。

2. 一项自动化上一次使问题比人所能造成的更大或更快是什么时候? 邀请不带责备地讲述故事。典型的例子是一个清理作业移除了错误的资源,或是一次修复在中断期间重启了服务。问什么限制本可以为损害设上限。这些答案成为范围限制和批准规则。

3. 对于我们风险最大的自动化行动,谁来决定?他们能决定得好吗? 查看批准者在批准的那一刻看到什么。批准请求常常缺少判断所需要的信息。问批准者能否说不,以及如果他们说了会发生什么。随后改进请求或更改角色。

4. 我们如何知道一项自动化已悄悄停止工作? 悄无声息的失败是最常见的问题,它常常表现为平坦的数字。询问能察觉到它的检查。讨论针对缺失的运行和不符合预期的结果的告警。选择一项自动化并测试。

5. 我们节省的小时数,哪些实际上被花在了更好的事情上? 纸面上节省的时间,未必变成容量。问时间去了哪里,以及由谁决定。对维护和失败的成本保持诚实。随后选择一项声称,用样本来验证。

6. 我们应当淘汰哪项自动化?这需要什么? 询问使用和价值的证据。淘汰可能感觉像失败,所以把它框定为例行的维护。在移除任何东西之前,识别依赖。商定一个试用期,以及恢复它的办法。

四种视角

产品与交付团队

把自动化作为产品的一部分来构建,附测试、日志、负责人和回退的办法。把运行后检查纳入完成定义,并避免自动化团队尚不理解的步骤。让测量值保持在团队自动化的层面,而不是个别工程师的层面。

服务与运维团队

当自动化失败时,背着呼叫器的是你们,所以要坚持可见性和容易的停止。跟踪人工干预和由自动化引起的事件,并用它们来为修复排优先级。把自动化登记册视为服务记录的一部分。

领导层与治理

索要效果、失败和回退就绪,而不仅仅是自动化的数量。为自动化的维护以及其创建出资,并预期有些自动化会被淘汰。依据风险设定对人工监督的期望,并评审风险最大的行动的清单。

客户与用户

当自动化起作用时,你不应当注意到它,而当它不起作用时,你应当有一个真人可以求助。问如何联系到真人,并在某个自动化的行动有误时说出来。你的反馈是检查自动化是否有帮助的一部分。

实践:一个服务管理示例

一家中型在线零售商的运维团队自动化了三项任务:重启故障的 Web 服务器、重置客户服务密码,以及清理未使用的云存储。本示例中的数字均为示意。一个季度之后,仪表盘显示 3 项自动化、2,400 次运行,以及“约节省 180 小时”。领导层很高兴,并要求更多。

团队应用这些测量值。按退出码看,自动化运行成功率像是 98%。加上运行后检查,它降至 91%:密码重置报告成功,但在 9% 的运行中,用户无法登录。该自动化的人工干预率为 11%。重启自动化造成了两起事件,其中一起是它在数据库故障切换期间重启了服务器,回退时间约为 40 分钟,因为没有人演练过。

时间样本显示,手工重置密码花约四分钟,而不是最初估计所用的十分钟,并且处理失败的重置所需的时间,与最初的任务差不多。经验证的节省时间更接近 60 小时。存储清理的负责人已在春天离开了公司。

团队决定为密码重置添加运行后检查,为重启自动化添加范围限制和暂停规则,并为清理指定新的负责人。一位经理提议把“已构建的自动化”作为团队目标来统计。团队拒绝了,因为它会奖励构建更多同样的东西。剩下的困难是,密码的运行后检查需要一个测试账户,而重启自动化的回退演练安排在下个季度。

敏捷、AI、自动化与分析

敏捷

把自动化视为与使用和依赖它的人一起持续改进的产品。一个好的做法是与干系人简短、定期地评审自动化的待办事项列表、失败和干预。需要注意的是,对自动化频繁的小变更需要与其他变更同样的测试,否则失败会来得更快。

AI

AI 可以起草运行手册、编写脚本并决定采取什么行动,而具有代理能力的 AI 可以对系统采取行动。把任何能够行动的 AI 视为自动化,附负责人、权限、范围限制、批准规则和回退。把它的成功率与错误行动的比率以及人必须撤销的占比配对(见主题 10.3,AI 代理与聊天机器人度量)。需要注意的是,AI 撰写的脚本看起来很权威,所以要像测试任何代码一样测试它。

自动化

这是本主题的主题,所以做法是度量自动化平台本身:它的可用性、运行失败和排队时间,因为许多服务依赖它。自动收集运行数据,附与工单和事件相联的运行标识符。需要注意的是,自动化平台会成为单点故障,所以要为关键任务保留手工的后备办法。

分析

把运行与成果相联:成功的运行后检查、工单和事件。这为之提供依据的决定是修复、扩展还是淘汰哪项自动化。需要注意的是,归因取决于一致的标识符,所以要审计关联率,并展示每个比率背后的运行次数(见主题 10.8,分析与数据质量度量)。

行业视角

初创公司。 小团队自动化得快,控制措施却很少。保存一份带负责人的简短自动化清单,对任何触及客户的东西加上运行后检查,并避免在有需要之前构建编排平台。

小型企业。 自动化往往意味着几个计划作业和一项托管服务。问你的供应商,有哪些自动化代表你运行,以及回退是什么。保存一份清单,并检查有人拥有每一项。

大型企业。 跨许多团队的许多自动化造成依赖和重复。保存中央登记册、标准的日志和运行标识符,以及针对高风险行动的评审路径。在团队之间共享自动化,而不是重新构建它们。

政府与公共部门。 问责和审计的需要,意味着每个自动化的行动都必须可追溯到一项决定和一名负责人。把日志和批准保存为证据,并检查影响公民的自动化决定的采购和法律规则(见主题 8.5,受监管与政府报告)。

业务论证:动因、投资回报与总拥有成本

成本是构建和测试自动化、运行平台、随系统变化而维护自动化,以及失败的成本。如果运行被附标识符地记录,收集这些测量值成本很低。更大的成本是负责人、评审和回退演练的纪律。

回报是繁琐工作的消除、更快更一致的工作,以及更少的手工错误。这些是真实的,却容易夸大,所以要用样本验证。风险一面是由自动化引起的事件,以及没人维护的自动化的成本。公平的业务论证,把经验证的节省时间加上避免的错误,与包括维护和事件在内的完整成本相比较,并把假设表述为区间(见主题 7.7,投资回报与业务论证)。这里没有给出基准数字,因为它们因背景而差异很大。在开始之前,度量你自己的基线。

反模式与陷阱

  • 统计已构建的自动化。 它奖励数量。改为报告效果、失败和回退。
  • 按退出码判断成功。 干净的退出几乎证明不了什么。检查预期的结果。
  • 没有负责人的自动化。 它们随系统变化而悄悄失败。保存登记册并确认负责人。
  • 自动化糟糕的流程。 缺陷移动得更快。先修复流程。
  • 没有撤销。 快速而错误、又无法撤销的行动,是最糟糕的情形。规划并演练回退。
  • 在没有样本的情况下声称节省了小时数。 用时间样本验证,并减去维护。
  • 作为作秀的批准。 没有判断所需信息的批准者,增加延迟却没有增加安全。重新设计请求。
  • 作为单点故障的自动化。 为关键任务保留手工路径。

成熟度模型

维度 起步 发展 标准化 管理 协同
归属与登记册 脚本只有其作者知道 列出主要的自动化 带负责人、范围和评审日期的登记册 按节奏评审和淘汰 跨团队共享的目录和标准模式
安全与回退 没有撤销;退出码检查 一些运行后检查和日志 运行后检查、范围限制和经过测试的回退 回退演练;事件与运行相联 安全模式被构建到平台中
价值的证据 计数和估计 估计节省的时间 抽样并验证节省的时间 一起评审效果、失败和成本 依据价值和风险管理自动化的组合

检查清单

  • 每项自动化都有已确认归属的负责人。
  • 登记册列出每项自动化,附目的、范围和权限。
  • 每项自动化都有确认预期结果的运行后检查。
  • 运行被记录,附与工单和事件相联的标识符。
  • 每项自动化都有范围限制,以及经过测试的撤销或暂停的办法。
  • 依据风险为每个自动化的行动定义人的角色。
  • 节省的时间通过带日期的样本来验证。
  • 在覆盖旁边报告人工干预和由自动化引起的事件。
  • 评审并淘汰未使用或没有负责人的自动化。
  • 每项测量值旁边都展示了钻空子途径和护栏。

AI 提示词

依据你粘贴的材料建立自动化登记册。

我将粘贴我们运行的脚本、计划作业和自动化的清单:[粘贴附任何备注的清单]。请建立一张表,列为:名称、目的、受影响的系统、负责人(只使用我提供的;否则写“未知”)、权限(仅在给出时)、上次评审(仅在给出时),以及我应当对它问的第一个问题。不要虚构负责人、日期或权限。在末尾列出你的假设。

为一项自动化设计运行后检查和回退。

我们的自动化是 [名称],它在 [系统] 上做 [描述]。它以 [频率] 运行,权限为 [权限]。请提出确认预期结果的运行后检查、为损害设上限的范围限制、暂停它的办法,以及回退的做法。如果我们增加批准步骤,说明人工批准者需要什么信息。不要假定我们没有指明的工具。请列出你的假设,以及我应当回答的问题。

评审自动化仪表盘的钻空子风险。

我们报告这些自动化测量值:[粘贴测量值及其定义]。我们的背景:[团队规模、工具、受众]。对每项测量值,列出它在没有帮助任何人的情况下看起来更好的现实方式,提出一道护栏,并说明该护栏如何可能被钻空子。不要虚构基准值。请列出你的假设。

规划对节省时间的验证。

我们声称,通过自动化 [任务] 节省了 [数量] 小时。请起草一份通过抽样来验证的简短计划:要计时什么、取多少样本、如何纳入维护和失败的处理,以及如何报告不确定性。不要虚构数字;对我应当收集的数字使用占位符。请列出假设。

AI 技能

要点

  • 自动化的数量和节省的小时数描述的是努力和声称,所以要度量效果、失败和回退。
  • 每项自动化都需要负责人、登记册条目、运行后检查、范围限制,以及撤销或暂停的办法。
  • 依据风险选择由人在哪里作决定,并测试人能否决定得好。
  • 用带日期的样本验证节省的时间,并减去维护和失败的成本。
  • 淘汰没有负责人、未被使用或不再需要的自动化。

参考文献与延伸阅读

  1. Wikipedia, Automation.
  2. Wikipedia, Orchestration (computing).
  3. Wikipedia, Infrastructure as code.
  4. Wikipedia, Site reliability engineering.
  5. Wikipedia, DevOps.
  6. Wikipedia, Goodhart's law.
  7. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016.