服务连续性度量
在演练检验之前,恢复计划只是一个假设,所以连续性度量应当统计实际恢复了什么、多快恢复、有多少数据回来了,而绝不是架子上有多少份计划。
概述与动因
大多数事件测量值描述的是寻常的糟糕日子:一次失败的部署、一个饱和的数据库、一个吵闹的邻居。服务连续性描述的是罕见而严重的日子,当某个区域失效、某个数据存储损坏、某个供应商消失,或勒索软件加密了整个环境。业务连续性规划(business continuity planning)是使组织做好准备,在这类事件中仍以可接受的水平持续交付的学科。在 ITIL 4 中,该实践称为服务连续性管理,是这一更大目标的 IT 服务视角(见配套的《服务管理指南》中的对应主题)。
两个术语承载了大部分分量。恢复时间目标(recovery time objective,RTO)是中断之后恢复服务可接受的时间。恢复点目标(recovery point objective,RPO)是可接受的数据丢失量,以时间跨度表示:RPO 为一小时,意味着丢失最后一小时的写入是可容忍的,丢失更多则不然。两者都来自业务影响分析(business impact analysis,BIA),这是识别哪些活动最重要、什么依赖什么,以及中断代价如何的方法。目标是有价格的业务决定,因为更严格的目标需要更多的冗余、更多的自动化和更多的演练时间。
难点在于,目标是对一个尚未发生的未来事件的承诺。诚实的证据是一次测试。团队在上一次演练中是否在 RTO 之内恢复了服务?恢复的数据是否满足 RPO?计划中的步骤是否就是团队实际采取的步骤?因此,连续性度量主要是对演练的度量,而度量的质量取决于演练有多现实。
敏捷和站点可靠性工程(SRE)团队为此带来有用的习惯。他们的系统每周都在变化,所以一次写成就归档的计划会在几个月内过时。敏捷的回应是把恢复保持为代码(例如借助基础设施即代码(infrastructure as code)),经常预演,并把每次预演视为待办事项列表项的来源。混沌工程(chaos engineering)和演练日(game day)在较小的规模上应用同样的理念:有意地、以受控的方式造成一次故障,并观察发生什么。SRE 的视角在 Google 的《Site Reliability Engineering》一书中有所描述,更广泛的领域在站点可靠性工程的文章中有所概述。
视角有何不同
- ITIL 视角。 服务连续性管理是一项实践,它依据 BIA 设定恢复目标、设计计划,并通过测试加以证明。它的产出是计划、演练报告和有记录的发现。ISO 22301 标准描述了业务连续性管理体系。截至 2026 年 10 月,如果客户或监管者要求符合性,请直接查阅当前版本。
- 敏捷视角。 恢复能力是完成定义中的产品属性。增加一个数据存储的故事,在其恢复路径被尝试过之前不算完成。
- SRE 视角。 可靠性工作有预算并被度量。故障切换、恢复演练和演练日是有负责人的计划工作,其发现进入待办事项列表。
本主题涵盖七项测量值:测试中对照时间和数据目标的恢复、演练的覆盖和时效、备份恢复、发现的关闭,以及计划的时效性。真实的中断见重大事件度量(见主题 3.4,重大事件度量)和可用性度量(见主题 5.3,可用性度量)。以面向用户的目标表达的目标,见关于指标和预算的主题(见主题 5.2,SLI、SLO 与错误预算)。DORA 研究项目的“失败部署的恢复时间”是一个小得多的时钟(见主题 2.8,DORA 度量)。测试所揭示的根因属于问题和学习主题(见主题 4.1,问题管理度量,以及主题 4.2,事后复盘与学习度量)。
层级(tier)是按服务必须多快恢复而分组的一类服务。桌面推演(tabletop exercise)是不改变系统的、基于讨论的预演。演练日(game day)是团队造成或模拟一次故障并观察响应的、动手的预演。发现(finding)是计划与实际发生之间被记录下来的差距。计划时效性(plan currency)是一份计划反映服务当前状况的程度。
关键原则
- 先测试,后声称。 RTO 或 RPO 只有通过实际执行并计时的恢复才算验证。把目标与最近一次已证明的结果并排报告。
- 度量真实性,而不仅仅是成功。 在几分钟内通过的空测试数据库的恢复,几乎说明不了生产规模的恢复。在结果旁边记录每次演练的范围和条件。
- 给整个环境分层,并按层级投入精力。 关键服务获得频繁而真实的测试。低层级的服务获得较轻的检查。对一切使用单一的频率目标,会浪费精力或漏掉风险。
- 把发现视为演练的产出。 演练日有价值的产出是一份已关闭的缺口清单。没有发现的测试要么极好、要么太温和,你应当弄清是哪一种。
- 描述服务和轮换,绝不描述个人。 演练结果描述的是系统和计划。没有人按恢复一次演练的快慢被排名。
- 把每次演练展示为它自己的一行。 每项服务每年的测试很少,所以平均值会误导(见主题 1.6,服务度量的统计素养)。
度量定义
每项度量都列出时钟或计数、排除什么,以及数据来源。每一行在被信任之前都需要一条书面规则。下面的“第 1 层服务”指的是按你自己的 BIA 所定义的最高恢复层级中的服务。
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| RTO 达成率 | 在恢复演练中,服务在其规定的 RTO 之内恢复的占比 | 恢复时间 <= RTO 的演练 / 所进行的演练。时钟从演练故障的宣布开始(注入时间或场景宣布)开始,到服务通过其针对真实或合成用户的约定健康检查时停止。桌面推演和没有计时恢复的演练被排除并单独计数 | 百分比,并显示演练次数 | 演练报告、来自监控的时间线、带 RTO 的服务登记册 | 服务连续性管理;可用性管理 | 演练日结果;交付度量中的恢复时间 | 每次演练;每季度汇总 |
| RPO 达成率 | 在恢复演练中,数据丢失保持在规定的 RPO 之内的占比 | 测得的数据丢失跨度 <= RPO 的演练 / 恢复了数据的演练。数据丢失跨度是恢复后存在的最后一次写入与故障时刻之间的时间。不恢复任何状态的演练被排除 | 百分比,并显示演练次数 | 演练报告、把恢复的数据与源数据或写入日志相比较 | 服务连续性管理;信息安全管理 | 作为完成定义一部分的恢复演练 | 每次演练;每季度汇总 |
| 经测试的恢复覆盖 | 在其约定的测试间隔内做过动手恢复测试的第 1 层和第 2 层服务的占比 | 间隔内有合格测试的服务 / 范围内的服务。合格测试是动手的(不仅仅是桌面推演),并在测试或生产环境中恢复服务。间隔按层级设定 | 百分比,按层级 | 服务登记册、演练日历和报告 | 服务连续性管理;服务目录管理 | 演练日计划 | 每月 |
| 距上次成功恢复测试的天数 | 每项关键服务最近一次通过的恢复测试的时效 | 报告日期减去既满足 RTO 又满足 RPO 的最近一次测试的日期。失败的测试不会重置时钟。从未测试过的服务显示为“从未”,而不是零 | 天,按服务,突出最久的 | 演练报告、服务登记册 | 服务连续性管理 | 演练日计划;工作项年龄 | 每月 |
| 备份恢复成功率 | 尝试从备份恢复中,完成并得到经验证可用数据的占比 | 完成并通过数据验证检查的恢复 / 所尝试的恢复,涵盖自动和手工的恢复测试。仅备份作业成功被排除,因为运行了的作业不等于有效的恢复 | 百分比,按数据层级 | 备份系统日志、自动恢复验证结果 | 服务连续性管理;基础设施与平台管理 | 恢复演练;完成定义中的可运维性标准 | 自动测试每周;评审时每月 |
| 演练发现关闭率 | 恢复演练的发现中,在约定时间内关闭的占比,按严重程度拆分 | 在目标内关闭的发现 / 期内到期的发现。时钟从发现被记录在演练报告中开始,到经验证的修复时停止,即由重新测试或评审确认。由指名的负责人接受为风险的发现单独计数 | 百分比,并显示逾期发现的计数 | 演练报告、问题跟踪器 | 服务连续性管理;持续改进 | 回顾会议的行动项;待办事项列表项年龄 | 每月 |
| 计划时效性 | 在其服务最近一次重大变更之后,或在其评审间隔内被评审过的连续性计划和运行手册占比 | 评审日期晚于最近一次重大变更、且在间隔之内的计划 / 范围内的计划。重大变更指被标记为改变了架构、数据存储、依赖项或供应商的变更记录 | 百分比,并显示最久未评审的计划的时效 | 计划仓库(版本控制)、变更记录、服务登记册 | 服务连续性管理;变更赋能 | 完成定义包括更新运行手册 | 每季度 |
演练中的 RTO 时钟与真实中断中的时钟不同,后者从影响开始(见主题 3.4,重大事件度量),所以要把演练与演练相比较。照着剧本的演练度量的是预演的速度,所以要记录它包含多少意外。
建议
设定可测试的目标
1. 依据业务影响分析推导 RTO 和 RPO,并把它们写在服务旁边。 BIA 问业务,一小时、一天和一周的中断代价是什么,以及它能承受丢失什么数据。把答案记录在服务登记册中,使每次测试都能与规定的目标相比较。仅由工程师选定的目标,往往要么负担不起,要么与客户所需要的无关。
2. 给服务分层,并按层级设定测试间隔。 少数几个层级,也许三或四个,比为每项服务单设规则更容易运行。给最高层级最频繁、最真实的测试,给最低层级一种轻量的检查,比如定期恢复一个样本。写下间隔,并在 BIA 变化时评审。
3. 检查目标是否契合架构。 五分钟的 RPO 配上每夜一次的备份,是一个会在最糟糕的时刻被测试暴露的矛盾。在第一次演练之前,把每个目标与备份、复制和故障切换设计相比较,并把任何缺口记录为发现。
以能揭示东西的方式测试
4. 混合桌面推演、恢复演练和演练日。 桌面推演便宜,能发现角色、联系人和决策中的缺口。动手的恢复演练能发现流程、权限和数据中的缺口。演练日造成一次故障并观察响应,能发现监控、运行手册和协调中的缺口。分别报告每种类型,使一连串容易的桌面推演看起来不像恢复的证明。
5. 在生产规模的数据上为恢复计时。 在小型副本上有效的恢复,可能因吞吐量或存储限制而在真实的数据量上失败。凡全规模测试代价太高、无法经常运行之处,就定期运行一次,并说明任何外推。把数据量与结果一起记录。
6. 验证恢复的数据是可用的。 在恢复之后添加一项自动检查,比如行数、校验和或合成交易。只有该检查通过,才把恢复计为成功。
7. 逐步加入意外。 早期的演练可以事先宣布并有剧本。后期的演练应当隐瞒故障的细节,并包括过期凭据或无法联系的供应商之类的依赖项。记录意外的程度,使结果可以在语境中阅读。
把发现转化为变更
8. 为每项发现记录负责人、严重程度和到期日。 演练日产生一份清单:缺少的权限、不再与工具相符的运行手册步骤、从未触发过的监控。把每一项都放入团队的待办事项列表,其可见度与功能工作相同。跟踪未关闭发现的年龄和按时关闭的占比,并在可行时通过重新测试确认关闭。
9. 把发现与问题管理和学习联系起来。 在各次演练中反复出现的发现,按 ITIL 的意义就是一个问题(见主题 4.1,问题管理度量)。像事后复盘一样,以免责的方式评审每次演练,并把行动跟踪到关闭(见主题 4.2,事后复盘与学习度量)。
让计划保持鲜活
10. 把计划和运行手册放入版本控制,并把它们与变更相联。 当变更记录改变了架构、数据存储或供应商时,要求在同一项工作中评审所属的计划(见主题 4.3,变更赋能度量)。依据最近一次重大变更,而不仅仅是依据日历,来度量计划时效性。每季度评审一次、却无视上个月迁移的计划,只是名义上的最新。
11. 让依赖项地图保持诚实。 恢复顺序取决于身份、名称解析和密钥存储之类的共享服务。把地图与配置记录对账,并修复演练所揭示的缺口(见主题 7.4,配置与 CMDB 质量度量)。
12. 纳入供应商,并轮换演练职责。 向每个关键供应商索取其自己的测试证据,并商定如何演练联合的步骤(见主题 8.4,供应商与合同度量)。演练消耗时间,所以把职责分摊到一个轮换中,并将其计为运营负荷(见主题 5.7,繁琐工作与值班度量)。
钻空子途径与护栏
连续性数字很容易被美化,因为很少有人仔细查看一次演练,而真正的考验又很少发生。下表把每项度量与它被钻空子的一种方式,以及能抓住它的检查配对。配对遵循主题 1.2 所列出的形式(见主题 1.2,古德哈特定律与度量的心理学)。
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| RTO 达成率 | 选择很小的测试数据集、容易的场景或排练过的剧本;在团队已经开始之后才晚启动时钟;放宽健康检查,使“已恢复”来得更早;设定宽松的 RTO,使每次测试都通过 | 把数据量、场景意外和健康检查定义与每个结果一起记录;把 RTO 与 BIA 相比较;把每次演练展示为它自己的一行,包括失败的 |
| RPO 达成率 | 只对主表而不是对所有状态度量丢失;测试一个因为没有负载在运行而保持同步的副本;在未达成之后重新定义 RPO | 对照范围内所有数据存储的写入日志验证数据丢失;在现实的写入负载下测试;保存带理由的目标变更日志 |
| 经测试的恢复覆盖 | 把桌面推演的讨论算作测试;测试一项微不足道的小服务以提高百分比;通过把服务重新归入较低层级来缩减范围内的清单 | 对第 1 层的计数要求动手测试;报告按服务关键程度加权的覆盖;对照 BIA 审计层级变更 |
| 距上次成功恢复测试的天数 | 重新运行一次容易的测试以重置时效;把部分测试标为通过;在纸面评审之后重置日期 | 展示最近一次通过的测试的范围;展示最久的时效和从未测试过的服务;要求 RTO 和 RPO 都已达成 |
| 备份恢复成功率 | 把备份作业成功报告为恢复成功;只测试已知良好的备份;用无法失败的检查来验证 | 跟踪随机抽样的备份的恢复;要求有数据验证结果;每次审计时评审该检查本身 |
| 演练发现关闭率 | 在没有修复的情况下关闭发现;降低严重程度以放宽到期日;把一项发现拆成许多容易的;一开始就少记录发现 | 通过重新测试验证关闭;在关闭率旁边报告每次演练的发现数,因为数量下降可能意味着演练更温和;评审严重程度的变更 |
| 计划时效性 | 在没有阅读计划的情况下更新评审日期;把变更标为非重大;用永不过时的通用文本填充计划 | 抽样计划,并与没有写它的人一起走一遍;把重大变更标记率与架构变更历史相比较;把时效性与测试结果相联 |
健康的读数显示每季度有少数几次测试,带有诚实的变化:有些第一次就通过,有些失败后重做,每次的发现都出现在待办事项列表中并在规定的时间内关闭。年复一年的满分,是问一问演练有多难的理由。
权衡:利与弊
| 方法 | 优势 | 劣势 |
|---|---|---|
| 频繁的小型自动恢复测试 | 廉价、持续的证据;及早发现无声的备份失败 | 不测试协调、人员或全规模恢复 |
| 每年一次的全规模故障切换演练 | 真实;把人员、供应商和依赖项一起演练 | 昂贵而罕见;修复之后难以重复;若在生产中运行则有风险 |
| 桌面推演 | 成本低;发现角色和决策中的缺口;适于培训 | 不证明技术有效;很容易在什么也没学到的情况下运行 |
| 造成故障的生产演练日 | 真实度最高;按原样测试监控和运行手册 | 需要成熟的保障措施和领导层的支持;若运行得草率,可能对客户造成伤害 |
| 分层的目标 | 把精力花在风险所在之处 | 层级的分配可能漂移,需要负责人 |
务实的答案是一个分层的计划:始终运行廉价的自动恢复检查,按固定间隔对每项第 1 层服务做动手演练,以较长的周期做较大的演练,并用桌面推演来训练决策和沟通。说明各个间隔,使读者可以判断证据有多新。
与团队讨论的问题
1. 我们上一次恢复最重要的服务是什么时候?我们究竟证明了什么? 询问日期、数据量、场景和结果,并把它们写在板上。引导者应当抑制评判,聚焦于声称与证据之间的差距。最后商定一项能弥合最大差距的测试。
2. 我们的 RTO 和 RPO 是谁选的?业务今天还会选择它们吗? 把每个目标追溯到业务影响分析或某项决定。问架构在纸面上能否满足该目标,以及满足它的成本是否曾被说明过。商定由谁、在何时与业务确认最重要服务的目标。
3. 一次失败的演练会让我们付出怎样的声誉代价?这是否影响了我们演练的难度? 这个问题揭示使演练变温和的压力。问失败的测试是被视为团队的失败,还是演练的成功。
4. 我们上一次演练的哪些发现仍未关闭?为什么? 大声读出清单,附年龄和负责人。对每个逾期的项,问是什么阻碍了它:相互竞争的工作、不明确的归属、成本,还是认为风险可以接受。目标是没有任何发现处于无人负责的状态。
5. 我们的计划假设了哪些如今已不再成立的东西? 挑选一份计划,与没有写它的人一起阅读。寻找已淘汰的工具、改名的账户和已离开的供应商。问服务变化时计划将如何更新,以及在没有更新时谁会注意到。把答案与变更流程相联。
6. 哪个依赖项会使一切停摆?我们是否曾在没有它的情况下测试过? 身份、名称解析、密钥和呼叫系统本身之类的共享服务,是常见的单点故障。请团队说出它们,并描述每一个上一次被有意设为不可用是什么时候。
四种视角
产品与交付团队
产品团队拥有使恢复成为可能的设计,所以他们把连续性作为关键服务完成定义的一部分来遇到:备份路径、恢复流程,以及一份有效的运行手册。他们应当把恢复演练作为自己节奏的一部分来运行,把恢复代码与服务存放在一起,并把失败的演练视为待办事项列表项。
服务与运维团队
运维团队运行大多数演练,并承担准备它们的负荷。他们应当保存演练日历,在演练进行时记录时间线,并当天就写下发现。结果描述的是服务和计划,没有人按个人恢复一次演练的快慢被排名。
领导层与治理
领导者与业务一起设定目标,并决定值得为多少恢复付费。他们应当要求在每个目标旁边看到最近一次已证明的结果、证据的时效和未关闭的发现,并避免奖励一张干净的成绩单。治理机构应当期望一小组稳定的连续性测量值,与风险登记册以及适用之处的受监管报告相联(见主题 8.2,风险与控制度量,以及主题 8.5,受监管与政府报告)。
客户与用户
客户很少看到连续性,直到它变得重要,那时他们完全依据结果来评判:他们没有服务多久,以及数据是否幸存。他们受益于以他们能够理解的措辞对所承诺内容作出的清晰说明,以及当事件启用计划时诚实的沟通。凡合同包含恢复承诺之处,应要求分享演练证据(见主题 5.1,SLA、OLA 与 XLA 度量)。
实践:一个服务管理示例
一家区域医院的 IT 部门运行着一个患者排程系统、一个医学影像档案库和一个员工消息服务。由八人组成的产品团队维护排程,运维团队运行平台。本示例中的所有数字均为示意。
部门的登记册把排程列为第 1 层,RTO 为 2 小时,RPO 为 15 分钟。它的季度报告显示“RTO 达成率:4 次演练中 100%”和“经测试的恢复覆盖:100%”。一位新的运维主管阅读了这些数字背后的演练报告。四次演练中有三次是桌面推演,唯一一次动手的恢复使用的是持有大约十分之一生产数据的数据库副本。已有 14 个月没有人把备份恢复到一个干净的环境中。
团队决定改变度量和测试的内容。它重新定义经测试的恢复覆盖,只计入动手测试,这使三项第 1 层服务的数字降到 33%。它为排程安排一次生产规模的恢复,附对行数的自动验证和一笔合成预订交易。这次运行花了 3 小时 40 分钟,而 RTO 为 2 小时,恢复的数据比故障点晚 40 分钟,而 RPO 为 15 分钟,因为日志传送在一次迁移期间被暂停并且从未恢复。演练日产生 9 项发现:2 项高、5 项中、2 项低严重程度。
记录在日志中的决定,是把这次未达成视为这一年最有价值的结果。团队开启工作,恢复日志传送并对其滞后设置告警,使恢复并行化,并把一个数据卷迁移到更快的存储上。RTO 保持在 2 小时,团队为排程增加了有文档的手工备用方案。前 60 天的发现关闭率是 9 项中有 7 项按时关闭,另外两项由指名的负责人接受为风险。
这里发现的钻空子风险很微妙。没有人伪造数字:大量的桌面推演和很小的测试数据集使报告呈绿色。起作用的护栏是把数据量和演练类型与每个结果一起记录,以及阅读底层演练报告的做法。在下一份报告中,团队把每次演练展示为它自己的一行,包括失败的那次运行。
敏捷、AI、自动化与分析
敏捷
与干系人一起以小型、频繁的演练预演恢复,并修复它们所揭示的问题。需要注意的是,总是通过的剧本式演练给人虚假的安慰。
AI
AI 服务把模型、向量存储和第三方 API 之类的新依赖项加入恢复计划。把它们纳入经测试的恢复覆盖,并把恢复时间与检查恢复后答案是否正确配对。需要注意的是,恢复的 AI 服务可能运行不同的模型版本或丢失其数据,所以要验证行为,而不仅仅是可用性。
自动化
自动化备份验证和恢复测试,并就失败的恢复来度量自动化。需要注意的是,完成的备份不等于能恢复的备份,所以要测试恢复。
分析
报告测试中达成的目标,以及最近一次测试的日期和已关闭的演练发现。这为之提供依据的决定是哪一项恢复最缺乏证明。需要注意的是,真实的恢复很少意味着样本很小,所以要展示计数。
行业视角
初创公司。 通常只有一个生产环境、一个小团队和一个托管的云提供商。最有价值的测量值也是最简单的:每月把生产数据库从备份恢复到一个干净的环境中,计时,并验证结果。把 RTO 和 RPO 写在一页纸上。
小型企业。 IT 往往是外包的,或由一两个人在托管服务上运行。以书面形式问供应商,它承诺什么样的恢复、能出示什么证据,并每季度测试一次对你自己数据的恢复。把一页纸的计划放在主系统宕机时仍能读到的地方。
大型企业。 众多服务、众多供应商和共享平台,使分层和依赖项地图必不可少。投资于带目标的中央服务登记册、演练日历、自动恢复验证,以及一致的报告,使结果在团队之间可比较。
政府与公共部门。 连续性的职责可能来自法律、审计或政策,公共服务可能必须在紧急情况下继续工作。测试的证据常常由外部评审,所以要以审计员能够阅读的形式保存演练报告、发现和关闭记录。采购可以锁定恢复安排,所以要在合同中纳入演练的权利和证据(见主题 8.5,受监管与政府报告)。
业务论证:动因、投资回报与总拥有成本
投资的理由是:持续时间超出业务所能承受的严重中断的代价、无法重新创建的数据的丢失,以及对索要备灾证据的客户、监管者和保险公司的义务。连续性工作是保险,所以回报是避免的损失和决策者的信心,很难在不虚构的情况下表达为一个数字。通过你能观察到的模式来描述它:所述的恢复时间与已证明的恢复时间之间的差距、在演练中而不是在真实事件中发现的高严重程度发现的数量,以及回应客户或审计员索取证据的请求所需的时间。
成本分为三组:目标所要求的冗余和工具、人员规划、运行和评审演练的时间,以及保持计划和依赖项地图最新的工作。
总拥有成本以人员和较严格的层级为主。从 24 小时的 RTO 变为 2 小时,会改变设计和账单,所以要与业务一起使这一权衡变得明确。小型、频繁、自动的测试,往往比一次大型的年度活动成本更低,因为缺陷在修复便宜时就浮现了。
反模式与陷阱
- 架子上的计划。 一份文档算作准备,而没人试过它。应当在每个目标旁边报告最近一次动手测试的日期和结果。
- 把备份成功当作恢复成功。 作业报告绿色,而数据无法恢复。应当定期测试恢复,并在计为成功之前验证数据。
- 排练好的戏剧。 演练有剧本,并由计划的作者来运行。应当逐步加入意外。
- 对一切使用同一个目标。 每项服务的 RTO 都是四小时,因为模板就这么写。应当依据业务影响分析给服务分层,并设定适合的目标。
- 永不关闭的发现。 演练报告列出缺口,而待办事项列表从未看到它们。应当为每项发现指定负责人和到期日,并通过重新测试验证关闭。
- 惩罚失败的测试。 因未达成 RTO 而被责备的团队,会不再运行困难的测试。应当事先商定,带有良好发现的失败演练是一个好结果,并以免责的方式评审它。
- 快速变化之后的陈旧计划。 日历驱动评审,而架构变更悄悄溜过。应当把计划评审与重大变更记录相联,并依据它们来度量计划时效性。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 目标与层级 | RTO 和 RPO 未写下,或照搬自模板 | 为一些关键服务写下了目标 | 层级和目标来自业务影响分析,并位于服务登记册中 | 对照已证明的结果和架构评审目标 | 目标与业务和供应商共同商定,并随服务变化而调整 |
| 测试与证据 | 恢复从未测试,或仅在一次事件之后测试过一次 | 一些团队做临时的恢复测试;结果保存在个人笔记中 | 分层的测试间隔,附有记录的范围、时间线和结果 | 对结果做趋势分析,分别报告桌面推演、演练和演练日 | 带意外的跨团队和供应商的演练,依据风险安排 |
| 发现与学习 | 非正式地注意到缺口 | 在一些演练之后列出发现 | 每项发现都有负责人、严重程度和到期日 | 评审关闭率和年龄,并由重新测试确认关闭 | 发现为共享平台、供应商合同和设计标准提供输入 |
| 计划时效性 | 计划一次写成 | 事件之后更新计划 | 计划位于版本控制中,带评审间隔 | 评审与重大变更相联并被度量 | 计划和运行手册作为代码被测试,并尽可能由服务定义生成 |
检查清单
- 每项第 1 层服务都有来自业务影响分析的书面 RTO 和 RPO。
- 服务登记册显示每项服务的层级、目标和测试间隔。
- 写下 RTO 和 RPO 的时钟、健康检查和排除项(见主题 1.5,数据来源与埋点)。
- 动手的恢复测试、桌面推演和演练日作为不同类型分别报告。
- 每次恢复测试都记录数据量、场景、意外程度,以及测得的恢复时间和数据丢失。
- 自动测试从备份的恢复,并由数据验证检查决定成功与否。
- 每项演练发现都有负责人、严重程度、到期日,并在待办事项列表中占有一席之地。
- 计划评审与重大变更记录相联,并使最久未评审的计划可见。
- 依赖项地图包括共享服务,并且至少有一个场景移除其中之一。
- 本主题中的每项度量在度量登记册中都有指名的护栏和负责人(见主题 1.4,度量治理与归属)。
- 演练职责轮换,其所用的时间被计为运营负荷。
AI 提示词
设计一次恢复测试以及与之配套的测量值。
我想测试 [服务名称] 的恢复,这是一项 [层级] 服务,规定的 RTO 为 [RTO],RPO 为 [RPO]。其主要组件是 [清单:数据存储、队列、计算、共享服务],供应商是 [清单]。请起草一份测试计划,含现实的场景、启动时钟的事件、停止时钟的健康检查、如何对照 RPO 度量数据丢失、要使用的数据量、要记录什么,以及防止对生产造成伤害的保障措施。不要虚构基准时间,也不要声称任何目标是可以达成的。请列出你的假设,以及我为完成计划应当回答的问题。
评审演练报告,查找美化的证据。
这是我们最近 [数量] 次恢复演练的摘要:[为每次粘贴:类型、日期、范围、数据量、恢复时间、数据丢失、发现数]。我们的目标是 [每层的 RTO 和 RPO]。找出所报告的结果可能夸大真实恢复能力之处,比如小数据集、剧本式场景、仅有桌面推演的覆盖或宽松的健康检查。建议要额外记录什么信息,以及与每个结果配对的护栏度量。不要虚构基准值,也不要假设我没有给出的事实。请列出你的假设。
把演练日的笔记转化为发现和待办事项列表项。
这是 [服务] 的一次演练日的原始笔记:[粘贴笔记和时间线]。把计划与实际发生之间的每一处差距提取为一项单独的发现,附简短的标题、描述、使用这一量表 [严重程度量表] 的建议严重程度、候选负责人角色(不是指名的人),以及我们如何验证修复。把可能有共同根因的发现归为一组。不要虚构笔记中没有的事件。请列出你的假设以及任何需要澄清的内容。
对照近期变更检查计划的时效性。
这是 [服务] 的连续性计划,上次评审于 [日期]:[粘贴计划或大纲]。自那以后的重大变更有:[列出对架构、数据存储、依赖项、供应商和工具的变更]。找出计划中可能因这些变更而变得有误的步骤、联系人、工具和依赖项,并列出评审者应当提出的问题。不要虚构关于我们系统的细节。请列出你的假设。
AI 技能
- Service Management Metrics skill:用于查找定义某项连续性、恢复或演练度量的主题,以及与之配对的护栏。
- Service Management Metrics maintainer skill:用于检查经过编辑的连续性度量是否说明了其时钟、排除项和钻空子途径。
要点
- 恢复目标是一项承诺,只有计时的、现实的演练才能表明它能否守住。
- 在每个 RTO 和 RPO 旁边报告最近一次已证明的结果及其时效,并把每次演练展示为它自己的一行。
- 测试恢复,而不是备份:只有当数据被验证为可用时,恢复才算数。
- 演练的产出是一份已关闭的发现清单,所以要跟踪其年龄,并通过重新测试确认关闭。
- 把计划保存在版本控制中,并把其评审与重大变更相联,而不仅仅是与日历相联。
- 度量服务和计划,绝不度量人,并使带有良好发现的失败演练成为一个安全且受尊重的结果。
参考文献与延伸阅读
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, https://sre.google/workbook/table-of-contents/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- ISO 22301:2019, Security and resilience: Business continuity management systems: Requirements, International Organization for Standardization.
- ISO 22313:2020, Security and resilience: Business continuity management systems: Guidance on the use of ISO 22301, International Organization for Standardization.
- Rosenthal, C., and Jones, N., Chaos Engineering: System Resiliency in Practice, O'Reilly Media, 2020.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Business continuity planning.
- Wikipedia, Recovery time objective.
- Wikipedia, Recovery point objective.
- Wikipedia, Business impact analysis.
- Wikipedia, ISO 22301.
- Wikipedia, Backup.
- Wikipedia, Chaos engineering.
- Wikipedia, Site reliability engineering.
- Wikipedia, Infrastructure as code.