概述与动因

可用性是服务管理中被引用最多的数字,也是定义得最不精确的数字之一。“服务上个月的可用性为 99.9%”这样的说法听起来很确切,却隐藏着至少四项决定:什么算作服务、什么算作“可用”、哪些时间在范围之内,以及哪些中断被排除。两个团队可以在同一个月报告同一项服务,并发布相差一个数量级的数字,而两者都没有算术错误。

本主题使这些决定变得明确。它涵盖正常运行与停机时间的计算、按用户加权的可用性、计划内与计划外中断,以及几个九的算术。它建立在服务级别指标(SLI)、服务级别目标(SLO)和错误预算(见主题 5.2,SLI、SLO 与错误预算)以及服务级别的合同视角(见主题 5.1,SLA、OLA 与 XLA 度量)之上。那些主题说明如何选择目标。本主题说明如何计算与目标相比较的那个数字。

本主题中使用的术语

  • 可用性(availability)是服务在用户需要时做到用户所需要的事的能力,通常表示为一段时期内的百分比。其一般概念在关于高可用性(high availability)的文章中有所描述。
  • 停机时间(downtime)是服务不可用的一段时间。本主题用中断(outage)指一次连续的停机,用降级(degradation)指服务能工作但低于约定质量的一段时间。
  • 正常运行时间(uptime)是测量窗口内停机时间的补集。基于时间的可用性是正常运行时间除以范围内的总时间。
  • 基于请求的可用性(request-based availability)是成功的有效请求占比,所以在一小时内影响 5% 请求的故障,计为一小时流量的 5%,而不是整整一小时的停机。
  • 按用户加权的可用性(user-weighted availability)把基于请求的视角加以扩展,按受影响用户的数量或重要性给故障加权,例如统计失败的会话或失败的旅程,而不是原始的请求。
  • 服务级别协议(SLA)是对客户的承诺,服务级别目标(SLO)是针对某个指标的内部目标。服务级别协议和服务级别目标的文章给出了一般定义。
  • 计划内停机(planned downtime)是提前宣布并通过变更赋能批准的中断。计划外停机(unplanned downtime)是其他一切。二者之间的界线,是可用性报告中最有争议的界线之一。
  • 平均故障间隔时间(mean time between failures,MTBF)是两次中断之间的平均运行时间,平均修复时间(mean time to repair)是平均恢复时间。两者都是平均值,所以本书把它们作为分布来阅读(见主题 1.6,服务度量的统计素养)。
  • 合成监控(synthetic monitoring)使用行为像用户的脚本化探测,并报告成功或失败。真实用户监控(real user monitoring)记录实际用户在使用服务时的体验。
  • ITIL是最知名的 IT 服务管理框架。在 ITIL 4 中,可用性管理实践关注确保服务交付约定的可用性水平,并与监控和事件管理、事件管理以及服务连续性管理密切合作。

为什么一个数字永远不够

十次各四分钟的中断和一次四十分钟的中断,产生相同的停机总量,但用户对它们的感受不同,也需要不同的回应。前一种模式指向脆弱的服务。后一种指向缓慢的检测或恢复。为此,这里的测量值是作为一小组给出的,每项都带一道护栏,使团队可以诚实地讨论可用性,而不必争夺最多的九。

ITIL 与敏捷视角有何不同

在 ITIL 中,可用性是服务的一项被管理的属性,与客户商定,由服务级别管理对照规定的目标来报告,带有清晰的服务时间和诸如计划内维护之类的排除项。

在敏捷和站点可靠性工程(SRE)实践中,可用性是若干 SLI 之一,与 SLO 相比较。Google 的《Site Reliability Engineering》一书指出,基于时间的可用性适合单一系统,而请求成功率适合始终处于部分在线状态的分布式服务。它还指出,100% 几乎从来不是正确的目标,因为每多一个九,成本都急剧上升。

用 ITIL 关于约定范围、时间和排除项的纪律来定义分母。用 SRE 关于以用户为中心的指标和错误预算的纪律来定义分子,并决定如何处理结果。

关键原则

  • 从用户一侧定义“可用”。 一项在健康检查中有应答、而用户无法登录的服务,对那些重要的人来说就是宕机。
  • 把分母写下来。 在计算任何东西之前,说明服务边界、范围内的时间、时区和测量窗口。
  • 分别统计计划内和计划外的中断。 同时报告两者,绝不让其中之一隐藏在另一个之内。
  • 对分布式服务,倾向于基于请求和按用户加权的测量值。 部分故障既不是完全正常运行,也不是完全停机。
  • 把九换算成分钟。 只有当人们能说出一个目标每月允许多少分钟的故障时,目标才被理解。
  • 选择用户所需要的几个九。 超出那一点,每多一个九,付出的成本多于回报。
  • 描述服务,绝不描述人。 可用性属于一项服务及运行它的团队,绝不是个人的分数。

度量定义

每一行都说明其时钟和边界。除非某行另有说明,均使用日历时间。凡一项测量值使用分布,就报告中位数和第 95 百分位数,并指明窗口。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏
基于时间的可用性 范围内的时间中,服务达到“在线”书面定义的占比 (窗口内范围内的分钟数减去计划外停机分钟数) / 窗口内范围内的分钟数。时钟从随后被确认为用户影响的第一次失败探测开始,或从事件评审中记录的确认影响开始时间开始;在服务重新达到该定义时停止。约定服务时间内的计划内停机单独显示,约定服务时间之外的时间从分母中排除 百分比 合成监控结果;带有影响开始和恢复时间戳的事件记录 可用性管理;服务级别管理 针对单一系统的基于时间的 SLI(见主题 5.2,SLI、SLO 与错误预算) 每月
基于请求的可用性 成功的有效请求占比 窗口内成功的有效请求 / 有效请求总数。有效请求排除格式错误的请求以及由调用者引起的客户端错误;由服务引起的失败,包括超时,被计为失败。按服务和用户旅程报告 百分比 负载均衡器、网关或应用的日志和指标 可用性管理;监控与事件管理 带 SLO 和错误预算的成功率 SLI(见主题 5.2,SLI、SLO 与错误预算) 每日趋势,每月报告
按用户加权的可用性 按受影响的用户或旅程加权的可用性,使高峰期的中断比夜间的中断更重要 窗口内 1 减去(失败的用户会话或失败的旅程 / 用户会话或旅程总数)。如果某个已定义的关键步骤失败,会话即计为失败;部分成功作为单独的降级占比报告,而不是折算进来 百分比 真实用户监控;应用会话日志;分析事件 可用性管理;服务级别管理 基于旅程的 SLI,以及主题 6.2 中的体验测量值(见主题 6.2,体验级别协议) 每月
计划外停机 服务在没有事先批准的通知下不可用的分钟数 窗口内中断持续时间之和,从确认的影响开始到确认的恢复,针对在开始前未通过变更赋能宣布并批准的中断。同一服务上重叠的中断被合并,而不是相加。以总分钟数、中断次数,以及中断持续时间的中位数和第 95 百分位数报告 分钟 带有影响开始和恢复时间戳的事件记录 事件管理;可用性管理 把恢复时间作为分布来阅读(见主题 3.3,事件响应与解决时间) 每月
计划内停机占比 提前宣布并批准的停机占全部停机的比例 窗口内计划内停机分钟数 / (计划内加计划外停机分钟数)。只有当一次中断在开始前通过变更记录获得批准,且其开始和结束时间已告知用户时,才算计划内;超出批准窗口的超时,从窗口结束的那一刻起重新归类为计划外 百分比 带批准窗口的变更记录;事件记录;状态页历史 变更赋能;可用性管理 偏好零停机部署的发布和维护实践(见主题 4.3,变更赋能度量) 每月
中断频率与间隔 中断多常开始,以及服务在两次中断之间运行多久 窗口内开始的中断计数;以及对每一对连续的中断,从第一次的恢复到第二次的开始之间的正常运行分钟数,汇总为中位数和第 5 百分位数。当存在的间隔少于十个时,不作为单一均值报告 计数;分钟 事件记录;监控历史 事件管理;问题管理 与变更失败率并列的稳定性信号(见主题 4.4,变更失败与返工) 每月
降级占比 服务能工作但低于约定质量的时间 延迟、错误或正确性指标超出其阈值的分钟数,排除已计为停机的分钟 / 范围内的分钟数。阈值按服务说明,例如在 SLO 中 百分比 监控和 SLI 测量 可用性管理;容量与性能管理 延迟 SLI(见主题 5.4,容量与性能度量) 每月
度量覆盖 可用性度量实际观察到的服务面向用户的行为有多少 带有活动探测或真实用户度量的关键用户旅程 / 服务定义中列出的关键用户旅程 百分比 服务定义;监控配置 监控与事件管理;可用性管理 可观测性覆盖与告警质量(见主题 5.5,监控与告警质量度量) 每季度

关于数据的两点说明。每五分钟检查一次的探测,无法分辨两分钟的中断,所以在数字旁边记录探测间隔,并使用事件记录中的影响开始字段(见主题 1.5,数据来源与埋点)。每当“在线”的定义发生变化,就在趋势图上标出。

建议

定义度量

1. 在写百分比之前先写服务定义。 列出服务边界、关键用户旅程、范围内的时间、时区和窗口(通常是一个日历月)。说明哪些依赖项算数:如果支付提供商失败而用户无法付款,那算你的中断吗?在度量登记册中记录答案(见主题 1.4,度量治理与归属)。关于可用性的大多数争议,都是关于这一页的争议,而事先解决它们,比在中断之后解决便宜得多。

2. 把“在线”定义为用户成果,而不是服务器状态。 在登录出问题时仍返回成功的健康检查,度量的是错误的东西。选择少量关键旅程,比如“搜索并查看一件商品”“登录”或“提交一项申请”,并用用户能认得的方式为每个旅程定义成功。端到端地探测旅程,并把超过约定阈值的缓慢响应视为降级,而不是在线。

3. 对分布式服务使用基于请求的测量值,对真正非开即关的服务使用基于时间的测量值。 全球化的服务很少完全宕机,所以统计完全故障的分钟数,会忽略大部分真实的故障。如果可以就两者都报告,并说明哪个是标题数字及其原因。

4. 在负载不均匀之处加入用户加权。 凌晨 4 点的十分钟中断和交易日开始时的十分钟中断,持续时间相同,代价却大不相同。按故障那一分钟的会话或交易加权,或把高峰时段的中断分钟数作为单独的数字报告。

5. 从故障域之外进行度量。 与服务在同一网络或区域内的探测,会随之一起失败,或在用户所走的路径已经中断时仍持续报告成功。至少从两个独立的位置运行合成探测,并对照真实用户数据交叉检查。

诚实地对待计划内与计划外中断

6. 并排报告计划内和计划外停机。 许多协议排除计划内维护,这是合理的。用户仍然把它体验为停机,所以在标题数字旁边展示被排除的分钟数和计划内占比(见主题 4.3,变更赋能度量)。

7. 让“计划内”的标签难以获得。 把计划内定义为在中断开始前通过变更记录获得批准,且开始和结束时间事先告知用户。中断开始之后才宣布的,是计划外。超出批准窗口的超时,从窗口结束的那一刻起是计划外。这三条规则防止这一标签成为重新标注故障的办法。

8. 努力缩减计划内停机。 滚动部署、功能开关、无锁的模式迁移和蓝绿发布,使团队不必让服务下线就能变更它。把计划内停机分钟数作为趋势来跟踪,并问需要什么才能使其趋近于零。

读懂这些数字

9. 把九换算成分钟并展示出来。 下表给出 30 天的月份(43,200 分钟)和 365 天的年份(525,600 分钟)的算术。把允许的分钟数与目标一起放在仪表盘上,并展示窗口内迄今已用的分钟数。人们对“每月 43 分钟”作出的决定,比对“三个九”作出的更好。

可用性目标 30 天月份允许的停机 365 天年份允许的停机
99% 432 分钟(7.2 小时) 5,256 分钟(87.6 小时)
99.5% 216 分钟(3.6 小时) 2,628 分钟(43.8 小时)
99.9% 43.2 分钟 525.6 分钟(8.76 小时)
99.95% 21.6 分钟 262.8 分钟(4.38 小时)
99.99% 4.32 分钟 52.56 分钟
99.999% 约 26 秒 约 5.26 分钟

这些数值假定时钟在整个窗口内运行。如果你只度量约定的服务时间,允许的分钟数会按比例缩小,你应当说明这一点。

10. 尊重每多一个九的代价,以及你的依赖项的限度。 SRE 一书指出,可靠性成本随每多一个九而急剧上升,目标应当反映用户的需要和业务愿意为之付出的代价。服务很少能比它串联所需的依赖项更可用。如果三个必需的组件各自达到 99.9%,而一个请求需要全部三个,那么这一组合的最佳预期可用性大约是 99.7%,因为在各组件独立时,失败概率相加。在承诺一个数字之前先做乘法。

11. 看间隔和形态,而不仅仅是总数。 频繁的短暂中断,需要与一次罕见的长时间中断不同的回应。把长时间的中断与检测和恢复联系起来(见主题 3.3,事件响应与解决时间),并与重大事件视图联系起来(见主题 3.4,重大事件度量)。

12. 用错误预算和问题记录闭环。 可用性目标在它改变团队的所作所为时才有用。当每月允许停机的预算快用完时,放慢有风险的变更,并把精力转向可靠性工作,如错误预算政策所述(见主题 5.2,SLI、SLO 与错误预算)。当同一原因再次出现时,开立问题记录并跟踪到修复(见主题 4.1,问题管理度量)。

钻空子途径与护栏

度量 如何被钻空子 配对的护栏度量或实践
基于时间的可用性 探测一个始终在线的无关紧要的页面,而真正的旅程失败;拉长探测间隔,使短暂的中断落在两次检查之间;缩减范围内的时间;把中断算作降级 按用户加权的可用性和真实用户监控;在数字旁边说明探测间隔;对照监控记录抽查事件
基于请求的可用性 把容易的请求(健康检查、缓存的资源)计入分母以稀释失败;把服务器错误归类为客户端错误;排除用户体验为失败的重试 按关键旅程而不是按请求的成功率;评审排除清单;与用户报告的事件相比较
按用户加权的可用性 选择加权方式使高峰期的故障不重要;把“成功”会话定义得很松,使中断的步骤仍然通过 公布加权规则和旅程清单;与中断期间的投诉量和支持联系相比较
计划外停机 事后把中断重新归类为计划内;推迟确认的影响开始;把一次中断拆成两次,使之看起来更短 计划内停机占比,并规定在开始之后才宣布的中断是计划外;把影响开始与监控数据相比较
计划内停机占比 把变更登记为已批准窗口,使超时和故障被算作计划内;通过安排不必要的维护夸大计划内占比 超时的分钟被重新归类为计划外;变更失败率和紧急变更占比(见主题 4.4,变更失败与返工)
中断频率与间隔 合并事件,或只在长时间间隔之后才开立新事件,以保持计数很低;抑制告警,使短暂的中断未被记录 对照原始监控事件抽样检查告警和事件;监控覆盖与告警质量(见主题 5.5,监控与告警质量度量)
降级占比 把阈值设得很松,使缓慢的服务永不违反它;把降级的时间声明为在线 在数字旁边评审延迟百分位数和用户报告的缓慢(见主题 5.4,容量与性能度量)
度量覆盖 只列出容易探测的旅程,使覆盖读作 100%;把一个旅程算作被一个从不运行的探测覆盖 与服务负责人和用户商定旅程清单;每季度抽样探测的运行历史

健康的读数显示:数字因团队能够解释的原因而变动,计划内和计划外停机都可见,按用户加权的数字接近标题数字。对伴随着投诉的完美月份要保持怀疑。偶尔一次诚实的下滑,表明记录系统有效。

权衡:利与弊

方法 优势 劣势
基于时间的可用性 简单、广为人知、易于与合同比较 把部分故障当作非此即彼;忽略何时和谁
基于请求的可用性 反映部分故障;可扩展到分布式服务 依赖对有效请求的合理定义;可能被容易的流量稀释
按用户加权的可用性 接近用户的体验;显示高峰期故障的代价 需要会话或旅程数据;更费力解释
排除计划内停机 符合许多协议;奖励提前通知 可能隐藏真实的影响;招致重新标注
适度的目标加错误预算 平衡可靠性和交付速度 需要纪律,在预算用完时采取行动

答案是选择适合该服务的最简单的测量值,在负载不均匀之处加入用户加权,并对每一项排除都保持明确。一个略欠优雅但人人都懂的测量值,比一个没有人信任的复杂测量值更有益。

与团队讨论的问题

1. 对我们最重要的服务来说,“可用”意味着什么?用户会同意吗? 请每个人用一句话描述,用户必须能做到什么,服务才算在线。把答案与书面定义以及为仪表盘提供数据的探测相比较。引导者应当倾听诸如登录、搜索或付款在探测中工作而实际上失败之类的差距。最后商定定义必须指明哪些用户旅程。

2. 上个季度的哪些中断会被我们的计算排除?这公平吗? 列出这些中断,并把每一次标为计划内、计划外或被排除。问每次判断由谁在何时作出。引导者应当记录用户会不同意该标签的案例,并用它们来收紧规则。

3. 我们的目标允许多少分钟的停机?我们在这个窗口内已经用了多少? 在白板上把目标换算成月和年的分钟数。与迄今已用的分钟数相比较。问如果预算只剩 20%,团队会有什么不同的做法。这使抽象的目标具体化,并把数字与错误预算政策联系起来。

4. 我们的度量可能在哪里漏掉用户会感受到的故障? 走一遍探测位置、间隔、覆盖的旅程和依赖项。问什么样的故障会通过每一个探测,却仍使服务对用户而言中断。商定添加一个新探测或一项真实用户度量。

5. 我们是否在计划本可避免的中断? 查看六个月以来的计划内停机,问每次中断是什么迫使的。有些是不可避免的,比如供应商的要求。另一些来自可以改变的发布或迁移方式。问需要什么才能消除最大的来源,以及谁拥有这项工作。

6. 如果标题数字看起来完美,什么会使我们怀疑它? 说出会与仪表盘相矛盾的信号:投诉量、支持联系,或值班团队的回忆。检查现在是否存在。商定一项要放到仪表盘上的比较。

四种视角

产品与交付团队

每次变更服务,交付团队都会影响可用性。他们可以为零停机部署做设计,用功能开关限制爆炸半径,并把错误预算视为发布决定的输入,把可用性与部署测量值并排阅读(见主题 2.8,DORA 度量)。

服务与运维团队

运维团队拥有产生数据的探测、事件记录和轮换。他们应当使定义和排除清单保持最新,诚实地记录影响开始,并对照真实事件评审监控。可用性属于服务及其轮换,绝不属于某一位值班的工程师(见主题 5.7,繁琐工作与值班度量)。

领导层与治理

领导者设定的激励,决定可用性数据是否坦率。问“你们为什么丢了一个九?”的评审,教会团队把中断隐藏在排除项里。问团队学到了什么,以及什么投资会减少中断,并且不要索要超过用户会注意到的更多的九(关于供应商承诺,见主题 8.4,供应商与合同度量)。

客户与用户

用户依据自己能否做成想做的事来评判可用性。他们对有明确标示的维护窗口的容忍度,远高于对突发事件的。给他们一个带有诚实起止时间的状态页,并把他们的反馈与数字并排阅读(见主题 6.2,体验级别协议)。

实践:一个服务管理示例

一家中型在线零售商运行着一个店面、一项结账服务和一项订单跟踪服务。本示例中的数字均为示意。

结账团队报告该月基于时间的可用性为 99.95%,这允许 21.6 分钟的计划外停机,而仪表盘显示 99.96%。客户支持主管感到不安,因为同一个月内有关支付失败的支持联系增加了。她请团队评审这一度量。

团队发现三个问题。探测每五分钟检查一个“结账可达”的页面,而不是完整的支付旅程。基于请求的数据显示,在两个晚上,支付提供商的超时使大约 4% 的支付尝试各失败了约 50 分钟,而探测从未察觉,因为页面本身是加载的。而且,一次超出其批准窗口 18 分钟的数据库迁移,被完全记录为计划内维护。

团队作出四项变更。它从两个位置以一分钟的间隔为完整支付旅程添加一个合成探测。它使用到达支付步骤的会话,添加基于请求和按用户加权的数字。它把超时的分钟重新归类为计划外。它还把计划内停机占比和度量覆盖加入报告。

在修正后的基础上,该月显示基于时间的可用性为 99.93%,基于请求的可用性为 99.90%,按用户加权的可用性为 99.84%,因为故障落在晚间的高峰期。三者都未达到 99.95% 的目标,这令人不舒服。团队与支持主管一致认为,早先的数字过于宽松。他们把修正后的定义写入度量登记册,并让错误预算政策生效:在下个月,结账的有风险变更要等到预算恢复,团队还为支付提供商的超时开立了问题记录(见主题 4.1,问题管理度量)。

他们发现的钻空子风险是重新标注。一位经理建议把超时称为“延长的维护”,以保护目标。计划内停机占比及其“超时变为计划外”的规则,使这种重新归类可见,团队保留了诚实的数字。

敏捷、AI、自动化与分析

敏捷

从用户一侧定义可用性,并在服务变化时与干系人一起评审定义。需要注意的是,一个组件上很多个九,几乎说明不了用户所走的旅程。

AI

AI 组件可能以软的方式失败,即缓慢、出错,或只对某些输入不可用,而单纯的正常运行时间会漏掉这些。添加一个经质量调整的视图,比如得到正确且及时回答的请求占比,并与用户报告的问题配对。需要注意的是,把降级的 AI 回答算作在线,会美化数字。

自动化

自动地从真实流量和合成探测收集请求结果,并就覆盖来度量探测。需要注意的是,检查健康页面的探测,可能在用户无法登录时仍说“在线”。

分析

报告基于时间和基于请求的可用性以及降级占比,并说明测量窗口。这为之提供依据的决定是可靠性工作在哪里会帮助用户。需要注意的是,罕见的中断使年度百分比不稳定,所以要展示事件,而不仅是百分比。

行业视角

初创公司。 小团队往往只有一项服务和很少的监控。从针对最重要旅程的一个探测和一段话的“在线”定义开始。选择适度的目标,把它换算成分钟,并避免承诺团队尚无法度量的几个九。

小型企业。 服务往往是托管工具加几个定制系统,可用性取决于供应商。记录供应商中断对你的用户的影响,与供应商所报告的相比较,并把数字保持在两三个。

大型企业。 众多服务、团队和供应商,使在用的定义成倍增加。公布一个标准的可用性定义,附一份简短的允许变化清单,使度量登记册保持最新,并在比较之前确保各团队的计划内和计划外规则相同。倾向于服务层面的报告,而不是团队排行榜,因为各服务在负载和关键性上不同。

政府与公共部门。 公共服务往往有法定的服务时间、已公布的承诺,以及带有正式赔偿的合同。依据所写的内容对照它们报告,在它们旁边展示按用户加权的视图,并对排除项保持坦诚(见主题 8.5,受监管与政府报告)。

业务论证:动因、投资回报与总拥有成本

主要成本是撰写服务定义和登记册的时间、从故障域之外探测关键旅程的监控,以及把事件、变更和监控数据连接起来、使计划内和计划外停机得以区分的工作。真实用户监控增加工具和存储成本。大多数组织已经拥有一部分数据,所以最初的投资通常是在定义上。

回报来自更好的决定和更少的争议。从用户一侧度量的团队,会发现健康检查所漏掉的故障,用一个定义更易管理协议,而多一个九的成本可以与它对用户的价值相比较。把收益描述为一种模式,比如协议评审中的意外更少,并度量你自己的基线,比如标题数字与按用户加权数字之间的差距。不要借用其他组织的数字。

反模式与陷阱

  • 只报几个九而不报分钟。 没人能把它转化为允许停机的目标,无法指导决定。在每个目标旁边展示允许和已用的分钟数。
  • 度量服务器而不是旅程。 绿色的健康检查可能与中断的登录并存。端到端地探测关键旅程,并与真实用户数据相比较。
  • 让“计划内”的标签吸收故障。 容易声称的计划内类别,会把计划外的数字掏空。要求在中断之前获得批准,加以告知,并把超时重新归类。
  • 跨服务和时段求平均。 混合的数字隐藏了关键服务和繁忙时段。按服务报告,并添加按用户加权的视图。
  • 承诺的九超出依赖项所允许的。 串联的组件不可能超过它们组合起来的可用性。在承诺之前先做乘法,并向供应商索取他们度量出的数字。
  • 把 100% 视为目标。 成本急剧攀升,变更放缓。依据用户需要选择目标,并使用错误预算。
  • 按几个九给团队或个人排名。 各服务在负载和关键性上不同,排行榜教会团队隐藏中断。向每项服务展示它自己的趋势,并与它自己的目标相比较。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
定义与时钟 “在线”指监控工具所显示的任何东西;中断时间事后估算 为一些服务撰写了定义;探测和事件的时间不一致 每项服务一份书面定义,含旅程、时间、排除项和时钟规则 按节奏评审定义;变更被记录并在图表上标出 定义与供应商和客户对齐,并在不再为决定提供依据时修订
度量质量 手工报告或单一健康检查 为一些服务设置探测;一些日志中有请求数据 对关键旅程的由外向内的探测,加上来自标准来源的基于请求的数字 来自真实用户数据的按用户加权的数字;跟踪并抽样覆盖 度量在团队和供应商之间共享,并自动对账
计划内与计划外的处理 不加区分;维护临时计数 一些团队使用“计划内”标签,规则各异 一条规则:中断前批准并告知,超时重新归类 对计划内占比做趋势分析,并设定减少它的目标 零停机变更是默认,计划内停机罕见且经过协商
在决定中的使用 投诉之后才报告 运维每月评审 目标以分钟展示 错误预算政策改变工作,并有资金支持 联合权衡可用性、成本和体验

检查清单

  • 每项服务都有一份书面的“可用”定义,指明其关键用户旅程。
  • 每个数字都说明测量窗口、范围内的时间和时区。
  • 排除清单已写下、评审,并在标题数字旁边展示。
  • 计划内停机需要获批的变更和提前通知;超时算作计划外。
  • 探测从故障域之外、以说明的间隔、在关键旅程上运行。
  • 基于请求或按用户加权的数字,与基于时间的数字并列。
  • 每个目标都显示为当前窗口中允许的分钟数和已用的分钟数。
  • 报告中断次数和持续时间百分位数,而不仅仅是总数。
  • 在承诺目标之前,先把依赖项的可用性相乘。
  • 定义变更被记录,并在趋势图上标出。
  • 可用性按服务报告,绝不按人。

AI 提示词

起草服务可用性定义。

我正在为 [服务名称] 撰写可用性定义,这是 [服务类型],供 [用户群体] 使用。它的关键用户旅程是 [列出旅程]。约定的服务时间是 [时间和时区]。已知的依赖项有 [清单]。我们的监控包括 [探测、日志、真实用户数据]。

请起草一份一页纸的定义,涵盖:每个旅程中什么算在线、测量窗口、范围内的时间、排除项、计划内与计划外停机的规则、中断的时钟开始和停止,以及要报告的度量。不要虚构目标或基准值。请列出你的假设,以及我为完成定义应当回答的问题。

把目标换算成允许的停机并加以检验。

我们为 [服务名称] 设定的目标是 [可用性百分比],窗口为 [窗口,例如 30 天的月份]。范围内的时间是 [时间]。我们的必需依赖项及其所述或度量出的可用性是 [清单,或“未知”]。

请计算此目标在该窗口内和一年内允许的停机分钟数,使用范围内的时间。然后估算依赖项串联所需且独立失败时的最佳组合可用性,并解释你使用的公式。指出我的输入哪里太不确定,无法得出任何结论。不要为我没有给你的任何依赖项提供可用性数字。请列出你的假设。

评审一个月的中断,查找分类问题。

这是 [服务名称] 在 [月份] 的中断记录:[粘贴记录,含影响开始、恢复时间、计划内或计划外标签、批准时间和备注,已去除个人数据]。

对每次中断,检查计划内或计划外标签是否遵循这条规则:[粘贴你的规则]。找出影响开始看起来偏晚、一次中断似乎被拆分或合并,以及超时本应被重新归类的记录。按服务和原因汇总模式,绝不按人。告诉我哪些你无法从数据判断。请列出你的假设。

AI 技能

要点

  • 只有当“在线”、服务边界、时间和排除项都从用户一侧写下来之后,可用性才有意义。
  • 基于请求和按用户加权的测量值,比完全故障的分钟数更好地描述分布式服务和不均匀的负载。
  • 一起报告计划内和计划外停机,并使“计划内”的标签难以获得。
  • 把每个目标换算成分钟,并在承诺几个九之前先把串联的依赖项相乘。
  • 每多一个九,成本都比上一个更高,所以依据用户需要选择目标,并用错误预算据此行动。
  • 描述服务和轮换,绝不描述人,并用用户的体验检验每个标题数字。

参考文献与延伸阅读

  1. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, chapter "Embracing Risk", https://sre.google/sre-book/embracing-risk/.
  2. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, chapter "Service Level Objectives", https://sre.google/sre-book/service-level-objectives/.
  3. Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SLOs, O'Reilly Media, 2018, chapter "Implementing SLOs", https://sre.google/workbook/implementing-slos/.
  4. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  5. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  6. Wikipedia, High availability.
  7. Wikipedia, Downtime.
  8. Wikipedia, Service-level agreement.
  9. Wikipedia, Service-level objective.
  10. Wikipedia, Mean time between failures.
  11. Wikipedia, Mean time to repair.
  12. Wikipedia, Synthetic monitoring.
  13. Wikipedia, Real user monitoring.
  14. Wikipedia, ITIL.