概述与动因

每项服务都已经有一个可靠性水平,不管有没有人度量过。如果没有人说明它,用户假定一种水平,产品团队假定另一种,运维团队则捍卫第三种。差异是在一次中断期间被发现的。本主题涵盖站点可靠性工程(site reliability engineering,SRE)用来弥合这一差距的三个相互关联的理念:服务级别指标、服务级别目标和错误预算。

服务级别指标(service level indicator,SLI)是对用户所体验到的服务某一方面的度量。典型的方面包括请求是否成功、花了多长时间、返回的数据是否新鲜,以及是否正确。好的 SLI 以比率表达:好事件的数量除以有效事件的数量,在一个明确的窗口内。服务级别目标(service level objective,SLO)是该比率在一段时期内的目标,例如“在滚动的 28 天内,99.9% 的有效结账请求成功”。错误预算(error budget)是目标允许出错的部分:100% 减去 SLO。在 99.9% 时,预算是有效事件的 0.1%。

错误预算改变了交流。如果服务只花掉了很少的预算,团队就有余地更快地发布、尝试有风险的变更并运行实验。如果预算几乎耗尽,同一个团队就会放慢功能工作,把精力花在可靠性上,直到预算恢复。这一决定来自事先商定的数字,所以不取决于会议上谁资历最深或最有说服力。

燃烧率(burn rate)是预算被花掉的速度,相对于恰好在窗口结束时花完预算的速率而言。燃烧率为 1,意味着预算将恰好在窗口结束时耗尽。燃烧率为 10,意味着它将在窗口的十分之一时间内耗尽。燃烧率是从 SLO 到告警的桥梁,因为它以对目标造成的代价来说明一个问题有多紧迫。

敏捷和 ITIL 的视角在这里相遇,它们对相关的理念使用不同的词汇。在 ITIL 4 中,服务级别管理是设定、度量和报告服务级别的实践,服务级别协议(SLA)是提供者与客户之间的书面协议(见主题 5.1,SLA、OLA 与 XLA 度量)。SLO 是内部目标,通常比 SLA 更严格,由运行该服务的团队拥有。SLA 带有后果,如赔偿或罚款。SLO 带有一条决策规则。拥有自己服务的敏捷团队(“你构建,你运行”)用 SLO 使可靠性的代价与功能出现在同一份待办事项列表(backlog)中。遵循 ITIL 实践的团队可以把 SLI 视为客户所说的需要的可度量形式,把 SLO 视为保护 SLA 安全的工作目标。

可用性(availability)是最熟悉的 SLI,在别处有详细涵盖(见主题 5.3,可用性度量)。延迟、正确性、新鲜度和吞吐量也是候选。技巧在于依据用户关心的东西,而不是依据容易收集的东西来选择指标。服务器的 CPU 使用率容易收集,却几乎说明不了客户能否付款。在两秒内完成的支付请求占比,则说明很多。对于延迟,报告百分位数,而不是平均值,因为平均值隐藏了用户会注意到的缓慢的尾部(见主题 1.6,服务度量的统计素养,以及主题 5.4,容量与性能度量)。

关键原则

  • 从用户出发,而不是从服务器出发。 选择描述一个人会认得的体验的指标,比如“我的付款通过了”,并倒推出要度量什么。
  • 低于 100% 的目标是一项决定,不是承认失败。 完美的可靠性是不可达到也负担不起的,而用户通常在某一点之后无法分辨差别。预算使这一权衡变得明确。
  • 与依赖它的人一起设定目标。 SLO 是产品、运维和客户之间协商出来的协议,而不是由一个团队独自选定的数字。
  • 在预算用完之前商定后果。 在平静的一周写下的错误预算政策,会在紧张的一周被遵循。在中断期间发明的政策,则会被争论。
  • 对燃烧告警,而不是对每一次闪动告警。 只有当预算被消耗得快到足以威胁目标时才呼叫人,并把较慢的燃烧转为工单。
  • SLO 描述服务,绝不描述人。 预算属于一项服务及其团队。它绝不是给工程师的分数。

度量定义

下面的度量描述一项服务的 SLO 体系。前四项是这一实践的核心,最后两项描述实践本身的健康程度。每个时钟和边界都在公式列中说明。“有效事件”是在应用 SLO 文档中商定的排除项之后,计入 SLI 的事件,比如来自团队自己负载测试的请求就被排除。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏
SLI 达成 一项服务某一指标的有效事件中,好事件所占的比例 好事件 / 有效事件,窗口从报告期开始到结束;SLO 文档所排除的事件(负载测试,若 SLO 如此规定则含提前宣布的计划内维护)同时从分子和分母中移除 百分比 负载均衡器、应用或合成探测的遥测;监控或可观测性平台 服务级别管理;监控与事件管理 可运维性的完成定义;干系人对服务健康的评审 持续,每日并按窗口报告
SLO 合规 SLI 在 SLO 窗口内是否达到目标,以及在最近多少个窗口达到 SLI 达成率达到或高于目标的窗口 / 被评估的窗口,取过去 12 个月;仍然开放的窗口被排除 窗口的百分比 SLI 达成历史 服务级别管理;持续改进 团队目标或关于可靠性的工作协议 每月,每季度看趋势
剩余错误预算 当前窗口中尚未花掉的预算部分 1 - (到目前为止的坏事件 / 整个窗口允许的坏事件),其中允许的坏事件 = (1 - SLO) x 整个窗口预期的有效事件;时钟在窗口开始时启动,在窗口结束时停止 预算的百分比 SLI 达成率和量的预测 服务级别管理;风险管理 发布就绪检查;计划工作的输入 每日,每周评审
燃烧率 预算相对于均匀花费速率被花掉的速度 (回看期内的坏事件 / 有效事件) / (1 - SLO);回看期是明确说明的,例如 1 小时或 6 小时 比率(1 表示恰好在预算之内) 细时间分辨率的 SLI 遥测 监控与事件管理;事件管理 值班告警规则;集群协作(swarming)触发器 持续,在告警规则中评估
预算政策遵守 当错误预算政策中的某个触发器被命中时,商定的后果被执行的频率 期内在约定时间内采取了政策行动的触发 / 期内命中的触发;被正式豁免并记录了理由的触发单独计数,而不被移除 百分比 政策文档、决定日志和待办事项列表历史 服务级别管理;变更赋能 工作协议;回顾会议的后续落实 每季度
SLO 覆盖 拥有当前 SLO 和有效 SLI 的关键用户旅程或范围内服务的占比 至少有一个 SLO 且其 SLI 数据在过去 7 天内到达的范围内服务或旅程 / 范围内的服务或旅程;“范围内”列在服务目录中(ITIL 用语为 service catalogue) 百分比 服务目录、SLO 登记册和监控配置 服务目录管理;服务级别管理 团队服务所有权清单 每季度

燃烧率的回看期和 SLO 窗口是选择。滚动的 28 天窗口涵盖整周。在 SLO 文档中说明这一选择并保持稳定,否则趋势会产生误导。

建议

依据用户关心的东西选择指标

1. 从关键用户旅程开始。 列出三到六件用户必须能做到、服务才值得使用的事,比如登录、搜索、付款和下载对账单。把每件事写成从用户一侧出发的一句话。然后选择能显示这句话是否成立的 SLI。这使 SLO 保持很少,并防止出现没人阅读的一堆技术仪表。

2. 把每个 SLI 表达为好事件除以有效事件。 比率易于解释,易于汇总,也易于转换成预算。用用户能接受的阈值来定义“好”,并这样定义“有效”:使你无法合理服务的流量,比如因滥用而被阻止的请求,以有文档记录的方式被排除。把两个定义都写入 SLO 文档,因为分母是大多数分歧所隐藏之处。

3. 在实际可行的范围内尽量靠近用户度量。 服务器端的成功率可能完美,而网络或客户端的问题却使服务无法使用。在负载均衡器或边缘度量,并为最重要的旅程添加合成探测或客户端度量。每个度量点都有代价和盲区,所以记录每个 SLI 使用哪一个(见主题 1.5,数据来源与埋点)。

4. 对延迟使用百分位数,并带阈值。 “95% 的搜索请求在 800 毫秒内完成”是一个 SLI。“平均延迟”不是,因为少数快的请求可以抵消许多慢的请求。在有帮助时,使用两个阈值,比如中位数和第 99 百分位数,因为缓慢的尾部塑造了服务给人的感觉(见主题 5.4,容量与性能度量)。

设定人们能够捍卫的目标

5. 依据当前表现和用户需要设定第一个 SLO,然后收紧。 把 SLI 度量几周,问用户和支持人员他们会注意到什么水平,然后设定一个服务如今就能达到、并留有一些余地的目标。远高于当前表现的目标是永久的违约,人们会不再看它。远低于用户所得的目标,会让质量在无人察觉之下衰退。一个季度之后再重新审视。

6. 让 SLO 比 SLA 更严格,并让它们分开。 如果客户协议承诺 99.5%,团队的目标可以是 99.9%,使预算在越过合同线之前就被用尽。不要让 SLO 和 SLA 是同一个数字,也不要把其中之一当作另一个来报告。协议是商业和法律文件,而目标是工程上的决策规则(见主题 5.1,SLA、OLA 与 XLA 度量)。

7. 考虑依赖项。 服务不可能比它所依赖的更可靠,除非它能优雅降级。列出关键依赖项,包括供应商,并问它们的实际表现对你的目标意味着什么。

把预算作为决策工具来运行

8. 在需要之前写好错误预算政策。 政策说明在规定的消耗水平发生什么。简单的版本有三步:预算尚存时正常运行;当规定占比被花掉时,对有风险的变更进行额外评审,并让可靠性工作享有优先权;预算耗尽时,暂停非必要的功能发布,直到预算恢复。指明谁可以批准例外,以及如何记录。产品和运维的领导者都应当签署它,使政策对双方同等适用。

9. 有目的地花费预算。 从不被触碰的预算,表明目标过于严格或团队过于谨慎。把剩余的预算用于实验、更快的发布节奏、金丝雀发布,以及让你以有限的暴露在生产环境中测试的功能开关(feature toggle),并用金丝雀发布(canary release)在只有一小部分用户受影响时发现问题。把始终未被触碰的预算视为一个提示,去问目标是否与用户的需要相符(见主题 4.5,发布与部署度量)。

10. 对多种燃烧率告警。 快速燃烧,比如高到足以在一小时内花掉预算的很大一部分的速率,呼叫一个人。缓慢燃烧,比如仍会在数日内耗尽预算的适度速率,则创建一张在工作时间处理的工单。使用两个或更多个回看窗口,既能捕捉突发的故障,也能捕捉缓慢的渗漏,并减少因代价很小的短暂闪动而产生的呼叫。《Site Reliability Workbook》中关于对 SLO 告警的章节解释了这一模式,阈值应当依据你的服务来调整,而不是照搬(见主题 5.5,监控与告警质量度量)。

11. 把事件、问题和学习与预算联系起来。 事件之后,在其持续时间和影响之外,记录它消耗了多少预算。用这个数字为问题记录和后续行动排优先级(见主题 4.1,问题管理度量,以及主题 4.2,事后复盘与学习度量)。预算成本还为重大事件评审提供一个共同的单位,用来比较非常不同的故障(见主题 3.4,重大事件度量)。

保持实践诚实且有生命力

12. 每季度对照现实评审 SLO。 把 SLO 与支持联系、投诉和满意度结果相比较。如果用户不满意而 SLO 是绿色的,则 SLI 有误或目标太松。如果 SLO 是红色的而没人抱怨,则目标可能过于严格。记录每次变更及其理由,并在趋势图上显示变更(见主题 6.2,体验级别协议)。

钻空子途径与护栏

度量 如何被钻空子 配对的护栏度量或实践
SLI 达成 收窄“有效”事件,直到失败消失,比如排除重试的请求或整类错误;只度量最健康的组件;只从有利的位置探测 在 SLO 文档中公布 SLI 定义和排除项,并附变更日志;把 SLI 与支持联系和用户投诉相比较;定期评审被排除的事件及其数量
SLO 合规 把目标设得低到总能通过;在糟糕时期之后更改窗口长度;把违约重新定义为维护期 在用户参与下设定目标并按计划评审;窗口在文档中固定;与合规一起报告排除项和对窗口的计划外变更的计数
剩余错误预算 把坏事件重新归类为排除;夸大预期量,使允许的坏事件数看起来更大;提前重置窗口 允许的坏事件按窗口结束时的实际量计算;在预算旁边展示被排除的事件量;窗口日期事先固定
燃烧率 调整告警阈值,使燃烧永不触发;使用长得使快速燃烧被平均掉的回看期 用过去的事件做告警覆盖测试(“这条规则会不会发出呼叫?”);可操作告警率和漏检计数(见主题 5.5,监控与告警质量度量)
预算政策遵守 例行地批准例外;撰写触发器永远无法达到的政策;把一张象征性的可靠性工单算作政策行动 例外单独计数和评审;期内例外的占比;已完成的可靠性工作(见主题 4.1,问题管理度量)
SLO 覆盖 为每项服务添加一个琐碎的 SLO 以提高百分比;在没有数据流入时就把旅程算作已覆盖 SLI 数据新鲜度检查(数据在过去 7 天内到达);评审 SLO 是否覆盖了关键旅程,而不是次要的端点

健康的读数显示:SLI 与用户所报告的相符,目标有时被错过、有时轻松达成,预算被有目的地花费。政策在触发器被命中时被执行,例外罕见且有记录,每一次定义变更在图表上都可见。一项始终剩余 100% 预算的服务,或一项始终违约的服务,值得就目标展开一场交流,而不是赞扬或责备。记住,任何单个数字都是提出问题的提示(见主题 1.2,古德哈特定律与度量的心理学)。

权衡:利与弊

方法 优势 劣势
用户旅程 SLI 符合用户的感受;数量少;易于向非工程师解释 需要努力端到端地埋点;可能错过尚未到达用户的内部故障
组件或资源 SLI(CPU、内存、队列深度) 收集成本低;对诊断和容量有用 对用户体验的代理很差;产生许多无关紧要的告警
滚动窗口 平滑;月末没有断崖;始终是当前的 比日历月更难向高管解释;糟糕的一天会在整个窗口内延续
燃烧率告警 在目标真正有风险时呼叫;误报更少 配置和测试更复杂;阈值需要按服务调整

选择少数几个 SLI,与用户一起设定,并让预算决定变更的节奏。合适的严格程度,是仍能让用户满意的最宽松的目标,因为每多一个九,成本都比上一个更高。

与团队讨论的问题

1. 这项服务的用户需要能做到什么?如果他们做不到,我们如何得知? 请每个人在不看任何仪表盘的情况下,写下用户用这项服务做的三件最重要的事。比较各份清单,并记下产品、运维和支持之间的差异。然后问这些旅程中哪些目前有 SLI。引导者应当寻找没有度量的重要旅程,以及不描述任何旅程的测量值。

2. 如果我们的 SLO 是 99.9% 并且达成了,用户会满意吗?我们如何知道? 把当前的 SLO 与上一个季度的支持联系、投诉和满意度结果放在一起。问它们是否一致。如果 SLO 是绿色而用户不满意,则 SLI 或目标需要改进。如果用户满意而 SLO 是红色,则目标可能比任何人所需要的都更严格。商定一项行动,使目标与体验靠拢。

3. 如果错误预算用完,我们实际上会有什么不同的做法? 大声读出当前的错误预算政策,或者如果还没有就一起起草一份。问谁会停止什么,以及谁有权批准例外。引导者应当追问具体的行动,比如暂停非必要的发布、把指名的人调去做可靠性工作,而不是泛泛的意向。没人相信会被遵循的政策,比没有政策更糟。

4. 我们上一次因为有富余的预算而冒风险是什么时候? 讨论团队是在使用它的预算,还是只在守着它。看看上一个季度:是否有一段时期预算几乎没被触碰,而发布却很缓慢?问如果知道这样做是安全的,团队会尝试什么。这个问题会揭示过度谨慎,而答案常常指向金丝雀发布、开关或更快的流水线,它们能让团队善用预算。

5. 我们的哪些告警会在上一次糟糕事件中及时触发,哪些会白白触发? 取上一次重大事件,对照它回放告警历史。统计到达的呼叫、在影响开始后多久到达,以及有多少呼叫是为几乎不花预算的事件而来。讨论燃烧率告警是否会做得更好。目标是一份简短的告警变更清单,每项都有负责人,而不是一场关于谁在值班的责备讨论。

6. 每个 SLO 由谁拥有?我们上一次有意更改一个是什么时候? 列出各个 SLO,并在每个旁边写下负责人,是团队或角色。问每个上一次评审是什么时候、变了什么。一年没人动过的 SLO,是它不再为决定提供依据的迹象。为每个商定评审日期,并商定谁有权淘汰不再有用的 SLO。

四种视角

产品与交付团队

交付团队获得一条关于该走多快的清晰规则。当预算尚存时,他们可以更频繁地发布并尝试更大胆的变更。当预算较低时,他们不经冗长的协商就把可靠性工作放入待办事项列表。他们应当帮助选择指标,因为他们知道哪些旅程重要,并应当从一开始就带着 SLI 的考虑为新功能埋点(见主题 2.8,DORA 度量)。预算是团队用来规划的资源,绝不是要隐藏的数字。

服务与运维团队

运维团队用 SLO 来决定什么值得呼叫、什么可以等到早上。燃烧率告警减少噪声,并把值班工作与用户的感受相联(见主题 5.7,繁琐工作与值班度量)。他们让 SLI 定义保持诚实,维护其背后的遥测,并在事件和问题记录中记录预算成本。

领导层与治理

领导者应当问三个问题:目标是什么、还剩多少预算、如果用完我们将怎么做?他们签署错误预算政策,并在政策说要放慢时支持团队。他们避免把 SLO 合规变成奖金指标,那会招致收窄定义和设定宽松的目标。

客户与用户

当目标反映他们所需要的、并且他们能看到服务相对于它的表现时,客户受益。设定目标时应当征求他们的意见,因为他们对缓慢或停机的容忍度因任务和一天中的时间而异。满意度和费力程度之类的体验测量值,检查 SLO 是否捕捉到了他们的感受(见主题 6.1,客户满意度度量)。

实践:一个服务管理示例

一家中型在线零售商有结账团队、平台团队和服务台。结账服务对业务至关重要。本示例中的所有数字均为示意。

团队为“为订单付款”这一旅程定义一个 SLI:在 2 秒内返回成功的有效支付请求占比,在负载均衡器处度量。有效请求排除团队自己的负载测试,以及欺诈服务按设计拒绝的请求。SLO 为滚动 28 天内 99.9%。窗口预期带有 12,000,000 个有效请求,所以预算是 12,000 个坏请求(0.1%)。由产品负责人和平台负责人签署的错误预算政策有三个层级:花掉预算的 50% 时,有风险的变更需要第二位评审者和金丝雀发布;75% 时,可靠性工作在下一次规划交流中享有优先权;100% 时,暂停非必要的功能发布,直到预算恢复。

在窗口的第 10 天,团队看到截至目前预期约 4,285,714 个请求中有 7,800 个坏请求,这给出约 99.82% 的 SLI 达成率,花掉了 65% 的预算,而窗口只过去了 36%。期内的燃烧率约为 1.8,所以按此速度预算将在第 15 天左右耗尽。一次糟糕的部署占了 5,000 个失败。事件记录显示故障持续了 22 分钟,重大事件评审找出流水线中缺失的一项检查,该事件的预算成本被记录在问题记录中(见主题 4.1,问题管理度量)。

团队遵循政策。第二级行动立即适用,所以有风险的变更需要金丝雀发布,规划会议把流水线检查移到工作队列的首位。产品负责人接受暂停一项不紧急的促销功能。到了第 28 天,预算花掉了 94%,团队在目标之内结束了这个窗口。

钻空子的风险出现在评审中。运行该零售商搜索服务的另一个团队,报告该季度为 99.95%,而服务台记录到“搜索不工作”的联系增加。经调查,平台团队发现搜索团队重新定义了“有效”,排除了在 5 秒内重试的请求,这移除了许多真实的失败。评审恢复了原来的定义,重述了该季度,并添加了两道护栏:对定义的任何变更都连同理由记录在 SLO 文档中,且每月把 SLI 达成率与支持联系相比较。没有人撒谎,因为这一变更是为了减少噪声,所以修复办法是更清晰的定义,而不是训斥。

敏捷、AI、自动化与分析

敏捷

错误预算把可靠性变成与产品干系人共享的决定,并通过显示团队可以花费多少风险而契合持续交付。定期评审目标。需要注意的是,没有与用户商定过的 SLO 只是猜测。

AI

AI 功能需要自己的指标,比如正确性和延迟,而不仅仅是可用性,目标应当说明错误的回答如何计算。把 AI 的可用性与通过抽样度量的质量指标配对。需要注意的是,快速给出错误答案的服务可以达成可用性 SLO,同时辜负用户。

自动化

根据遥测自动计算指标和燃烧率,并对燃烧率告警,而不是对每一次闪动告警。就漏报和误报来度量告警本身。需要注意的是,自动的预算冻结可能使有用的工作停滞,所以要在政策中保留一项由人作出的决定。

分析

选择用户能感受到的指标,并展示每个指标背后的窗口和事件数。这为之提供依据的决定是何时放慢变更或投资于可靠性。需要注意的是,短窗口给出波动的预算,所以要说明窗口。

行业视角

初创公司。 从针对最重要旅程、在边缘度量的一个 SLO 开始,附一份一页纸就能写完的简单政策。不要为几十个 SLO 搭建平台。预算帮助小团队少争论是否要在星期五发布。

小型企业。 小型企业往往依赖托管工具和供应商,所以 SLI 可能来自供应商的状态数据或一个简单的外部探测。以书面形式阅读供应商的服务级别,并对照你自己的需要检查。

大型企业。 众多服务、团队和供应商,使一致性的重要性提高。提供一个 SLO 文档的共享模板、一份共同的登记册,以及计算达成率和预算的标准办法,使领导者可以比较和汇总,而不必争论定义。让 SLO 由服务团队拥有,登记册则由中央统一维护。

政府与公共部门。 服务往往必须达到法定或已公布的目标,失败可能被公开报道。让合同或法定的承诺与内部目标保持分开,并确保内部 SLO 更严格。为审计记录 SLI 的定义、排除项和数据谱系,并为无法选择其他提供者的用户以及无障碍做好规划(见主题 8.5,受监管与政府报告)。

业务论证:动因、投资回报与总拥有成本

动因是关于可靠性的争论更少、决定更好。没有目标时,可靠性工作与功能竞争,凭的是谁争得最响。有了目标和预算,权衡是可见的并事先商定,用户得到一项与他们所需要的一样可靠的服务,团队则不必为超出那一点的可靠性付出代价。

成本有四个部分。第一是设计:用于选择旅程、指标和目标并撰写政策的工作坊。第二是埋点:在正确位置的遥测、探测,以及把事件变成达成率和预算的流水线(见主题 1.5,数据来源与埋点)。第三是运行:告警规则、仪表盘、每季度的评审,以及保持定义最新所花的时间。第四是政策暂停功能工作时的机会成本,那是信守协议的代价,也是在压力到来之前就商定它的原因。

回报表现为团队可以自己跟踪的模式:不需要采取行动的呼叫更少、关于是否发布的辩论更短、可靠性工作被安排在预算耗尽之前而不是在重大事件之后,以及客户面对的意外更少。通过比较团队自己前后的数字来描述收益,比如每个轮换的呼叫数,以及最大事件所消耗的预算占比。

反模式与陷阱

  • SLO 太多。 几十个目标稀释注意力,没人能说出哪一个重要。从关键用户旅程开始,淘汰其余的。
  • SLO 等于 SLA。 把一个数字同时报告为二者,去掉了安全余量,并把工程规则与商业承诺混在一起。让目标比协议更严格。
  • 从不执行的政策。 如果预算用完了而什么也没变,这一实践就失去可信度。让领导者签署政策,并记录每个例外及其理由。
  • 把预算当作给人的记分卡。 按花掉的预算给工程师或值班人员排名,会使人们隐瞒事件并收窄定义。把预算归于服务,并在系统层面讨论原因(见主题 1.2,古德哈特定律与度量的心理学)。
  • 对每一次下滑都告警。 对原始症状呼叫,造成告警疲劳,并训练人们忽略呼叫。对燃烧率呼叫,并把缓慢的燃烧送入工单。
  • 定下就忘。 没人评审的 SLO 会偏离用户的需要。安排每季度评审,并记录变了什么、为什么。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
指标与目标 用文字描述可靠性;报告服务器的正常运行时间 一些团队定义 SLI;目标各异,很少评审 关键用户旅程在共享模板中有书面的 SLI 和 SLO 对 SLO 做趋势分析,对照用户反馈检查,并依据证据收紧或放宽 SLO 与客户和供应商商定,并与相关依赖的服务和合同对齐
错误预算与政策 没有预算;可靠性与功能之争靠争论来决定 为少数几项服务计算预算;没有商定的后果 由产品和运维签署的书面政策,带有明确的触发器 度量政策遵守,评审例外,预算为发布规划提供依据 在共享依赖的团队之间协调预算决定;政策随条件变化而修订
告警与响应 对原始资源的阈值告警;许多呼叫 一些燃烧率告警;阈值照搬自示例 对关键 SLO 的多窗口燃烧率告警,缓慢燃烧转为工单 使用过去的事件度量并调整告警质量 告警在服务链之间对齐,并由联合评审推动改进

检查清单

  • 列出服务的关键用户旅程,每个都从用户一侧写成。
  • 每个 SLI 都定义为好事件除以有效事件,并写下排除项。
  • 延迟 SLI 使用百分位数和明确的阈值,而不是平均值。
  • 每个 SLO 都说明其目标、窗口,以及在哪里度量 SLI。
  • SLO 比任何 SLA 都更严格,两者分开报告。
  • 存在错误预算政策,由产品和运维领导者签署,并指明谁可以批准例外。
  • 燃烧率告警至少使用两个回看期,缓慢燃烧创建工单而不是呼叫。
  • 每份事件记录都显示它消耗的预算。
  • 每月把 SLI 达成率与支持联系和满意度结果相比较。
  • 每个 SLO 都有负责人(团队或角色)和评审日期,变更连同理由记录在案。
  • 没有 SLO 结果被用来给个人排名或奖励。

AI 提示词

依据用户旅程起草候选 SLI。

我运营 [服务名称],[用户类型] 用它来做 [关键用户旅程清单]。我们可以在 [度量点清单,例如负载均衡器、应用日志、合成探测] 处度量。对每个旅程,提出一到两个写成好事件除以有效事件的候选 SLI,并建议“好”“有效”和排除项的定义。说明每个度量点的优势和盲区。不要虚构目标值或基准;问我用户能容忍什么。请列出你的假设。

起草错误预算政策。

请帮我为 [服务名称] 起草一份错误预算政策,SLO 为 [目标],窗口为 [窗口]。干系人是 [产品角色] 和 [运维角色]。提出触发层级、每一层的行动、谁可以批准例外以及如何记录,以及政策如何评审。保持在一页之内,并标出需要由人来担任发起人的决定。不要从其他组织虚构阈值;给出选项和权衡。请列出你的假设。

评审 SLO 的钻空子风险。

这是我们 [服务名称] 的 SLO 文档:[粘贴 SLI 定义、排除项、目标、窗口和变更日志]。找出 SLI 可能被收窄、窗口或目标可能被更改、或事件可能被排除,从而使结果看起来好于用户体验的方式。对每项风险,建议一项护栏度量或实践。不要假定意图。请列出你的假设,以及我应当回答的问题。

AI 技能

要点

  • 依据用户所做的事选择少数几个 SLI,并把每个都表达为好事件除以有效事件。
  • 低于 100% 的 SLO 是关于风险的决定,错误预算是这一决定为变更留下的空间。
  • 提前写好错误预算政策,在领导层签署,并记录每个例外。
  • 以多个回看窗口对燃烧率告警,使呼叫反映对目标的真实风险。
  • 守护定义:记录每次变更,并把 SLI 结果与用户的报告相比较。
  • 把预算归于服务和团队,绝不归于个人,并至少每季度评审一次每个 SLO。

参考文献与延伸阅读

  1. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  2. Jones, C., Wilkes, J., Murphy, N., and Smith, C., "Service Level Objectives," chapter 4 in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/service-level-objectives/
  3. Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, https://sre.google/workbook/table-of-contents/
  4. "Implementing SLOs," chapter 2 in The Site Reliability Workbook, O'Reilly Media, 2018, https://sre.google/workbook/implementing-slos/
  5. "Alerting on SLOs," chapter 5 in The Site Reliability Workbook, O'Reilly Media, 2018, https://sre.google/workbook/alerting-on-slos/
  6. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  7. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  8. Wikipedia, Site reliability engineering.
  9. Wikipedia, Service level indicator.
  10. Wikipedia, Service-level objective.
  11. Wikipedia, Service-level agreement.
  12. Wikipedia, Availability.
  13. Wikipedia, Percentile.
  14. Wikipedia, Feature toggle.
  15. Wikipedia, Canary release.