第 5 部分导读:服务级别、可用性与可靠性度量
服务级别、可用性与可靠性度量描述用户可以指望服务提供什么,使团队只承诺自己能交付的,及早察觉自己何时偏离了承诺,并把精力花在用户能感受到的地方。
第 2 至第 4 部分审视了工作如何流转:它流动得多快、事件如何被处理,以及变更如何安全地进行。本部分转向用户实际体验到的结果。经常发布并迅速解决事件的服务,仍可能缓慢、在错误的时刻不可用,或不可预测。用户评判服务,依据的是它在他们需要时是否有效,而不是团队如何自我组织。
两种传统在这里相遇。ITIL 实践长期以来使用服务级别协议、目标和报告,来在提供者与其客户之间设定期望。Google 的《Site Reliability Engineering》系列书籍中所阐述的站点可靠性工程实践,使用服务级别指标、目标和错误预算,把可靠性变成针对变更节奏的、明确的工程权衡。两者是相容的。两者都从用户关心的东西出发,都把它表达为可度量的目标,也都需要对目标多常被达成作出诚实的说明。
一项反复出现的风险贯穿整个部分。可靠性数字很容易被弄得好看:通过选择方便的指标、通过排除棘手的时期,或通过度量组件而不是用户的旅程。为此,这里的每个主题都说明其测量值的时钟和边界,把时间和延迟作为带百分位数的分布来阅读(见主题 1.6,服务度量的统计素养),并把每项测量值与一道护栏配对(见主题 1.2,古德哈特定律与度量的心理学)。每项度量描述的都是服务、团队或系统。没有一项给个人排名,尤其是值班的测量值,它们的存在是为了保护人,而不是给人打分。
四个视角以特定的方式适用于可靠性。持续交付和错误预算使风险成为一项共享的、可花费的决定。AI 组件可能以软的方式失败,即缓慢或出错而不是宕机,所以 AI 路径的可用性需要在旁边有一项质量测量值。自动化提供遥测和告警,其本身必须就漏报和误报来度量。分析应当展示每个数字背后的窗口和事件数。
本部分的主题
- 5.1 SLA、OLA 与 XLA 度量:服务级别协议、运营级别协议和体验级别协议的测量值,以及西瓜式报告(watermelon reporting)如何把麻烦隐藏在绿色仪表盘之后,又如何避免。
- 5.2 SLI、SLO 与错误预算:服务级别指标和目标、错误预算政策、燃烧率,以及从用户关心的东西中选择指标。
- 5.3 可用性度量:正常运行与停机时间的计算、按用户加权的可用性、计划内与计划外中断,以及几个九的算术。
- 5.4 容量与性能度量:利用率、饱和度、延迟百分位数、余量和需求预测。
- 5.5 监控与告警质量度量:告警数量、可操作告警率、误报、检测覆盖和告警疲劳。
- 5.6 服务连续性度量:测试中达到的恢复时间和恢复点目标、测试频率、演练发现,以及计划的时效性。
- 5.7 繁琐工作与值班度量:每个班次的呼叫数、非工作时间的负荷、繁琐工作占时间的比例,以及可持续的轮换测量值。
这些主题如何相互关联
前三个主题构成本部分的核心,因为它们定义承诺以及如何度量它。主题 5.1(见主题 5.1,SLA、OLA 与 XLA 度量)涵盖提供者、内部团队和客户之间的协议,以及使这些协议诚实或具有误导性的报告实践。主题 5.2(见主题 5.2,SLI、SLO 与错误预算)提供工程上的对应物:取自用户体验的指标、依据它们设定的目标,以及使剩余的风险空间可见的错误预算。主题 5.3(见主题 5.3,可用性度量)固定两者所依赖的算术,包括什么算停机时间,以及哪些用户受到影响。
容量和性能紧随可用性之后。技术上在线却饱和或缓慢的服务,会以简单的正常运行时间数字所漏掉的方式辜负用户。主题 5.4(见主题 5.4,容量与性能度量)提供补充可用性的延迟百分位数和余量测量值,其需求预测则在目标受到威胁之前给出早期预警。
检测和恢复决定用户体验到一次故障的多少。主题 5.5(见主题 5.5,监控与告警质量度量)问团队是否迅速并从值得采取行动的信号中得知问题,这直接联系到第 3 部分中的检测和恢复时间。主题 5.6(见主题 5.6,服务连续性度量)问当发生更大的问题时,团队能否在规定的限度内恢复,并检验这一论断,而不是假定它。
主题 5.7(见主题 5.7,繁琐工作与值班度量)充当其余部分的人的护栏。严格的目标、嘈杂的告警和频繁的事件,都落在背着呼叫器的人身上。每个班次的呼叫数和繁琐工作占比,揭示可靠性何时是以不可持续的努力换来的,并联系回第 2 部分的计划外工作测量值。主题 5.5 中的告警质量和主题 5.7 中的值班负荷应当成对阅读,因为糟糕的告警是繁重轮换的常见原因。
最后,主题 5.2 中的错误预算把本部分与第 4 部分的变更联系起来。当预算健康时,团队可以更自由地发布。当它被花光时,应当重新平衡变更和可靠性工作。第 6 部分随后检查达成本部分的目标是否使用户过得更好,这是一份绿色的报告本身无法回答的问题。