容量与性能度量
度量服务有多满、最慢的请求有多慢,以及在用户察觉之前还剩多少余地,然后用区间来预测需求,使容量在需要之前到位,而不是在投诉之后。
概述与动因
可用性告诉你服务是否应答。容量与性能告诉你它应答得有多好,以及随着需求增长,它还能保持多久。响应需要八秒的结账页面,按大多数可用性定义是“在线”,按每位客户的定义则是“坏了”。存储用到 95% 的数据库,今天是健康的,下个月就是一次中断。本主题涵盖弥合这些差距的测量值。
容量规划(capacity planning)是确定服务为满足不断变化的需求所需资源的实践。在 ITIL 4 中,它属于容量与性能管理实践,其目的在于确保服务达到约定和预期的性能,并以具有成本效益的方式满足当前和未来的需求。该实践在三个层面上描述这件事:业务(组织将对其服务提出什么要求)、服务(服务在负载下的行为),以及组件(每台服务器、数据库、网络链路或队列的行为)。本主题中的测量值大多在服务和组件层面工作,并需要业务层面的输入才能预测任何东西。
站点可靠性工程(SRE)把延迟、流量、错误和饱和度视为任何面向用户的系统上值得关注的四个信号,并把性能目标与服务级别目标相联系(见主题 5.2,SLI、SLO 与错误预算)。敏捷团队把容量当作一个交付问题来遇到:下一个版本能否承载预期的负载,答案由谁负责?把性能视为在流水线中检查的验收标准,使这场交流提前发生。
本主题中反复出现几个术语。利用率(utilization)是一项资源的容量在一个时间间隔内被使用的占比,例如处理器忙碌时间的占比。饱和度(saturation)是因资源被完全使用而在等待的工作量,例如运行队列或请求积压的长度。利用率说明资源有多忙。饱和度说明工作是否在为它排队,而用户感受到的正是队列。延迟(latency)是请求与其响应之间的时间。吞吐量(throughput)是服务完成工作的速率,例如每秒请求数。余量(headroom)是当前峰值负载与服务不再满足其目标时的负载之间的差距。需求(demand)是用户和业务向服务提出的工作,它与服务完成的工作不是一回事:过载的服务完成的比被要求的少。
排队线的一个性质,解释了这些测量值为何如此表现。排队论(queueing theory)表明,对于到达随机的服务,在利用率适中时,等待时间增长缓慢,而当利用率接近满负荷时则急剧上升。利特尔定律(Little's law)把系统中请求的平均数量与到达速率以及每个请求在其中停留的平均时间相联系。平均利用率很高的资源就靠近悬崖。曲线的确切形状取决于服务,所以通过用负载测试(load testing)检验你自己的系统来找到它,而不是从一般文章中借用阈值。
延迟需要特别小心,因为平均值隐藏了重要的体验。百分位数说明低于它的观测值占给定比例的数值:第 95 百分位数(p95)是 95% 的请求都快于它的延迟。在一个用户动作扩散为许多内部调用的系统中,尾部延迟(tail latency)往往占主导。报告百分位数,而不是只报均值(见主题 1.6,服务度量的统计素养,以及主题 3.3,事件响应与解决时间,后者对解决时间提出了同样的论点)。
最后,容量取决于对需求的预测(forecasting),而需求有其模式:每日周期、每周周期,以及与日历、营销活动和产品发布相联的季节性(seasonality)。自动伸缩(autoscaling)改变了这种感受,因为云平台可以在几分钟内添加资源,但它并没有消除这一主题。自动伸缩有限度、有滞后、有成本,也有无法伸缩的依赖项,比如数据库或第三方接口。成本方面属于 FinOps(见主题 7.6,FinOps 与云成本度量)。
相邻的主题涵盖可用性算术(见主题 5.3,可用性度量)、告警设计(见主题 5.5,监控与告警质量度量)和轮换负荷(见主题 5.7,繁琐工作与值班度量)。这里的主题是服务自己的资源和响应时间。
关键原则
- 既度量饱和度,也度量利用率。 利用率显示一项资源有多忙,饱和度显示工作是否在等待。用户体验到的是等待。
- 把延迟作为分布来报告。 对每个面向用户的操作使用百分位数,并让缓慢的尾部保持可见。偏斜分布的平均值几乎不描述任何人。
- 把目标与用户体验相联。 阈值在能追溯到用户或业务所关心的东西时才有意义,而不是追溯到某个工具碰巧绘制的图表。
- 用区间来规划并评审它们。 预测是带有明确假设的区间。把它与实际发生的相比较,并从误差中学习。
- 通过测试了解你的限度。 在现实的负载测试确认之前,容量只是一个假设。在重要的变更之后重复测试。
- 描述系统,绝不描述人。 这些测量值属于服务、组件和团队。它们绝不是给个人的记分卡。
- 权衡成本与风险。 富余的容量花钱,缺少的容量会失去客户。让这一权衡可见,使它是被选择的,而不是漂移而成的。
度量定义
下表列出七项测量值。时钟和边界在每个公式中说明。基于百分位数的测量值使用在登记册中说明的固定窗口,并根据原始观测值或直方图计算,绝不作为平均值的平均值。
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| 资源利用率 | 一项资源的容量在一个时间间隔内被使用的占比,以间隔序列的高百分位数报告 | 忙碌容量 / 总容量,按 1 至 5 分钟的间隔;报告评审窗口内的中位数和第 95 百分位数;资源已被排空的维护窗口被排除 | 百分比 | 基础设施监控和云平台指标 | 容量与性能管理;监控与事件管理 | 完成定义中的运营验收标准;SRE 资源信号 | 每周 |
| 饱和度 | 在等待一项被完全使用的资源的工作量 | 每个间隔的队列长度、运行队列、待处理请求或被限流的请求;报告第 95 百分位数,以及有任何等待的间隔占比;没有需求的间隔被排除 | 计数,或间隔的百分比 | 应用和基础设施遥测 | 容量与性能管理;监控与事件管理 | SRE 饱和度信号;服务队列上的在制品限制 | 每周 |
| 延迟百分位数 | 应答某个面向用户的操作的请求所花的时间,以中位数、p95 和 p99 报告 | 响应时间,从边缘收到请求到最后一个字节发出,按每个成功的请求;失败的请求作为错误报告,而不是作为快速响应;在滚动窗口内度量 | 毫秒 | 负载均衡器或网关日志、追踪、真实用户监控 | 服务级别管理;容量与性能管理 | SRE 延迟指标和服务级别目标 | 持续,每周评审 |
| 余量 | 服务在违反其目标之前还能承载的剩余负载 | (经测试或建模的崩溃负载 - 当前峰值负载) / 当前峰值负载;峰值是窗口内最繁忙的一小时;崩溃负载是测试中延迟目标首次被违反时的负载,而不是硬件的最大值 | 百分比,或按当前增长率计的天数 | 负载测试结果和流量遥测 | 容量与性能管理;服务级别管理 | 流水线中的非功能性需求和性能测试 | 每月,以及重大发布之前 |
| 预测误差 | 某个时期的预测需求与实际需求之间的差异 | 绝对值 (预测峰值 - 实际峰值) / 实际峰值,针对规定的预测期;预测在预测期开始时冻结,之后不再修订;未预测的一次性事件被列出,而不是被移除 | 百分比 | 预测登记册和流量遥测 | 容量与性能管理;服务财务管理中与需求相关的规划 | 发布和路线图预测;SRE 需求预测 | 每季度 |
| 容量前置时间 | 容量需求被接受之后,使新容量投入服务所需的时间 | 时钟从容量请求获批时开始,到容量承载生产流量时停止;报告中位数和第 85 百分位数;被取消的请求被排除 | 天 | ITSM 工具中的请求记录、变更记录、配置(provisioning)日志 | 容量与性能管理;服务请求管理;变更赋能 | 平台待办事项列表项的前置时间(见主题 2.2,前置时间、周期时间与流动效率) | 每季度 |
| 性能测试覆盖 | 近期做过现实的负载测试的关键服务占比 | 在具有代表性的环境和工作负载上,有一次早于规定期限的、通过的负载测试的关键服务 / 登记册中的关键服务;期限已写下 | 百分比 | 测试结果存储和服务登记册 | 容量与性能管理;发布管理 | 持续交付流水线中的非功能性测试 | 每季度 |
这些合在一起回答四个问题:它有多满、它有多慢、还剩多少余地,以及当答案改变时我们能多快响应。
建议
从用户开始,然后是资源
1. 选择用户关心的少数几个操作,并度量它们。 一项服务有数百个端点和少数几个重要的旅程,比如登录、搜索、付款和下载对账单。与产品负责人和客户商定这些,并为每个设定延迟预期。这些自然地与服务级别指标相联(见主题 5.2,SLI、SLO 与错误预算)。
2. 把每张资源图表与一张饱和度图表配对。 只展示处理器使用率,会招致“它只到了 70%”的虚假安慰。在旁边添加队列、等待的请求或被限流的计数。当饱和度在利用率看起来还不令人担忧时就出现,你就找到了真正的约束,而这一约束往往不是你一直在观察的资源,而是连接池、线程限制,或合作伙伴接口上的速率限制。
3. 倾向于繁忙的尾部,而不是安静的平均值。 按天求的平均值,把深夜与午餐时的高峰混在一起。看最繁忙的时段,并记录最糟糕的间隔的日期和原因。规划的问题是服务在预期最糟糕的那一小时表现如何。
诚实地报告延迟
4. 按操作公布百分位数,并指明窗口。 对每个重要的操作,在滚动窗口内说明中位数、p95 和 p99,并说明包含哪些请求。绝不要在服务器之间或操作之间对百分位数求平均,因为结果不对应任何真实用户的体验;而应合并直方图或原始观测值。如果样本很小,要说明这一点,因为来自几百个请求的 p99 是一个有噪声的数字(见主题 1.6,服务度量的统计素养)。
5. 既在服务器所在之处度量,也在用户所在之处度量。 服务器端的计时遗漏了网络、浏览器和设备。添加真实用户监控或合成检查,使你能分辨缓慢的后端和缓慢的最后一公里。
6. 把错误和超时与延迟一起计入,而不是代替延迟。 快速失败的服务在延迟图表中看起来很快,而超时的服务由于错误的原因看起来很慢。把错误率与延迟百分位数一起报告,使快速失败无法美化结果。
找到限度,然后留出余地
7. 有意地测试崩溃点。 运行重放现实操作组合的负载测试,逐步增加负载,并注意延迟目标在哪里首次被违反,以及哪项资源首先饱和。在一个在重要方面类似生产环境的环境中测试,并写下它在哪些方面不像。在安全的地方失败的测试,是你将遇到的最便宜的事件(关于把检查放入流水线,见主题 4.5,发布与部署度量)。
8. 把余量设定为政策,并作为一项权衡来评审。 决定一项服务在其预期峰值之上保留多少余地,以及原因。面向客户的关键服务值得更多,内部批处理服务可以更少。这个数字是关于成本和风险的业务选择,所以记录理由,并在中断的代价或容量的价格发生变化时重新审视它。不要从其他组织照搬数字。
与了解需求的人一起预测需求
9. 问业务将要发生什么,并把预测写下来。 营销活动、新客户、监管截止日期和季节性事件,早在流量显示之前就改变了需求。保存一份简短的预测登记册,含日期、假设、区间、负责人和每项输入的来源。以区间给出的预测,比如低、预期和高三种情形,比单一数字更诚实,也更有助于决定买多少。
10. 为预测评分,并用误差来改进它。 每个时期之后,用预测误差把冻结的预测与实际发生的相比较,并列出大偏差的原因。常见的原因是未宣布的营销活动、用户行为的变化,以及某个依赖项发生了变动。目标不是零误差,那是无法达到的,而是了解哪些输入可靠,并在不可靠之处放宽区间。
让容量易于添加
11. 在追求准确度之前先缩短容量前置时间。 如果新容量需要数周才能到位,你就必须提前很久预测,并保留更多富余。如果只需几分钟,你就可以更贴近需要地运行。看“已批准”与“承载流量”之间的步骤,比如采购、批准、配置、设置和测试,并先消除最长的等待(见主题 4.3,变更赋能度量)。用 ITIL 的话说,这是一项容量策略的选择:领先需求、匹配需求,或滞后于需求;按服务有意识地选择。
12. 把自动伸缩视为要度量的系统。 记录伸缩触发的频率、新容量变得有用需要多久、它多常触及所配置的上限,以及它的成本。固定在上限上的自动伸缩器,是一份已经失败的容量计划。把这些与成本视图一起评审,使性能和花费被一起讨论(见主题 7.5,服务成本与单位经济)。
钻空子途径与护栏
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| 资源利用率 | 在很长的间隔上求平均以隐藏峰值;把闲置的预留容量算作“已使用”;只报告最安静的资源 | 在平均值旁边展示高峰时段的第 95 百分位数;饱和度测量值;对照服务地图评审范围内的资源清单 |
| 饱和度 | 提高队列限制,使没有任何东西被报告为被拒绝或被限流;把等待移入另一个未被度量的队列 | 同一操作的延迟百分位数和错误率;端到端的队列时间,而不是某一阶段;评审路径中的所有队列 |
| 延迟百分位数 | 只报告均值或中位数;从样本中丢弃缓慢或失败的请求;从快速的内部位置度量;排除“离群值” | 始终显示 p95 和 p99;在延迟旁边显示错误和超时率;把真实用户监控与服务器端计时相比较;显示原始样本量 |
| 余量 | 选择温和的测试工作负载;测试比生产更大的环境;把崩溃点定义为硬件最大值 | 对照生产流量形态评审测试工作负载;测试与生产之间差异的书面清单;相关变更之后重新测试余量 |
| 预测误差 | 事后修订预测;设定很宽的区间,使每个结果都“在区间内”;把有意外的月份作为“未预测事件”移除 | 预测在登记册中冻结并标注日期;连同误差一起报告区间宽度;每个被排除的事件都被列出并评审 |
| 容量前置时间 | 通过延迟批准记录来推迟启动时钟;在下订单而不是容量承载流量时就关闭请求;拆分请求 | 时钟定义为从批准到承载流量;把已关闭请求的样本与配置日志相比较;被重新打开的请求计数 |
| 性能测试覆盖 | 运行一个琐碎的测试来声称覆盖;缩减关键服务清单;把一个旧的通过的测试留在账上 | 记录测试的时效和工作负载的真实性;对照服务目录和事件历史评审关键服务清单;除通过之外也报告失败的测试 |
健康的读数显示:利用率具有可见的每日周期和余量,饱和度很少且短暂地出现,延迟百分位数在最繁忙的时段稳定或在改善,预测误差是已知的并在缓慢缩小。健康的迹象是,意外连同其原因一起被讨论。完美的数字应当引起怀疑,因为它们通常意味着度量过于温和。
权衡:利与弊
| 方法 | 优势 | 劣势 |
|---|---|---|
| 以充裕的余量运行 | 吸收意外;保护延迟和可用性 | 成本更高;隐藏低效和薄弱的预测 |
| 以快速自动伸缩精简运行 | 成本更低;容量跟随需求 | 取决于伸缩速度和限度;依赖项可能无法伸缩;在事件中更难推理 |
| 百分位数延迟目标 | 反映缓慢请求的感受;抵抗平均值的把戏 | 需要更多数据和更大的样本;对低流量服务,在高百分位数上有噪声 |
| 只用均值或中位数延迟 | 简单且稳定 | 隐藏了驱动投诉和流失的尾部 |
| 合成负载测试 | 受控、可重复、安全 | 仅与工作负载模型和环境一样现实 |
| 以生产遥测为基础 | 反映真实的行为和真实的组合 | 只在触及限度之后才揭示限度;无法探查超出当前需求之处 |
| 详细的预测模型 | 捕捉季节性和增长 | 需要数据和技能;输入薄弱时产生虚假的精确感 |
| 与业务商定的简单区间 | 易于解释和更新;聚焦于假设 | 较粗略;依赖业务方的诚实输入 |
选择能支持决定的最轻量的方法。对大多数服务,每周查看高峰时段的利用率、饱和度和延迟百分位数、在重大变更之前做一次负载测试,以及每季度评审一次预测,就足够了。在出错代价很大之处添加建模。
与团队讨论的问题
1. 哪三个用户旅程最重要?用户对每个旅程期望的响应时间是多少? 请小组说出这些旅程,然后与仪表盘所绘制的相比较。引导者应当推动得出可追溯到用户或客户的预期,而不是工程上的偏好。
2. 我们的服务在哪里靠近悬崖?我们怎么知道? 寻找连接池、线程限制或合作伙伴的速率限制之类的资源。问每个上一次被测试到崩溃点是什么时候。如果没人知道,那就是第一项工作。
3. 我们今天如何报告延迟?最慢的百分之一用户会怎么说? 对一个操作并排显示均值、中位数、p95 和 p99,并讨论差距。问哪些请求被排除、为什么,以及失败的请求是否被计入。
4. 我们保留多少余量?谁选择的?我们上一次重新审视这一选择是什么时候? 讨论余地的成本,以及最繁忙那天发生中断的成本。商定评审日期,以及会改变余地的证据。
5. 我们最近三次需求预测有多好?我们学到了什么? 把标注日期的预测与实际情况以及大偏差的原因相比较。问业务方知道、而运维没有收到的是什么。决定向预测登记册添加一项输入,比如营销日历或发布日程。
6. 如果下个月我们需要两倍的容量,什么会阻止我们? 列出从请求到生产流量的每一步,并标出它在哪里等待。包括采购、批准、许可,以及无法伸缩的依赖项。引导者应当寻找并非技术性的最长等待,因为它往往是一次批准或一份合同。商定缩短一个步骤,并通过容量前置时间度量其效果。
四种视角
产品与交付团队
在触及繁忙路径的功能的验收标准中包含性能预期,在可行的情况下在流水线中运行负载测试,并及早告知运维有关发布的事。注意把性能视为之后“加固”任务的习惯,那会变成计划外工作(见主题 2.9,运维工作与计划外工作)。
服务与运维团队
运维团队拥有遥测、容量计划,以及触及限度时的响应。他们需要在自己实际使用的仪表盘上展示饱和度和尾部延迟、与业务方共享的预测登记册,以及被信任的测试结果。他们应当连同原因一起记录每起与容量相关的事件(见主题 4.1,问题管理度量,以及主题 3.4,重大事件度量)。
领导层与治理
领导者决定组织接受多少风险和成本,余量政策就是这一决定显现之处。索要每项关键服务的延迟百分位数和余量,并把预测误差放在旁边,并把容量请求视为附带证据的投资决定。治理机构应当抵制全组织统一的利用率目标,它把每项服务都推向悬崖上的同一个点。
客户与用户
客户把缓慢感受为不可靠,远在任何可用性数字变化之前。用在规定负载下的百分位数来说明性能,并分享服务如何应对高峰期(见主题 5.1,SLA、OLA 与 XLA 度量,以及主题 6.2,体验级别协议)。
实践:一个服务管理示例
一家中型在线零售商运行着一个店面、一项支付服务和一项订单服务,各由一个产品团队拥有,平台团队提供共享的基础设施。本示例中的所有数字均为示意。
平台团队的每周评审显示,店面搜索的延迟中位数为 180 毫秒,p95 为 420 毫秒,均在目标之内,处理器使用率在高峰时段的第 95 百分位数为 58%。在一次计划中的促销前三周,一位支持负责人报告说,客户称网站在晚间活动期间“爬行”。仪表盘是绿色的。
团队查看上一次促销最繁忙时段搜索的 p99,发现为 3.1 秒,而 p99 目标为 1.5 秒。饱和度讲述了其余的故事:在高峰期,到产品数据库的连接池在 14% 的一分钟间隔中显示有请求在等待,而处理器使用率从未超过 60%。约束从来不是处理器。它是一个在流量只有今天三分之一时设定的池上限。
产品负责人和平台负责人以去年峰值的 1.5 倍运行负载测试,使用生产中的操作组合。测试显示,p99 目标在去年峰值的 1.15 倍时被违反,所以余量是 15%,而面向客户的服务的政策是 40%。营销日历表明开幕日的需求是去年峰值的 1.6 倍。冻结在登记册中的旧预测,把区间定在 1.2 至 1.4,对照去年促销的误差为 22%,主要来自一次未宣布的电子邮件营销活动。
记录在决定日志中的决定有四个部分。第一,提高池上限并添加只读副本,然后重新测试。第二,向发布流程添加促销就绪检查清单,使营销活动至少提前六周进入预测登记册。第三,把 p99 和池饱和度加入每周评审。第四,与财务商定促销窗口内额外容量的成本,使用定时伸缩,而不是全年保留富余。
变更之后,第二次测试显示 p99 目标可以维持到去年峰值的 1.8 倍。钻空子的风险在评审期间浮现。一位承包商曾提议一个“速赢”,即把慢于 5 秒的请求从延迟报告中排除,理由是它们是离群值。团队拒绝了:被排除的请求恰恰是抱怨的客户。护栏是在每个延迟百分位数旁边保留错误率和超时率,并记录样本量。促销期间,p99 的峰值为 1.2 秒,池饱和度保持在间隔的 1% 以下,预测误差为 9%,连同剩余偏差的原因一并记录在登记册中。
敏捷、AI、自动化与分析
敏捷
与产品干系人一起以短周期规划容量,把预测作为随数据更新的区间来使用。需要注意的是,为保护标题数字而过度配置,会浪费金钱。
AI
AI 工作负载,比如模型推理,具有可变的、有时成本高昂的需求,而 AI 功能可能迅速改变使用模式。跟踪 AI 路径的延迟百分位数和每个请求的成本,并与答案质量配对。需要注意的是,为速度调优可能降低答案质量,所以两者都要度量。
自动化
自动收集利用率和延迟,并在限度之内自动化伸缩。就振荡和它增加的成本来度量伸缩。需要注意的是,自动伸缩在触及限度之前会隐藏饱和度,所以要跟踪余量,而不仅仅是当前负载。
分析
连同预测区间和预测误差历史,一起展示百分位数延迟和余量。这为之提供依据的决定是何时添加容量。需要注意的是,来自短历史的预测是脆弱的,所以要说明区间。
行业视角
初创公司。 流量很小而增长不确定,所以廉价的测量值胜过精巧的。跟踪赚钱的两三个旅程的延迟百分位数,观察数据库上的饱和度,并在发布前运行一次简单的负载测试。设置支出告警,使一个缺陷或流量激增不会变成一张账单。
小型企业。 服务往往是托管或购买的,所以容量是供应商的事。以书面形式向供应商索取性能和容量报告,了解合同对高峰期是怎么说的,并用少量合成检查观察客户的视角。跟踪业务离不开的那一个系统上的余量。
大型企业。 许多服务共享基础设施,所以容量问题出现在错误的地方。投资于把服务与其所用组件相联的服务地图、与各业务单位共同的预测流程,以及各团队间对延迟百分位数的统一定义。按服务的关键程度设定余量政策。
政府与公共部门。 需求由法律规定的截止日期塑造,比如报税日期、福利申领和选举,而在这些日期的失败是公开的。预测应当使用法定日历,而高峰所需的容量可能需要提前数月签约。采购的前置时间使容量前置时间变长,所以要度量并围绕它们规划。关于服务性能的公开报告应当说明百分位数和负载条件(见主题 8.5,受监管与政府报告)。
业务论证:动因、投资回报与总拥有成本
成本有四个部分。第一是埋点:遥测及其存储。第二是测试:需要维护的有代表性的环境和工作负载模型。第三是规划例程:保存预测登记册并每季度评审误差。第四是富余容量本身,它往往是最大的成本,也是最值得使之明确的一项。
回报来自更少的与容量相关的事件、关于何时购买、何时不买的更好决定,以及避免在数据表明不必要的容量上花钱。不要事先承诺一个百分比的节省。而是度量你自己的模式:每季度原因为容量的事件数、需要紧急行动的高峰占比、相对于约定余量政策的闲置容量支出,以及预测误差的趋势。Google 的 SRE 一书把可靠性视为一项经济决定。
总拥有成本以人员和测试环境为主。小团队可以从现有的监控、每周评审和针对最重要旅程的一次负载测试开始。
反模式与陷阱
- 把平均利用率报告为容量的故事。 平均值隐藏了峰值和悬崖。报告高峰时段的高百分位数和饱和度测量值。
- 高管仪表盘上的均值延迟。 尾部驱动投诉。展示 p95 和 p99,附错误率和样本量。
- 把“离群值”排除在延迟之外。 最慢的请求是真实的用户。保留它们,并调查原因,而不是修剪数据。
- 在服务器之间对百分位数求平均。 结果不描述任何人。在计算百分位数之前先合并直方图或原始观测值。
- 只根据去年的流量构建容量计划。 需求取决于业务事件。纳入业务日历并评审预测误差。
- 在与生产不同的环境中测试。 通过的结果给人虚假的信心。记录差异并加以修正,或安全地在生产中测试。
- 用容量度量给工程师或团队排名。 利用率和延迟描述系统。从服务设计和需求的角度评审它们,并让个人置身事外。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 利用率、饱和度和延迟的度量 | 来自少数几台服务器的平均值;对高处理器使用率告警 | 一些团队绘制延迟百分位数和队列图 | 共享的定义:每个关键操作的百分位数、利用率旁边的饱和度、写下的窗口 | 对照目标做趋势分析,与错误率配对,每周评审 | 与供应商和客户共同修订定义;对账用户侧与服务器侧的视图 |
| 限度与余量 | 限度在失败之前未知 | 在大型发布之前偶尔做负载测试 | 对照书面的余量政策对关键服务做负载测试 | 按服务跟踪余量,并在相关变更之后重新测试 | 依据跨团队和供应商的成本、风险和事件数据调整余量政策 |
| 预测 | 在请求时临时猜测 | 各团队把预测存在脑中或电子表格里 | 共享的预测登记册,带区间和负责人,由业务日历提供输入 | 为预测误差评分并评审,附偏差的原因 | 预测与业务方和供应商共同构建;例行改进输入 |
| 容量交付 | 事件之后才添加容量 | 针对常见情形的标准请求 | 从批准到生产流量的书面路径,并度量容量前置时间 | 以有资助的改进针对最长的等待 | 在政策范围内自动添加容量;一起评审伸缩行为和成本 |
检查清单
- 关键用户旅程已被指名,每个都有与其负责人商定的延迟预期。
- 延迟按操作以中位数、p95 和 p99 报告,并说明窗口和样本量。
- 百分位数根据直方图或原始观测值计算,绝不在服务器之间求平均。
- 每张利用率图表旁边都有一张饱和度图表。
- 每个延迟百分位数旁边都显示错误率和超时率。
- 每项关键服务都有负载测试,并写下工作负载和环境的差异。
- 每种服务关键程度都有余量政策,并记录了理由。
- 带日期的预测登记册包含区间、假设和负责人,并由业务日历提供输入。
- 每季度评审预测误差,并记录大偏差的原因。
- 容量前置时间从批准到承载流量来度量。
- 与服务负责人一起评审自动伸缩的限度、滞后和成本。
- 没有容量或性能测量值按个人报告。
AI 提示词
评审延迟报告是否存在隐藏的扭曲。
这是我们报告 [操作或服务] 延迟的方式:[度量点、窗口、所显示的统计量,以及包含或排除哪些请求的描述]。我们的用户关心 [用户旅程或预期]。请找出这份报告可能低估最慢用户体验的方式,比如求平均、排除规则、抽样或度量位置。建议改为展示什么,以及我还需要哪些额外数据。不要虚构基准值或阈值;向我索取你需要的。请列出你的假设。
为服务起草负载测试计划。
我需要为 [服务名称] 制定一份负载测试计划。其主要用户旅程是 [旅程],依赖项是 [依赖项],生产流量组合大致是 [组合描述]。测试环境与生产在这些方面不同:[差异]。请提出工作负载模型、递增模式、要记录的测量值(延迟百分位数、错误率、利用率、饱和度)、停止条件,以及结果应当回答的问题。不要假定工具特性或虚构目标值。请列出你的假设和测试的风险。
与业务方一起构建需求预测。
我正在为 [服务] 准备涵盖 [预测期] 的容量预测。已知输入:[历史流量描述]、[业务事件和日期],以及 [计划中的变更]。请起草一个预测登记册版式,含低、预期和高三种情形、各自背后的假设、每项输入的负责人,以及为预测误差评分的评审例程。建议向 [业务干系人] 提出的问题。不要虚构增长率或季节性因子。请列出你的假设。
从症状中找出真正的约束。
一项服务在高峰负载期间显示这些症状:[症状,例如缓慢的 p99、队列增长、错误类型]。利用率数据:[资源利用率摘要]。饱和度数据:[队列、连接池、限流的摘要]。架构说明:[简短描述]。请列出可能是约束的资源和限度、能区分它们的证据,以及针对每一项最便宜的下一个测试。不要声称数据所不支持的原因。请列出你的假设。
AI 技能
- Service Management Metrics skill:用于查找定义某项容量或性能测量值、其时钟,以及应当放在它旁边的护栏的主题。
- Service Management Metrics maintainer skill:用于检查经过编辑的容量或性能主题是否使每项度量仍与一条钻空子途径和一道护栏配对。
要点
- 把饱和度与利用率一起度量,因为用户感受到的是队列,而不是百分比。
- 按操作以百分位数报告延迟,并附错误率和样本量,绝不对百分位数求平均。
- 通过测试找到限度,并把余量设定为权衡成本与风险的、有记录的政策。
- 与业务方一起以区间预测需求,冻结预测,并从误差中学习。
- 缩短容量前置时间并度量自动伸缩,使容量跟随需要。
- 描述服务和系统,绝不描述人,并把看起来完美的数字视为检查度量的提示。
参考文献与延伸阅读
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Google, "Monitoring Distributed Systems," chapter in Site Reliability Engineering, 2016, https://sre.google/sre-book/monitoring-distributed-systems/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, https://sre.google/workbook/table-of-contents/
- Dean, J., and Barroso, L. A., "The Tail at Scale," Communications of the ACM, 56(2), 2013.
- Little, J. D. C., "A Proof for the Queuing Formula: L = λW," Operations Research, 9(3), 1961.
- Gregg, B., Systems Performance: Enterprise and the Cloud, 2nd edition, Addison-Wesley, 2020.
- Allspaw, J., The Art of Capacity Planning, O'Reilly Media, 2008.
- Gunther, N. J., Guerrilla Capacity Planning, Springer, 2007.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- AXELOS (now PeopleCert), ITIL 4 Foundation and the ITIL 4 practice guide for capacity and performance management, 2019 onwards.
- Wikipedia, Capacity planning.
- Wikipedia, Site reliability engineering.
- Wikipedia, Latency (engineering).
- Wikipedia, Throughput.
- Wikipedia, Queueing theory.
- Wikipedia, Little's law.
- Wikipedia, Load testing.
- Wikipedia, Percentile.
- Wikipedia, Tail latency.
- Wikipedia, Forecasting.
- Wikipedia, Seasonality.
- Wikipedia, Autoscaling.