监控与告警质量度量
告警是对人的注意力的一次请求,所以要依据这一请求有多常是值得提出的、它抓住了多少真正的麻烦,以及它耗费了多少睡眠和信任,来度量监控。
概述与动因
监控是对系统实时数据的收集、处理和显示。系统监控(system monitoring)回答“服务是否正以用户需要的方式工作?”这个问题。告警是这些数据请求人去做某件事的那个点。大多数团队对第一项活动度量得很糟,或根本不度量,对第二项则只通过投诉来度量。本主题为两者给出一小组测量值:监控是否看到了重要的故障,以及它发出的告警是否配得上它所要求的注意力。
先说几个术语。在 ITIL 4 的词汇中,事件(event)是对管理服务有意义的状态变化,事件管理是检测事件、判断哪些重要并选择响应的实践。告警(alert)是向人发出的通知,以呼叫、消息或工单的形式送达。呼叫(page)是立即打断某人的告警。误报(false positive)是在无需关注时触发的告警,漏报(false negative)是没有任何告警报告的故障;这两个术语都来自误报与漏报(false positives and false negatives)的语言。可操作告警(actionable alert)是有人有一项有用的行动可采取,并且采取了,或出于有记录的理由有意选择不采取的告警。
监控的两个方面相互牵扯。每次事件之后都添加告警,会筑起一堵噪声之墙;为使其安静而削减告警,则有在重要的故障期间陷入沉默的风险。精确率与召回率(precision and recall)的语言很合适。精确率问发出的告警中有多大比例是值得发出的。召回率问告警抓住了真正问题的多大比例。告警质量是二者之间的平衡,而只盯着其中一个的度量,会招致团队牺牲另一个。信噪比(signal-to-noise ratio)捕捉的是同一种张力。
人的代价,是这一主题属于一本服务度量书的原因。告警疲劳(alarm fatigue)是有充分记录的倾向:暴露于大量告警、而其中大多数不重要的人,会变得麻木,对重要的告警反应迟缓。它最初在临床环境中被研究,适用于任何被通向虚无的告警过于频繁地呼叫的值班(on-call)轮换。疲劳的响应者会错过真正的事件,并最终离开轮换。
本书所汇合的两种传统,视角有所不同。ITIL 4 把这项工作放在监控与事件管理实践中,与事件管理和服务级别管理相联。它关心的是事件被检测、分类和路由,使事件被及早发现并被一致地处理。站点可靠性工程(SRE)则从另一端着手:Google 的《Site Reliability Engineering》一书主张,呼叫应当是紧急的、重要的、可操作的和真实的,其他一切都属于工单或仪表盘。敏捷团队把它作为一项工作协议来遇到:谁会被叫醒、为了什么,以及谁来修复错误的告警。下面的测量值借鉴了这三者,并保持一条规则:测量值描述一个轮换、一项服务或一条告警规则,绝不描述个人。
本主题不重复其相邻主题。事件的时间属于主题 3.3(事件响应与解决时间),重大事件属于主题 3.4(重大事件度量),目标和错误预算属于主题 5.2(SLI、SLO 与错误预算),人的负荷属于主题 5.7(繁琐工作与值班度量)。这里的主题是启动所有这些的信号的质量。埋点见主题 1.5(数据来源与埋点)。
关键原则
- 对用户感受到的症状发呼叫;其余的走工单或仪表盘。 对用户所体验到的东西(错误、缓慢、不可用)的告警,在系统变化时仍然有用。对原因(磁盘满、CPU 忙)的告警,只有当它预测某个症状、且有人能在症状到来之前采取行动时才有用。
- 每个告警都必须通向一项行动。 如果对某个告警的正确回应是什么也不做,就应当修改、降级为工单,或删除这个告警。度量通向行动的占比,并把其余的视为监控中的缺陷。
- 同时度量精确率和召回率。 只数噪声会奖励沉默,只数覆盖会奖励数量。两者合在一起描述质量,并各自充当对方的护栏。
- 把每条告警规则视为有负责人的产品。 一条规则有目的、阈值、运行手册和评审日期。没有负责人的规则不断累积,它们产生的噪声不属于任何人。
- 报告轮换和服务,绝不报告个人。 告警负荷是系统和轮换如何设计的属性。点名个人,会把设计问题变成责备问题,并隐藏真正的修复办法。
度量定义
下面的测量值是作为一组来选择的。单独的数量没有意义,可操作性告诉你数量是否是个问题,而覆盖和检测时间则告诉你安静隐藏了什么。它们全部按服务或轮换计算,并全部使用来自监控和呼叫工具、与事件和工单记录相连的告警记录。
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| 告警数量 | 通知了人的告警数量,拆分为呼叫和工单 | 期内送达某个轮换或队列的不同通知的计数;同一个仍然开放的告警的重复被归为一个;完全由自动化处理、没有通知人的告警被排除;按每个轮换每周报告,并单独报告非工作时间占比 | 每个轮换周的告警数 | 呼叫和告警路由工具 | 监控与事件管理 | 团队关于值班的工作协议 | 每周 |
| 可操作告警率 | 之后有人采取了有用行动的告警占比 | 有记录行动(修复、缓解、升级,或对告警规则的变更)的告警 / 期内被评审的告警;在任何确认之前就自动解决的告警被计为不可操作;未评审的告警作为单独的计数报告,而不是丢弃 | 百分比 | 与评审标签、工单或事件相连的告警记录 | 监控与事件管理;事件管理 | 团队对运营的改进行动 | 每周评审,每月趋势 |
| 误报率 | 在不存在问题时触发的告警占比 | 评审中被标为误报的告警 / 期内被评审的告警;“误报”指该状况并非故障,且没有人希望被告知;过于轻微而无需行动的真实问题不是误报 | 百分比 | 告警评审标签 | 监控与事件管理 | 回顾会议的噪声评审 | 每月 |
| 检测覆盖 | 至少有一个针对面向用户症状、且经过测试的告警的范围内服务占比 | 有症状告警、且该告警在过去 12 个月内经测试或真实事件检验过的服务 / 服务目录范围内的服务;范围内的服务清单在期初固定 | 百分比 | 服务目录、告警规则清单、测试记录 | 服务配置管理;监控与事件管理 | 新服务的完成定义 | 每季度 |
| 受监控检测占比 | 在用户或同事报告之前,由监控检测到的事件占比 | 首个信号是告警的事件 / 期内的事件;时钟是事件的开立时间,没有记录首个信号的事件作为未知报告,而不是作为已检测 | 百分比 | 带首个信号字段的事件记录、告警时间线 | 事件管理 | 事件评审(事件后学习) | 每月 |
| 检测时间(TTD) | 从用户影响开始到首个通知了人的告警之间经过的时间 | 首个通知人的告警时间减去影响开始时间,其中影响开始是事件评审中确定的服务级别指标首次被违反的最早时间;报告中位数和第 95 百分位数;没有告警的事件被排除并单独计数 | 分钟 | 事件评审、告警时间线、服务级别指标历史 | 事件管理;监控与事件管理 | 事件后评审 | 每月,按事件 |
| 告警集中度 | 最吵的少数几条告警规则所产生的告警数量占比 | 告警最多的五条规则的告警 / 期内的所有告警;同一告警只归并一次;规则数五是一种惯例,团队说明理由后可以改变 | 百分比 | 告警规则清单和呼叫记录 | 持续改进;监控与事件管理 | 回顾会议的改进待办事项列表(backlog) | 每月 |
| 告警规则时效性 | 有负责人、运行手册链接,并在约定间隔内评审过的呼叫规则占比 | 满足全部三个条件的呼叫规则 / 所有呼叫规则;期内被禁用的规则被排除 | 百分比 | 告警规则清单 | 知识管理;监控与事件管理 | 关于运营就绪的工作协议 | 每季度 |
告警数量需要语境,所以要与可操作告警率并排阅读。检测时间使用用户影响的开始,而不是工单,因为工单时钟在检测之后才开始;影响开始是来自事件评审的估计,应当标明是估计。误报率和可操作告警率不是互补的,因为一个告警可以是真实的,却仍不值得人花时间。
建议
决定什么值得发呼叫
1. 撰写呼叫政策,并保持简短。 用一段话说明什么值得发呼叫(用户现在感受到或即将感受到、且有人能对其采取行动的症状),什么不值得。其余一切进入工单队列或仪表盘。Google SRE 一书中关于监控分布式系统的章节是一个好的起点(见主题 5.2,SLI、SLO 与错误预算)。
2. 对症状告警,把原因留给诊断。 针对“错误率高于约定阈值”的呼叫,是关于用户的呼叫。针对“CPU 很高”的呼叫,是关于猜测的呼叫。把原因层面的信号保留在仪表盘上,供响应者在症状告警触发后查看,并且只有当某个信号能以足够的预警可靠地预测症状、让人来得及行动时,才把它提升为呼叫。
3. 把呼叫阈值与服务级别目标相联。 凡服务有服务级别目标(SLO)之处,就对错误预算被消耗的速率告警,而不是对原始阈值告警。SRE Workbook 中关于对 SLO 告警的章节,描述了燃烧率告警,以及精确率、召回率、检测时间和重置时间之间的权衡。这种方法对威胁目标的东西发呼叫,对不构成威胁的短暂闪动保持安静。
按节奏评审每个告警
4. 在简短的定期评审中为每个告警打标签。 每周为每个轮换留出十五分钟,看看触发了什么。对每个告警记录一个标签:可操作、误报、真实但不值得发呼叫,或重复。这些标签是可操作告警率和误报率的数据,评审是嘈杂的规则在第二天而不是下个季度得到修复的地方。
5. 让评审产生变更。 每周至少选择一条规则来调整、降级、合并或删除,并把这一变更作为普通工作记录在团队的待办事项列表中。
6. 无所畏惧地删除。 团队保留告警,是因为删除一个感觉有风险,而且没人记得它为什么存在。要求每条呼叫规则都带有目的和负责人,并商定:在规定期限内从未通向行动的规则被移除或降级,变更被记录以便可以撤销。规则时效性这项度量使这一纪律可见。
度量监控漏掉的东西
7. 跟踪由用户先发现的事件占比。 每次事件之后,记录它最先是如何被注意到的:告警、同事、客户、支持工单,或例行检查。被监控发现的占比,是召回率最接近实用的度量。它并不完整,因为没人注意到的事件从未进入样本,所以要与对告警本身的定期测试配对。
8. 诚实地估计检测时间。 在事件后评审中,根据服务级别指标历史,而不是根据有人键入工单的时间,来确定用户影响的开始。报告中位数和一个高百分位数,并把完全没有告警的事件作为单独的计数展示。单一的平均值既隐藏了典型情形,也隐藏了糟糕的尾部(见主题 1.6,服务度量的统计素养,以及主题 3.3,事件响应与解决时间)。
9. 测试你所依赖的告警。 只有当告警被看到有效时,检测覆盖才可信。在演练(game day)或发布预演中加入一项检查,有意造成一个症状,并确认正确的告警触发、到达正确的轮换,并链接到一份可用的运行手册。从未被检验过的告警是一种希望,而不是控制措施(见主题 5.6,服务连续性度量)。
保持信号路径健康
10. 监控监控本身。 监控系统的无声故障,看起来与健康的服务完全一样。添加一项心跳检查,在告警管道停止送达时发呼叫,并记录管道本身多常失败。
11. 先归并、去重和链接,再计数。 把相关的告警归并为一个,抑制已经开放的告警的重复,并把每个告警路由给拥有它的轮换。把每个告警链接到其运行手册,以及它所创建的事件或工单,因为正是这一连接,让你无需手工计数就能计算可操作告警率和受监控检测占比(见主题 1.5,数据来源与埋点)。
钻空子途径与护栏
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| 告警数量 | 提高阈值、增加长时间延迟,或把告警从呼叫移到无声的队列,使计数下降而问题无人看见;拆分或合并告警以改变计数 | 受监控检测占比和检测时间;规定每次降级都连同理由记录,并在一个季度后评审 |
| 可操作告警率 | 事后把告警标为可操作,或采取一项琐碎的行动(一条评论、一次确认)使其合格;让嘈杂的告警不被评审,使它们永不进入分母 | 在比率旁边显示未评审告警的计数;由轮换之外的人抽样检查;写下“有用行动”的定义 |
| 误报率 | 狭义地定义误报,使“真实但毫无意义”的告警被算作真实;在不打标签的情况下关闭嘈杂的告警 | 单独跟踪可操作告警率和“真实但不值得发呼叫”标签;定期抽样已关闭的告警 |
| 检测覆盖 | 为每项服务添加一个琐碎的告警(ping)以声称覆盖;计入从未经测试的告警 | 要求告警盯着面向用户的症状,且在过去 12 个月内被检验过;受监控检测占比 |
| 受监控检测占比 | 即使用户先报告也把每起事件记录为“由监控检测到”;事后创建一个告警,然后引用它;把首个信号字段留空以避免难看的数字 | 在占比旁边显示未知的计数;首个信号的证据取自告警时间线,而不是记忆;由客户报告的事件与支持记录相联 |
| 检测时间(TTD) | 把影响开始声明得比实际更晚;排除没有告警的事件;报告均值以隐藏尾部 | 影响开始取自服务级别指标历史;没有告警的事件被计数并显示;中位数和第 95 百分位数一起报告 |
| 告警集中度 | 把一条嘈杂的规则拆成几条,使它们都不在前五之内;给规则改名 | 除按规则外,还按潜在的故障或服务报告集中度;在旁边跟踪总量和可操作告警率 |
| 告警规则时效性 | 添加占位的负责人、空的运行手册链接,或走过场的评审以满足条件 | 抽查运行手册链接是否能解析、是否在真实响应中被使用;在演练中测试运行手册的做法 |
健康的读数同时显示几件事。每个轮换的告警数量稳定或下降,并处于团队所选的可持续水平之内。随着最嘈杂的规则被调整,可操作告警率在几个月内上升。受监控检测占比高,检测时间短且不随数量下降而变长,这证明安静是挣来的,而不是买来的。检测覆盖的增长,是因为服务被测试了,而不是因为添加了琐碎的告警。如果数量下降而检测占比或检测时间变差,团队就是以召回率换取了安宁,而护栏正是揭示这一点的东西。
权衡:利与弊
| 方法 | 优点 | 缺点 |
|---|---|---|
| 少量基于症状的呼叫 | 夜晚安静,对每个呼叫信任度高,易于保持最新 | 对缓慢形成的问题有检测过晚的风险;其余部分需要良好的工单和仪表盘习惯 |
| 许多敏感的告警 | 对原因层面的麻烦提前预警;更少漏掉事件 | 告警疲劳、确认变慢,以及值班轮换的人员流失 |
| SLO 燃烧率告警 | 呼叫与威胁目标的东西相联;闪动更少 | 需要良好的指标和商定的目标;需要调整,以平衡检测时间和精确率 |
| 每周告警评审 | 反馈快;嘈杂的规则被迅速修复 | 每周耗费时间;如果没有后续变更,就成了作秀 |
| 由人打标签 | 捕捉到任何工具都没有的判断 | 主观;除非写下定义,否则标签在评审者和轮换之间会漂移 |
| 自动化的抑制和归并 | 大规模削减噪声;减少重复呼叫 | 规则有误时可能隐藏真实信号;需要自己的监控和评审 |
每一种选择都是在精确率与召回率之间权衡,而这一权衡应当有意作出并按服务写下,因为正是这个语境使任何人都能公平地阅读这些数字。漏掉故障后果严重的服务,可能会为了更早的预警而接受较低的可操作率,并配以一个分诊层,在夜间把多出的告警送入工单队列。
与团队讨论的问题
1. 我们希望为了什么而被叫醒?上个月的呼叫中哪些达到了这一标准? 用一两句话写下呼叫政策,然后取上个月的呼叫,逐一对照它来检验。这项练习比它产生的百分比更有价值,因为分歧揭示了团队的期望在哪里不同。把不必要的呼叫记下来,作为要降级的候选。
2. 如果最嘈杂的告警规则明天消失,我们会失去什么? 对数量最多的前五条规则中的每一条问这个问题。往往没人能说出这条规则曾经抓住的某个具体故障,这是它可以被调整或移除的迹象。凡有人能说出之处,问这一故障是否也会触发症状告警。
3. 我们如何发现监控漏掉了什么? 看最近几起事件,问谁最先注意到,以及在此之前影响持续了多久。答案无需新工具,就给你受监控检测占比和粗略的检测时间。讨论什么信号本可以更早抓住每一起。
4. 我们的值班负荷是可持续的吗?我们如何知道? 商定可持续对一个轮换意味着什么,比如每周非工作时间呼叫数的上限,并按轮换而不是按人评审趋势。如果负荷高于约定水平,就把它视为服务缺陷,并规划工作来减少它。让测量值与主题 5.7(繁琐工作与值班度量)保持一致。
5. 我们的哪些告警从未被测试过?我们如何安全地测试它们? 列出依赖单一症状告警的服务,问是否有人曾在真实情形或预演中看到它触发。计划一次测试,并检查完整路径:检测、路由、通知、运行手册。考虑失败的告警管道是否会被察觉。
6. 这些数字在这里可能如何被钻空子?我们会注意到什么? 请团队诚实地描述,他们如何能在不改进任何东西的情况下使每个数字看起来更好。然后商定哪道护栏会显示出来,以及由谁来看。提前说出这些把戏,会使它们不那么诱人(见主题 1.2,古德哈特定律与度量的心理学)。
四种视角
产品与交付团队
构建并运行服务的团队,决定它对自己报告什么,所以告警质量始于完成定义。带着自己经过测试的指标和告警一起发布的新功能,避免了在第一次事件之后才补上的监控。把告警调整视为普通的待办事项列表工作。
服务与运维团队
运维团队背着呼叫器,最先感受到代价,所以他们拥有评审的节奏、打标签的工作和管道的心跳。当告警有误时,修复属于规则的负责人,而不属于接到呼叫的人。
领导层与治理
领导者可以索要按服务的检测和可操作性数字,为调整出资,并抵制那种奖励沉默的、针对告警数量的目标。只有当检测占比和检测时间保持稳定时,数量下降才是好消息。可持续的值班上限是人员配置和设计上的决定,而不是激励性的决定。
客户与用户
客户从未见过告警;他们看到的是服务是否失败以及花了多久修复。良好的监控表现为在他们注意到之前就修复了的事件,以及由客户先报告的情形更少。凡组织使用体验测量值(见主题 5.1,SLA、OLA 与 XLA 度量)之处,由用户首先报告的事件占比是体验差距的直接指标。
实践:一个服务管理示例
一家中型在线零售商运行着一个订单平台,有四个产品团队和一个支持值班轮换的平台团队。本示例中的所有数字均为示意。在四周内(示意),该轮换收到 240 个呼叫,其中 70 个在 22:00 至 07:00 之间。团队用四个标签评审每个呼叫:可操作、误报、真实但不值得发呼叫,以及重复。
评审显示,可操作告警率为 31%(示意),误报率为 22%(示意)。五条规则产生了 58% 的呼叫(示意),其中最大的一条是批处理服务器上的磁盘阈值,它总是自己恢复。上一个季度的受监控检测占比为 62%(示意),检测时间中位数为 14 分钟(示意),第 95 百分位数为 51 分钟(示意)。
团队把三条嘈杂的规则降级到工单队列,合并重复项,使一个故障只产生一个呼叫,用错误预算燃烧率告警取代结账上的原始错误计数告警(见主题 5.2,SLI、SLO 与错误预算),并为订单确认电子邮件添加一个症状告警,这是两起由客户报告的事件背后的缺口。每项变更都是带负责人的待办事项列表项。四周后,呼叫降至 96 个(示意),可操作率升至 64%(示意),同时检测占比升至 71%(示意),检测时间中位数保持在 14 分钟。这份安静看来是挣来的。
钻空子的风险在第三个月出现。一位新经理设定了一个非正式的目标,即每四周少于 60 个呼叫,一个轮换通过延长结账错误告警的延迟达到了这一目标。它的检测占比降至 55%(示意),第 95 百分位数检测时间攀升至 80 分钟(示意)。因为护栏就放在数量旁边,评审发现了它。团队撤回数量目标,恢复该告警,并把这一案例记录在度量登记册中(见主题 1.4,度量治理与归属)。
敏捷、AI、自动化与分析
敏捷
把告警作为值班人员所用的产品,按定期的节奏评审,并与干系人一起淘汰或调整嘈杂的告警。需要注意的是,削减告警数量的目标可能移除有用的告警。
AI
AI 可以对告警进行归并、总结和排序,并可以建议原因。把降噪与对真实事件的漏报率配对,并跟踪被人拆分或合并的 AI 归并的占比。需要注意的是,由模型作出的抑制,可能隐藏罕见但严重的告警。
自动化
按规则和结果自动统计告警,并就抑制错误来度量告警自动化。需要注意的是,当规则只是在抖动时,自动解决的告警可能看起来像健康的系统。
分析
连同由用户最先发现的事件,一起报告可操作告警率和检测覆盖。这为之提供依据的决定是修复或移除哪些告警。需要注意的是,对照已知事件度量的覆盖,忽略了没人见过的失效模式。
行业视角
初创公司。 当少数几位工程师全员值班时,优先事项是一份简短的呼叫政策,以及针对赚钱路径的几个症状告警。每周一花十分钟看看是什么叫醒了人就足够了。主要的风险是根本没有告警,使客户成了监控;统计有多少次是客户先告诉你的。
小型企业。 小型组织往往依赖供应商的监控。有用的测量值是对使业务停摆的少数几个系统的检测覆盖,以及由用户发现的事件占比。向供应商索取你的合同赋予你的告警数据。
大型企业。 大型组织有许多工具和轮换,每个团队对“可操作”的定义可能各不相同。标准化定义和标签,在团队层面评审,并按服务而不是按工具汇总。事件关联平台在规模上减少数量,但需要自己的召回率检查。
政府与公共部门。 有些服务按办公时间运行,另一些,如紧急或福利系统,则持续运行。在失败带有法律或安全后果之处,检测覆盖和经过测试的告警最为重要,测试记录可以支持审计。向监督机构报告覆盖和检测,而不是原始的告警计数,后者容易被误读(见主题 8.5,受监管与政府报告)。
业务论证:动因、投资回报与总拥有成本
投资的理由是实际的。更好的检测缩短用户受影响的时间。更少的无意义呼叫保护睡眠,减少轮换中的人员流失,并把注意力留给重要的告警。糟糕的告警质量的代价难以看到,因为它分散在被打断的睡眠、缓慢的响应和资深工程师的离开之中。
如果告警、呼叫和事件工具可以连接起来,收集这些度量的成本就很小;如果标签由人手工添加,则成本适中。主要成本是每周的评审时间、调整和删除的工作,以及偶尔的检测测试。修剪不用的规则也削减监控的许可和存储成本,总拥有成本应当包括人的时间。
回报在几个月内就会出现:更安静的轮换、不断上升的受监控检测占比,以及不会恶化的检测时间。要把它变成金钱,用你自己的数字,把事件工时和轮换人员流失的成本与评审的成本相比较。除非你能引用经验证的来源,否则不要使用行业平均值。
反模式与陷阱
- 以告警数量为目标。 针对计数的目标奖励沉默,并招致隐藏告警。针对可操作告警率和检测占比设定目标,并把数量用作带有团队所选的可持续上限的语境数字。
- 对每个原因都告警。 几十个原因层面的呼叫产生噪声,却仍然漏掉没人想到的症状。改为对面向用户的症状告警。
- 每次事件后添加告警,却从不移除。 把每个新告警与对它所使之多余的那些告警的评审配对。
- 只计数告警而不打标签。 没有对有用性的判断的计数,无法区分嘈杂的轮换和繁忙的轮换。即使只有几分钟可用,也每周对一批样本打标签。
- 把覆盖视为告警的计数。 有五十个原因告警而没有症状告警的服务,覆盖很差。把覆盖定义为经过测试的症状检测。
- 按处理或确认的呼叫数给人排名。 它惩罚接手艰难班次的轮换成员,并鼓励回避呼叫器。按轮换和服务报告,并寻找设计上的修复办法。
- 从不测试告警路径。 未被看到有效的告警是一种假设。把告警测试纳入演练,并监控管道本身。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 呼叫政策与规则归属 | 临时添加告警;没人知道许多告警为什么存在 | 一些团队有政策,其规则有负责人 | 一份简短的呼叫政策;每条呼叫规则都有负责人和运行手册 | 跟踪并评审规则时效性;按计划移除不用的规则 | 随服务变化,在团队和供应商之间调整政策和归属 |
| 告警质量度量 | 抱怨噪声;没有计数 | 一些团队统计数量;没有打标签 | 每周评审,用通用标签;按服务报告可操作告警率和误报率 | 趋势分析并与检测测量值配对;改进工作有资助 | 质量在服务和供应商之间相联;当定义不再为决定提供依据时修订 |
| 检测与覆盖 | 客户和同事报告大多数问题 | 少数关键服务上有症状告警 | 以经过测试的告警跟踪检测覆盖;为每起事件记录首个信号 | 带护栏评审检测时间和受监控检测占比;缺口变成有计划的工作 | 例行地在依赖项和供应商之间测试检测,包括告警管道 |
| 在改进中的使用 | 告警的修复跟在最糟糕的夜晚之后 | 修复跟在事件之后 | 每次评审至少产生一项变更 | 跟踪变更对数量、可操作性和检测的影响 | 一起评审轮换负荷、检测和错误预算,以引导投资 |
检查清单
- 我们有一份几句话的书面呼叫政策,说明什么值得发呼叫。
- 每条呼叫规则都有负责人、目的和运行手册链接。
- 每个轮换至少每周评审一次触发了什么,并为每个告警打标签。
- 每次评审都至少产生一项对规则的有记录的变更。
- 我们按轮换和服务报告告警数量、可操作告警率和误报率,绝不按人。
- 每起事件都记录它最初是如何被检测到的,并带有“未知”选项。
- 我们根据服务级别指标历史估计影响开始,并报告检测时间的中位数和第 95 百分位数。
- 每项范围内的服务都有一个在过去 12 个月内经测试的症状告警。
- 当告警管道停止时,心跳检查会呼叫我们。
- 我们为每个轮换商定了可持续的非工作时间负荷,并加以评审。
- 没有任何目标只针对告警数量设定。
AI 提示词
目的:根据服务的指标和后果,为其起草呼叫政策。
请帮我为服务 [服务名称] 起草一份呼叫政策。
背景:用户是 [用户群体];我们关心的面向用户的症状是 [症状,例如错误、延迟、不可用];漏掉故障的后果是 [后果];值班轮换是 [轮换描述,例如时间和团队规模]。
请撰写一份简短的政策(不超过 200 字),说明什么值得发呼叫、什么进入工单队列、什么留在仪表盘上。
不要虚构阈值或基准值;留下 [阈值] 占位符,由我们根据自己的数据来设定。
请列出在定稿之前你会问我们的问题,并列出你的假设。
目的:分析导出的告警评审,找出噪声模式。
我将粘贴 [期间] 内轮换 [轮换名称] 的告警表,列为:[列名,例如规则、时间、标签、所采取的行动、服务]。
请只使用我粘贴的数据,计算可操作告警率、误报率、非工作时间占比,以及来自最吵的五条规则的告警占比。
建议哪些规则要调整、合并、降级或删除,并为每项给出理由,同时把每项建议标为待检验的假设。
按规则、服务和轮换报告,绝不按人。不要虚构基准值。
请列出你的假设以及你排除的任何行。
目的:在发布之前,检查一组告警度量的钻空子风险。
这是我们计划发布的告警质量度量:[带定义和公式的度量清单]。
对每项度量,在我们 [组织类型和服务] 的背景下,描述它可能被钻空子或被误读的两种方式,并建议来自同一清单的配对护栏,或我们可以采用的实践。
指出任何在没有护栏的情况下展示的度量。
不要虚构来源或基准值。
请列出你对我们的工具如何记录告警和事件的假设。
目的:为覆盖薄弱的服务规划一次检测测试。
我们的服务是 [服务清单],我们认为存在的症状告警是 [告警清单]。
请为下一次 [演练或预演] 提出一份安全的测试计划,对每项服务检查:有意造成的症状会触发告警、到达 [轮换],并链接到一份运行手册。
说明应当事先告知谁,以及如何为检测覆盖记录结果。
不要虚构工具功能;问我 [监控工具] 是如何工作的。
请列出你的假设。
AI 技能
- Service Management Metrics skill:用于查找定义相关测量值的主题,以及应当放在告警质量度量旁边的护栏。
- Service Management Metrics maintainer skill:用于检查对本主题的编辑是否使模板、钻空子表和交叉引用保持一致。
要点
- 依据告警是否通向行动来评判告警,依据监控抓住了多少真正的麻烦来评判监控;精确率和召回率互为护栏。
- 对用户感受到的症状发呼叫,在存在服务级别目标之处把阈值与之相联,并把原因留给诊断。
- 每周评审触发了什么,给它打标签,并每次至少作出一项变更。
- 绝不只针对告警数量设定目标;把它与可操作告警率、受监控检测占比和检测时间并排阅读。
- 测试告警和告警管道,因为未经测试的告警是一种假设。
- 按轮换和服务报告,绝不按人,并把可持续的值班负荷视为设计目标。
参考文献与延伸阅读
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, "Monitoring Distributed Systems," https://sre.google/sre-book/monitoring-distributed-systems/
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, "Practical Alerting from Time-Series Data," https://sre.google/sre-book/practical-alerting/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, "Alerting on SLOs," https://sre.google/workbook/alerting-on-slos/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, System monitoring.
- Wikipedia, False positives and false negatives.
- Wikipedia, Precision and recall.
- Wikipedia, Signal-to-noise ratio.
- Wikipedia, Alarm fatigue.
- Wikipedia, On-call.
- Wikipedia, Site reliability engineering.
- Wikipedia, Service-level objective.