重大事件度量
把重大事件作为罕见而代价高昂的、值得从中学习的事件来度量,而不是排行榜:统计它们,诚实地计时,评估它们的客户影响,检查人们是否被告知,并证明后续行动已经完成。
概述与动因
重大事件(major incident)是严重到需要超出常规例行程序的响应的事件。作为最知名的 IT 服务管理框架,ITIL 把事件管理(incident management)描述为尽可能快地恢复正常服务运行,并期望组织通过一条独特的、协调性更强的路径来处理其最严重的事件。组织如何划这条线,由它自己决定。一种常见的选择是:影响许多用户或一项关键服务,且需要几个团队在同一位协调者之下共同工作的事件。写下你自己的定义,因为本主题中的每项度量都依赖于它。
重大事件很少。一个团队可能每周看到几十起普通事件,每季度只有两三起重大事件。这改变了你如何度量。事件数量和解决时间的普通统计(见主题 3.2,事件数量与优先级,以及主题 3.3,事件响应与解决时间)假定事件很多,并奖励平均值。每个期间只有寥寥几起重大事件时,平均值被一个糟糕的夜晚所主导,趋势线大半是噪声,而百分位数(percentile)在五个数据点上毫无意义(见主题 1.6,服务度量的统计素养)。诚实的办法是把每起重大事件展示为单独的一行,附有它自己的时间线,并且只在较长的窗口上汇总。
敏捷和 ITIL 的视角在这里的相遇,比本书中任何地方都更直接。ITIL 贡献结构:一起被宣布的重大事件、一位指名的协调者、对受影响各方的明确沟通,以及事后的评审。敏捷(agile)和站点可靠性工程(site reliability engineering,SRE)的传统贡献习惯:主持响应的事件指挥官(incident commander)、对所发生之事的无责评审,以及为持续改进提供输入的、对学习的关注。Google 的《Site Reliability Engineering》描述了事件指挥模式和事后复盘评审的实践(见参考文献)。这个意义上的事后复盘(postmortem),是对一起事件、其原因以及随后行动的书面叙述,这个术语在这里与“事后事件评审”互换使用。
本主题涵盖五个问题。重大事件多常发生?它们持续多久,其中有多少时间是在有人宣布之前度过的?有多少用户、哪些用户感受到了?人们是否及时且以稳定的节奏听到了我们的通报?以及承诺的后续行动是否发生了?相关主题涵盖围绕它们的内容:可用性(见主题 5.3,可用性度量)、书面评审的质量(见主题 4.2,事后复盘与学习度量)、底层原因(见主题 4.1,问题管理度量),以及常常触发它们的变更(见主题 4.4,变更失败与返工)。
本主题中使用的术语:
- 重大事件(major incident): 符合你书面宣布标准并触发重大事件流程的事件。
- 宣布(declaration): 有权限的人正式启动重大事件流程的那一刻。
- 恢复时间(time to restore): 从客户影响开始,到服务为用户恢复的那一刻的时间。恢复服务的那一刻,不同于找到根因(root cause)。
- 事件指挥官(incident commander): 协调响应、分配任务并作决定的角色。它是事件持续期间的一个角色,而不是职位头衔。
- 事后事件评审(post-incident review): 在服务恢复之后,对一起事件进行的结构化的无责检视。
- 行动项(action item): 由评审产生的、具体的、有负责人和日期的变更。
关键原则
- 先展示事件,再汇总。 罕见的事件值得有单独的时间线。分别报告每起重大事件,只在一个长窗口上使用汇总统计,并在旁边附上计数。
- 时钟从影响开始,而不是从知晓开始。 从有人注意到才开始的持续时间,隐藏了检测缺口,而这往往是故事最大的部分。
- 度量用户的体验,而不是团队的努力。 客户影响是这个流程存在的理由。响应人员付出的小时数是需要跟踪的成本,绝不是得分。
- 沟通是恢复的一部分。 服务已恢复而用户仍在猜测,只修复了一半。把更新的及时性视为响应的一项测量值。
- 在行动完成之前,评审没有结束。 完成的文档附带未结行动,什么也没改变。度量跟进落实,而不仅仅是评审的存在。
- 绝不给人排名,也绝不惩罚宣布。 如果宣布一起重大事件在报告中伤害宣布者的团队,宣布的就会更少,而度量会改善,服务却变得更糟。
- 保持宣布标准稳定。 移动门槛会改变本主题中的每项度量。连同理由和日期记录每一次变更。
度量定义
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| 重大事件计数 | 一个期间内按服务宣布的重大事件 | 在期内符合宣布标准并被宣布的事件计数,按宣布时间;在头一小时内被降级的事件单独列出并排除 | 每季度的计数 | 带重大事件标志的 ITSM 工具事件记录 | 事件管理 | 团队或服务健康评审 | 月度报告,季度趋势 |
| 重大事件持续时间 | 客户受影响的时间 | 每起事件的服务恢复时间减去影响开始时间。影响开始是监控中最早的证据或首次用户报告,以较早者为准。部分恢复作为自己的事件记录,完全恢复才停止时钟 | 每起事件的分钟数 | 监控时间线,ITSM 工具中的事件时间线 | 事件管理;服务级别管理 | 交付度量中的恢复时间(见主题 2.8,DORA 度量) | 每起事件;长窗口的中位数和季度最大值 |
| 宣布时间 | 从影响开始到宣布重大事件之间的延迟 | 每起事件的宣布时间减去影响开始时间。从未被宣布的事件,通过对普通高影响事件的季度评审发现,并以 n/a(从未宣布)的宣布时间计入 | 每起事件的分钟数 | 监控时间线,ITSM 工具审计线索 | 事件管理;监控与事态管理 | 团队工作协议中的升级就绪定义 | 每起事件 |
| 客户影响 | 受影响的用户数和使用量有多少 | 每起事件受影响的用户(或失败的请求)乘以受影响的分钟数。只计入在影响窗口内尝试使用服务的用户。计划内维护被排除 | 用户分钟,或失败的请求 | 服务遥测,支持联系记录 | 服务级别管理;事件管理 | 面向用户的服务级别指标(见主题 5.2,SLI、SLO 与错误预算) | 每起事件 |
| 沟通及时性 | 受影响各方是否被及时告知 | 宣布之后在目标时间内发出首个面向客户的通知的重大事件占比,以及在约定间隔内发出的计划更新占比。时钟从宣布时起算。仅内部的消息被排除 | 事件的百分比;更新的百分比 | 状态页历史,ITSM 工具中的沟通日志 | 事件管理;服务级别管理 | 团队工作协议中对干系人的沟通 | 每起事件;季度摘要 |
| 评审完成及时性 | 评审是否进行得足够早以致有用 | 在恢复之后约定的工作日数内发布了评审的重大事件占比。时钟在发布时停止,而不是在首份草稿时。仍在窗口之内的事件被排除 | 百分比 | 评审存储库,ITSM 工具 | 持续改进;问题管理 | 改进跟进 | 每季度 |
| 行动项跟进完成率 | 评审行动是否完成 | 按截止日期完成的评审行动 / 期内到期的评审行动。以“不做”关闭的行动连同理由单独计数,不隐藏 | 百分比;逾期计数 | 与评审相联的问题跟踪器 | 持续改进;问题管理 | 来自回顾会议的待办事项列表项 | 每月 |
| 重复重大事件率 | 同一原因的再发 | 期内重大事件中,其记录的原因与前十二个月内较早的一起重大事件相符的 / 期内重大事件。匹配依据原因字段,由人工评审 | 百分比,并显示计数 | 评审记录,问题记录 | 问题管理 | 待办事项列表中的预防工作 | 每季度 |
每一行在被信任之前都需要一条书面的时钟规则。关于影响开始和恢复时间的争议很常见,最好事先解决(见主题 1.5,数据来源与埋点)。
建议
写下什么使一起事件成为重大事件
发布任何值班人员都能应用的宣布标准。 标准通常把影响(受影响的用户、降级的关键服务、安全或法律风险)与协调的需要(需要多于一个团队)结合起来。一份附示例的简短清单,胜过冗长的矩阵。说明谁可以宣布,并明确善意的宣布永远不是错误,即使事件结果证明是轻微的。
在每条事件记录中记录标准的版本。 当门槛移动时,趋势也随之移动。每条记录上的版本号或日期,让你能比较同类事物,并解释因规则变更而造成的计数跳变。
计数并分类,而不把计数变成目标
连同背景一起报告计数。 在服务、触发因素(变更、容量、依赖、安全、其他)和标准版本旁边展示每季度重大事件的数量。没有背景的计数,招致诸如“每季度少于三起”之类的目标,这会教人们不去宣布。只有当宣布时间和客户影响稳定时,才把下降的计数视为好消息。
区分已宣布的、被降级的和被漏掉的。 跟踪被宣布又被降级的事件,因为它们显示标准是否合理。每个季度评审一批普通事件的样本,找出应当被宣布的。被漏掉的信息最丰富。
从用户一侧为事件计时
让时钟在客户受到影响时开始。 使用最早的可靠证据,它往往是早于首张工单的监控信号。当开始时间不确定时,记录估计及其来源,而不是有人注意到的时间。影响开始与宣布之间的间隔本身就是一项度量,通常也是改进成本最低的。
把时间线拆分为阶段。 检测、宣布、诊断、缓解和完全恢复,各有不同的延迟原因和不同的负责人。每起事件的阶段分解显示时间去了哪里,而无需平均值。通过变通恢复服务和修复原因是两个独立的事件,后者属于问题管理。
在长窗口上使用中位数和最坏情形,并附计数。 对一年的数据,报告中位数和最长的持续时间,并说明它们来自多少起事件。避免对重大事件使用单一的平均恢复时间。事件很少时,它不稳定,并被一次长时间的中断所扭曲(见主题 1.6,服务度量的统计素养)。
用用户能认出的话来评估客户影响
宁取基于用户的影响,而不是基于服务器的影响。 失败的请求、受影响的用户或受影响的交易描述了对人发生了什么。某个组件上服务降级的分钟数描述的是对机器发生了什么。凡你有服务级别指标之处,就使用它们(见主题 5.2,SLI、SLO 与错误预算),并把事件与可用性图景联系起来(见主题 5.3,可用性度量)。
在每条记录中添加一段通俗语言的影响陈述。 一两句话,说明谁受到了影响、他们无法做什么。支持联系、社交媒体提及和客户升级是这段陈述的证据,不是要最大化的度量。
把沟通作为响应的一部分来度量
按受众设定沟通目标。 受影响的客户、内部干系人和高管,在不同的时间需要不同的信息。商定宣布之后首个通知的目标和稳定的更新节奏,并按事件度量遵从情况。节奏比内容更重要:一条写着“没有变化,下次更新在三十分钟后”并准时到达的更新,比沉默建立更多信任。
让响应和沟通由不同的人负责。 沟通负责人让事件指挥官能专注于诊断。小团队可以用一份检查清单和预先写好的模板来代替。
为学习闭环
及早召开评审,并加以发布。 记忆会褪色,所以为评审设定一个窗口,并度量是否达成。评审的完成不如评审改变了什么重要,所以将其与跟进落实配对。Google 的《Site Reliability Engineering》为无责评审以及把它写下来提供了论据(见参考文献),主题 4.2(事后复盘与学习度量)涵盖评审质量。
跟踪行动直到完成,并允许诚实的“不做”。 把每项行动放入所属团队已在使用的待办事项列表,附负责人和日期。记录被拒绝的行动及理由,而不是任其腐烂。在运营或服务评审中评审逾期的行动,并问是什么阻碍了它们。限制每次评审的行动数量,使留下的是重要的那些。
在各起事件之间寻找模式,并将其送往问题管理。 重复的原因、共同的触发因素和反复出现的检测缺口,是单次评审会漏掉的信号。把它们送入问题和已知错误流程(见主题 4.1,问题管理度量),以及拥有这些服务的团队的规划。把不断上升的重复率视为调查的提示,而不是裁决。
钻空子途径与护栏
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| 重大事件计数 | 提高宣布门槛,让事件停留在“高”优先级而从不被宣布,把一个事件拆成几条记录,或把几个合并成一个 | 固定、带版本的标准;每季度抽查高影响的普通事件;在计数旁边跟踪客户影响和宣布时间 |
| 重大事件持续时间 | 把时钟恢复到较晚的影响开始,在用户仍然失败时宣布“已恢复”,或关闭并重开一条新记录 | 影响开始取自监控;由面向用户的指标确认恢复;重开和关联的记录算作一起事件 |
| 宣布时间 | 对一切都提早宣布以显得快,或把宣布回溯到影响开始 | 后来被降级的已宣布事件占比;宣布时间的审计线索;将时间线样本与原始监控作比较 |
| 客户影响 | 收窄“受影响”的定义,只统计提了工单的用户,或度量一个仍在运行的依赖 | 既来自遥测也来自联系的影响;在事件评审时评审通俗语言的影响陈述 |
| 沟通及时性 | 发布含糊的通知以启动时钟,发送没有内容的更新,或计入内部消息 | 对更新样本的内容检查;客户对清晰度的反馈;只计入面向客户的通知 |
| 评审完成及时性 | 发布单薄的文档以赶上日期,或宣称某次评审“不需要” | 由同行对样本评审其质量(见主题 4.2,事后复盘与学习度量);展示被豁免评审的占比 |
| 行动项跟进完成率 | 撰写容易关闭的含糊或琐碎行动,不做工作就关闭行动,或重新标注为“不做” | 抽查行动质量;对照系统变更核实已关闭的行动;评审“不做”的占比和理由 |
| 重复重大事件率 | 通过选择不同措辞把每个原因记录为新的,或把一切归因于“人为错误” | 附定义的简短原因分类法;由事件之外的人评审原因字段;“人为错误”作为原因,没有系统层面的解释不予接受 |
健康的读数是适度且相当稳定的已宣布事件计数,偶尔有一次降级,偶尔在评审中发现一次漏掉。宣布时间很短且在缩短,每起事件的客户影响被理解,并在做了预防工作之处下降,几乎所有面向客户的更新都按时。评审按时发布,其行动大多已完成,只有少量诚实的被拒绝的行动。如果一切看起来都完美,就问标准是否漂移,或人们是否已不再宣布(见主题 1.2,古德哈特定律与度量的心理学)。以查尔斯·古德哈特命名的定律(law named after Charles Goodhart)在这里最容易看到,因为糟糕数字的代价是拉响警报的意愿降低。
权衡:利与弊
| 选择 | 优势 | 劣势 |
|---|---|---|
| 把每起事件展示为一行 | 保留背景,避免对小计数的误导性平均值 | 更难为领导者汇总;每起事件需要一段简短的叙述 |
| 报告重大事件的计数 | 简单、熟悉,对领导层可见 | 易于变成目标;对标准的变化有反应 |
| 从影响开始计时 | 反映用户的体验,暴露检测缺口 | 影响开始有时不确定,需要判断 |
| 从宣布起计时 | 易于捕获和比较 | 隐藏缓慢的检测和缓慢的宣布 |
| 以用户分钟计的影响 | 可跨事件和服务比较 | 需要遥测;把所有用户和分钟同等对待 |
| 评审完成率 | 易于收集,推动形成习惯 | 奖励文档,而不是学习 |
| 行动跟进完成率 | 把评审与变更联系起来 | 可能被琐碎的行动钻空子;需要负责人和待办事项列表 |
使用一小组覆盖整个周期的测量值(宣布、恢复、告知、学习、完成),而不是优化其中某一项。只有当遥测存在时才增加影响测量值。凡遥测缺失之处,一份仔细的书面影响陈述,比一个虚构的数字更好。
与团队讨论的问题
1. 在这里究竟什么使一起事件成为重大事件?每位值班人员是否同意? 这个定义是其他每个数字的基础。请三个人对同一起近期事件分类,并比较答案。分歧显示标准在哪里含糊。引导者应当记下要添加到书面标准中的示例,并商定谁可以宣布。最后确认善意的宣布永远是可以接受的,即使事件后来被降级。
2. 在我们最近一起重大事件中,从影响开始到宣布之间隔了多久? 根据监控而不是记忆重建时间线。这个间隔往往比预期的大,有时是最长的阶段。问存在什么信号、谁看到了,以及这个间隔来自不清晰的标准、缺失的告警,还是不愿宣布。选一项能缩短它的更改,并决定你将如何知道。
3. 谁受到了影响?我们怎么知道? 将团队当时的看法与遥测和支持联系后来显示的情况比较。问哪些客户(如果有)受到的影响比其他人更大,他们是对业务最重要的,还是最难应对的。讨论影响陈述是不是客户能认出的东西。商定下次你能可靠收集的一项影响测量值。
4. 人们在需要时是否听到了我们的通报?信息是否有用? 对照商定的节奏检查首个通知和每次更新。像客户那样阅读实际的消息。问它们是否说明了已知什么、未知什么,以及下次更新何时到来。讨论事件期间沟通由谁负责,此人是否有空做这件事。
5. 我们最近三次评审的行动后来怎样了? 把行动汇入一份清单,并将每项标记为已完成、进行中、逾期或被拒绝。对逾期的,问是什么阻碍了它们:容量、归属、优先级,还是范围不清。决定在下一次运营或规划会议上如何提出逾期的行动。
6. 如果我们按重大事件的数量被度量,我们会有什么不同的做法?客户会因此更好吗? 这个问题在钻空子途径发生之前就把它们浮现出来。请小组坦率地说他们可能会改变什么:门槛、标签、谁来宣布。然后问更好的目标是什么。好的答案会朝客户影响、宣布时间和跟进落实移动,这些在不帮助用户的情况下更难被钻空子。把答案记录为护栏。
四种视角
产品与交付团队
产品团队把重大事件视为对计划工作的打断,以及对自己变更的反馈。他们从清晰的影响数字、对自己事件时间线的快速访问,以及落入其待办事项列表并留有余地去做的评审行动中,获益最多。为事件的跟进预留容量,并把行动视为与功能同等地位的工作。共享原因类别,使反复出现的触发因素导向实践上的改变(见主题 2.9,运维工作与计划外工作)。
服务与运维团队
运维团队运行响应,并承担深夜工作的代价。他们需要能在凌晨 3 点应用的标准、他们能配备人员的指挥官和沟通角色,以及在事件发生时而不是事后凭记忆捕获时间线的工具。他们应当留意重大事件加在一小群人身上的负荷(见主题 5.7,繁琐工作与值班度量),并用本主题中的度量来要求预防工作,而不是比较响应人员。
领导层与治理
领导者营造了决定人们是否迅速宣布并诚实报告的氛围。他们应当索要每起重大事件的故事以及一年的趋势,避免针对计数设定目标,并询问客户影响、检测缺口和已完成的行动。为评审所建议的预防工作出资,并在与交付计划相同的论坛上评审它。治理于是可以看到教训是否转化为变更(把可靠性与投资联系起来的办法,见主题 5.2,SLI、SLO 与错误预算)。
客户与用户
客户评判一起重大事件,依据的是他们受影响了多久、是否被告知,以及是否会再发生。早而诚实的通知,比晚而精致的更好地服务他们。给他们一个状态渠道、一个他们可以依赖的节奏,以及事后关于发生了什么和将改变什么的清晰说明。凡适用合同之处,按服务级别协议中约定的条款报告(见主题 5.1,SLA、OLA 与 XLA 度量)。事件之后的满意度值得询问(见主题 6.1,客户满意度度量)。
实践:一个服务管理示例
一家中型在线零售商运营着一个店面、一项支付服务和一项订单管理服务,各由一个产品团队拥有,由一个共享的平台团队值班。一个小型服务管理小组运行重大事件流程。本示例中的所有数字均为示意。
在过去两个季度里,这家零售商宣布了五起重大事件(示意)。服务管理小组把每一起展示为一行,附有影响开始、宣布时间、恢复时间、估计的失败订单数、首个客户通知的时间,以及评审状态。他们注意到,影响开始与宣布之间间隔的中位数为 38 分钟(示意),几乎与从宣布到恢复的中位数 52 分钟(示意)一样长。因为只有五起事件,他们把这两个数字都视为粗略的,转而阅读时间线。五起中的三起显示,有一条监控告警很早就触发了,却无人确认地躺在一个共享渠道里。
团队决定把这一类告警路由到值班呼叫器,并在标准中添加一行,说明持续的结账失败信号足以宣布,无需等待工单。他们还设定了宣布之后 20 分钟内发出首个客户通知的目标(示意),并按事件检查。五起中有两起达成。部署团队添加了一个状态页模板,沟通负责人可以在压力下填写。
在同一次评审中,他们发现了一个钻空子的风险。一个产品团队的经理曾提议设定“每季度不超过两起重大事件”的季度目标。服务管理小组指出,上个季度有一起事件,在客户结账失败的情况下,在高优先级停留了四小时,却从未被宣布,因为该团队已接近上限。他们用三项测量值取代了这个目标:宣布时间、每起事件的失败订单数,以及按时完成的评审行动占比。他们增加了护栏,即每季度由所属团队之外的人阅读一批高优先级事件的样本。下个季度,已宣布的计数升至四起(示意),宣布时间的中位数下降,而抽样评审没有发现漏掉的宣布。
敏捷、AI、自动化与分析
敏捷
在每起重大事件之后与干系人一起开展无责评审,并按固定节奏跟进行动。需要注意的是,针对更少重大事件的目标会鼓励更少的宣布,所以也要度量宣布时间和客户影响。
AI
AI 可以在重大事件期间帮助检测、总结和沟通,并起草评审的初稿。将沟通及时性与所沟通内容的准确度配对,并标明评审的哪些部分由 AI 起草、由人检查。需要注意的是,对事件自信的 AI 总结可能是错的,所以最终的叙述由人负责。
自动化
自动从聊天、呼叫和监控中捕获时间线,使评审从事实出发,并就呼叫失败等事件工具本身来度量它。需要注意的是,自动的状态发布看起来像沟通,却可能并没有到达需要它的人。
分析
重大事件很罕见,所以使用计数、时间线和客户影响,而不是比率和平均值。这为之提供依据的决定是修复什么、演练什么。需要注意的是,小数字招致过度解读,所以避免根据寥寥几个事件作出趋势的断言。
行业视角
初创公司。 初创公司可能没有正式的重大事件流程,只有谁醒着谁处理。从一段话的定义、每起事件一位指名的协调者,以及记录时间线的共享文档开始。统计事件并用一句话注明影响。评审可以是半页纸的说明,跟进则是团队待办事项列表中的一项。
小型企业。 小型企业的服务往往在很大程度上依赖供应商,所以时间线包括等待供应商。在事件时间线中记录供应商的联系和响应时间,因为它们解释了持续时间的很大一部分,并为合同交涉提供证据。保持客户沟通简单:一个渠道、一个人,以及声明的更新间隔。
大型企业。 大型企业运行许多服务,每个期间有许多事件,所以按服务的计数和汇总都有用。风险是各事业部之间标准不一致,以及流程繁重到拖慢宣布。对齐定义,让流程在最初十五分钟内保持轻量,并使用通用的记录格式,使影响和沟通可以比较。
政府与公共部门。 公共机构往往有法定职责,比如通知监管机构或公众,并且对没有替代选择的公民来说,失败的代价更高。增加关于履行通知义务以及对弱势群体影响的测量值,并保留经得起审计和公共信息请求的记录。采购周期可能延误行动项,所以要跟踪被阻塞的行动并加以升级。
业务论证:动因、投资回报与总拥有成本
动因是削减伤害最大的事件的代价:损失的营收或服务、受损的信任、员工倦怠和监管风险。一小组一致的重大事件测量值,显示这一代价来自哪里、检测和沟通是否在改进,以及对预防的投资是否见效。除了计数什么也不显示的测量值,会把成本推向隐藏事件。
如果数据已存在于 ITSM 工具、监控系统和问题跟踪器中,收集的成本不高。主要成本是商定定义、把事件记录与监控和行动待办事项列表连接起来,以及撰写每次评审所花的时间。除了使记录一致之外,这些度量花费很少。
回报表现为更短的宣布时间、更清晰的沟通、更少的重复事件和更少的返工。没有通用的数字适用,所以请估算你自己的:取你过去一年的重大事件,与财务一起估算每项服务每小时影响的成本,并与预防重复原因所需的后续工作的成本比较。总拥有成本包括评审者的时间、时间线和状态页的工具,以及为后续行动预留的容量,这是大多数计划投入不足的地方。
反模式与陷阱
- 针对重大事件数量的目标。 它教人们避免宣布。改为跟踪宣布时间、影响和跟进落实,并抽查漏掉的宣布。
- 对重大事件使用单一的平均恢复时间。 事件很少时,一次长时间的中断主导一切。改为展示每起事件,然后是一年的中位数和最长值,附上计数。
- 从宣布时开始计时。 它隐藏了检测和宣布的延迟。改为从客户影响的最早证据开始,并单独报告间隔。
- 按事件度量给响应人员或团队排名。 它摧毁坦率,并破坏评审。改为按服务和系统报告,让数据中不出现姓名。
- 文档一发布就认为评审完成。 变更才是关键。改为度量行动的跟进落实,并每月查看逾期的行动。
- 悄悄更改门槛。 趋势变得毫无意义。改为给标准标注版本,并在报告中注明变更。
- 只把工单算作影响。 许多受影响的用户从不打电话。改为使用遥测,并添加通俗语言的影响陈述。
- 用这些度量来追究责任。 人们随后会隐藏事实。改为保持评审无责,聚焦条件和决定,并寻找系统层面的原因。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 定义与时钟 | 重大意味着嗓门最大的人所说的;时间凭记忆 | 一些团队有标准,并写下开始和结束时间 | 一份书面定义,带版本,含影响开始、宣布和恢复的时钟规则 | 对照监控审计定义和时钟;变更连同理由记录 | 标准和时钟与供应商和客户商定,并在不再为决定提供依据时修订 |
| 影响与沟通 | 影响靠轶事描述;有人想起时才发送更新 | 为一些事件估算影响;一些团队使用状态页 | 为关键服务根据遥测度量影响;设定并跟踪更新目标 | 影响和沟通被做成趋势,并与客户反馈相联 | 影响以通用格式与客户和供应商共享,附联合改进行动 |
| 评审与跟进落实 | 评审罕见且没有书面;行动被遗忘 | 一些团队撰写评审;行动被记录但未被跟踪 | 每起重大事件都按时评审;行动在团队待办事项列表中被跟踪 | 按节奏评审逾期的行动和重复的原因,预防工作获得资助 | 模式在团队和供应商之间共享;学习例行地改变设计和规划 |
| 在决定中的使用 | 数字在事后被引用 | 向领导者展示不带背景的计数 | 向拥有这些服务的团队展示时间线和趋势 | 度量与护栏配对,并用于确定可靠性工作的优先级 | 可靠性投资由跨服务的影响和再发证据共同决定 |
检查清单
- 宣布标准已写下来、带版本,并为每位值班人员所知。
- 善意的宣布明确是安全的,并且不存在针对计数的目标。
- 影响开始、宣布和恢复时间已定义,并取自监控或审计线索。
- 每起重大事件都展示为单独的一行,附阶段时间线。
- 凡遥测存在之处,客户影响由遥测推导,并以通俗语言的陈述加以描述。
- 首个通知和更新节奏的目标已设定,并按事件检查。
- 评审在约定的窗口内发布,其行动在所属团队的待办事项列表中。
- 按计划评审逾期的行动和重复的原因。
- 每季度对高影响的普通事件抽样,检查是否有漏掉的宣布。
- 每项度量都有指明的护栏,且没有度量被用来给个人排名。
AI 提示词
起草供评审的宣布标准。
我正在为 [组织类型] 起草宣布重大事件的标准。我们的服务有 [服务清单],我们的团队有 [团队清单]。用户是 [用户描述]。请提出一套简短的宣布标准,每条附两三个示例,列出团队可能争论的含糊之处,以及我应当与 [干系人] 解决的问题。不要虚构阈值或基准值;凡需要数字之处使用 [占位符]。请列出你的假设。
重建并批评一条事件时间线。
这是一起重大事件的时间线:[粘贴带时间戳和来源的时间线]。请识别影响开始、宣布、缓解和完全恢复,并说明哪些时间戳不确定及原因。把持续时间拆分为阶段,并指出最大的延迟出现在哪里。建议要向响应人员提出的问题,以及要寻找的监控证据。不要虚构时间线中没有的事实。请列出你的假设。
评审一组事后事件行动。
下面是 [服务] 的 [数量] 次事后事件评审的行动:[粘贴带负责人、截止日期和状态的行动]。请按主题分组,标出含糊、琐碎或无人负责的行动,并找出提示应当为 [所属团队] 开立问题记录或待办事项列表项的模式。不要按绩效给个人或团队排名。不要虚构原因。请列出你的假设,以及为了改进分析你所需要的信息。
检验一项拟议度量的钻空子风险。
我们计划跟踪 [度量名称],定义为 [定义],度量自 [数据来源]。请描述 [角色] 如何能钻这项度量的空子,它可能阻碍什么诚实的行为,以及哪种配对的护栏度量或实践能发现每种情形。让建议对一个 [团队规模] 人的团队切实可行。不要虚构基准值或来源。请列出你的假设。
AI 技能
- Service Management Metrics skill:用于查找相关主题,以及应当放在每项重大事件度量旁边的护栏。
- Service Management Metrics maintainer skill:用于检查本主题的编辑版本是否仍然遵循模板和约定。
要点
- 重大事件很罕见,所以展示每一起及其时间线,并只在长窗口上汇总,数字旁边附上计数。
- 让时钟在客户影响时开始,并把宣布之前的间隔作为自己的测量值报告。
- 按用户和使用量来度量影响,并为数字遗漏的内容添加一段通俗语言的陈述。
- 把沟通的及时性视为响应的一部分,按受众设定目标,并保持稳定的更新节奏。
- 评审在其行动完成时才算完成,所以要跟踪跟进落实和重复的原因。
- 绝不针对计数设定目标,绝不给人排名,并保持宣布的安全。
参考文献与延伸阅读
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Lunney, L., and Lueder, S., "Postmortem Culture: Learning from Failure," in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/postmortem-culture/
- Beyer, B., et al. (eds.), "Managing Incidents," in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/managing-incidents/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- AXELOS (now PeopleCert), ITIL Foundation: ITIL 4 Edition, TSO, 2019.
- Wikipedia, ITIL.
- Wikipedia, Incident management (ITSM).
- Wikipedia, Percentile.
- Wikipedia, Agile software development.
- Wikipedia, Site reliability engineering.
- Wikipedia, Incident commander.
- Wikipedia, Postmortem documentation.
- Wikipedia, Root cause analysis.
- Wikipedia, Goodhart's law.