概述与动因

重大事件(major incident)是严重到需要超出常规例行程序的响应的事件。作为最知名的 IT 服务管理框架,ITIL 把事件管理(incident management)描述为尽可能快地恢复正常服务运行,并期望组织通过一条独特的、协调性更强的路径来处理其最严重的事件。组织如何划这条线,由它自己决定。一种常见的选择是:影响许多用户或一项关键服务,且需要几个团队在同一位协调者之下共同工作的事件。写下你自己的定义,因为本主题中的每项度量都依赖于它。

重大事件很少。一个团队可能每周看到几十起普通事件,每季度只有两三起重大事件。这改变了你如何度量。事件数量和解决时间的普通统计(见主题 3.2,事件数量与优先级,以及主题 3.3,事件响应与解决时间)假定事件很多,并奖励平均值。每个期间只有寥寥几起重大事件时,平均值被一个糟糕的夜晚所主导,趋势线大半是噪声,而百分位数(percentile)在五个数据点上毫无意义(见主题 1.6,服务度量的统计素养)。诚实的办法是把每起重大事件展示为单独的一行,附有它自己的时间线,并且只在较长的窗口上汇总。

敏捷和 ITIL 的视角在这里的相遇,比本书中任何地方都更直接。ITIL 贡献结构:一起被宣布的重大事件、一位指名的协调者、对受影响各方的明确沟通,以及事后的评审。敏捷(agile)和站点可靠性工程(site reliability engineering,SRE)的传统贡献习惯:主持响应的事件指挥官(incident commander)、对所发生之事的无责评审,以及为持续改进提供输入的、对学习的关注。Google 的《Site Reliability Engineering》描述了事件指挥模式和事后复盘评审的实践(见参考文献)。这个意义上的事后复盘(postmortem),是对一起事件、其原因以及随后行动的书面叙述,这个术语在这里与“事后事件评审”互换使用。

本主题涵盖五个问题。重大事件多常发生?它们持续多久,其中有多少时间是在有人宣布之前度过的?有多少用户、哪些用户感受到了?人们是否及时且以稳定的节奏听到了我们的通报?以及承诺的后续行动是否发生了?相关主题涵盖围绕它们的内容:可用性(见主题 5.3,可用性度量)、书面评审的质量(见主题 4.2,事后复盘与学习度量)、底层原因(见主题 4.1,问题管理度量),以及常常触发它们的变更(见主题 4.4,变更失败与返工)。

本主题中使用的术语:

  • 重大事件(major incident): 符合你书面宣布标准并触发重大事件流程的事件。
  • 宣布(declaration): 有权限的人正式启动重大事件流程的那一刻。
  • 恢复时间(time to restore): 从客户影响开始,到服务为用户恢复的那一刻的时间。恢复服务的那一刻,不同于找到根因(root cause)。
  • 事件指挥官(incident commander): 协调响应、分配任务并作决定的角色。它是事件持续期间的一个角色,而不是职位头衔。
  • 事后事件评审(post-incident review): 在服务恢复之后,对一起事件进行的结构化的无责检视。
  • 行动项(action item): 由评审产生的、具体的、有负责人和日期的变更。

关键原则

  • 先展示事件,再汇总。 罕见的事件值得有单独的时间线。分别报告每起重大事件,只在一个长窗口上使用汇总统计,并在旁边附上计数。
  • 时钟从影响开始,而不是从知晓开始。 从有人注意到才开始的持续时间,隐藏了检测缺口,而这往往是故事最大的部分。
  • 度量用户的体验,而不是团队的努力。 客户影响是这个流程存在的理由。响应人员付出的小时数是需要跟踪的成本,绝不是得分。
  • 沟通是恢复的一部分。 服务已恢复而用户仍在猜测,只修复了一半。把更新的及时性视为响应的一项测量值。
  • 在行动完成之前,评审没有结束。 完成的文档附带未结行动,什么也没改变。度量跟进落实,而不仅仅是评审的存在。
  • 绝不给人排名,也绝不惩罚宣布。 如果宣布一起重大事件在报告中伤害宣布者的团队,宣布的就会更少,而度量会改善,服务却变得更糟。
  • 保持宣布标准稳定。 移动门槛会改变本主题中的每项度量。连同理由和日期记录每一次变更。

度量定义

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏
重大事件计数 一个期间内按服务宣布的重大事件 在期内符合宣布标准并被宣布的事件计数,按宣布时间;在头一小时内被降级的事件单独列出并排除 每季度的计数 带重大事件标志的 ITSM 工具事件记录 事件管理 团队或服务健康评审 月度报告,季度趋势
重大事件持续时间 客户受影响的时间 每起事件的服务恢复时间减去影响开始时间。影响开始是监控中最早的证据或首次用户报告,以较早者为准。部分恢复作为自己的事件记录,完全恢复才停止时钟 每起事件的分钟数 监控时间线,ITSM 工具中的事件时间线 事件管理;服务级别管理 交付度量中的恢复时间(见主题 2.8,DORA 度量) 每起事件;长窗口的中位数和季度最大值
宣布时间 从影响开始到宣布重大事件之间的延迟 每起事件的宣布时间减去影响开始时间。从未被宣布的事件,通过对普通高影响事件的季度评审发现,并以 n/a(从未宣布)的宣布时间计入 每起事件的分钟数 监控时间线,ITSM 工具审计线索 事件管理;监控与事态管理 团队工作协议中的升级就绪定义 每起事件
客户影响 受影响的用户数和使用量有多少 每起事件受影响的用户(或失败的请求)乘以受影响的分钟数。只计入在影响窗口内尝试使用服务的用户。计划内维护被排除 用户分钟,或失败的请求 服务遥测,支持联系记录 服务级别管理;事件管理 面向用户的服务级别指标(见主题 5.2,SLI、SLO 与错误预算) 每起事件
沟通及时性 受影响各方是否被及时告知 宣布之后在目标时间内发出首个面向客户的通知的重大事件占比,以及在约定间隔内发出的计划更新占比。时钟从宣布时起算。仅内部的消息被排除 事件的百分比;更新的百分比 状态页历史,ITSM 工具中的沟通日志 事件管理;服务级别管理 团队工作协议中对干系人的沟通 每起事件;季度摘要
评审完成及时性 评审是否进行得足够早以致有用 在恢复之后约定的工作日数内发布了评审的重大事件占比。时钟在发布时停止,而不是在首份草稿时。仍在窗口之内的事件被排除 百分比 评审存储库,ITSM 工具 持续改进;问题管理 改进跟进 每季度
行动项跟进完成率 评审行动是否完成 按截止日期完成的评审行动 / 期内到期的评审行动。以“不做”关闭的行动连同理由单独计数,不隐藏 百分比;逾期计数 与评审相联的问题跟踪器 持续改进;问题管理 来自回顾会议的待办事项列表项 每月
重复重大事件率 同一原因的再发 期内重大事件中,其记录的原因与前十二个月内较早的一起重大事件相符的 / 期内重大事件。匹配依据原因字段,由人工评审 百分比,并显示计数 评审记录,问题记录 问题管理 待办事项列表中的预防工作 每季度

每一行在被信任之前都需要一条书面的时钟规则。关于影响开始和恢复时间的争议很常见,最好事先解决(见主题 1.5,数据来源与埋点)。

建议

写下什么使一起事件成为重大事件

发布任何值班人员都能应用的宣布标准。 标准通常把影响(受影响的用户、降级的关键服务、安全或法律风险)与协调的需要(需要多于一个团队)结合起来。一份附示例的简短清单,胜过冗长的矩阵。说明谁可以宣布,并明确善意的宣布永远不是错误,即使事件结果证明是轻微的。

在每条事件记录中记录标准的版本。 当门槛移动时,趋势也随之移动。每条记录上的版本号或日期,让你能比较同类事物,并解释因规则变更而造成的计数跳变。

计数并分类,而不把计数变成目标

连同背景一起报告计数。 在服务、触发因素(变更、容量、依赖、安全、其他)和标准版本旁边展示每季度重大事件的数量。没有背景的计数,招致诸如“每季度少于三起”之类的目标,这会教人们不去宣布。只有当宣布时间和客户影响稳定时,才把下降的计数视为好消息。

区分已宣布的、被降级的和被漏掉的。 跟踪被宣布又被降级的事件,因为它们显示标准是否合理。每个季度评审一批普通事件的样本,找出应当被宣布的。被漏掉的信息最丰富。

从用户一侧为事件计时

让时钟在客户受到影响时开始。 使用最早的可靠证据,它往往是早于首张工单的监控信号。当开始时间不确定时,记录估计及其来源,而不是有人注意到的时间。影响开始与宣布之间的间隔本身就是一项度量,通常也是改进成本最低的。

把时间线拆分为阶段。 检测、宣布、诊断、缓解和完全恢复,各有不同的延迟原因和不同的负责人。每起事件的阶段分解显示时间去了哪里,而无需平均值。通过变通恢复服务和修复原因是两个独立的事件,后者属于问题管理。

在长窗口上使用中位数和最坏情形,并附计数。 对一年的数据,报告中位数和最长的持续时间,并说明它们来自多少起事件。避免对重大事件使用单一的平均恢复时间。事件很少时,它不稳定,并被一次长时间的中断所扭曲(见主题 1.6,服务度量的统计素养)。

用用户能认出的话来评估客户影响

宁取基于用户的影响,而不是基于服务器的影响。 失败的请求、受影响的用户或受影响的交易描述了对人发生了什么。某个组件上服务降级的分钟数描述的是对机器发生了什么。凡你有服务级别指标之处,就使用它们(见主题 5.2,SLI、SLO 与错误预算),并把事件与可用性图景联系起来(见主题 5.3,可用性度量)。

在每条记录中添加一段通俗语言的影响陈述。 一两句话,说明谁受到了影响、他们无法做什么。支持联系、社交媒体提及和客户升级是这段陈述的证据,不是要最大化的度量。

把沟通作为响应的一部分来度量

按受众设定沟通目标。 受影响的客户、内部干系人和高管,在不同的时间需要不同的信息。商定宣布之后首个通知的目标和稳定的更新节奏,并按事件度量遵从情况。节奏比内容更重要:一条写着“没有变化,下次更新在三十分钟后”并准时到达的更新,比沉默建立更多信任。

让响应和沟通由不同的人负责。 沟通负责人让事件指挥官能专注于诊断。小团队可以用一份检查清单和预先写好的模板来代替。

为学习闭环

及早召开评审,并加以发布。 记忆会褪色,所以为评审设定一个窗口,并度量是否达成。评审的完成不如评审改变了什么重要,所以将其与跟进落实配对。Google 的《Site Reliability Engineering》为无责评审以及把它写下来提供了论据(见参考文献),主题 4.2(事后复盘与学习度量)涵盖评审质量。

跟踪行动直到完成,并允许诚实的“不做”。 把每项行动放入所属团队已在使用的待办事项列表,附负责人和日期。记录被拒绝的行动及理由,而不是任其腐烂。在运营或服务评审中评审逾期的行动,并问是什么阻碍了它们。限制每次评审的行动数量,使留下的是重要的那些。

在各起事件之间寻找模式,并将其送往问题管理。 重复的原因、共同的触发因素和反复出现的检测缺口,是单次评审会漏掉的信号。把它们送入问题和已知错误流程(见主题 4.1,问题管理度量),以及拥有这些服务的团队的规划。把不断上升的重复率视为调查的提示,而不是裁决。

钻空子途径与护栏

度量 如何被钻空子 配对的护栏度量或实践
重大事件计数 提高宣布门槛,让事件停留在“高”优先级而从不被宣布,把一个事件拆成几条记录,或把几个合并成一个 固定、带版本的标准;每季度抽查高影响的普通事件;在计数旁边跟踪客户影响和宣布时间
重大事件持续时间 把时钟恢复到较晚的影响开始,在用户仍然失败时宣布“已恢复”,或关闭并重开一条新记录 影响开始取自监控;由面向用户的指标确认恢复;重开和关联的记录算作一起事件
宣布时间 对一切都提早宣布以显得快,或把宣布回溯到影响开始 后来被降级的已宣布事件占比;宣布时间的审计线索;将时间线样本与原始监控作比较
客户影响 收窄“受影响”的定义,只统计提了工单的用户,或度量一个仍在运行的依赖 既来自遥测也来自联系的影响;在事件评审时评审通俗语言的影响陈述
沟通及时性 发布含糊的通知以启动时钟,发送没有内容的更新,或计入内部消息 对更新样本的内容检查;客户对清晰度的反馈;只计入面向客户的通知
评审完成及时性 发布单薄的文档以赶上日期,或宣称某次评审“不需要” 由同行对样本评审其质量(见主题 4.2,事后复盘与学习度量);展示被豁免评审的占比
行动项跟进完成率 撰写容易关闭的含糊或琐碎行动,不做工作就关闭行动,或重新标注为“不做” 抽查行动质量;对照系统变更核实已关闭的行动;评审“不做”的占比和理由
重复重大事件率 通过选择不同措辞把每个原因记录为新的,或把一切归因于“人为错误” 附定义的简短原因分类法;由事件之外的人评审原因字段;“人为错误”作为原因,没有系统层面的解释不予接受

健康的读数是适度且相当稳定的已宣布事件计数,偶尔有一次降级,偶尔在评审中发现一次漏掉。宣布时间很短且在缩短,每起事件的客户影响被理解,并在做了预防工作之处下降,几乎所有面向客户的更新都按时。评审按时发布,其行动大多已完成,只有少量诚实的被拒绝的行动。如果一切看起来都完美,就问标准是否漂移,或人们是否已不再宣布(见主题 1.2,古德哈特定律与度量的心理学)。以查尔斯·古德哈特命名的定律(law named after Charles Goodhart)在这里最容易看到,因为糟糕数字的代价是拉响警报的意愿降低。

权衡:利与弊

选择 优势 劣势
把每起事件展示为一行 保留背景,避免对小计数的误导性平均值 更难为领导者汇总;每起事件需要一段简短的叙述
报告重大事件的计数 简单、熟悉,对领导层可见 易于变成目标;对标准的变化有反应
从影响开始计时 反映用户的体验,暴露检测缺口 影响开始有时不确定,需要判断
从宣布起计时 易于捕获和比较 隐藏缓慢的检测和缓慢的宣布
以用户分钟计的影响 可跨事件和服务比较 需要遥测;把所有用户和分钟同等对待
评审完成率 易于收集,推动形成习惯 奖励文档,而不是学习
行动跟进完成率 把评审与变更联系起来 可能被琐碎的行动钻空子;需要负责人和待办事项列表

使用一小组覆盖整个周期的测量值(宣布、恢复、告知、学习、完成),而不是优化其中某一项。只有当遥测存在时才增加影响测量值。凡遥测缺失之处,一份仔细的书面影响陈述,比一个虚构的数字更好。

与团队讨论的问题

1. 在这里究竟什么使一起事件成为重大事件?每位值班人员是否同意? 这个定义是其他每个数字的基础。请三个人对同一起近期事件分类,并比较答案。分歧显示标准在哪里含糊。引导者应当记下要添加到书面标准中的示例,并商定谁可以宣布。最后确认善意的宣布永远是可以接受的,即使事件后来被降级。

2. 在我们最近一起重大事件中,从影响开始到宣布之间隔了多久? 根据监控而不是记忆重建时间线。这个间隔往往比预期的大,有时是最长的阶段。问存在什么信号、谁看到了,以及这个间隔来自不清晰的标准、缺失的告警,还是不愿宣布。选一项能缩短它的更改,并决定你将如何知道。

3. 谁受到了影响?我们怎么知道? 将团队当时的看法与遥测和支持联系后来显示的情况比较。问哪些客户(如果有)受到的影响比其他人更大,他们是对业务最重要的,还是最难应对的。讨论影响陈述是不是客户能认出的东西。商定下次你能可靠收集的一项影响测量值。

4. 人们在需要时是否听到了我们的通报?信息是否有用? 对照商定的节奏检查首个通知和每次更新。像客户那样阅读实际的消息。问它们是否说明了已知什么、未知什么,以及下次更新何时到来。讨论事件期间沟通由谁负责,此人是否有空做这件事。

5. 我们最近三次评审的行动后来怎样了? 把行动汇入一份清单,并将每项标记为已完成、进行中、逾期或被拒绝。对逾期的,问是什么阻碍了它们:容量、归属、优先级,还是范围不清。决定在下一次运营或规划会议上如何提出逾期的行动。

6. 如果我们按重大事件的数量被度量,我们会有什么不同的做法?客户会因此更好吗? 这个问题在钻空子途径发生之前就把它们浮现出来。请小组坦率地说他们可能会改变什么:门槛、标签、谁来宣布。然后问更好的目标是什么。好的答案会朝客户影响、宣布时间和跟进落实移动,这些在不帮助用户的情况下更难被钻空子。把答案记录为护栏。

四种视角

产品与交付团队

产品团队把重大事件视为对计划工作的打断,以及对自己变更的反馈。他们从清晰的影响数字、对自己事件时间线的快速访问,以及落入其待办事项列表并留有余地去做的评审行动中,获益最多。为事件的跟进预留容量,并把行动视为与功能同等地位的工作。共享原因类别,使反复出现的触发因素导向实践上的改变(见主题 2.9,运维工作与计划外工作)。

服务与运维团队

运维团队运行响应,并承担深夜工作的代价。他们需要能在凌晨 3 点应用的标准、他们能配备人员的指挥官和沟通角色,以及在事件发生时而不是事后凭记忆捕获时间线的工具。他们应当留意重大事件加在一小群人身上的负荷(见主题 5.7,繁琐工作与值班度量),并用本主题中的度量来要求预防工作,而不是比较响应人员。

领导层与治理

领导者营造了决定人们是否迅速宣布并诚实报告的氛围。他们应当索要每起重大事件的故事以及一年的趋势,避免针对计数设定目标,并询问客户影响、检测缺口和已完成的行动。为评审所建议的预防工作出资,并在与交付计划相同的论坛上评审它。治理于是可以看到教训是否转化为变更(把可靠性与投资联系起来的办法,见主题 5.2,SLI、SLO 与错误预算)。

客户与用户

客户评判一起重大事件,依据的是他们受影响了多久、是否被告知,以及是否会再发生。早而诚实的通知,比晚而精致的更好地服务他们。给他们一个状态渠道、一个他们可以依赖的节奏,以及事后关于发生了什么和将改变什么的清晰说明。凡适用合同之处,按服务级别协议中约定的条款报告(见主题 5.1,SLA、OLA 与 XLA 度量)。事件之后的满意度值得询问(见主题 6.1,客户满意度度量)。

实践:一个服务管理示例

一家中型在线零售商运营着一个店面、一项支付服务和一项订单管理服务,各由一个产品团队拥有,由一个共享的平台团队值班。一个小型服务管理小组运行重大事件流程。本示例中的所有数字均为示意。

在过去两个季度里,这家零售商宣布了五起重大事件(示意)。服务管理小组把每一起展示为一行,附有影响开始、宣布时间、恢复时间、估计的失败订单数、首个客户通知的时间,以及评审状态。他们注意到,影响开始与宣布之间间隔的中位数为 38 分钟(示意),几乎与从宣布到恢复的中位数 52 分钟(示意)一样长。因为只有五起事件,他们把这两个数字都视为粗略的,转而阅读时间线。五起中的三起显示,有一条监控告警很早就触发了,却无人确认地躺在一个共享渠道里。

团队决定把这一类告警路由到值班呼叫器,并在标准中添加一行,说明持续的结账失败信号足以宣布,无需等待工单。他们还设定了宣布之后 20 分钟内发出首个客户通知的目标(示意),并按事件检查。五起中有两起达成。部署团队添加了一个状态页模板,沟通负责人可以在压力下填写。

在同一次评审中,他们发现了一个钻空子的风险。一个产品团队的经理曾提议设定“每季度不超过两起重大事件”的季度目标。服务管理小组指出,上个季度有一起事件,在客户结账失败的情况下,在高优先级停留了四小时,却从未被宣布,因为该团队已接近上限。他们用三项测量值取代了这个目标:宣布时间、每起事件的失败订单数,以及按时完成的评审行动占比。他们增加了护栏,即每季度由所属团队之外的人阅读一批高优先级事件的样本。下个季度,已宣布的计数升至四起(示意),宣布时间的中位数下降,而抽样评审没有发现漏掉的宣布。

敏捷、AI、自动化与分析

敏捷

在每起重大事件之后与干系人一起开展无责评审,并按固定节奏跟进行动。需要注意的是,针对更少重大事件的目标会鼓励更少的宣布,所以也要度量宣布时间和客户影响。

AI

AI 可以在重大事件期间帮助检测、总结和沟通,并起草评审的初稿。将沟通及时性与所沟通内容的准确度配对,并标明评审的哪些部分由 AI 起草、由人检查。需要注意的是,对事件自信的 AI 总结可能是错的,所以最终的叙述由人负责。

自动化

自动从聊天、呼叫和监控中捕获时间线,使评审从事实出发,并就呼叫失败等事件工具本身来度量它。需要注意的是,自动的状态发布看起来像沟通,却可能并没有到达需要它的人。

分析

重大事件很罕见,所以使用计数、时间线和客户影响,而不是比率和平均值。这为之提供依据的决定是修复什么、演练什么。需要注意的是,小数字招致过度解读,所以避免根据寥寥几个事件作出趋势的断言。

行业视角

初创公司。 初创公司可能没有正式的重大事件流程,只有谁醒着谁处理。从一段话的定义、每起事件一位指名的协调者,以及记录时间线的共享文档开始。统计事件并用一句话注明影响。评审可以是半页纸的说明,跟进则是团队待办事项列表中的一项。

小型企业。 小型企业的服务往往在很大程度上依赖供应商,所以时间线包括等待供应商。在事件时间线中记录供应商的联系和响应时间,因为它们解释了持续时间的很大一部分,并为合同交涉提供证据。保持客户沟通简单:一个渠道、一个人,以及声明的更新间隔。

大型企业。 大型企业运行许多服务,每个期间有许多事件,所以按服务的计数和汇总都有用。风险是各事业部之间标准不一致,以及流程繁重到拖慢宣布。对齐定义,让流程在最初十五分钟内保持轻量,并使用通用的记录格式,使影响和沟通可以比较。

政府与公共部门。 公共机构往往有法定职责,比如通知监管机构或公众,并且对没有替代选择的公民来说,失败的代价更高。增加关于履行通知义务以及对弱势群体影响的测量值,并保留经得起审计和公共信息请求的记录。采购周期可能延误行动项,所以要跟踪被阻塞的行动并加以升级。

业务论证:动因、投资回报与总拥有成本

动因是削减伤害最大的事件的代价:损失的营收或服务、受损的信任、员工倦怠和监管风险。一小组一致的重大事件测量值,显示这一代价来自哪里、检测和沟通是否在改进,以及对预防的投资是否见效。除了计数什么也不显示的测量值,会把成本推向隐藏事件。

如果数据已存在于 ITSM 工具、监控系统和问题跟踪器中,收集的成本不高。主要成本是商定定义、把事件记录与监控和行动待办事项列表连接起来,以及撰写每次评审所花的时间。除了使记录一致之外,这些度量花费很少。

回报表现为更短的宣布时间、更清晰的沟通、更少的重复事件和更少的返工。没有通用的数字适用,所以请估算你自己的:取你过去一年的重大事件,与财务一起估算每项服务每小时影响的成本,并与预防重复原因所需的后续工作的成本比较。总拥有成本包括评审者的时间、时间线和状态页的工具,以及为后续行动预留的容量,这是大多数计划投入不足的地方。

反模式与陷阱

  • 针对重大事件数量的目标。 它教人们避免宣布。改为跟踪宣布时间、影响和跟进落实,并抽查漏掉的宣布。
  • 对重大事件使用单一的平均恢复时间。 事件很少时,一次长时间的中断主导一切。改为展示每起事件,然后是一年的中位数和最长值,附上计数。
  • 从宣布时开始计时。 它隐藏了检测和宣布的延迟。改为从客户影响的最早证据开始,并单独报告间隔。
  • 按事件度量给响应人员或团队排名。 它摧毁坦率,并破坏评审。改为按服务和系统报告,让数据中不出现姓名。
  • 文档一发布就认为评审完成。 变更才是关键。改为度量行动的跟进落实,并每月查看逾期的行动。
  • 悄悄更改门槛。 趋势变得毫无意义。改为给标准标注版本,并在报告中注明变更。
  • 只把工单算作影响。 许多受影响的用户从不打电话。改为使用遥测,并添加通俗语言的影响陈述。
  • 用这些度量来追究责任。 人们随后会隐藏事实。改为保持评审无责,聚焦条件和决定,并寻找系统层面的原因。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
定义与时钟 重大意味着嗓门最大的人所说的;时间凭记忆 一些团队有标准,并写下开始和结束时间 一份书面定义,带版本,含影响开始、宣布和恢复的时钟规则 对照监控审计定义和时钟;变更连同理由记录 标准和时钟与供应商和客户商定,并在不再为决定提供依据时修订
影响与沟通 影响靠轶事描述;有人想起时才发送更新 为一些事件估算影响;一些团队使用状态页 为关键服务根据遥测度量影响;设定并跟踪更新目标 影响和沟通被做成趋势,并与客户反馈相联 影响以通用格式与客户和供应商共享,附联合改进行动
评审与跟进落实 评审罕见且没有书面;行动被遗忘 一些团队撰写评审;行动被记录但未被跟踪 每起重大事件都按时评审;行动在团队待办事项列表中被跟踪 按节奏评审逾期的行动和重复的原因,预防工作获得资助 模式在团队和供应商之间共享;学习例行地改变设计和规划
在决定中的使用 数字在事后被引用 向领导者展示不带背景的计数 向拥有这些服务的团队展示时间线和趋势 度量与护栏配对,并用于确定可靠性工作的优先级 可靠性投资由跨服务的影响和再发证据共同决定

检查清单

  • 宣布标准已写下来、带版本,并为每位值班人员所知。
  • 善意的宣布明确是安全的,并且不存在针对计数的目标。
  • 影响开始、宣布和恢复时间已定义,并取自监控或审计线索。
  • 每起重大事件都展示为单独的一行,附阶段时间线。
  • 凡遥测存在之处,客户影响由遥测推导,并以通俗语言的陈述加以描述。
  • 首个通知和更新节奏的目标已设定,并按事件检查。
  • 评审在约定的窗口内发布,其行动在所属团队的待办事项列表中。
  • 按计划评审逾期的行动和重复的原因。
  • 每季度对高影响的普通事件抽样,检查是否有漏掉的宣布。
  • 每项度量都有指明的护栏,且没有度量被用来给个人排名。

AI 提示词

起草供评审的宣布标准。

我正在为 [组织类型] 起草宣布重大事件的标准。我们的服务有 [服务清单],我们的团队有 [团队清单]。用户是 [用户描述]。请提出一套简短的宣布标准,每条附两三个示例,列出团队可能争论的含糊之处,以及我应当与 [干系人] 解决的问题。不要虚构阈值或基准值;凡需要数字之处使用 [占位符]。请列出你的假设。

重建并批评一条事件时间线。

这是一起重大事件的时间线:[粘贴带时间戳和来源的时间线]。请识别影响开始、宣布、缓解和完全恢复,并说明哪些时间戳不确定及原因。把持续时间拆分为阶段,并指出最大的延迟出现在哪里。建议要向响应人员提出的问题,以及要寻找的监控证据。不要虚构时间线中没有的事实。请列出你的假设。

评审一组事后事件行动。

下面是 [服务] 的 [数量] 次事后事件评审的行动:[粘贴带负责人、截止日期和状态的行动]。请按主题分组,标出含糊、琐碎或无人负责的行动,并找出提示应当为 [所属团队] 开立问题记录或待办事项列表项的模式。不要按绩效给个人或团队排名。不要虚构原因。请列出你的假设,以及为了改进分析你所需要的信息。

检验一项拟议度量的钻空子风险。

我们计划跟踪 [度量名称],定义为 [定义],度量自 [数据来源]。请描述 [角色] 如何能钻这项度量的空子,它可能阻碍什么诚实的行为,以及哪种配对的护栏度量或实践能发现每种情形。让建议对一个 [团队规模] 人的团队切实可行。不要虚构基准值或来源。请列出你的假设。

AI 技能

要点

  • 重大事件很罕见,所以展示每一起及其时间线,并只在长窗口上汇总,数字旁边附上计数。
  • 让时钟在客户影响时开始,并把宣布之前的间隔作为自己的测量值报告。
  • 按用户和使用量来度量影响,并为数字遗漏的内容添加一段通俗语言的陈述。
  • 把沟通的及时性视为响应的一部分,按受众设定目标,并保持稳定的更新节奏。
  • 评审在其行动完成时才算完成,所以要跟踪跟进落实和重复的原因。
  • 绝不针对计数设定目标,绝不给人排名,并保持宣布的安全。

参考文献与延伸阅读

  1. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  2. Lunney, L., and Lueder, S., "Postmortem Culture: Learning from Failure," in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/postmortem-culture/
  3. Beyer, B., et al. (eds.), "Managing Incidents," in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/managing-incidents/
  4. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  5. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  6. AXELOS (now PeopleCert), ITIL Foundation: ITIL 4 Edition, TSO, 2019.
  7. Wikipedia, ITIL.
  8. Wikipedia, Incident management (ITSM).
  9. Wikipedia, Percentile.
  10. Wikipedia, Agile software development.
  11. Wikipedia, Site reliability engineering.
  12. Wikipedia, Incident commander.
  13. Wikipedia, Postmortem documentation.
  14. Wikipedia, Root cause analysis.
  15. Wikipedia, Goodhart's law.