事件响应与解决时间
事件的时间测量值描述用户在每个阶段等待多久,所以要把它们作为附带书面时钟的分布来报告,绝不是单一平均值,并把每个速度数字与一项修复是否站住了的测量值配对。
概述与动因
在 IT 服务管理(ITSM)中,事件是对服务的计划外中断或对其质量的降低。事件管理(Incident management)是以安全为前提、尽快恢复正常服务的实践。在 ITIL 4 中,该实践称为事件管理,位列 ITIL 框架的服务管理实践之中。它在敏捷中的对应物,是团队把计划外工作当作一等工作流的习惯,以及来自站点可靠性工程(site reliability engineering)(SRE,即用软件工程方法运营服务的学科)的值班和无责评审实践。
时间是描述事件最自然的方式,也是最常被误用的。一起事件会经过若干阶段。某样东西坏了,监控或用户注意到了,有人确认了告警,有人开始工作,服务为用户恢复,而一旦原因得到处理或推迟,工单即被关闭。这些事件中任意两个之间的间隔,都是一项单独的测量值,有单独的负责人、单独的延迟原因和单独的补救办法。把这一切都称为“解决时间”,会隐藏延迟所在之处。
本主题涵盖从头到尾跟随一起事件的经过时间测量值:检测时间、确认时间、首次响应时间、恢复时间和解决时间。它还涵盖未关闭事件的年龄、事件易手的次数,以及最广为人知的摘要,即平均恢复或解决时间(MTTR)的统计问题。计数、类别和优先级在别处涵盖(见主题 3.2,事件数量与优先级)。大型和不寻常的事件有它们自己的测量值(见主题 3.4,重大事件度量)。
本主题中使用的术语
- 检测时间(time to detect,TTD)。 从故障开始影响用户,到组织通过监控或用户报告得知为止的经过时间。
- 确认时间(time to acknowledge,TTA)。 从告警或工单被提出,到一位指名的人或团队接受归属为止的经过时间。
- 首次响应时间(time to first response)。 从事件被登记,到对受影响用户的首次有意义的行动或消息为止的经过时间。自动回复不算。
- 恢复时间(time to restore)。 从用户影响开始,到用户可以再次使用服务为止的经过时间,即使根本原因只是被变通处理。
- 解决时间(time to resolve)。 从事件被登记,到因服务已恢复且用户已确认或已获得公平的确认机会而关闭事件为止的经过时间。
- 平均恢复或解决时间(MTTR)。 这些时长之一在一组事件上的算术平均值。字母 R 根据说话者的不同被读作 repair(修复)、recovery(恢复)、restore(还原)、resolve(解决)或 respond(响应),这是这一缩写的第一个问题。关于平均修复时间的维基百科条目(Wikipedia article on mean time to repair)列出了各种变体。
- 服务级别协议(SLA)。 服务级别协议(service-level agreement)是提供者与客户之间关于服务水平的承诺,往往包括按优先级划分的目标响应和解决时间。
为什么平均值是糟糕的摘要
事件时长不是对称的。大多数事件很短,少数非常长,而长的主导了任何平均值。这类时长常常可以用右偏的形态很好地描述,比如对数正态分布(log-normal distribution)。在偏态数据中,均值可能远高于典型事件的样子,而单次长时间中断对它的移动,可能超过一个月的改进。
Google 的 SRE 团队发表了对这个问题的分析。它认为,对其所研究的事件数据集而言,事件时长的离散程度大到足以使 MTTR 隐藏真实的改进,或显示出只是噪声的变化,并建议转而查看分布(Davidovič,2021,列于参考文献中)。这一推理建立在广为人知的统计学之上,所以你可以在自己的数据上检验它,而无需信任任何人的结论:绘制你的事件时长,计算均值和中位数(median),看两者相距多远(见主题 1.6,服务度量的统计素养)。
替代办法是百分位数(percentiles)。中位数说明典型用户等了多久。第 85 或第 95 百分位数说明不走运的用户等了多久。客户记得的是漫长的等待,而不是平均值,所以像“同一优先级的十起事件中有九起在规定时间内恢复”这样的百分位数承诺,比均值更贴近他们的体验。
ITIL 与敏捷的视角有何不同
ITIL 视角倾向于从优先级和目标开始。影响和紧迫性设定优先级,优先级设定目标响应和解决时间,而服务级别协议可能对未达成附加后果。这有条理且易于审计,同时容易招致目标所招来的钻空子(见主题 1.2,古德哈特定律与度量的心理学)。
敏捷和 SRE 视角从用户影响和流动出发。它问团队多快限制了伤害,一起事件的经过时间中有多少是主动工作、有多少是等待,以及团队学到了什么。它更喜欢影响的测量值(受影响的用户、服务降级的分钟数),而不是工单状态的测量值,并把工单时钟视为方便但不完美的替代指标。两种视角是相容的。用 ITIL 的优先级结构来决定度量什么、为谁度量,用流动和影响的思维来决定这个数字是否有意义。
关键原则
- 说出阶段,而不是“解决”。 检测、确认、响应、恢复和解决是不同的问题,有不同的负责人。每一项都以自己的名称报告。
- 把两个时钟都写下来。 每项时间测量值都说明哪个事件启动它、哪个事件停止它,以及哪些状态使其暂停。大多数钻空子都藏在这些边界里。
- 报告分布。 展示中位数、一个高百分位数,以及最老的未关闭事件的年龄。避免孤零零的均值,偏态数据使它不可靠。
- 把恢复与关闭分开度量。 用户关心的是服务何时回来。工单可以在原因得到处理之后再关闭。
- 把速度与持久性配对。 次日又被同一起事件撤销的快速恢复,不是改进。在每项时间测量值旁边展示再发和重开率。
- 描述团队、服务和系统。 绝不按响应或解决时间给个别坐席或工程师排名。
- 在比较之前先细分。 比较同类事物,按优先级和服务,因为混合的数字把密码重置和数据库故障混在了一起。
度量定义
每一行都说明其时钟。日历时间和工作时间不同:说明你使用的是哪一种。凡某项测量值使用百分位数之处,表中给出第 50 和第 95 百分位数,团队可以加上第 85 百分位数。
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| 检测时间 | 在组织知晓之前,一个故障影响用户多久 | 时钟从用户影响的第一刻开始(取自监控数据,或评审中记录的已确认影响开始时间);到首次告警或用户报告时停止。按服务以中位数和第 95 百分位数报告。没有已知开始时间的事件被统计并单独报告,而不是丢弃 | 分钟 | 监控和告警平台;带影响开始字段的事件记录 | 事件管理;监控与事态管理 | 可观测性和告警质量工作(见主题 5.5,监控与告警质量度量) | 每月 |
| 确认时间 | 被提出的告警或工单在有人拥有之前等待多久 | 时钟从告警触发或工单登记时开始;到一位指名的人或团队接受它时停止。自动分派不会停止时钟。按优先级以中位数和第 95 百分位数报告 | 分钟 | 呼叫工具;ITSM 工具分派历史 | 事件管理;服务台 | SRE 轮换中的值班响应 | 每月 |
| 首次响应时间 | 用户等待首次真人、有用回复的时间 | 时钟从事件被登记时开始;到首条针对该报告的人工消息或行动时停止。自动确认和模板化的回执被排除。说明工作时间时钟 | 分钟或工作小时 | ITSM 工具沟通日志 | 服务台;事件管理 | 对用户的及时反馈,如工作协议中所述 | 每周 |
| 恢复时间 | 用户有多久没有可用的服务 | 时钟从用户影响开始时起算;到用户可以再次使用服务(包括通过变通或回滚)时停止。之后才修复的原因不会延长它。按优先级和服务以中位数和第 95 百分位数报告 | 分钟或小时 | 带影响开始和恢复时间戳的事件记录;监控 | 事件管理 | DORA 语境下的平均恢复时间,作为分布来读(见主题 2.8,DORA 度量) | 每月 |
| 解决时间 | 事件记录在关闭之前开启多久 | 时钟从事件被登记时开始;到恢复和用户确认或公平等待之后被关闭时停止。处于“等待客户”的时间作为单独报告的占比展示,不从头条数字中扣除。按优先级以中位数和第 95 百分位数报告 | 小时或工作小时 | ITSM 工具状态历史 | 事件管理 | 计划外工作的周期时间(见主题 2.2,前置时间、周期时间与流动效率) | 每月 |
| 最老未关闭事件的年龄 | 存续最久的未关闭事件已开启多久 | 对每起未关闭事件,现在减去登记时间,按优先级列出最老的几起。暂停状态不被扣除 | 天 | ITSM 工具未关闭事件清单 | 事件管理 | 团队看板上的工作项年龄(见主题 2.1,流动度量) | 每周 |
| 主动时间占比 | 一起事件经过的时间中,花在主动工作而非等待上的比例 | 处于主动状态的时间之和 / 从登记到关闭的总时间,针对期内关闭的事件。主动状态是有人正在处理该事件的状态;等待状态列在定义中 | 百分比 | ITSM 工具状态历史 | 事件管理 | 流动效率(见主题 2.2,前置时间、周期时间与流动效率) | 每季度 |
| 重新分派次数 | 一起事件在恢复之前更换所属团队的次数 | 从登记到恢复之间分派组的变更计数,汇总为中位数以及有三次或更多次的事件占比。按服务和优先级计数,绝不按坐席 | 计数 | ITSM 工具分派历史 | 事件管理;服务台 | 交接次数(见主题 9.3,协作与交接度量) | 每月 |
关于数据的两点说明。第一,恢复时间只与其开始时间一样好。许多事件记录捕获的是有人键入工单的时间,它可能比真实的影响开始晚数小时。如果你的工具没有影响开始字段,就添加一个,并把估计的开始时间视为估计(见主题 1.5,数据来源与埋点)。第二,当你比较各个期间时,要保持相同的优先级定义,否则趋势线反映的将是重新分类。
建议
定义时钟
1. 为每项时间测量值撰写一份时钟表。 对每个阶段,列出开始事件、停止事件、使时钟暂停的状态、时间基准(日历或工作时间)以及排除项。把它保存在度量登记册中(见主题 1.4,度量治理与归属)。
2. 把恢复与关闭分开。 把服务为用户恢复的时间作为自己的时间戳来记录,与工单关闭的时间分开。恢复是用户所感受到的,而关闭包括验证、文档和原因处理。对两者使用同一个时间戳的团队,会因提前关闭工单而受到奖励,或因仔细的跟进而受到惩罚。
3. 记录影响开始,而不仅仅是登记时间。 请响应人员填写用户首次感受到影响的时间,尽可能使用监控数据。凡属估计之处,就把该字段标为估计。没有它,检测时间毫无意义,而恢复时间会因其缺失而被扭曲。
4. 限制暂停状态,并报告其使用。 等待客户或供应商有时是正当的。允许一份简短的、指明的暂停状态清单,要求给出理由,并展示每个状态所花的事件时间占比。暂停时间占比上升,是漂移的迹象,而不是速度的迹象。
诚实地报告
5. 用中位数和一个高百分位数取代均值。 按优先级,以时间序列的形式展示每个阶段的第 50 和第 95 百分位数。展示每个点背后的事件数,因为十起事件的百分位数是薄弱的数字。凡计数很小之处,把单个事件绘制为点,并省略摘要线。
6. 展示最老的未关闭事件的年龄。 已关闭事件时长的图表看不到仍然开启的事件,而它们是最糟的。每周按优先级列出最老的未关闭事件。不完成工作就很难改善它,所以它是任何解决时间图表的有用伴侣。
7. 按优先级和服务细分。 当构成向复杂事件偏移时,混合的解决时间会上升,即使每种事件的处理都更快了。在优先级之内和服务之内比较,并在时间旁边展示构成(见主题 3.2,事件数量与优先级)。不要根据构成发生了变化的月份得出结论。
8. 用控制限区分信号与噪声。 事件时长会在没有任何变化的情况下逐周大幅波动。依据稳定期间计算的控制限的控制图,显示一次偏移何时大到值得解释(见主题 1.6,服务度量的统计素养)。
把速度与持久性配对
9. 在每项时间测量值旁边展示重开率和再发率。 重开率是在规定窗口内被重新打开的事件占比。再发是同一服务和症状在窗口内重新出现。如果恢复时间下降而再发上升,说明团队在使用快速补丁。把反复出现的事件送往问题管理(见主题 4.1,问题管理度量)。
10. 度量等待和交接,因为时间就花在那里。 对大多数服务而言,一起事件经过的大部分时间是在等待某个人、一项决定或一个供应商,而不是在工作。主动时间占比和重新分派次数显示去哪里看。对漫长解决时间的修复,往往是更清晰的路由规则或共享的值班,而不是更快的键入。
11. 对百分位数设定目标,并保留人在回路。 如果你需要目标,就把它表述为针对某个优先级的百分位数承诺,比如“优先级 2 的事件有九成在规定时间内恢复”,并与将要达成它的人商定。把未达成作为关于系统的问题来评审,而不是值班者的过错(见主题 5.1,SLA、OLA 与 XLA 度量)。
12. 询问用户的体验。 对已关闭事件样本的简短调查,以及对评论的阅读,会说明这个数字是否与等待的感受相符。用户往往更关心及时的沟通,而不是恢复的确切分钟(见主题 6.1,客户满意度度量)。
钻空子途径与护栏
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| 检测时间 | 把影响开始设得比实际晚;放宽告警阈值使更少的故障算作事件;只统计监控抓到的事件 | 首先由用户而不是监控报告的事件占比;定期对照监控数据评审影响开始的估计 |
| 确认时间 | 自动分派或自动确认以停止时钟;确认告警后却什么也不做 | 同一批事件的首次响应时间和恢复时间;抽查被确认后没有后续活动的告警 |
| 首次响应时间 | 发送模板化或一个词的回复以停止时钟 | 评审首次回复的样本是否实质性;重复联系和调查评论 |
| 恢复时间 | 在用户可以使用之前就宣布服务已恢复;通过压制症状来恢复;把中断登记为计划内维护 | 窗口内的再发;恢复时间之后用户报告的影响;事后被重新标注的事件占比 |
| 解决时间 | 把工单移入“等待客户”或“搁置”;一次联系尝试后就关闭;把事件拆成子事件以提早关闭父事件 | 处于暂停状态的时间占比;重开率;最老未关闭事件的年龄;阅读关闭备注的样本 |
| 最老未关闭事件的年龄 | 关闭并重新提出最老的工单;将其重新归类为问题或请求,以便从清单中移除 | 把重复项关联到原始项并报告关联后的年龄;每个期间转为问题或请求的事件计数 |
| 主动时间占比 | 记录简短而无意义的工作以将时间标为主动;不付出努力就转入主动状态 | 将主动时间与恢复时间等成果比较;抽查工作备注 |
| 重新分派次数 | 在同一团队内重新打开而不是转交;通过旁路传递工作,使工具显示没有交接 | 恢复时间和用户满意度;定期观察工作如何在团队之间流转 |
健康的读数显示:中位数和尾部百分位数一起变动,暂停时间占比小而稳定,由用户首先报告的事件很少,再发在下降,而调查评论与工单数据相符。把单独到来的头条改善,当作启动钻空子评审的提示。
权衡:利与弊
| 方法 | 优势 | 劣势 |
|---|---|---|
| 平均恢复时间 | 熟悉;一个数字;易于做趋势 | 被少数几起长事件主导;隐藏真实的变化;对小样本很差 |
| 中位数加一个高百分位数 | 描述典型的和不走运的体验;抗离群值 | 需要足够多的事件;有两个数字要解释 |
| 绘制每一起事件 | 显示完整形态和离群值;在低业务量时诚实 | 业务量高时难以阅读;需要引导者 |
| 按优先级设目标 | 期望清晰;支持合同和升级 | 招致重新分类和暂停时钟;可能把精力推向目标边界 |
| 工单时钟测量值 | 便宜,每个 ITSM 工具都有 | 度量的是工单,而不是用户的体验;对状态工作流敏感 |
| 基于影响的测量值 | 贴近用户的感受;抗工单把戏 | 需要监控数据和影响开始字段;更难审计 |
务实的答案是保留工单时钟,因为每个工具都有它,在监控允许之处增加基于影响的恢复时间戳,并对两者都使用分布。对于单一、稳定、大型的同类事件集合,均值可以作为粗略的描述接受,但它绝不应当是页面上唯一的数字。
与团队讨论的问题
1. 对我们来说,事件的哪个阶段耗时最长?我们怎么知道? 在白板上画出事件的时间线,标出从影响开始到关闭的各阶段。取最近十起事件,用工具数据和响应人员的记忆,标出每个阶段花了多久。引导者应当寻找时间聚集的阶段,那往往是等待交接或决定,而不是技术工作。商定哪个阶段值得首先关注。
2. 我们的时钟从何处开始和停止?谁决定的? 请每个人说出他们认为一起事件何时“开始”、何时“结束”。答案会各不相同,而差异就是发现。将它们与工具中的字段和状态工作流比较。把商定的定义记录在度量登记册中,并注明工具尚不能支持之处。
3. 我们的中位数和第 95 百分位数会显示出均值所隐藏的什么? 会议之前,计算上个季度各优先级事件的均值、中位数和第 95 百分位数。并排展示并绘制时长。问团队会从每一个得出什么结论。引导者应当留意是否有一两起事件移动了均值,并讨论团队是否相信中位数代表了典型用户的等待。
4. 我们花在等待而不是工作上的时间是多少?为什么? 挑三起长事件,追踪其状态历史。统计处于主动状态的小时数和处于等待状态的小时数,并记下等待的是谁或什么。问哪些等待可以通过一项决定、更清晰的升级路径或共享的值班来缩短。
5. 如果被要求把解决时间削减四分之一,我们将如何在不帮助用户的情况下做到? 这是缩微版的钻空子评审。列出每一种能在不改善服务的情况下改善数字的做法,比如暂停时钟、提早关闭或重新标注优先级。对每一种,问护栏能否发现它。这份清单是你的钻空子途径列的开端,并显示定义需要在哪里收紧。
6. 我们如何知道更快的恢复是真实的? 索要证据:再发、重开、用户评论,以及之后任何同症状的事件。查看一项近期的改善,问它一个月后是否保持住了。引导者应当引导小组走向持久的修复。最后决定哪项持久性测量值加入仪表盘。
四种视角
产品与交付团队
运营自己服务的产品团队,把事件时间视为挤占计划工作的计划外工作的成本。跟踪每个流动期间有多少被事件占用,并把反复出现的事件作为所属团队的待办事项列表项。使回滚迅速的发布实践缩短恢复,所以事件时间在一定程度上是交付的测量值(见主题 2.9,运维工作与计划外工作)。
服务与运维团队
运维团队拥有时钟,并感受到目标的压力。他们应当公布时钟表、审计暂停状态的使用、按优先级报告中位数和尾部百分位数,并保留一份每周更新的最老未关闭事件清单。值班负荷和告警质量塑造确认和检测时间,所以要把它们放在一起看(见主题 5.7,繁琐工作与值班度量)。
领导层与治理
领导者应当问哪个阶段最慢、正在对此做什么,而不是问为什么某个数字是红色。他们应当期望有百分位数报告、任何速度测量值旁边的持久性测量值,以及定义变更时的解释。对监控、运行手册和问题工作的资助,往往比对响应人员施压回报更大,因为它减少了响应人员无法控制的延迟。
客户与用户
用户体验到等待、沟通的质量,以及问题是否会再来。他们很少看到阶段名称。给他们一个诚实的首次响应,告诉他们该期待什么,并按计划更新他们。他们的调查评论和重复联系,是检验工单时钟是否说出真相的最佳办法。
实践:一个服务管理示例
一家中型在线零售商运营着一个订单平台、一个客户账户服务和一个内部仓库系统。产品团队拥有自己的服务,并与一个小型运维小组共享值班轮换。本示例中的所有数字均为示意。
领导层为优先级 2 的事件设定了“平均解决时间低于四小时”的目标。在第一个季度,仪表盘显示均值为 3.8 小时,目标似乎达成了。仓库员工说,有些中断似乎持续了一整天。运维负责人绘制了该季度 41 起优先级 2 的事件(示意),发现中位数为 1.5 小时,第 95 百分位数为 11 小时。三起事件造成了长尾的大部分。
她追查了这三起长事件。每一起大部分时间都处于“等待供应商”或“等待客户”。其中两起,当原来的事件“违约”时,工单被关闭并作为新事件重新提出,这重置了时钟。第三起涉及两天内团队之间的四次重新分派。对关闭备注的抽样显示,30 张被评审的工单中有 6 张(示意)是在一次联系用户的尝试之后就关闭的。
团队作出四项改变。他们在事件表单中添加了影响开始字段和恢复时间戳。他们每周按优先级报告中位数、第 85 和第 95 百分位数,以及最老的未关闭事件。他们在同一页上展示处于暂停状态的时间占比和再发率。并且他们把重新提出的工单与其原始工单相联,使年龄得以延续。
在下一次评审中,头条的均值升至 4.6 小时,因为重新提出的工单现在被完整计入。团队向领导层把这一上升解释为一次修正。第 95 百分位数和最老的未关闭工单现在是他们着手改进的数字,而重新分派次数指向订单服务与仓库系统之间的路由缺口。他们商定增加一个共享的值班别名,并在下个季度评审其效果,而不是立即设定新的目标。
敏捷、AI、自动化与分析
敏捷
每起重大事件之后,在干系人参与下进行的简短反馈回路,有助于团队改进其时钟。需要注意的是,响应时间目标会产生快速而空洞的确认,所以要将其与恢复时间配对。
AI
AI 可以加快首次响应、建议修复并总结事件,这缩短了首次响应时间,而恢复时间可能不变。两者都报告,另加使用了 AI 建议的事件占比,以及再发的占比。需要注意的是,快速但错误的 AI 回复会增加工作,所以要统计被重新打开的事件。
自动化
根据工具中的事件时间戳计算每个时钟,并记录暂停原因,同时就错误动作和节省的时间来度量自动诊断和自动修复。需要注意的是,恢复服务却不记录原因的自动化,会隐藏问题记录。
分析
为每个时钟报告中位数和一个高百分位数,连同最老的未关闭事件,并显示它们背后有多少起事件。这为之提供依据的决定是用户在哪里等得最久。需要注意的是,各工具的时钟定义不同,所以在比较团队之前,先把开始和停止事件写下来。
行业视角
初创公司。 业务量低,所以百分位数噪声大,绘制每起事件比摘要更好。往往由一个人检测、响应并恢复,所以阶段的区分不如每起事件的书面时间线重要。向每份事后报告添加影响开始的说明,并在事件足够多之后计算简单的中位数。
小型企业。 托管服务提供商或单个 IT 多面手可能处理事件,提供商的合同可能规定了响应和解决目标。仔细阅读合同的时钟,因为它们往往与用户的体验不同。为重要的事件保留一份简短的影响开始和恢复日志,并向提供商索要底层记录,因为摘要数字隐藏了时钟。
大型企业。 众多团队、供应商和优先级方案,使比较既诱人又具误导性。在整个组织内标准化时钟定义和优先级含义,发布分布而不是均值,并按服务细分。留意暂停状态的漂移和重新分类,它们随报告层级的数量而增长。
政府与公共部门。 合同、法定报告和审计可能固定了时钟和优先级定义。按所写的履行这些义务,并在旁边保持一个面向用户的第二视图,使合规不掩盖糟糕的体验。对定义和时钟规则变化时的更正保持公开(见主题 8.5,受监管与政府报告)。
业务论证:动因、投资回报与总拥有成本
本主题的成本主要是设计和规范。撰写时钟表需要几个小时,添加影响开始字段和恢复时间戳需要一些配置,构建百分位数报告需要适度的精力。凡 ITSM 工具或监控平台已经保存时间戳之处,提取是一次性的任务。经常性的成本是每月的评审和每季度对已关闭事件的抽样。
回报来自更好的决定和更少的返工。分布报告显示一项改进是否奏效,阶段报告则把精力引向真正的延迟,比如交接、检测缺口或供应商等待。持久性测量值防止快速补丁的虚假节省,那些补丁会以重复事件的形式回来。度量你自己一个季度的基线,作出一项改变,并比较分布。
反模式与陷阱
- 高管仪表盘上的单一 MTTR。 偏态数据的均值会误导。展示中位数、一个高百分位数和最老的未关闭事件,并说明每个点背后有多少起事件。
- 混合优先级和服务。 构成的偏移看起来像绩效的变化。按优先级和服务细分,并展示构成。
- 用暂停状态停止时钟。 时间消失在“等待”和“搁置”中。列出允许的状态,要求给出理由,并报告每个状态所花的时间占比。
- 关闭并重新提出工单。 它重置年龄,隐藏长事件。把重新提出的工单与其原始工单相联,并报告关联后的年龄。
- 恢复和关闭使用同一个时间戳。 团队随后会因过早关闭而受到奖励,或因仔细的跟进而受到惩罚。两者都记录并都报告。
- 按解决时间给坐席或工程师排名。 它奖励容易的工单和挑拣,并阻碍求助和升级。仅按团队和服务报告。
- 有目标而没有持久性测量值。 明天就失败的快速补丁看起来像成功。在每个目标旁边展示再发和重开率。
- 把小样本当作趋势。 来自寥寥几起事件的第 95 百分位数只是猜测。绘制单个事件,并在画线之前等待更多数据。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 定义与时钟 | 每个人的度量方式不同;一个“解决时间” | 为一些团队写下了时钟;阶段部分分开 | 所有阶段共用一份时钟表,列出暂停状态 | 定义被评审,变更连同理由记录 | 定义与供应商和客户对齐,并在不再为决定提供依据时修订 |
| 数据质量 | 手工记录;影响开始未知 | 登记和关闭的工具时间戳 | 为优先级事件记录影响开始和恢复 | 通过抽样审计数据;估计被标注 | 监控和 ITSM 数据自动连接,并在团队之间受信任 |
| 统计实践 | 只有均值 | 展示均值和中位数 | 按优先级和服务的中位数和一个高百分位数 | 使用控制限;配对持久性测量值 | 分布与用户体验相联,并用于决定在哪里投资 |
| 在改进中的使用 | 数字被用来追着个人 | 团队看到自己的数字 | 团队每月评审阶段时间和等待 | 缓慢的阶段导向有资助的改进工作 | 改进在团队和供应商之间共享,测量值不断演进 |
检查清单
- 每个阶段(检测、确认、响应、恢复、解决)都有书面的开始、停止和暂停规则。
- 对优先级事件,影响开始和恢复时间作为单独的字段记录。
- 报告按优先级和服务显示中位数和一个高百分位数。
- 显示每个报告点背后的事件数。
- 每周列出最老的未关闭事件。
- 暂停状态是一份简短的、指明的清单,并报告其时间占比。
- 在每项时间测量值旁边展示重开率和再发。
- 重新提出的工单与其原始工单相联,使年龄得以延续。
- 没有任何时间测量值被用来给个别坐席或工程师排名。
- 每季度阅读一批已关闭事件的样本,检查其是否诚实。
- 客户调查评论与工单数据一起阅读。
AI 提示词
比较我们事件时长的均值和百分位数。
我将粘贴 [服务或团队] 在 [期间] 内的事件记录。字段:[字段清单,比如登记时间、影响开始、恢复时间、关闭时间、优先级、状态历史]。请按 [优先级] 计算 [阶段名称,例如恢复时间] 的中位数、第 85 百分位数、第 95 百分位数和均值,并显示每个数字背后有多少起事件。描述均值与中位数相差多远,以及哪些事件驱动了这一差异。不要虚构数据或基准值。请列出你的假设、你排除的任何行,以及数据无法告诉你的任何内容。
[粘贴事件数据,已去除个人数据]
为我们的事件时间测量值起草一份时钟表。
请为 [团队名称] 起草一份时钟表,涵盖检测时间、确认时间、首次响应时间、恢复时间和解决时间。我们的 ITSM 工具是 [工具名称],我们的监控是 [监控工具],我们的状态工作流是 [状态清单]。对每个阶段,给出开始事件、停止事件、暂停状态、时间基准([日历或工作时间])、排除项,以及一条带护栏的钻空子途径。标出你不得不假设的每一项,并列出我应当回答哪些问题以完成这份表。不要虚构目标。
找出几起长事件中经过的时间去了哪里。
这是来自 [服务] 的 [数量] 起长事件的状态历史。对每起事件,列出在每个状态中所花的时间,按这条规则标记主动和等待状态:[哪些状态算主动],并记下 [团队或小组] 之间的每一次重新分派。报告各事件之间的模式,而不是个人,并建议哪个阶段值得首先关注。不要猜测数据没有显示的原因。请列出你的假设,以及哪些额外字段会有帮助。
[粘贴状态历史,已去除个人数据]
对我们的事件时间目标运行钻空子评审。
我们为 [优先级或服务] 报告 [度量名称],定义为 [含开始和停止事件的定义]。目标是 [目标],受众是 [受众]。请列出在不帮助用户的情况下改善这个数字的合理方式,比如暂停时钟、提早关闭、重新标注或重新提出工单。对每一种方式,提出能揭示它的护栏测量值或实践,并说明该护栏本身可能如何被钻空子。不要虚构基准或统计数据。请列出你的假设。
AI 技能
- Service Management Metrics skill:用于为你即将报告的事件时间测量值查找相关主题和配对的护栏。
- Service Management Metrics maintainer skill:用于检查对本主题的更改是否使模板、钻空子表和交叉引用保持一致。
要点
- 一起事件有若干阶段,每个阶段有自己的时钟、负责人和补救办法。说出你正在度量的阶段。
- 事件时长是偏态的,所以均值会误导。报告中位数、一个高百分位数和最老未关闭事件的年龄。
- 写下每个时钟从何处开始和停止,把影响开始和恢复与工单关闭分开记录,并限制暂停状态。
- 把每个速度测量值与再发和重开率等持久性测量值配对。
- 描述团队和服务,绝不描述个别坐席,并阅读已关闭事件的样本以检查数字是否诚实。
参考文献与延伸阅读
- Davidovič, Š., Incident Metrics in SRE: Critically Evaluating MTTR and Friends, O'Reilly Media, 2021, https://sre.google/resources/practices-and-processes/incident-metrics-in-sre/.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
- AXELOS, ITIL Foundation: ITIL 4 Edition, TSO (The Stationery Office), 2019.
- ISO/IEC 20000-1:2018, Information technology: Service management: Part 1: Service management system requirements, International Organization for Standardization.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Incident management.
- Wikipedia, ITIL.
- Wikipedia, Site reliability engineering.
- Wikipedia, Mean time to repair.
- Wikipedia, Service-level agreement.
- Wikipedia, Log-normal distribution.
- Wikipedia, Median.
- Wikipedia, Percentile.