问题管理度量
问题管理度量显示,团队是在消除其事件的原因,还是只在修补它们的症状,所以要度量找出了多少原因、它们被永久修复得多快,以及同样的事件是否再来。
概述与动因
能迅速恢复服务的团队,仍可能困在跑步机上。同样的故障每隔几周就回来,同样的人被呼叫,事件数字看起来很健康,因为每次修补都很快。问题管理是从跑步机上走下来的实践。它跨事件观察,找出底层的原因,并让这个原因被消除或遏制。本主题涵盖告诉你这项工作是否在进行、是否有效的数字。
四个术语支撑本主题。事件(incident)是按 ITIL 框架使用这个词的方式,对服务的计划外中断或对其质量的降低(见主题 3.3,事件响应与解决时间)。问题(problem)是一起或多起事件的底层原因或疑似原因。已知错误(known error)是其原因已被理解、并记录了变通办法的问题,保存在已知错误数据库(known error database)中,使下一个遇到该症状的人能找到它。变通办法(workaround)在不消除事件或问题的原因的情况下,减少或避免其影响。永久修复是消除原因的变更。
找出原因是根因分析(root cause analysis)的工作。常见的技术包括五个为什么(five whys)、石川图(Ishikawa diagram)和帕累托图(Pareto chart),后者按原因出现的频率或造成的伤害大小对其排序。复杂的系统往往有几个促成原因而没有单一的罪魁祸首,所以好的问题记录会指出那些一旦消除就会终止再发的因素,并说明团队有多大把握。
这些度量之所以重要,是因为问题管理有一个内置的报告陷阱。开立问题记录很容易,也让人觉得有成效。关闭一条也很容易,因为一条记录可以附一则说明就关闭。两者都无法表明对用户来说有任何改善。值得关注的测量值位于更下游:与某个问题关联的事件是否不再再发,已知错误是否真的被值班人员使用,以及一个已诊断出的原因要等多久才得到修复。
ITIL 和敏捷的视角在这里几乎没有摩擦地相遇。在 ITIL 4 中,问题管理是服务价值系统内的一项实践,与事件管理、变更赋能和知识管理关系密切。它在敏捷中的对应物,是流经团队待办事项列表(backlog)的、小而基于证据的修复之流,发现模式的回顾会议,以及把可靠性工作视为普通产品工作的习惯。ITIL 视角强调记录、归属和已知错误,敏捷视角则强调小批量和快速反馈。两者都想要更少的重复事件,而这个成果就是应当放在每个人面前的测量值。
本主题不重复事件的时钟(见主题 3.3,事件响应与解决时间)或重大事件测量值(见主题 3.4,重大事件度量),并且仅在评审的跟进落实为问题提供输入时才处理它(见主题 4.2,事后复盘与学习度量)。已知错误的待办事项列表以及更宽泛的技术债(technical debt)理念,在主题 4.6(技术债与已知错误)中处理。这里的重点是问题记录及其产生的成果。基于部署的恢复和失败测量值见主题 2.8(DORA 度量)。
关键原则
- 度量再发,而不是文书工作。 问题管理的检验标准,是关联的事件不再回来。开立和关闭的记录计数描述的是活动,对结果说明得很少。
- 区分三个时刻。 发现存在某种模式、找出其原因和消除原因,是不同的事件,有不同的时钟和不同的负责人。把它们合并会隐藏延迟所在之处。
- 变通办法是一个阶段,不是终点。 记录它、使用它,并跟踪它作为唯一保护持续多久。存活多年的变通办法,是负责人没人能说出名字的债务。
- 把修复放在工作所在之处。 永久修复通常以由产品团队拥有的变更或待办事项列表项的形式落地。在团队自己的流动中度量它,并把它展示给拥有该服务的团队。
- 在源头把事件与问题相联。 这里的每项测量值都依赖于事件与问题之间的链接。如果链接薄弱,数字也就薄弱。
- 宁取分布和群组,而不取平均值。 问题的持续时间很长且偏态,少数几条旧记录会主导任何均值(见主题 1.6,服务度量的统计素养)。
- 描述团队和服务,绝不描述人。 问题是系统的属性。按分析师统计的已关闭问题表,会把调查变成配额。
度量定义
所有时钟都使用问题记录、关联的事件记录,以及关联的变更或待办事项列表项的时间戳。除非某一行另有说明,问题按服务和所属团队计数,被合并或重复的记录被排除。对每项时长,宁取百分位数而不是均值。本主题示例中的数字为示意。
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| 已开立和已关闭的问题 | 按服务,进入和离开未关闭状态的问题记录之流 | 期内开立的计数和期内关闭的计数,各按关闭代码(已修复、接受风险、重复、无法复现);重复项显示但不计入“已修复”的计数 | 每期的计数 | ITSM 问题记录 | 问题管理 | 待办事项列表的流入和吞吐量 | 每月 |
| 问题待办事项列表年龄 | 未关闭的问题已等待多久 | 对每个未关闭的问题,快照日期减去该记录的创建日期;按优先级报告未关闭问题的中位数、第 85 百分位数和最老的 | 天 | ITSM 问题记录 | 问题管理 | 看板上的工作项年龄 | 每月 |
| 事件到问题的链接率 | 在预期有问题或已知错误之处,指向某个问题或已知错误的事件占比 | 期内带有关联问题或已知错误的事件 / 期内优先级为高及以上、被重开,或属于重复类别的事件;以用户错误或重复关闭的事件被排除 | 百分比 | ITSM 事件和问题记录 | 事件管理;问题管理 | 回顾会议发现模式 | 每月 |
| 找到根因的时间 | 一个被诊断的问题要多久才得到有记录的原因 | 时钟从问题记录创建时开始,到原因被记录且第二个人评审过时停止;没有原因就关闭的问题被排除并单独统计;报告中位数和第 85 百分位数 | 天 | ITSM 问题记录及其审计线索 | 问题管理 | 探针或调查的限时 | 每月 |
| 已知错误复用率 | 事件到来时已知错误多常被使用 | 以关联的已知错误或其变通办法解决的事件 / 期内症状与当时存在的某个已知错误相符的事件;没有匹配的已知错误的事件被排除 | 百分比 | ITSM 事件链接;知识文章的使用 | 知识管理;问题管理 | 团队运行手册或剧本的使用 | 每月 |
| 永久修复的时间 | 一个问题从诊断到修复在生产环境中运行,暴露了多久 | 时钟从原因被记录时开始,到关联的修复变更被实施并确认时停止;以接受风险关闭的问题被排除并单独统计;报告中位数和第 85 百分位数 | 天 | 问题记录;变更记录或流水线部署事件 | 问题管理;变更赋能 | 修复项的周期时间 | 每月 |
| 修复后再发率 | 已修复的问题中,其关联症状又回来的占比 | 在某个群组季度以已修复关闭、且在修复上线后 90 天内有新的匹配事件的问题 / 该季度以已修复关闭的问题;90 天窗口是示例,并在图表上说明 | 百分比 | ITSM 事件和问题记录;部署事件 | 问题管理;持续改进 | 逃逸缺陷或回归率 | 每季度 |
| 仅有变通办法的占比 | 仅受变通办法保护的已知问题占比 | 处于已知错误状态且没有安排修复的未关闭问题 / 处于已知错误状态的未关闭问题;带有指名负责人和评审日期的接受风险的问题,作为单独的一组展示 | 百分比 | ITSM 问题记录 | 问题管理;风险管理 | 技术债登记册 | 每月 |
90 天窗口、症状的匹配规则,以及链接率中“预期”的定义都是示例。团队选择适合其服务的值,并写入度量登记册(见主题 1.4,度量治理与归属)。把以“已修复”关闭的问题与其他关闭代码分开统计,使已开立和已关闭这一对保持诚实。
建议
决定什么算问题
1. 依据证据开立问题,并说明证据是什么。 好的触发因素是同一症状的重复事件、原因未知的重大事件、评审中发现的趋势,或在任何事件发生之前发现的风险。把触发因素写在记录上,例如“六周内有五起事件关联到同一项服务”。如果每一起不寻常的事件都变成问题记录,待办事项列表就会充满噪声,没人去读。
2. 使用一组小而共享的关闭代码。 已修复、接受风险、重复、无法复现和已合并,对大多数团队就够了。每个代码有一句话的含义和一位可以使用它的负责人。关闭代码的构成比关闭的计数信息更丰富,因为它显示有多少工作消除了原因,又有多少在没有变更的情况下结束。
在源头联结事件和问题
3. 让链接成为事件关闭的一个步骤。 请解决者在关闭事件之前,把它与某个问题、某个已知错误或“未发现”相联。在工具能做到时提供匹配建议,并让人来决定。数周后在批量处理中建立的链接是不可靠的(见主题 1.5,数据来源与埋点)。
4. 商定症状如何匹配。 再发取决于决定何时两起事件是“同一个”。一份带定义和示例的简短原因与症状分类法,胜过自由文本。每个季度评审一批匹配的样本,因为两个方向的错配都会使再发率产生偏差。
5. 让模式评审为问题清单提供输入。 每月按服务并借助帕累托图(Pareto chart)评审事件类别,显示哪几个原因造成了大部分痛苦。用评审来开立问题并给它们排优先级,并把来自重大事件评审的重复原因送入同一份清单(见主题 3.2,事件数量与优先级)。
度量三种延迟
6. 分别为各阶段计时。 从记录创建到记录原因,以及从记录原因到修复在生产环境中运行,分别度量。第一种延迟指向调查的容量、对数据的访问和技能。第二种指向优先级排序、变更流程和相互竞争的功能工作。单一的“关闭一个问题的时间”把它们混在一起,没有给任何人一个清晰的行动。
7. 报告老的。 展示未关闭问题年龄的中位数和第 85 百分位数,并按服务列出最老的。几条多年的记录会移动均值,却说明不了什么,而最老的清单则邀请作出决定:修复、附指名负责人和评审日期地接受风险,或附理由关闭。
把修复放入正常的流动
8. 把永久修复视为带负责人和日期的待办事项列表项。 把问题与承载修复的变更或工作项相联,并把修复与功能工作展示在同一块看板上。用商定的规则确定优先级,比如权衡重复事件的成本与修复的工作量。凡修复需要变更之处,标准变更路径对低风险的更正应当是快速的(见主题 4.3,变更赋能度量)。
9. 同时索要变通办法和退出日期。 变通办法买来时间。把它记录为已知错误,测试值班团队能找到并运行它,并为修复设定评审日期。仅有变通办法的占比于是成为一份决定清单,而不是悄悄堆积的债务(见主题 4.6,技术债与已知错误)。
检查修复是否有效
10. 对每次修复都跟随一个再发窗口。 修复上线之后,在规定的窗口内观察匹配的事件,并按季度群组报告站住了的修复占比。再发是这项实践所拥有的最接近成果测量值的东西。如果它很高,就问原因是否真的找到了,还是只找到了一个促成因素,并重新开启分析。
11. 在响应者工作之处度量已知错误的复用。 统计匹配的事件到来时,已知错误或其变通办法被使用的频率。已知错误很多而复用率很低,通常意味着条目难以找到、已经过时,或是为分析师而不是响应者撰写的。先修复文章及其位置,再添加更多(见主题 3.6,知识管理度量)。
保持数字诚实
12. 在每张图表旁边展示群组和警示。 在图表本身上记录定义、关闭代码的构成和任何规则变更。已修复问题的季度群组显示再发,而不把新旧工作混在一起。把每个计数与一项成果测量值配对,使没有数字孤立存在(见主题 1.2,古德哈特定律与度量的心理学)。
钻空子途径与护栏
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| 已开立和已关闭的问题 | 开立许多琐碎的记录;把一个问题拆成几个;以重复或“无法复现”关闭记录以清理清单 | 关闭代码的构成;修复后再发率;每季度阅读已关闭记录的样本 |
| 问题待办事项列表年龄 | 不修复就关闭最老的记录;作为新记录重新打开以重设时钟;把问题重新归类为请求 | 把新记录与其原始记录相联,并从第一条记录起报告年龄;按原因划分的关闭清单;评审接受的风险 |
| 事件到问题的链接率 | 把每起事件都链接到一个含糊的包罗万象的问题以提高比率 | 指向最大的五个问题的链接占比;检查链接样本是否真实匹配;关联症状的再发 |
| 找到根因的时间 | 记录一个快速而肤浅的原因以停止时钟;点名“人为错误”;跳过第二位评审者 | 修复后再发率;“人为错误”单独不被接受的原因分类法;对照证据评审一批原因样本 |
| 已知错误复用率 | 统计事件关闭之后才添加的链接;把一个已知错误加到某项服务的每起事件上 | 事件关闭与链接之间的时间;响应者对条目是否有帮助的反馈;评审 90 天内未被使用的条目 |
| 永久修复的时间 | 在修复被验证之前就把变更标为已实施;以接受风险关闭以避免这项工作 | 修复后再发率;带负责人和评审日期的接受风险清单;时钟停止之前的验证步骤 |
| 修复后再发率 | 狭隘地定义症状使再发无法匹配;放宽关闭窗口使修复落入较早的群组;推迟链接 | 由所属团队之外的人评审的原因分类法;事件链接率;预先说明的固定窗口 |
| 仅有变通办法的占比 | 安排一个没有真实日期的占位修复;把问题移到接受风险;降低问题的优先级 | 已延误的预定修复的年龄;由指名的高管负责人评审的接受风险清单;按问题划分的重复事件成本 |
健康的读数看起来安静而有点乏味。已开立和已关闭的计数大致同步,最老的未关闭问题各自有一项有记录的决定,站住了的修复占比很高且群组线稳定,已知错误被遇到症状的人所使用。警示的模式是,一长串整齐的已关闭计数,而事件仍不断回来。当活动数字看起来极好而用户仍遇到同样的故障时,要相信用户。
权衡:利与弊
| 方法 | 优势 | 劣势 |
|---|---|---|
| 为反复出现的事件和重大事件建立正式的问题记录 | 清晰的负责人、历史以及与修复的链接;支持审计 | 流程开销;记录可能变陈旧 |
| 不建问题记录,在团队的待办事项列表内修复原因 | 快速、轻量、贴近工作 | 跨团队的模式看不到;没有共享的已知错误 |
| 严格的关闭代码和季度群组 | 诚实的成果视图;抵制整齐的计数 | 阅读较慢;需要数据录入的规范 |
| 把已关闭的问题数作为目标 | 易于解释和绘图 | 招致为计数而关闭;奖励小问题 |
| 对已修复问题的再发跟踪 | 衡量其是否奏效的最接近的测量值 | 需要良好的症状匹配和足够长的窗口 |
| 对已知错误的复用跟踪 | 显示知识是否在帮助响应者 | 依赖响应者链接条目;可能被钻空子 |
在自己的待办事项列表中迅速修复原因的团队,仍应当在更广泛的组织能看到的地方记录原因,使遇到同样症状的另一个团队受益。首先投资于事件与问题之间的链接,以及再发窗口。这两块使其他每项测量值都变得可解读。
与团队讨论的问题
1. 上个季度我们最常修补的是哪三起事件?是什么阻止我们修复其原因? 列出来自服务台或事件工具的重复事件,并按出现次数排序。对每一起,问障碍是什么:没有调查时间、没有商定原因、修复与功能争夺资源,还是修复需要另一个团队。引导者应当寻找三者之间反复出现的障碍,因为它们指向的是系统层面而不是技术层面的修复。
2. 当我们把一起事件与某个问题相联时,由谁来做、何时做?我们如何知道它是正确的问题? 从关闭到链接,走一遍一起近期的事件。注意链接是在事件期间、在关闭时,还是在之后的清理中建立的。一起评审一小批链接样本,看是否真正匹配。商定一项使链接更容易或更可靠的更改。
3. 一个已诊断的原因要等多久才得到修复?谁决定顺序? 取有记录原因的问题,看诊断以来的时间。问谁给它们排优先级,用什么规则。讨论往往显示,延迟是产品待办事项列表前面的一个队列,而不是技术上的困难。商定如何把问题修复与功能工作比较。
4. 我们最老的变通办法是哪些?如果再保留一年,我们会失去什么? 说出三个存活最久的变通办法,以及它们在手工工作量、风险和仍记得它们的人的知识方面的代价。问如果了解该变通办法的人不在,会发生什么。对每一个,决定是修复、附负责人和评审日期地接受风险,还是淘汰该服务。
5. 如果一个已修复的问题回来了,我们是否会发现?多快? 问一个再度出现的症状会如何被注意到,以及由谁重新开启分析。讨论再发窗口对所涉故障的类型是否足够长。引导者应当帮助小组商定一个窗口和一条匹配规则,并决定由哪个团队评审匹配,使所属团队不给自己的工作打分。
6. 值班的人使用我们的已知错误吗?什么会让他们去用一个? 问响应者上一次搜索已知错误是什么时候,找到了什么。查看条目存放在哪里、如何命名,以及它们是否说明首先该做什么。选一个条目与响应者一起重写,并在下一个值班周测试它。
四种视角
产品与交付团队
交付团队拥有大多数永久修复,并感受到功能工作的拉力。他们受益于把反复出现的故障的事件成本,与修复的工作量并排看,也受益于待办事项列表中为修复项设置的清晰位置。他们应当抵制把问题工作视为打断,转而为它预留一块可见的容量占比。回顾会议是发现模式和开立问题的天然场合(见主题 2.1,流动度量)。
服务与运维团队
运维团队首先看到反复出现的症状,并以呼叫和手工工作承担代价。他们保存问题和已知错误的记录,开展模式评审,并检查是否建立了链接。他们的风险是把精力花在记录上,而不是消除原因。他们应当让关闭代码保持很少,让已知错误成为响应者最先看到的东西,并把修复连同证据一起交给所属团队。
领导层与治理
领导者决定可靠性工作是否能胜过功能,并设定关于记录什么的激励。他们应当在索要计数之前,先索要按群组的再发以及最老的未关闭问题,并把接受风险视为需要指名负责人和评审日期的决定。报告下降的待办事项列表而没有再发,会奖励关闭。治理应当查看趋势和决定,而不是团队的排行榜(见主题 4.6,技术债与已知错误)。
客户与用户
用户评判问题管理只看一件事:同样的事是否一再出错。他们看不到问题记录,也不关心关闭了多少。凡协议允许之处,告诉客户已知的问题、变通办法,以及预期修复的日期,然后在修复落地时回报。一个被宣布并被交付的修复,比悄悄进行的修复建立更多信任。
实践:一个服务管理示例
一家地区医院的 IT 部门支持着病房和门诊诊所使用的临床排程应用。一个产品团队构建并运营该应用,一个基础设施团队运行平台,一个服务台接听电话。本示例中的所有数字均为示意。
在一次季度评审中,部门主管注意到问题仪表盘看起来极佳:46 个问题被关闭,31 个被开立,最老的未关闭问题为 140 天。病房经理们仍然抱怨排程屏幕在交班时冻结。服务负责人索要事件到问题的链接率和修复后再发率,这两项尚未出现在仪表盘上。
数据讲述了不同的故事。关闭代码的构成显示,46 个关闭中有 22 个是“无法复现”或“重复”。高优先级事件的链接率为 38%。冻结的事件被登记在四个类别中,所以看不到任何模式。当对 30 起事件的样本以人工重新链接之后,其中 17 起指向同一个原因:一个夜间作业持有的数据库锁,它超时运行到了早班。对上个季度已修复的问题,再发率为 27%,高于任何人的预期。
团队作出三项决定。第一,原因与症状分类法新增一条“排程冻结”条目,并且把链接一个问题或“未发现”,变成事件关闭时的一个必填步骤。第二,夜间作业的问题从基础设施待办事项列表移到产品团队的看板,带有负责人和目标日期,并把一个变通办法(在作业之后安排一次重启)记录为已知错误,并与服务台一起测试。第三,仪表盘用三个数字取代已关闭的计数:90 天后仍站住的修复占比、从记录原因到修复的时间的中位数和第 85 百分位数,以及带有决定的最老的未关闭问题。
八周后,通过修改该作业,锁被消除。冻结类别的事件从每月约九起降到两起,对剩下的症状,已知错误复用率升至 71%,主要因为服务台现在能找到重启的条目。团队发现的钻空子风险,在于它自己早先的习惯:当一起事件发生在工作时间之外时,就把记录以“无法复现”关闭。关闭代码的构成、每季度阅读的已关闭记录样本,以及再发群组,现在充当护栏。没有人被排名,评审列出的是服务和决定,而不是分析师。
敏捷、AI、自动化与分析
敏捷
把问题工作纳入常规的待办事项列表和改进交流,使永久修复与新工作公开竞争。需要注意的是,迅速关闭问题的目标,会导致用变通办法来关闭它们。
AI
AI 可以对事件聚类、建议根因并起草问题记录,这可以在不消除原因的情况下提高问题计数和链接率。把链接率与修复后再发率配对,并标明哪些原因由 AI 建议、由人确认。需要注意的是,AI 建议的原因可能貌似合理却是错的,所以在关闭之前要验证。
自动化
在信号匹配之处自动把事件与问题相联,并就错误的链接来度量该匹配。需要注意的是,当事件停止时自动关闭问题,会隐藏只是安静下来的原因。
分析
把永久修复的时间展示为分布,并展示修复之后的再发率。这为之提供依据的决定是哪些原因值得投入容量。需要注意的是,再发需要很长的窗口,所以要说明你观察了多久。
行业视角
初创公司。 很少有单独的问题流程。团队直接修复原因,风险是没有人记得为什么。保持一份一页纸的反复出现的事件及其原因清单,把修复与问题跟踪器相联,并每月评审这份清单。度量再发和最老项的年龄;在团队壮大之前,跳过正式的关闭代码。
小型企业。 一位 IT 人员或一家托管服务提供商可能运营一切。向提供商索要其问题记录及其背后的事件类别,以及对“已解决”的书面定义。一份附有每项指名负责人和日期的前五个重复问题的简短清单,胜过一个繁重的工具。定期导出记录以避免锁定。
大型企业。 众多服务和供应商造成对共享定义的最大需要。在团队之间商定原因分类法、关闭代码和再发窗口,按服务指定问题负责人,并按服务和群组报告。凡供应商持有修复之处,对照协议跟踪供应商的响应(见主题 8.4,供应商与合同度量),并通过记录在案的路径升级。
政府与公共部门。 审计、变更控制和采购会延长从原因到修复的路径,所以修复时间的时钟应当显示延迟在哪里:调查、批准、采购还是排期。接受的风险需要经得起审计的记录在案的负责人和评审日期。保留和隐私规则适用于事件和问题记录,特别是其中出现临床或公民数据之处。
业务论证:动因、投资回报与总拥有成本
成本有三个部分。第一是调查时间:有技能和权限去分析事件的人,这与他们的其他工作竞争。第二是修复本身,通过待办事项列表和变更流程交付。第三是记录和报告的成本:链接事件、维护分类法、开展模式评审,以及维护已知错误数据库。这些成本主要是人的时间,所以要统计小时数。
回报表现为不再再发的事件、更少的呼叫和更少的手工变通工作、因响应者找到已知错误而更短的事件处理,以及更少升级给工程师。没有通用的数字适用,所以请估算你自己的。对某个反复出现的事件,把每年的发生次数乘以平均处理工作量,再乘以每次发生的业务影响估计,然后与修复它的工作量比较。与服务负责人一起评审这一估计,将其表述为估计,并在再发窗口显示发生了什么之后重新审视它。问题管理在那少数几个造成大部分事件负荷的原因上回报最好,帕累托视图能很快找到它们。
反模式与陷阱
- 以关闭为目标。 针对已关闭问题数的目标,奖励琐碎的记录和提前关闭。先报告成果测量值,并展示关闭代码的构成。
- 把问题记录当作坟场。 记录没有负责人、日期或决定就一直开着。按节奏评审最老的清单,并要求每一项都有一个决定。
- 止步于“人为错误”。 它点出了谁碰了系统,而没有说明系统为何允许这一失败。仅当原因点出可以被改变的条件时才接受。
- 在根因确定之前什么也不修复。 复杂的故障可能没有单一的原因。采用变通办法和最有依据的修复,然后观察再发。
- 没有退出的变通办法。 没有评审日期的变通办法会变成永久的。在创建已知错误时,记录负责人和日期。
- 薄弱的事件链接。 缺失或草率的链接使再发不可见。让链接成为事件关闭的一部分,并抽查链接。
- 问题工作在待办事项列表之外。 位于单独队列中的修复会永远等待。把修复项放在所属团队的看板上,并对照功能确定优先级。
- 按关闭的记录数比较分析师或团队。 它奖励容易的服务并招致钻空子。把各服务与它们自己的历史比较,并阅读群组。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 问题识别与链接 | 只在大型中断之后才开立问题;没有事件链接 | 一些团队链接事件;各团队类别不同 | 共享的分类法和关闭代码;链接在事件关闭时建立 | 抽样评审链接率和匹配质量 | 在团队和供应商之间发现模式,附共享的已知错误 |
| 根因与已知错误 | 原因记录在自由文本中,如果有的话 | 一些团队在不同的地方保存已知错误 | 一个已知错误数据库;对原因由第二人评审 | 找到根因的时间和已知错误复用被做成趋势并据以行动 | 响应者、供应商和客户为共享的条目作出贡献并使用它们 |
| 修复交付 | 有人有时间时才修复 | 在团队自己的清单中跟踪修复 | 修复与带负责人和日期的待办事项列表项或变更相联 | 评审永久修复的时间,并为其预留容量 | 修复的优先级由产品和供应商的路线图共同设定 |
| 成果与学习 | 报告记录的计数 | 在一些评审中报告待办事项列表年龄 | 报告带定义的修复后再发和仅有变通办法的占比 | 群组与护栏配对,并用于资助决定 | 当定义不再为决定提供依据时修订;改进成为常规 |
检查清单
- 度量登记册定义了问题、已知错误和每个关闭代码。
- 事件关闭包括指向问题、已知错误或“未发现”的链接。
- 存在一份原因与症状分类法,附定义和示例。
- 每个问题都有负责人、触发因素和决定日期。
- 找到根因的时间和永久修复的时间被分别度量,并附百分位数。
- 每项永久修复都与带负责人的待办事项列表项或变更相联。
- 每个变通办法都有负责人和评审日期。
- 按季度群组跟踪修复后的再发,并说明窗口。
- 在响应者工作之处度量已知错误的复用。
- 按节奏评审最老的未关闭问题,并记录每项决定。
- 每季度阅读一批已关闭记录的样本,检查关闭代码和原因。
- 报告描述服务和团队,没有表给个人排名。
AI 提示词
在一组事件中找出候选问题。
这是 [服务或团队] 从 [开始日期] 到 [结束日期] 的事件导出:[粘贴事件字段,比如 id、开立时间、类别、简短描述、解决备注]。请把可能共享某个底层原因的事件分组,说明每组的证据,并按出现次数和 [影响测量值,例如用户受影响的小时数] 对各组排序。标出证据薄弱的组。不要虚构原因、计数或基准值。请列出你的假设,以及能提高你把握的额外数据。
评审问题的关闭代码和记录。
下面是 [服务或团队] 的 [数量] 条已关闭的问题记录:[粘贴 id、关闭代码、记录的原因、修复引用、关闭日期]。请检查每条记录,看是否有与文本不符的关闭代码、点名某个人而不是某个条件的原因,以及没有链接的修复。总结模式,并为评审者建议三个问题。不要给人排名,也不要虚构关于记录的事实。请列出你的假设。
设计再发的测量值。
我们想为 [服务或团队] 度量已修复的问题是否保持修复。我们的工具是 [ITSM 工具、部署工具],我们的事件类别是 [清单],我们的关闭代码是 [清单]。请提出定义、公式、时钟的起止、症状的匹配规则、再发窗口和排除项,并附一份显示季度群组的图表布局。建议它可能如何被钻空子,以及每种情形的护栏。向我索取你需要的阈值,而不是虚构它们。请列出你的假设。
为老旧的问题准备一次决定评审。
这是 [服务或团队] 中超过 [数量] 天的未关闭问题:[粘贴 id、年龄、优先级、负责人、上次更新、变通办法状态]。请起草一份 [时长] 分钟评审的议程,其中每一项获得三种决定之一:附日期修复、附指名负责人和评审日期地接受风险,或附理由关闭。建议每项决定要带来的证据。不要虚构成本或结果。请列出你的假设,以及我应当首先回答的问题。
AI 技能
- Service Management Metrics skill:用于查找定义问题度量所依赖的事件、变更和知识测量值的主题,以及与每项配对的护栏。
- Service Management Metrics maintainer skill:用于检查新增或编辑的问题度量是否说明了其时钟、排除项、钻空子途径和护栏。
要点
- 问题管理的测量值是再发:与某个问题关联的事件是否不再回来。
- 分别为各阶段计时,即从记录到记录的原因,以及从原因到修复在生产环境中运行。
- 在关闭时把事件与问题相联,商定症状如何匹配,并抽查链接。
- 变通办法是一个带负责人和评审日期的阶段,仅有变通办法的占比显示承担了多少风险。
- 把永久修复放入所属团队的待办事项列表,并在记录的计数之前先报告成果测量值。
- 描述服务、群组和决定。绝不按已关闭的问题给分析师或团队排名。
参考文献与延伸阅读
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Ohno, T., Toyota Production System: Beyond Large-Scale Production, Productivity Press, 1988.
- Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
- AXELOS (now PeopleCert), ITIL Foundation: ITIL 4 Edition, TSO, 2019.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
- Wikipedia, ITIL.
- Wikipedia, Known error database.
- Wikipedia, Workaround.
- Wikipedia, Root cause analysis.
- Wikipedia, Five whys.
- Wikipedia, Ishikawa diagram.
- Wikipedia, Pareto chart.
- Wikipedia, Backlog.
- Wikipedia, Technical debt.