运维工作与计划外工作
构建并运营一项服务的团队只有一池容量,所以要让计划变更与运维工作之间的划分可见,用关于打断和加急的明确规则来保护它,并把计划外工作的占比读作关于系统的信号,而不是对人的裁决。
概述与动因
每个构建并运营服务的团队,都把时间花在两大类工作上。变更工作(change work)推动服务前进:新功能、计划中的改进、迁移,以及消除已知的弱点。运行工作(run work),也称运维工作,让服务持续运转:应对事件和请求、响应告警、应用例行补丁、恢复访问,以及处理服务仍然要求的手工任务。两者都是正当的,有用户的服务两者都需要。麻烦始于没有人能说出团队在每一类上做了多少,因为计划随后悄悄地假定了运行工作已经消耗掉的容量。
工作也可以按是否被预见来分类。计划内的工作(planned work)是在期间开始之前选定的,例如在计划性工作或季度承诺期间。计划外的工作(unplanned work)在期间内到来,并要求未列入预算的注意力:一起生产事件、来自资深干系人的紧急请求、一项安全修复,或阻碍某位客户的缺陷。这两条轴有所重叠,但并不相同。大多数运行工作即使数量可预测,其时间上也是计划外的,而有些运行工作,比如按计划的证书续期,则完全是计划内的。变更工作也可能是计划外的,比如法规变化而团队必须在数周内作出响应。
敏捷和 ITIL 的视角用不同的话描述同一种压力。在限定时间的规划中,承诺是对容量的预测,期间中途到来的工作要么挤掉别的东西,要么被推迟。在流动看板上,在制品有明确的限制,往往还有给紧急项的专用通道,问题是系统在流动崩溃之前能吸收多少紧急项(见主题 2.1,流动度量)。在 ITIL 4(2019 年发布的版本)中,事件管理、服务请求管理和问题管理描述运行工作如何被接收、排优先级和解决,而变更赋能以及软件开发与管理实践则治理计划变更。这些实践描述工作流。它们很少说单个团队应当如何在两者之间分配自己的时间,而这个空白正是本主题发挥作用之处。
这里有几个反复出现的术语。打断(interrupt)是任何在规划周期之外到来、把人从其正在处理的项上拉开的需求。打断负荷(interrupt load)是这些需求在一个期间内对团队的总体影响,以计数、以小时或以它们消耗的容量占比来度量。加急(expedite)是被允许插队的工作项,通常因为它的延迟成本(cost of delay)高且迫在眉睫。加急通道(expedite lane)是一条规则,往往是看板上的专用一行,限制同时可以有多少加急项在进行。容量分配(capacity allocation)是把团队的容量明确地划分给各类工作,例如为计划变更、运行工作和改进规定各自的占比。
计划外工作是计划交付最大的隐性税:每次打断既耗费其自身的时间,又耗费因任务切换(task switching)而损失的恢复时间,关于被打断的工作的研究(Mark、Gudith 和 Klocke,2008)发现,人们通过更快地工作来补偿,代价是更大的压力。关于方向的说明。计划外工作占比高本身并不是缺陷。一项刚上线的服务、一次持续的中断或一起受监管的事件,可以正当地在一段时间内消耗团队的大部分容量。目的既不是把计划外工作压到零,也不是隐藏它,而是看到它、给它定价,并有意识地决定团队将吸收多少、组织必须在上游修复多少。因同一原因反复出现的计划外工作,是最值得发现的那种,因为它指向一条问题记录、一个监控缺口,或一个技术债(technical debt)项,移除它比继续为之付费更便宜。
关键原则
- 容量有限且共享。 给予运行工作或加急的每一小时,都是没有给予计划变更的一小时,所以要让划分明确可见,而不是让它由谁喊得最响来决定。
- 在工作到来时分类,而不是事后。 在每个项进入系统的那一刻,把它标记为计划内或计划外、变更或运行,因为期末的重新分类是回忆而不是观察。
- 打断的代价超出其持续时间。 既要计入切换的恢复成本,也要计入花掉的分钟数,并宁取将打断分批或路由给一位指名的人的设计。
- 按规则加急,而不是按职级。 带限制和准入检验的加急通道保护流动;由资历决定的无限加急则消除流动。
- 有意预留容量。 计划的缓冲比假定没有缓冲的计划更诚实。
- 把反复出现的计划外工作视为系统中的缺陷。 每周重复出现的东西是问题记录或自动化的候选。
- 度量团队和服务,绝不度量个人。 回应最多打断的人通常是知道得最多的人;给他们排名惩罚的是错误的对象(见主题 1.2,古德哈特定律与度量的心理学)。
度量定义
七项度量描述容量如何被划分和被扰乱。每一项都需要一条书面的分类规则,因为它们无一不取决于项如何被标记。每个公式中的期间,是该团队同一个固定窗口,比如一周、一个月或一个季度。
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| 计划外工作比率 | 已完成的工作项中,按计数,在期初不在计划内的占比 | 期内完成的、在期间开始之后才进入看板或待办事项列表的项 / 期内完成的所有项;时钟从规划活动开始,到期末停止;已取消的项和仍未关闭的项被排除 | 百分比 | 带项创建时间和规划快照的问题跟踪器 | 事件管理;服务请求管理 | 范围变更;工作项类型 | 每月 |
| 容量分配遵从度 | 实际投入与所陈述的变更工作、运行工作和改进工作之间划分的吻合程度 | 对每个类别,实际占比与约定占比之差的绝对值,求和后取一半;实际占比是该类别中已完成的项(或团队记录了的话,已记录的工作量)/ 所有已完成的项;没有类别的项单独报告,不丢弃 | 百分点 | 问题跟踪器的工作类型字段,以及存在的工时记录 | 持续改进;容量与性能管理 | 容量分配或容量规划 | 每月 |
| 打断率 | 计划之外的需求多常到达团队,并到达做计划工作的人 | 期内团队收到的打断 / 期内工作日,其中打断是登记到团队受理渠道且尚不在计划上的任何工单、呼叫、消息请求或请求;同一底层需求的重复只计一次 | 每个工作日的打断数 | 受理渠道日志、ITSM 队列、告警系统和团队打断日志 | 事件管理;服务请求管理;监控与事态管理 | 打断日志或团队工作协议 | 每周 |
| 加急率 | 使用了加急通道的已完成项占比 | 期内进入加急通道的已完成项 / 期内所有已完成的项;时钟从该项被标记为加急时开始,到完成时停止;在工作开始前被降出该通道的项单独计数 | 百分比 | 看板通道历史或优先级字段历史 | 事件管理;变更赋能(紧急变更) | 加急服务类别 | 每月 |
| 计划工作的被挤占 | 为给计划外工作腾出空间而被推迟或放弃的计划项数 | 期内被从该期间移除、推迟,或未完成并附有“被计划外工作挤占”这一记录原因的计划项(计数);因目标变化而被移除的项被排除 | 项数 | 带原因字段的看板变更历史 | 变更赋能;持续改进 | 交付目标保护;范围协商 | 每月 |
| 重复性计划外工作占比 | 计划外项中,其原因与回溯窗口内较早的一个计划外项相符的占比 | 期内完成的、与回溯窗口(例如 90 天)内较早的某项关联到同一问题记录、告警规则或原因标签的计划外项 / 期内完成的所有计划外项;没有原因标签的项作为单独的未分类计数报告 | 百分比 | ITSM 事件和问题记录、跟踪器的原因标签 | 问题管理;已知错误管理 | 回顾会议行动项;反复缺陷标签 | 每月 |
| 计划承诺可靠度 | 团队为该期间所计划的项中,在该期间内完成的占比 | 期内完成的计划项 / 期初的计划项;期初之后添加的项从两项计数中排除 | 百分比 | 规划快照和跟踪器完成历史 | 服务级别管理;变更赋能 | 预测可靠度 | 每月 |
本主题中的时间测量值,比如一个加急项的年龄,应当以百分位数(例如中位数和第 85 百分位数)而不是平均值来展示,因为一起很长的事件会扭曲均值(见主题 1.6,服务度量的统计素养)。
建议
让划分可见
1. 在受理时给每个项打两个标签。 在跟踪器或 ITSM 工具的受理表单中添加工作类型(变更、运行、改进)和计划标志(计划内、计划外),并将两者设为必填。在创建时设置,标签成本很低;事后重建,则不可靠。用一句话在团队工作协议中写下每个值的定义,并在标签不再描述工作时评审它(见主题 1.5,数据来源与埋点)。
2. 冻结一份规划快照。 “计划外”只有相对于一份计划才有意义,所以在期初捕获项的清单并存储。把已完成的工作与快照比较,而不是与期末看板的样子比较。
有意识地分配容量
3. 商定容量分配,并将其视为假设。 与产品负责人或服务负责人一起,作为团队决定大致多少占比用于计划变更、运行工作和改进。从数据显示团队过去若干期间实际所做的事情出发,然后选择朝你想要的方向移动的目标。在每个规划周期重新审视这一划分;从另一个团队的幻灯片抄来的固定百分比是猜测,不是决定。
4. 依据自己的历史确定缓冲的大小。 利用团队自己的打断记录来确定计划外工作缓冲的大小,例如查看近期各期间每周计划外占比的中间值和上限范围,并只规划剩余的容量。经常不用的缓冲可以缩小;经常耗尽的缓冲需要更大的分配,或消除某个原因。队列中负荷与延迟之间的关系(见利特尔定律(Little's law),以及主题 2.3,在制品与排队)解释了为什么以满负荷利用运行的系统没有吸收意外的余地。
设计打断路径
5. 把打断路由给一个指名的角色。 轮换一个人,常称为打断处理者、值班工程师或盾牌,在一天或一周内接收传入的需求,而其他人保护自己的专注。该角色有书面的范围、交接说明,以及持续时间的限制,使负荷被公平分担。轮值的团队应当将其与值班实践相联(见主题 5.7,繁琐工作与值班度量)。
6. 在门口分诊。 打断的紧急程度差别极大。在受理时应用一条简短的分诊(triage)规则,问三个问题:是否有服务宕机或用户被阻塞,是否有无法移动的日期,需求能否等到下一次规划活动?三项都不符合的项进入待办事项列表,并像其他工作一样被规划。用 ITIL 4 的话说,这是应用于团队自身受理的事件管理和服务请求管理的优先级排序步骤。
治理加急通道
7. 给加急通道一个限制和一道准入检验。 通道一次最多容纳一两个项,只有当其延迟成本既高又迫在眉睫、并且请求者能够说明时,项才能进入。陈述的检验让团队能够对仅仅是声音大的请求说不。如果通道总是满的,它就不再是例外,团队应当评审准入检验和上游原因。该通道是一种有自己规则的服务类别(class of service);底层理念见看板文献(Anderson,2010)。
消除源头
8. 把计划外项与原因相联,并评审重复项。 为每个计划外项添加原因标签或指向问题记录的链接。每月列出反复出现的原因,并把最主要的几个送往问题管理、作为技术债项送入待办事项列表,或送去改进监控(见主题 4.1,问题管理度量,以及主题 4.6,技术债与已知错误)。重复性计划外工作占比告诉你这些修复是否见效。这一模式类似于 Google SRE 书中所述的消除繁琐工作(toil),其中重复性的手工运维工作被视为应当通过工程手段消除的东西;该书建议把它保持在工程师时间的某个占比以下(Beyer 等,2016),每个团队应当用自己的数据检验这一准则,而不是把它当作目标采纳。
钻空子途径与护栏
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| 计划外工作比率 | 向规划快照中延后添加项,使它们算作计划内;让紧急工作不被跟踪,使其永不计入;把计划项标为计划外,以便为未完成的计划开脱 | 带时间戳的冻结规划快照;未分类计数;每季度阅读一批已关闭项的样本,将标签与实际发生的事情比较 |
| 容量分配遵从度 | 在类别之间移动项以符合约定的划分;把一个项拆成几个以转移占比;选择团队本来就能达到的划分 | 写入工作协议的固定类别定义;将项的描述与其类别作抽样比较;计划承诺可靠度 |
| 打断率 | 把打断变成从不进入日志的默默帮忙;把几项需求合并成一个条目;劝阻人们提出请求 | 将日志与受理渠道流量和告警历史比较;在回顾会议中问团队日志是否与他们的体验相符 |
| 加急率 | 把紧急工作挡在通道之外以显得有纪律,或把一切都放进去以求速度;把加急重新定义为“重要” | 带准入检验的通道限制;评审时符合检验的加急项占比;计划工作的被挤占 |
| 计划工作的被挤占 | 把被挤占记录为有意的范围变更;让计划项在无理由的情况下悄悄失败;避开可能被挤占的计划项 | 每个被移除或未完成的项都必填原因字段;计划承诺可靠度;在回顾会议中评审原因 |
| 重复性计划外工作占比 | 使用粗糙的原因标签使重复被隐藏,或使用细致的标签使没有任何东西重复;关闭问题记录以移除链接 | 每季度评审原因标签分类法;未分类计数;问题记录关闭后的再发检查 |
| 计划承诺可靠度 | 计划得很小以便全部完成;虚增估算;把部分完成的项算作完成;在期间开始之前放弃困难的项 | 随时间比较所计划项的规模和价值;对交付目标的成果检查;计划外工作比率,使得计划保守时,高值不被读作健康 |
健康的读数是:团队能解释的计划外工作比率、很少满员的加急通道,以及修复之后下降的重复占比。过于完美的读数才是需要调查的东西。报告零计划外工作的团队,要么服务非常安静,要么未被跟踪,辨别的办法是将日志与告警和工单历史比较。
权衡:利与弊
| 方法 | 优势 | 劣势 |
|---|---|---|
| 固定的容量分配(陈述的百分比) | 易于解释;保护改进工作不被饿死 | 忽略真实的变动;可能通过重新标注被钻空子 |
| 依据历史确定大小的预留缓冲 | 使计划与真实的打断负荷相符 | 需要若干期间的可靠数据;可能掩盖慢性原因 |
| 轮换的打断处理者 | 保护大部分团队的专注;公平分担负荷 | 处理者自己的计划工作停滞;该角色需要交接和支持 |
| 严格的加急限制 | 保持流动可预测;迫使陈述延迟成本 | 请求者可能绕过它;真正的紧急情况可能感觉被阻挡 |
| 数项数而不是工作量 | 简单且难以膨胀 | 把大小截然不同的项同等对待 |
对大多数团队而言,务实的立场是:先数项数,仅在项数会误导之处才加入工作量,保护一个小缓冲和一条小加急通道,并用原因标签攻克最大的重复项。
与团队讨论的问题
1. 上个期间我们完成的工作中,有多大占比是计划外的?我们怎么知道? 把规划快照放在已完成项的清单旁边,数出不在计划内的项。将结果与每个人对该期间的感觉比较;两者往往不同。引导者应当问有多少项从未被登记,因为诚实的答案塑造了其他每一个数字。
2. 哪三个打断来源让我们付出的代价最大?谁能消除它们? 按计数和所吸收的工作量列出来源,比如告警、重复的请求、升级以及来自干系人的临时请求。把每个标记为可移除、可路由或不可避免。凡团队自己无法修复的来源,引导者应当推动指定团队之外的一位负责人。
3. 我们实际上想要变更、运行和改进工作之间怎样的划分? 比较数据显示的划分、人们相信自己拥有的划分,以及领导层期望的划分。讨论在压力下团队会首先放弃哪类工作,因为这揭示了真实的优先级。为下一个期间选定一个目标,以及检查它的办法。
4. 我们加急通道的规则是什么?谁来决定? 大声读出当前的规则,或指出没有规则。索要最近三次加急,并对照陈述的延迟成本检验每一次。讨论当一位资深人士要求一次插队却通不过检验时,团队怎么做,以及谁来支持这一决定。
5. 当我们被打断时,打断结束之后它让我们付出什么代价? 请人们描述在一次典型的打断之后,要多久才能回到任务中原来的位置。
6. 哪个计划外项不止一次回来?什么能阻止它? 取上个季度的计划外项,按原因寻找重复。挑出总工作量最高的那个,追查它为何再发:缺失的告警、未修复的缺陷、手工步骤,还是供应商问题。决定它是送往问题记录、待办事项列表,还是供应商交流。
四种视角
产品与交付团队
交付团队把计划外工作感受为被打破的计划和不断滑动的预测。他们受益于在受理时打标签、冻结的规划快照,以及依据历史缓冲构建的预测(见主题 2.5,交付预测与规划度量)。被挤占的记录向产品负责人显示每个迟来的请求让团队付出了什么。
服务与运维团队
运维团队承担了大部分运行工作。他们需要一位指名的打断处理者、一条分诊规则,以及一条从反复出现的请求和告警通往修复的路径(见主题 5.5,监控与告警质量度量)。重复占比是他们为问题管理投资所能提出的最有力的论据。
领导层与治理
领导者通过他们提出的请求和接受的截止日期来设定真实的分配。他们应当索要比率及其原因,为消除重复打断的改进工作出资,并避免把加急作为完成事情的常规方式。
客户与用户
客户把计划外工作看作中断、缓慢的答复和延迟的功能。当团队有空间修复原因时,他们受益,他们也需要一条提出紧急程度的公平路径。服务级别协议(见服务级别协议(service-level agreement))应当反映团队所承载的打断负荷(见主题 5.1,SLA、OLA 与 XLA 度量)。
实践:一个服务管理示例
一家地区健康保险公司的 IT 部门运营着一个理赔平台,有一个七人的产品团队和一个共享的服务台。团队既构建新功能,也在生产环境中支持该平台。本示例中的所有数字均为示意。
六周来,团队的计划承诺可靠度从约 85% 降到 55%,产品负责人开始质疑团队的估算。团队负责人调出跟踪器历史。利用冻结的规划快照,最近一个期间按计数的计划外工作比率为 41%,而团队的回忆是“也许五分之一”。未分类计数为 9%,所以该比率相当可信。
按原因拆分计划外项显示,24 项中有 14 项是运行工作,其中 9 项可追溯到同一个理赔提交的批处理作业,它在合作伙伴更改数据格式之后失败,每次都靠手工重启。重复性计划外工作占比为 58%。打断率为每个工作日 6 次,其中 4 次到达了正在做计划工作的工程师,因为服务台直接升级给最先回应的人。加急通道大多数日子里同时容纳两个项,加急率为 23%。计划工作的被挤占在该期间为 7 项,其中 5 项的原因是“被计划外工作挤占”。
团队与产品负责人和服务负责人作出四项决定。第一,每次由一位工程师担任打断处理者,带有书面范围和交接说明,升级只送往此人。第二,加急通道限制为一个项,带有要求陈述延迟成本的准入检验,每次加急都记录它所挤占的项。第三,批处理作业的故障作为问题记录提出,修复和与合作伙伴的交涉作为改进工作放入待办事项列表,使用 15% 的容量,这是团队选择作为其对改进的首次分配的占比。第四,团队用依据近期计划外占比上限范围确定大小的缓冲来规划下一个期间的工作,而不是满负荷。
六周后,计划外工作比率为 27%,重复占比为 22%,到达计划内工作人员的打断率为每天 1.5 次,计划承诺可靠度约为 78%(均为示意)。团队没有回到此前的 85%,并如实说出。
团队发现的钻空子风险:在新安排下的第二个期间,打断率急剧下降,团队负责人注意到人们直接给处理者发消息,使帮忙从未进入日志。把日志与受理渠道和告警历史作比较,显示真实的数量并没有变化。团队商定,处理者把直接消息重定向到受理渠道。过错在于路径的设计,而不在于任何人。
敏捷、AI、自动化与分析
敏捷
构建并运营服务的团队只有一池容量,可持续的节奏需要对打断设定诚实的限制。一个切实的步骤是与干系人商定容量划分,并在定期的改进交流中评审计划外占比。需要注意的是,针对计划外占比的目标,可能促使团队把运维工作标为计划内。
AI
AI 可以使工作在计划内与计划外之间转移,例如在自动化常规修复的同时增加评审和监督任务。在 AI 变更前后跟踪计划外占比和重复性计划外工作占比,并把修正 AI 输出所花的时间作为单独的类别。需要注意的是,隐藏的修正工作可能吞噬 AI 本应释放的容量。
自动化
用一小组商定的类别,自动地从跟踪器捕获工作的类型。按自动化消除了多少计划外工作,以及它造成了多少新事件来度量它。需要注意的是,不记录原因就重启服务的自动修复,会使重复性计划外工作看起来像新的工作。
分析
展示计划外工作占比随时间的变化,以及重复项的原因。这为之提供依据的决定是预留多少容量,以及消除哪些打断来源。需要注意的是,类别是由人选择的,所以要抽查一批项的分类是否诚实。
行业视角
初创公司。 几乎所有工作都感觉紧急,同样的几个人既做变更工作也做运行工作。把分类保持在两个标签,并为加急设定明确的限制。计划外比率是说“我们可以做路线图,或承担支持负荷,但不能两者兼顾”的证据。
小型企业。 一位管理员或一个小团队往往处理每一项请求。把工具的工单类型用作分类,记录一个月的打断以了解模式,并为计划工作预留每天固定的时段。向供应商索要其业务量和重复原因的报告。
大型企业。 一个团队的计划外工作,往往是另一个团队的计划内工作。商定共享的定义,按团队和服务报告,并在原因所在的层面为修复出资(见主题 9.3,协作与交接度量)。
政府与公共部门。 容量可能由人员编制上限固定,运行工作可能由法规或审计发现设定。把这些纳入分配,记录分类规则,并保留审计线索(见主题 8.5,受监管与政府报告)。
业务论证:动因、投资回报与总拥有成本
动因是可预测的交付:无视打断负荷的计划会反复落空,而可见的计划外工作,在团队要求时间消除原因时,给了它更强的发言权。
当标签和规划快照成为正常工作流的一部分时,收集这些测量值的成本不高。主要成本是商定定义的时间、在受理时打标签的规范、连接跟踪器和 ITSM 数据所需的少量工具(见主题 1.5,数据来源与埋点),以及打断处理者的工时,其自身的计划工作会变慢。增加小时级的工时记录成本要高得多,而且常常令人反感,所以只在项数被证明会误导时才添加。总拥有成本以人的时间为主,所以要计入它。
回报体现在团队可以自己度量的模式中,而不是假定的数字。寻找问题修复之后下降的重复性计划外工作占比、上升的计划承诺可靠度、更少被挤占的计划项,以及更少到达计划工作人员的打断。凡工时已知之处,因移除了一个反复出现的原因而回收的工作量,可以按团队自己每小时的成本定价,并与修复的工作量相比较(见主题 7.5,服务成本与单位经济,以及主题 7.7,投资回报与业务论证)。不要借用行业关于计划外工作的百分比;其他组织的任何数字都无法替代你自己的历史。
反模式与陷阱
- 把所有计划外工作都视为失败。 其中一部分是服务在履行职责,而为零的目标会把工作推出日志。改为问哪一部分是预期的、哪一部分是可避免的,并为前者设一个缓冲。
- 英雄文化。 拯救每次紧急情况的人,变得不可或缺、疲惫,并成为单点故障。改为通过轮换分担打断的角色,并奖励消除原因的人。
- 一切都是加急。 总是满员的通道只是第二个队列。改为设定限制,要求陈述延迟成本,并每月评审准入检验。
- 按满负荷利用来规划。 没有冗余的计划保证每一个意外都会挤掉某些东西。改为依据自己的打断历史确定缓冲的大小,并规划剩余的容量。
- 事后分类。 期末添加的标签反映的是记忆和情绪。改为要求受理时就有标签,并冻结规划快照。
- 默默吸收需求。 从不进入日志的帮忙使负荷不可见,也使计划出错。改为让一条受理路径成为规则,并把旁路的请求重定向到它。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 分类与可见性 | 工作未打标签;计划外工作是感觉到的,而不是被计数的 | 一些团队用自己的话标记计划内和计划外工作 | 一份关于工作类型和计划标志的书面定义,在受理时随规划快照一起应用 | 计划外比率和未分类计数做成趋势,并在每个期间评审 | 定义在团队和供应商之间共享,并在不再为决定提供依据时修订 |
| 容量分配 | 假定容量完全可用于计划工作 | 一些团队应用粗略的缓冲 | 变更、运行和改进之间的商定划分,附依据历史确定大小的缓冲 | 评审遵从度,并与产品和服务负责人一起调整划分 | 在共享平台、服务和人员的团队之间协商分配 |
| 打断与加急处理 | 谁都可以打断谁;紧急程度由职级决定 | 一些团队有值班人员或紧急一行的习惯 | 一个指名的打断角色、一条分诊规则,以及带限制和准入检验的加急通道 | 对照护栏评审加急率、被挤占和打断率 | 打断路由和加急规则在团队之间协调,附共享的值班和升级路径 |
| 消除原因 | 同样的问题反复出现,靠英雄式的努力修复 | 一些重复被注意到,并在回顾会议中讨论 | 计划外项带有原因标签,最主要的重复项送往问题管理 | 跟踪重复占比,修复作为计划内的改进工作获得资助 | 原因跨团队、供应商和客户被追查,改进成为常规 |
检查清单
- 每个工作项都带有在受理时设置的工作类型(变更、运行、改进)和计划标志。
- 计划内、计划外、变更和运行的定义写在团队工作协议中。
- 每个期间开始时冻结并存储一份规划快照。
- 计划外工作比率作为趋势,与未分类计数一起报告。
- 团队及其负责人已商定容量分配,并在上个季度评审过。
- 存在一条受理路径,旁路的请求被重定向到它。
- 一个带书面范围的打断角色在团队中轮换。
- 加急通道有限制、准入检验,以及每次加急所挤占内容的记录。
- 计划外项带有原因标签或问题记录链接,每月评审重复项。
- 测量值在团队和服务层面报告,绝不用来给个人排名。
AI 提示词
为受理设计工作分类。
我们的团队是 [团队描述,例如一个由六人组成、构建并支持一项内部服务的平台团队]。我们使用 [跟踪器或 ITSM 工具]。我们想在受理时把每个项标记为变更、运行或改进,以及计划内或计划外。请为每个值起草清晰的一句话定义、人们会争论的三个边界案例并为每个建议一项裁决,以及一份简短的受理表单。不要虚构我们工具的功能或基准值。请列出你的假设,以及我应当回答哪些问题以完善这些定义。
分析打断日志中的模式。
这是我们在 [期间] 内打断的摘要:[粘贴按来源、日期和类型匿名的计数,不含个人姓名]。请把它们分成可移除、可路由给一个人、可分批或可接受的来源。对每一组,建议一项实验和一项衡量其是否奏效的测量值。不要虚构基准值,也不要拿我们与其他组织比较。请列出你的假设,以及为了更有把握你需要的数据。
起草加急通道政策。
我们运营 [流动看板、限定时间的规划、持续流动或混合],团队规模为 [团队规模],服务级别为 [服务级别,如有]。请起草一页纸的加急政策,包括基于陈述的延迟成本的准入检验、通道中项数的限制、被挤占项的处理规则,以及每月评审的问题清单。保持语言中立,避免点名个人。不要虚构阈值;标出我必须选择的那些。请列出你的假设。
AI 技能
- Service Management Metrics skill:用于查找哪个主题拥有相关度量,比如事件数量或繁琐工作,以及应当放在它旁边的护栏。
- Service Management Metrics maintainer skill:用于检查本主题的编辑版本是否使其时钟、分类规则和钻空子表保持同步。
要点
- 计划内与计划外工作,以及变更与运行工作,共用一池容量,所以让划分可见并有意识地商定它。
- 在受理时给工作打标签并冻结一份规划快照,因为“计划外”只有相对于一份有记录的计划才有意义。
- 打断既耗费恢复时间,也耗费分钟数,所以把它们路由给一个指名的角色,并在门口分诊。
- 加急通道需要一个限制、一道准入检验,以及每次加急所挤占内容的记录。
- 重复性计划外工作是问题管理和改进工作最强的信号,重复的占比显示修复是否见效。
- 在团队和服务层面报告,把团队与它自己的历史比较,绝不给个人排名。
参考文献与延伸阅读
- Reinertsen, D. G., The Principles of Product Development Flow: Second Generation Lean Product Development, Celeritas Publishing, 2009.
- Anderson, D. J., Kanban: Successful Evolutionary Change for Your Technology Business, Blue Hole Press, 2010.
- Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Rau, V., "Eliminating Toil," chapter 5 in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/eliminating-toil/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Kim, G., Behr, K., and Spafford, G., The Phoenix Project: A Novel about IT, DevOps, and Helping Your Business Win, IT Revolution Press, 2013.
- DeMarco, T., Slack: Getting Past Burnout, Busywork, and the Myth of Total Efficiency, Broadway Books, 2001.
- Mark, G., Gudith, D., and Klocke, U., "The cost of interrupted work: more speed and stress," in Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI 2008), ACM, 2008.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Kanban (development).
- Wikipedia, Cost of delay.
- Wikipedia, Task switching (psychology).
- Wikipedia, Technical debt.
- Wikipedia, Little's law.
- Wikipedia, Triage.
- Wikipedia, Class of service.
- Wikipedia, Service-level agreement.