本附录列出内容主题中定义的每一项测量值,按部分和主题分组。每个条目都带有来自所在主题的定义、公式、单位、数据来源、相关的 ITIL 实践、敏捷对应物和节奏,以及钻空子途径和配对的护栏。它由各主题的“度量定义”和“钻空子途径与护栏”两节生成,所以所在主题是权威:当此处的条目与其主题不同时,以主题为准,并且本附录会被重新生成。

如何使用本参考

  • 采用之前先查阅。 在把某项测量值加入仪表盘之前,阅读它的条目,包括钻空子途径和护栏,并连同它一起采用护栏(见主题 1.3,结果重于产出:选择度量什么)。
  • 度量团队、服务和系统。 没有哪个条目是为给个人排名而设的(见主题 1.2,古德哈特定律与度量的心理学)。
  • 判断请以所在主题为准。 这里的公式很简短。术语的定义、抽样的注意事项和实践示例都在所在主题中。
  • 记录你自己的变体。 如果你的组织更改了某项定义,请在你的度量目录中记录变更及其理由(见主题 1.4,度量治理与归属)。度量卡会有帮助(见主题 12.4,模板)。
  • 示意性的数字有标注。 本附录不含基准值。任何数字都来自你自己的基线。

第 1 部分:度量基础

1.1 为什么要度量服务管理

所在主题:(见主题 1.1,为什么要度量服务管理)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
与决定相联的度量占比 已报告的度量中,有书面问题和所支持的有名有姓的决定的占比 有记录的问题和决定的度量 / 季度末仪表盘上报告的度量 百分比 度量登记册(见主题 1.4,度量治理与归属) 度量与报告;持续改进 回顾会议行动;工作协议 每季度 事后为每项度量写一个看似合理的问题和决定,以抬高百分比 抽查决定日志:问因为这项度量改变了什么,并核对条目写入的日期与该度量首次出现的日期
基线覆盖率 范围内的服务和团队中,对每项约定的核心测量值都有记录的起始值的占比 过去 12 个月内记录了基线的服务与测量值配对 / 所有范围内的服务与测量值配对;目录之外的服务被排除 百分比 服务目录和度量登记册 服务级别管理;度量与报告 干系人评审;团队仪表盘 每季度 记录一次基线后从不刷新,或选择一个方便的平静时期 要求每个基线附有明确的日期范围和样本量;在服务发生重大变化后评审基线
度量投入 手工收集、清理和报告度量所花费的员工时间 当月记录在手工收集和报告上的工时,不包括用于根据发现采取行动的时间 每团队每月工时 工时记录或简短的团队调查 度量与报告 回顾会议时间预算 每季度 通过不记录工时来做收集工作,把它移出账面,或转移给供应商 与一份关于人们说报告要花多长时间的简短调查相比较;在评审中包括供应商的投入
评审时的数据时龄 小组开会讨论时,最新的数据点有多旧 评审会议时间戳减去仪表盘上最新数据点的时间戳;按度量计算,以中位数和第 85 百分位数报告 天 仪表盘刷新日志 度量与报告 干系人评审 每次评审 在会议前刚刷新仪表盘,而底层记录依然陈旧 除刷新时间外,还报告源系统中最新记录的时龄
改进跟进完成率 从度量评审中提出的改进行动,在约定期限内完成或经审慎关闭的占比 在提出后 90 天内完成或附理由关闭的行动 / 期内提出的行动,自改进登记册中记录的日期起算 百分比 持续改进登记册或待办事项列表(backlog) 持续改进 回顾会议行动项 每季度 以“不再相关”为由关闭行动以达到百分比,或把行动拆成琐碎的小块 每季度评审关闭行动所给的理由,并跟踪该行动所针对的度量是否有所变化

1.2 古德哈特定律与度量的心理学

所在主题:(见主题 1.2,古德哈特定律与度量的心理学)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
护栏覆盖率 已报告的度量中,有名称明确并被跟踪的护栏的占比 有护栏的度量 / 已报告的度量 百分比 度量登记册(见主题 1.4,度量治理与归属) 度量与报告;持续改进 工作协议回顾会议 每季度 在纸面上命名一道护栏,却从不跟踪它 评审登记册:只有当护栏的最新值出现在同一块仪表盘上时,它才算数
重开率 在规定窗口内被重新打开的已关闭工单或工作项的占比 14 天内被重开的项 / 期内关闭的项 百分比 ITSM 工具或问题跟踪器的状态历史 事件管理;问题管理 完成的定义;逃逸缺陷 每月 关闭工单并新开一张,而不是重新打开;拉长窗口直到重开落在窗口之外 重复与关联工单的比率;跨工单的同一原因的再发
定义变更次数 一个期间内,度量定义或状态工作流的变更次数及其理由 定义变更日志中的条目数 计数 度量登记册变更日志 度量与报告 工作协议 每季度 不记录变更,使计数保持较低;不告诉任何人就更改工作流 每次评审时,将工具中的状态模型与登记册作比较
度量使用率 在期内的某项决定中被引用过的已报告度量的占比 在有记录的决定中被引用的度量 / 已报告的度量 百分比 决定日志或评审记录 持续改进 回顾会议行动 每季度 出于形式,在决定日志中引用每一项度量 问因为这次引用改变了什么;抽查日志
认知差距 同一服务的满意度调查结果与源自工单的服务级别之间的差值 源自调查的比率减去源自跟踪器的比率 百分点 调查工具和 ITSM 工具 服务级别管理 干系人评审反馈 每季度 只调查满意的用户;把调查引向一次良好互动之后的时间 调查回复率和受访者构成;在评审中大声读出开放式评论

1.3 结果重于产出:选择度量什么

所在主题:(见主题 1.3,结果重于产出:选择度量什么)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
成果覆盖率 已报告的度量中,在度量登记册里与针对某位明确的客户或某项服务的书面成果相联的占比 有书面成果联系的度量 / 期内报告的度量。只统计出现在定期报告中的度量;不包括由单个团队保留的工作视图测量值 百分比 度量登记册(见主题 1.4,度量治理与归属) 度量与报告;持续改进 产品目标和交付目标 每季度 为每项度量写一个含糊的成果句子(“改善服务”),使联系在纸面上存在 抽查登记册:句子必须指明某个人或服务以及一项变化;核实是否因该测量值而采取了决定
功能采纳率 发布后规定窗口内,使用新增或变更能力的合格用户占比 发布后 30 天内使用该能力的不同合格用户 / 该期间不同的合格用户。时钟从正式可用时开始;不包括内部测试账户和无法接触该能力的用户 百分比 产品分析、服务目录使用日志 服务设计;发布管理 干系人评审反馈;产品成果度量 发布后 3 个月内每月,之后每季度 把被迫或自动的首次使用算作采纳;缩小合格用户群;把该能力设为默认,使其无需选择就被“使用” 该能力用户的任务完成率或满意度;30 天和 90 天后的使用留存;阅读开放式评论
重复联系率 在先前联系关闭后的规定窗口内,用户就同一服务再次联系的占比 同一用户在已关闭联系后 14 天内就同一服务发起的新联系 / 期内已关闭的联系。时钟从关闭时开始;不包括作为计划内跟进而开立的联系 百分比 ITSM 工具的联系和工单历史 服务台;事件管理 逃逸缺陷;完成的定义 每月 告诉用户通过另一渠道提出新请求;把联系作为无关联系的重复项关闭;拉长关闭时间以避免窗口内再次联系 同一服务按渠道的联系;对关闭备注的抽样评审;用户报告的“问题已解决”比率
领先指标验证率 在评审期内,其变动先于所关联的滞后指标变动的领先指标,占在用领先指标的比例 经确认领先于其滞后指标的领先指标 / 在用的领先指标。由团队在有文档记录的评审中,依据至少四个周期的数据判断;不包括数据不足四个周期的指标 百分比 度量登记册和趋势历史 持续改进 关于实验的回顾会议行动 每年两次 在非正式查看后宣布领先指标有效;选择与成果轻易同步变动的指标 附有绘制数据的书面评审记录;每个周期邀请团队之外的人质疑一项结果
收益评审完成率 获得资助的变更或改进中,在约定延迟后其预期成果已对照其测量值评审的占比 在计划评审日期后 90 天内完成成果评审的变更 / 评审日期落在该期间内的变更。不包括发布前撤回的变更 百分比 变更记录、改进登记册、评审记录 持续改进;变更赋能 干系人评审;产品增量评审 每季度 评审有名无实,或在事后设定预期成果,使其总能达成 将评审中的成果与变更获得资助时所作的陈述作比较;跟踪导致计划改变的评审占比

1.4 度量治理与归属

所在主题:(见主题 1.4,度量治理与归属)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
归属覆盖率 已报告的度量中,有一位有名有姓、现任负责人的占比 其负责人在期末仍担任该角色的已报告度量 / 期末已报告的度量;不包括仅在某个团队私有看板内使用的度量 百分比 度量登记册 度量与报告 工作协议 每季度 指定一位经理或一个邮件列表作为负责人以达到 100%,没有人能解释或更改这项度量 请每位负责人解释该数字最近的一次变动;跟踪超过一周无人回答的问题
定义时效性 已报告的度量中,其定义在约定间隔内被评审过的占比 评审日期在最近 6 个月内的度量 / 已报告的度量;时钟从最近一次记录的评审开始,到期末停止 百分比 度量登记册变更日志 度量与报告;持续改进 回顾会议行动 每季度 不读定义就更新评审日期 每季度抽查三个条目,将书面定义与工具的实际配置作比较
来源一致性 已报告的度量中,恰好由一个指明的来源计算的占比 有一个权威来源且无已知并行计算的度量 / 已报告的度量;并行计算通过抽查仪表盘和报告发现 百分比 登记册加上仪表盘与报告的样本 度量与报告;服务级别管理 度量的完成定义 每季度 宣布某个来源为权威,而电子表格仍在流转并相互不一致 在报告样本中统计同一度量所发现的不同数字的个数;在评审中核对差异
淘汰率 一个期间内被淘汰或合并的度量数,相对于已报告的度量 期内被淘汰或合并的度量 / 期初已报告的度量;移入私有团队视图的度量,算作从已报告集合中淘汰 百分比 度量登记册变更日志 持续改进 回顾会议行动 每季度 淘汰琐碎或无人使用的度量以显得有纪律,或给度量改名使其算作新的 评审淘汰日志,看移除了什么;并排跟踪已报告度量的总数和决定关联率
访问评审时效性 受限度量视图中,其受众名单在间隔内被评审过的占比 最近 6 个月内做过受众评审的受限视图 / 受限视图;向整个组织开放的视图被排除 百分比 访问名单或 BI 工具权限导出 信息安全管理;度量与报告 工作协议 每半年 不读就批准现有的受众名单 将名单与当前的团队成员和角色作比较;报告发现的移除数
决定关联率 已报告的度量中,在登记册里与其所支持的某项决定相联的占比 有记录的决定或问题的度量 / 已报告的度量;只有该决定是在过去 12 个月内做出的,关联才算数 百分比 度量登记册和决定日志 持续改进 干系人评审和改进成果 每季度 写一个含糊的决定,比如“改善服务”,以满足该字段 要求有带日期的决定或问题,并抽查决定日志,看该度量是否真的被查阅过

1.5 数据来源与埋点

所在主题:(见主题 1.5,数据来源与埋点)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
来源覆盖率 范围内的服务和团队中,其事件自动到达度量存储的占比 有自动馈送的服务或团队 / 范围内的服务或团队;“范围内”列于度量登记册 百分比 度量登记册和管道配置 度量与报告;服务配置管理 团队关于工具的工作协议 每季度 一个馈送接上之后就算该服务已覆盖,即使它几乎不传送事件;把困难的服务排除在范围之外 将每个已覆盖服务的事件量与其已知活动作比较;对照服务目录评审范围清单
时间戳完整率 已关闭的工作项中,带有该度量的时钟所需的每个时间戳的占比 带有全部所需状态变更时间戳的已关闭项 / 期内关闭的项;仍未关闭的项被排除 百分比 ITSM 工具或问题跟踪器的历史 事件管理;服务请求管理 看板或工作流历史 每月 为满足校验,用关闭时间填充必填的时间戳 连续状态之间的间隔分布;抽查已关闭项,看时间是否合理
补录率 事后记录的状态变更占比,以事件时间与录入时间之间的间隔度量 在事件时间之后超过 24 小时才录入的状态变更 / 期内的状态变更;时钟从事件开始,到录入停止 百分比 跟踪器的审计线索,或管道事件时间与录入时间对照 变更赋能;事件管理 完成的定义 每月 恰好在阈值之内录入变更;放宽阈值;通过一次批量更新记录所有变更 按小时的录入时间模式;自动化与手工所作变更的占比;对批量编辑的审计
数据新鲜度 仪表盘被查看时,其上最新的数据有多旧 查看时间减去已加载的最新事件时间;报告中位数和第 95 百分位数 小时 管道运行日志和仪表盘加载日志 度量与报告 干系人评审的准备 每周 显示最近一次刷新的时间,而不是最新事件的时间 在仪表盘上显示最新事件时间;当馈送没有传送新事件时告警
对账差异 两个来源对同一计数的不一致 两个计数之间的绝对差 / 记录系统的计数,针对固定的期间和范围 百分比 记录系统和报告层 服务级别管理;财务管理 发布报告检查 每月 选择能对上的期间或范围;调整报告层以匹配来源而不去查明原因 事先固定范围和期间;记录发现的每个原因,并每季度评审这些原因
状态模型漂移 实际使用的不同状态名称或转换的数量,与文档化模型相比 期内观察到的未文档化的状态或转换(计数);已文档化的被排除 计数 跟踪器的工作流配置和事件历史 持续改进 关于工作流的工作协议 每季度 为避免被标记,把现有状态挪作新含义;添加状态而不记录 每次评审时将工作流配置与登记册作比较;阅读处于异常状态的项的样本
调查回复率 受邀者中完成调查的占比 完成的回复 / 已送达的邀请;退回的邀请被排除 百分比 调查工具 服务级别管理;客户体验 干系人评审和改进反馈 每轮调查 只邀请可能回复的人;向满意的用户发送提醒;提供会使答案产生偏差的奖励 将受访者构成与用户总体作比较;按轮次的答案分布;在评审中阅读开放式评论

1.6 服务度量的统计素养

所在主题:(见主题 1.6,服务度量的统计素养)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
解决时间中位数 期内已解决事件的居中解决时间 期内已解决事件的(解决时间戳减去创建时间戳)的第 50 百分位数;时钟从工单创建开始,到解决停止;暂停单独报告,不扣除;已取消和重复的工单被排除 小时或天 ITSM 工具状态历史 事件管理;度量与报告 周期时间中位数 每周或每月 先关闭快的工单,把困难的留着不关;把一张工单拆成几张容易的;在客户等待状态中暂停时钟 高百分位解决时间和最老未关闭项的年龄;处于暂停状态的时间占比;关联工单比率
高百分位解决时间 大多数事件在其内解决的时间,并指明百分位数 与上述相同的经过时间的第 85(或第 95)百分位数;仅当至少解决了 20 项时才计算,否则列出原始项 小时或天 ITSM 工具状态历史 事件管理;服务级别管理 周期时间百分位预测 每周或每月 选择使结果好看的百分位数,或在报告之间更换;把长案例当作“离群值”排除或重新归类 登记册中固定的百分位数;附理由的被排除项清单;最老未关闭项的年龄
最老未关闭项的年龄 仍未关闭的最老项的年龄,加上比高百分位数更老的项数 对未关闭项,现在减去创建时间戳,不扣除暂停;统计服务队列中所有未关闭项,包括等待客户的 天 ITSM 工具或问题跟踪器 事件管理;问题管理 工作项年龄 每周 不解决就关闭或合并最老的项;把它移到另一个队列或类别 重开率;对最老已关闭项的抽样审计;队列转移计数
比率报告覆盖率 已报告的比率中,显示分子、分母和最小计数检查的占比 带计数和样本标记报告的比率 / 已报告的比率;只统计在期内评审材料中发布的比率 百分比 度量登记册(见主题 1.4,度量治理与归属) 度量与报告 工作协议 每季度 在小字里附上计数,而头条仍以百分比为先;把最小计数设得很低以致永不触发 评审实际的仪表盘,而不是登记册;结合区间宽度评审最小计数
控制图信号率 某项测量值的控制图上,按团队书面规则发出特因变异信号的点所占的比例 按规则被标记的点 / 所绘制的点,取最近 20 个或更多的点;规则预先固定并记录 百分比 控制图工具或电子表格 持续改进 对过程的回顾检视 每月 放宽控制限、增加规则或重设基线使信号消失;通过更改测量值来移动点 规则和控制限连同变更历史保存在登记册中;与原始直方图作比较
区间宽度 头条比率上所陈述的不确定性范围的宽度 登记册中指明的方法所得区间的上界减下界,针对该期间的头条比率 百分点 由 ITSM 计数计算 服务级别管理 规划中的预测范围 每月 选择产生窄范围的方法或窗口;合并不相似的服务以扩大样本 登记册中指明方法;按服务的细分可按需提供;比较合并与未合并的结果

1.7 度量框架

所在主题:(见主题 1.7,度量框架)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
目标可追溯性 已报告的度量中,可追溯到书面目标和问题的占比 有记录的目标和问题的度量 / 已报告的度量 百分比 度量登记册(见主题 1.4,度量治理与归属) 度量与报告;持续改进 交付目标;产品目标 每季度 在度量已存在之后才写目标和问题,使记录看起来完整;用含糊的目标为任何度量辩护 每季度抽查五个条目,问这个问题是否本可以导向另一项度量;检查受众和决定已指明
关键成果得分分布 关键成果期末得分的分布,以各分段占比表示 处于各得分段(例如 0.0 至 0.3、0.4 至 0.6、0.7 至 1.0)的关键成果 / 期内评分的关键成果;不包括附记录理由而被放弃的关键成果 每段百分比 OKR 跟踪工具或团队文档 持续改进;服务级别管理 季度规划;评审 每季度 写容易的关键成果,使得分聚集在 1.0 附近;宽松地重新评分;放弃进展不好的关键成果而不记录原因 附理由的被放弃关键成果的计数;将关键成果与上一期间的成果作比较;与领导层评审雄心的中位数
视角覆盖率 四个平衡计分卡视角中,至少有一项带当前值的测量值的占比 上一期间报告了测量值的视角 / 四 百分比 记分卡或仪表盘 度量与报告;服务价值系统治理 干系人评审(客户和学习视图) 每季度 给某个视角添加一项象征性的测量值使其算作已覆盖;选择无法变动的测量值 检查每个视角的测量值在过去一年中是否改变过数值,并附有书面的决定
指标评审时龄 自每项 KPI 的定义和目标上次被评审以来的时间 评审日期减去上次评审的日期;时钟从最近一次记录的评审开始,到报告日期停止;报告中位数和最老的 天 度量登记册变更日志 持续改进;度量与报告 回顾会议行动 每季度 记录一次评审而不阅读该指标;只更改日期 要求每次评审都有书面结果(保留、更改、淘汰),并抽查日志
CSF 到 KPI 覆盖率 关键成功因素中,至少有一项当前正在报告的 KPI 的占比 有当前 KPI 的 CSF / 为该服务或实践定义的 CSF 百分比 实践或服务文档;度量登记册 ITIL 实践指南中的 CSF 与 KPI 方法 完成的定义;工作协议 每季度 分配一项与 CSF 无关的 KPI 以达到完全覆盖;选择一项无法揭示失败的 KPI 对每一对问什么读数会显示 CSF 正在失败;寻找从未变红的 KPI

1.8 ITIL 5 度量与价值成果

所在主题:(见主题 1.8,ITIL 5 度量与价值成果)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
资产负责人覆盖率 所列服务、数字化产品、平台和 AI 系统中,有一位有名有姓、在任的负责人的占比 在过去 12 个月内确认有指名负责人的项 / 资产图谱上的项,期末计数 百分比 服务目录、配置记录和资产图谱 服务目录管理;治理 产品负责人和团队章程 每季度 指定一位经理或一个分发列表为所有事物的负责人;把困难的项从图中省略 由负责人本人确认,并通过发现扫描将图与合同和云账户作比较
成果陈述覆盖率 有书面成果和至少一个指明的证据信号的服务和产品的占比 成果陈述在过去 12 个月内经过评审并带有证据信号的服务和产品 / 资产图谱上的服务和产品 百分比 服务目录和评审记录 服务级别管理;持续改进 产品目标和验收标准 每季度 写一个含糊的句子,比如“提高运营效率”;在各服务之间复制同一个成果 与客户一起抽查成果,问他们是否认可;成果证据时龄
成果证据时龄 每项成果最近一次证据评审的时龄 各成果的(期末日期减去最近一次证据评审日期)的中位数和第 85 百分位数 天 评审日志 度量与报告 与干系人的定期评审 每季度 不评审就更新评审日期;只评审容易的成果 抽样阅读评审记录;报告其信号真的变动或持平的成果占比
AI 系统清单覆盖率 已知的 AI 赋能功能和系统中,有负责人、人工评审点和风险登记册条目的占比 三者俱全的 AI 系统 / 最近一次发现扫描所找到的 AI 系统 百分比 AI 清单和风险登记册 风险管理;治理 AI 功能的完成定义 每季度 只统计团队选择申报的系统;把 AI 功能归类为普通软件 独立的发现扫描;与供应商和合同记录作比较
声明核实率 计划和政策中使用的 ITIL 5 陈述中,可追溯到所有者自己出版物的占比 带有注明日期的所有者引用的陈述 / 期内决策文档中使用的 ITIL 5 陈述 百分比 核实日志 知识管理;治理 n/a,这是组织层面的实践,没有直接的敏捷对应物 每季度 把供应商页面当作所有者引用;不阅读来源就把声明记录为已核实 对照来源页面抽查日志条目;仅限所有者来源的规则

第 2 部分:流动与持续交付度量

2.1 流动度量

所在主题:(见主题 2.1,流动度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
在制品(WIP) 已开始但未完成的工作项 在规定时刻(例如每天结束时),开始时间戳已设置而完成时间戳为空的项的计数;尚未开始的待办事项列表项和已完成的项被排除 项 问题跟踪器或 ITSM 工具状态历史 事件管理;服务请求管理;变更赋能 WIP 限制;团队进行中的待办事项列表 每日快照,每周评审 把项保留在待办事项列表或“就绪”列中直到最后一刻,使它们不被算作已开始;关闭并重开项;把工作藏在看板之外 将看板上的项与收到的请求核对;将看板与团队的实际工作作抽样比较;跟踪第一列中项的年龄
吞吐量 每单位时间完成的工作项 完成时间戳落在该期间内的项的计数(例如一个日历周,周一至周日);完成后又重开的项,仅当是新项时才再次计数 项/周 问题跟踪器或 ITSM 工具状态历史 事件管理;服务请求履行 吞吐量;已完成的项 每周 把项拆成微小的片段;在完成之前关闭项;先选容易的项 查看项规模分布和重开率;统计与近期项相联的逃逸缺陷和事件;评审所完成的工作类型的构成
工作项年龄 未完成项已处于进行中的经过时间 对仍在进行中的项,当前时间减去开始时间戳;时钟在阻塞期间继续运行;尚未开始的项被排除 天 问题跟踪器或 ITSM 工具状态历史 事件管理;问题管理 工作项年龄;每日团队碰头 每日,在每次团队碰头时评审 把陈旧的项移到“完成”或新状态以重置时钟;悄悄取消旧项;为旧项创建一个新副本 审计向后的状态移动和被取消的项;报告被取消的项及其年龄;检查接近年龄上限时创建的重复项
周期时间 已完成项从开始到完成的经过时间 完成时间戳减去开始时间戳,以日历天计,起止均计入;时钟从首次移入已开始状态时开始,到移入已完成状态时停止;报告中位数以及第 85 和第 95 百分位数 天 问题跟踪器或 ITSM 工具状态历史 事件管理;服务请求履行;变更赋能 周期时间;项的持续时间 每周,采用 8 至 12 周的滚动窗口 通过在工作快完成时才把项移到“进行中”来推迟起算;通过在评审或发布之前就把项标为完成来提早结束 将开始时间与首次提交或首次活动作比较;报告“完成”与发布之间的时间;抽查已完成的项是否真正完成
SLE 达成率 已完成项中满足团队服务级别预期的占比 周期时间不超过 SLE 的已完成项 / 窗口内完成的所有项;仍未关闭的项被排除 百分比 由周期时间推导 服务级别管理 服务级别预期 每月 设定宽松的 SLE;把困难的项作为“特殊”排除;为保持在限制之下而关闭项 让 SLE 保持在过往数据的某个百分位数上,并每季度评审;报告被排除的项及理由;读取第 95 百分位数和最老的未关闭项
阻塞时间占比 项在进行中的天数里,被标记为阻塞的占比 处于阻塞状态的项日 / 进行中的项日,针对窗口;两者的时钟都从开始时间戳起算 百分比 问题跟踪器标志或 ITSM 工具中的阻塞状态 事件管理;问题管理;供应商管理 阻碍;在每日团队碰头中提出的障碍 每周 从不标记阻塞,使占比看起来低;把一切都标为阻塞以解释延迟 将阻塞占比与进行中项的年龄作比较;按类别评审阻塞原因;抽查被阻塞的项以核实每个原因

2.2 前置时间、周期时间与流动效率

所在主题:(见主题 2.2,前置时间、周期时间与流动效率)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
前置时间 从请求到达,到交付给请求者所经过的时间 每个工作项的交付时间戳减去请求到达时间戳;时钟从请求被记录时开始,到请求者可以使用结果时停止;仍未关闭的项和交付前被取消的项被排除并单独统计 天或小时 ITSM 工具或问题跟踪器历史 服务请求管理;事件管理;变更赋能 团队看板上的前置时间;从请求到发布的时间 每周,每月评审 推迟创建请求记录,使时钟开始得晚;关闭并重开项以重启时钟;把一项请求拆成许多微小的请求 抽样将请求记录与电子邮件或聊天中的首次联系作比较;跟踪重开率;跟踪每项请求的项的规模和数量
周期时间 从团队开始工作到完成它所经过的时间 每个工作项的完成时间戳减去开始时间戳;时钟从首次移入活跃工作状态时开始,到首次移入完成状态时停止;开始之前和完成状态之后的时间被排除 天或小时 跟踪器或看板状态历史 事件管理;服务请求管理;变更赋能 周期时间(见主题 2.1,流动度量) 每周 通过仅在最后才把项移到“进行中”来推迟起算;在几乎完成之前把项排除在看板之外;把工作切成自身不交付价值的片段 未关闭项的工作项年龄(见主题 2.1,流动度量);检查已完成的项请求者可用;比较前置时间与周期时间
接触时间 有人或自动化在积极处理该项的时间 项处于被归为活跃工作的状态的各区间之和;等待状态、阻塞状态和队列状态被排除 小时 跟踪器状态历史,每个状态被归为活跃或等待 事件管理;服务请求管理 价值流图中的处理时间 每月抽样 把等待状态归为活跃,或记录活动使自己显得忙碌 每季度与团队一起评审状态归类;抽查项,并将记录的活动与提交、评论和日历作比较
等待时间 项处于队列、阻塞或暂停中的时间 每个工作项的周期时间减去接触时间;没有记录开始的项为 n/a 天或小时 跟踪器状态历史 事件管理;服务级别管理 看板上的等待时间或阻塞时间 每月 创建新状态,使等待时间落入未度量的缝隙;把等待的项移到工作流之外的状态 统计未文档化的状态和转换(见主题 1.5,数据来源与埋点);抽样确认周期时间等于接触时间加等待时间
流动效率 周期时间中花在活跃工作上的占比 接触时间之和 / 周期时间之和,针对期内完成的项;状态历史缺失的项被排除并单独统计 百分比 跟踪器状态历史 持续改进;服务请求管理 精益实践中的流动效率 每月 把等待重新归为活跃;仅选取快的项作为样本;先完成容易的项以抬高比率 带变更日志的固定状态归类;在所有已完成的项上计算;连同第 85 百分位数周期时间和未关闭项的年龄一起报告
时钟暂停占比 周期时间中,正式服务时钟被暂停的占比 暂停时长之和 / 周期时间之和,针对期内完成的项;暂停是书面时钟规则中定义的状态 百分比 ITSM 工具状态历史 服务级别管理;事件管理 阻塞或搁置列中的时间 每月 为达成 SLA 而出于不依赖客户的理由(比如内部交接)暂停正式服务时钟 抽样审计暂停原因;并排报告经过的时间和 SLA 时间;评审客户自己对解决时间的看法(见主题 5.1,SLA、OLA 与 XLA 度量)

2.3 在制品与排队

所在主题:(见主题 2.3,在制品与排队)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
在制品 在商定边界内已开始但未完成的项数 快照时刻处于“在制”状态的项的计数;位于第一个工作状态之前的待办事项列表或“就绪”队列中的项以及已完成的项被排除 项 问题跟踪器或 ITSM 工具状态历史 事件管理;服务请求管理 看板上的 WIP 计数 每日快照,每周评审 把项移到“停放”或“搁置”状态以保持在限制之下;拆分项使其看起来更小;在看板之外开始工作 处于停放状态的项数及其年龄;将看板与实际工作作抽样比较;报告在制品中最老的项
队列长度 等待工作开始或在各阶段之间等待的项数 快照时刻处于等待状态(例如“新建”“等待分诊”“等待评审”)的项的计数;被阻塞的项单独报告,不加入 项 跟踪器或 ITSM 状态历史 事件管理;变更赋能 看板上的就绪列和队列列 每日快照,每周评审 关闭并重开项;在入口拒绝新项;给等待状态改名使其落在计数之外 在队列长度旁边报告重开率和拒绝率;每次度量评审时评审状态定义
排队时间 每个阶段中,项在工作开始前等待所经过的时间 时钟从项进入等待状态时开始,到进入下一个活跃状态时停止;处于标为“阻塞于客户”状态的时间被排除,并作为单独的数字报告;报告中位数和第 85 百分位数 小时或天 跟踪器或 ITSM 工具中的状态转换时间戳 服务台;事件管理;变更赋能 价值流中的等待时间;队列列中的时间 每周 在工作就绪后才创建记录,使时钟开始得晚;通过阻塞或客户等待状态暂停时钟;仅仅打开了某项就把它标为进行中 处于阻塞和暂停状态的时间分布;在开始之后才创建的项的占比;来自简短调查的请求者报告的等待
到达与离开率 每期进入和离开系统的项数,及其差值即净队列增长 到达 = 期内进入边界的项;离开 = 期内完成的项;净增长 = 到达减离开;重开的项仅在团队这样定义时才算作到达 项/周 跟踪器或 ITSM 的创建和解决时间戳 监控与事态管理;事件管理 吞吐量和累积流图 每周 快速关闭项以提高离开数;把一项请求拆成许多以同时提高两个计数;把重复项算作到达 已关闭项上的质量和重开测量值(见主题 3.3,事件响应与解决时间);项的规模分布;客户成果检查
团队负荷比 计划内和预期的工作将消耗的团队容量占比 期内预期的需求小时数(到达数乘以每项的平均工作量)/ 扣除休假和固定承诺之后可用的容量小时数;团队说明其如何估算工作量;绝不报告个人 百分比 容量计划、跟踪器工作量历史、值班表 容量与性能管理;人力与人才管理 计划工作中的团队容量 每月,以及在每次规划活动时 低估工作量以显示有富余容量,或夸大需求以证明增加人手;报告一个有利期间的比值 比较每项的估算与实际工作量;连同趋势和打断占比一起展示比值;对估算方法的同行评审
WIP 限制突破率 某个阶段或系统超过其商定 WIP 限制的天数占比 WIP 高于限制的天数 / 期内工作日;团队记录了带理由的有意例外的日子单独报告 天数百分比 每日 WIP 快照和例外日志 持续改进;事件管理 WIP 限制工作协议 每周 提高限制以终止突破;通过把项移出看板来隐藏突破;随意授予例外 例外的数量和理由;附日期的限制变更历史;在突破率旁边展示周期时间百分位数
利特尔定律一致性比 检查三个流动数字是否相互一致 期内平均 WIP /(每天离开数乘以以天计的平均周期时间),针对同一边界和期间;接近 1 的比值意味着定义一致,远离 1 的比值意味着边界或时钟不一致 比值 与其他流动度量相同的跟踪器数据 度量与报告 回顾会议中的流动测量值合理性检查 每月 调整边界或期间直到比值接近 1;把长寿命的项作为离群值排除 事先固定边界和期间;公布被排除的项及其数量;连同理由评审对边界的更改

2.4 价值流度量

所在主题:(见主题 2.4,价值流度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
价值流前置时间 从客户提出请求到客户能够使用结果所经过的时间 交付确认时间减去请求被登记的时间;已取消或撤回的项被排除;报告中位数以及第 85 和第 95 百分位数 天 ITSM 工具记录,与来自流水线或履行系统的交付事件相连接 服务请求管理;变更赋能 团队看板上的前置时间 每月 推迟起算,例如在分诊而不是请求时;在客户能使用之前关闭项;把一项请求拆成几个小的 写入度量登记册的固定时钟规则;客户对交付的确认;重开项和关联子项的计数
处理时间 项被积极处理的时间,按阶段和价值流计 每个阶段中项处于活跃状态的各区间之和;队列、批准等待和阻塞状态被排除 小时或天 跟踪器状态历史;状态过粗时使用工时记录 事件管理;服务请求管理 “进行中”列中的周期时间 每月 把空闲或阻塞状态记为活跃,使处理时间上升、价值流显得高效;或把等待记为工作以显得忙碌 对一批项样本的观察;将处理时间与存在的工时记录作比较;与团队一起评审状态定义
等待时间 项在积极工作之间停留的时间,按阶段和价值流计 阶段经过的时间减去该阶段的处理时间;包括队列、批准、交接和阻塞时间 天 跟踪器状态历史和 ITSM 工具状态变更 变更赋能;服务台 队列列中的时间;阻塞时间 每月 把等待移入未被跟踪的状态,比如私下交谈、电子表格或停止时钟的“待定”状态 报告暂停和阻塞状态的使用;将工单年龄与阶段时间戳作比较;抽查系统之外的等待
过程效率 前置时间中属于处理时间的占比 各阶段处理时间之和 / 同一批项的价值流前置时间;仍未关闭的项被排除 百分比 由处理时间和前置时间推导 持续改进 流动效率 每季度 对被度量的项加急处理以缩短前置时间,或膨胀处理时间以提高比率 在比率旁边展示前置时间和处理时间;报告加急的占比;绝不为比率本身设定目标
完整且准确百分比(阶段) 某阶段收到的项中,无需更正、补全或退回就可使用的占比 按收到时的样子被接受的项 / 期内收到的项;因任何原因被退回的项算作未被接受 百分比 跟踪器或 ITSM 工具中的退回和重开事件;抽样验收评审 服务请求管理;变更赋能;问题管理 就绪的定义;返工率 每月 接收阶段降低验收门槛使退回减少,或发送阶段通过非正式变通推动工作通过 书面的验收条件;下游缺陷和返工的计数;由第三方评审已被接受的项的样本
滚动完整且准确百分比 干净通过每个阶段的项的占比 针对一条价值流和一个期间的各阶段 %C/A 值的乘积(例如 0.90 x 0.85 x 0.95);价值流之外的阶段被排除 百分比 由各阶段值推导 持续改进 贯穿流水线的逃逸缺陷和返工率 每季度 合并阶段,使退回发生在阶段内部而从交接计数中消失;选择对自己有利的阶段清单 事先固定阶段清单;在决定日志中报告阶段变更;与整条价值流的返工率比较
交接次数 一个项在团队或队列之间传递的次数 每个项从请求到交付的所属团队或队列的变更次数;报告中位数和第 85 百分位数 计数 ITSM 工具或跟踪器中的分派历史 服务台;服务请求管理 团队之间的依赖 每季度 把项重新分派到共享队列或一个包罗万象的负责人,以避免被计数的所属变更;把交接隐藏在跨越多个团队的单个“团队”中 按队列和角色计数;阅读抽样项的分派历史;跟踪每个项的重新分派次数
节拍时间比 价值流的节奏是否与需求相符 观察到的完成之间间隔的中位数 / 节拍时间,其中节拍时间是可用工作时间除以同一期间所需求的项数;大于 1 的比值意味着价值流比需求慢 比值 来自受理队列的需求计数和完成事件 容量与性能管理;服务级别管理 吞吐量对比需求;预测 每季度 把推迟或被拒绝的需求算作没有需求;把部分完成算作完成 在比率旁边报告需求、被拒绝的需求和待办事项列表的年龄;仅在客户确认时才计入完成

2.5 交付预测与规划度量

所在主题:(见主题 2.5,交付预测与规划度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
预测命中率 实际结果落在所陈述范围内的预测的占比 实际结果在所陈述范围内的预测 / 作出的预测 百分比 预测日志和交付记录 容量与性能管理;持续改进 规划交流中的预测准确度 每月 陈述非常宽的范围,使每次预测都命中;事后重新预测 预测范围宽度;把原始预测保留在日志中;将范围与同行的历史作比较
预测范围宽度 所陈述范围相对于预测中位数有多宽 (上界减下界) / 预测中位数 比值 预测日志 容量与性能管理 不确定性锥的收窄 每月 收窄范围以显得自信 预测命中率;要求范围由记录的历史构建
交付目标达成率 该期间所陈述的交付目标中,被达成的占比,以成果来判断 达成的目标 / 设定的目标 百分比 与干系人商定的目标记录 服务级别管理;持续改进 与干系人的成果评审 每月,或每次发布一个目标时 设定容易的目标;事后重新定义目标;把产出算作成果 由干系人评判成果;目标措辞保存在日志中;检查已交付变更的使用数据
范围变更率 已承诺的工作中,在预测作出之后被添加、移除或重新定规模的占比 预测之后添加或移除的项 / 原始预测中的项 百分比 工作跟踪器变更历史 变更赋能;服务级别管理 针对反馈的待办事项列表调整 每月 拒绝合理的变更以冻结范围;通过重新给项定规模来隐藏范围变更 干系人对响应性的满意度;记录变更原因
容量分配 团队容量花在变更、运营工作和改进上的占比 每个类别中已完成的项或小时数 / 所有已完成的项或小时数 百分比 带工作类型的工作跟踪器 容量与性能管理;事件管理 工作类型分布 每月 把运营工作错标为改进;通过在看板之外工作来隐藏运营负荷 与事件和请求记录核对;抽查项的类型
吞吐量稳定性 每周吞吐量的变异 每周吞吐量的标准差 / 每周吞吐量的均值 比值 工作跟踪器 容量与性能管理 流动的可预测性 每月 把项拆成琐碎的片段以提高计数;不完成就关闭项 项规模分布;重开率;抽查所交付的价值
本地速率 单个团队在每个规划期内以其自身规模单位完成的工作 期内符合完成定义的项的估算之和 团队自定义的点数 工作跟踪器 容量与性能管理 团队容量规划辅助 每个规划期 膨胀估算;拆分故事以索取点数;比较团队 让它保持团队私有;与吞吐量和周期时间比较;绝不设目标

2.6 待办事项列表与梳理度量

所在主题:(见主题 2.6,待办事项列表与梳理度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
待办事项列表规模 某时间点指明的待办事项列表中未关闭的项数 快照日期上状态为未关闭或就绪的项的计数;不包括进行中的项和已关闭的项 项 问题跟踪器或 ITSM 工具快照 事件管理;服务请求管理;问题管理 产品待办事项列表;输入队列 每周 以过时为由批量关闭项,拆分项使其显得忙碌,或把工作藏在旁边的清单和电子表格中 带离开原因的待办事项列表丢弃率;定期将工具与真实的请求清单比较;客户对被丢弃项的反馈
待办事项列表年龄 未关闭项已等待多久的分布 对每个未关闭的项,快照日期减去它进入待办事项列表的日期;报告中位数、第 85 百分位数和最老的项 天 问题跟踪器或 ITSM 的创建和状态历史 事件管理;问题管理;持续改进 待办事项列表健康;老项评审 每周 通过克隆或重新创建旧项来重设进入日期;在待办事项列表之间移动项;通过重开而不是重新提出来改变时钟 审计被克隆和被移动的项;评审最老的项;从跨关联记录的首次创建起度量年龄
就绪工作深度 团队向前拥有多远的就绪工作 符合就绪定义的项 / 最近六个期间平均每周完成的项 周 问题跟踪器就绪标志和吞吐量历史 业务分析;服务请求管理 就绪的定义;梳理 每个规划期 不检查就把项标为就绪;为低价值工作撰写详细的项来膨胀深度 对照定义阅读就绪项的样本;工作开始时的返工或退回梳理的比率
梳理覆盖率 近期窗口中已就绪的占比 预期工作的接下来两个双周中(或按顺序的前 N 项)符合就绪定义的项 / 该窗口中的项 百分比 问题跟踪器的顺序、就绪标志和计划工作 业务分析;变更赋能(针对计划变更) 产品待办事项列表梳理 每个规划期 为达到数字而勾选就绪标志;收窄窗口使计入的项更少 规划之后被退回的项数;交付目标达成率和期中范围变更(见主题 2.5,交付预测与规划度量)
待办事项列表流入流出比 项到达的速度是否快于离开 期内添加的项 / 同一期间通过完成或丢弃而移出待办事项列表的项;大于 1 的比值意味着增长 比值 问题跟踪器或 ITSM 的创建和解决事件 事件管理;服务请求管理;容量与性能管理 到达与离开率 每周 迅速关闭容易的项以推高流出,或在门口拒绝新项以压低流入 最老项的年龄;丢弃率;不附理由被拒绝的请求占比;客户报告的未满足需求
待办事项列表丢弃率 未经交付就移出的离开项的占比 以“不做”“重复”或“过时”关闭的项 / 期内离开待办事项列表的所有项;不包括以“完成”关闭的项 百分比 问题跟踪器的解决字段 持续改进;问题管理(已知错误评审) 待办事项列表修剪;产品负责人排序 每月 为缩小规模而丢弃用户仍想要的项;或为了使数字看起来温和而避免丢弃 与请求者一起评审被丢弃项的样本;被丢弃项的重开和重新提出率
服务待办事项列表超目标占比 比约定的响应或解决窗口更老的未关闭服务项的占比 经过时间超过服务目标的未关闭项 / 队列中所有未关闭的项;时钟从登记时开始,仅在书面定义所允许的状态下暂停 百分比 带服务级别时钟的 ITSM 工具 服务级别管理;事件管理;服务请求管理 加急通道;服务级别预期 每日或每周 用等待客户状态暂停时钟、降低优先级,或关闭并重开以重设窗口 处于暂停状态的时间占比;重开率(见主题 1.2,古德哈特定律与度量的心理学);对已关闭工单的用户满意度

2.7 拉取请求与代码评审度量

所在主题:(见主题 2.7,拉取请求与代码评审度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
首次评审时间 拉取请求就绪待评审到首次实质性的人工回应之间的等待 时钟从拉取请求离开草稿状态或以就绪状态开立时开始,到作者之外的人给出首条评审评论、变更请求或批准时停止;机器人和作者的评论以及纯粹的标签变更被排除。以工作小时报告中位数和第 85 百分位数 工作小时 版本控制平台事件历史 软件开发与管理;变更赋能 关于评审响应性的工作协议;在制品的流动 每周 以一句快速的“看起来不错”或一个表情符号作为首次回应;指派机器人或友好的评审者;仅在有人事先同意查看之后才把拉取请求标为就绪 合并后修复率;抽查没有评论的批准;在工作协议中要求首次回应必须是实质性的
评审周期时间 从就绪待评审到合并的总时间 时钟从拉取请求就绪待评审时开始,到合并时停止;未合并而关闭的拉取请求被排除并单独统计。以工作小时报告中位数和第 85 百分位数 工作小时 版本控制平台事件历史 部署管理;变更赋能 团队看板上评审阶段的周期时间 每周 不等评审就合并;把一项变更拆成微小的片段以更快通过;关闭并重新打开拉取请求以重设时钟 统计被关闭后又重新打开的拉取请求;评审轮次;合并后修复率;要求批准的受保护分支规则
拉取请求规模 一个拉取请求中的变更量 新增行数加删除行数,排除仓库忽略规则中列出的生成文件、锁文件、引入的第三方代码和纯重命名。报告每个已合并拉取请求的中位数和第 85 百分位数 变更行数 版本控制平台差异统计 软件开发与管理 小批量;故事的切分 每周 把文件排除在计数之外;把单个变更拆成无法单独理解的片段;用生成的代码填充规模 每季度评审忽略规则;检查拆分后的片段能否单独构建并通过测试;阅读最小和最大的样本
评审轮次 合并前作者推送与评审者回应的循环次数 每个已合并拉取请求中不同的“请求变更”或评论后推送的循环计数;首次提交为第零轮,自动检查的失败被排除。报告中位数和第 85 百分位数 计数 版本控制平台评审和推送事件 持续改进;软件开发与管理 评审阶段的返工信号;完成的定义 每周 首次通过时就批准以保持计数低;把讨论移到聊天中使其不留痕迹;作者在一次提交中推送许多修补以隐藏轮次 合并后修复率;抽查零轮次的拉取请求;让讨论保留在拉取请求中
评审负荷集中度 评审工作在团队中分布得有多不均匀 最忙的两位评审者在滚动 4 周内处理的团队已完成评审的占比;对自己拉取请求的评审和机器人评审被排除。针对团队报告,绝不按姓名 百分比 版本控制平台评审事件,汇总到团队 持续改进;知识管理 共享的代码所有权;集体所有权 每月 把评审拆成许多小的批准以分散计数;把评审分派给有空闲时间但缺乏知识的人 评审评审者对高风险区域的了解;按区域观察合并后修复率;让度量保持在团队层面
陈旧拉取请求计数 开启时间超过团队约定上限的拉取请求 仍开启且不是草稿、自就绪待评审以来的年龄超过团队上限的拉取请求,在快照时刻计数;草稿被排除 计数 版本控制平台开启的拉取请求列表 变更赋能;持续改进 工作项年龄;WIP 限制 每周 不合并就关闭陈旧的拉取请求;把它们转为草稿以隐藏;提高陈旧上限 未合并而关闭的拉取请求计数;长期存在的草稿计数;每季度与团队一起评审上限
合并后修复率 合并后不久即有纠正性变更的已合并拉取请求占比 合并后 14 天内有与同一变更相关的修复、回退或热修复的已合并拉取请求 / 期内已合并的拉取请求;标注为计划内的后续工作被排除 百分比 版本控制历史、关联的问题,以及事件或变更记录 变更赋能;事件管理 内建质量;完成的定义 每月 把修复记录在没有关联的新工作项下;把纠正性工作标注为计划内的后续工作;通过把修复推迟到窗口之后来规避度量 与事件和变更失败数据比较;抽查后续项;审计所用的标签

2.8 DORA 度量

所在主题:(见主题 2.8,DORA 度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
变更前置时间 一项已提交的变更到达生产环境的时间 时钟从该变更的首次提交开始(或者,如果定义中这样规定,则从其合并到主分支时开始),到部署到生产环境成功完成时停止;报告期内所部署变更的中位数和第 85 百分位数;从未部署的变更被排除,并作为在制品单独报告 小时或天 与部署流水线相连的版本控制 部署管理;发布管理;变更赋能 周期时间;到生产环境的前置时间 每周或每次发布,每月评审 把时钟的起点往后移,比如从合并而不是首次提交开始;过早合并到长期存在的分支;把困难的变更当作“非代码”而排除;把琐碎的变更推过流水线以拉低中位数 在制品的百分位数和年龄;固定的书面时钟起点;每季度抽查最慢的 10% 的变更;变更规模分布
部署频率 团队多常部署到生产环境 期内该应用成功的生产部署次数 / 期内天数;失败或被回滚的部署不计入成功计数;部署到测试环境的不计入 每天或每周的部署次数 部署流水线事件日志 部署管理;发布管理 持续交付;在每个增量结束时发布 每周 把一项变更拆成许多琐碎的部署;重新部署未变化的构建;计入部署到预发环境或空的配置变更 每次部署的变更规模;包含面向用户可见变更的部署占比;在其旁边的变更失败率和返工率
失败部署恢复时间 当一次部署导致生产故障时,恢复需要多久 时钟从故障被检测到或被报告时开始(每次采用同一规则),到用户的服务恢复时停止;报告期内失败部署的中位数和第 85 百分位数;并非由部署引起的事件被排除 分钟或小时 与部署事件和监控告警相连的事件记录 事件管理;服务连续性管理 恢复时间;恢复工作 每次故障,每月评审 开始计时晚或关闭事件早;在部分修复之后把故障重新归类为新事件;提高“故障”的严重性阈值 同一事件在规定窗口内的再发;取自监控告警的时钟起点;客户报告的影响持续时间
变更失败率 导致需要补救的故障的生产部署占比 需要热修复、回滚、补丁或事件响应的部署 / 期内所有生产部署;把故障与其部署联系起来的规则已写下来,每次采用相同方式应用 百分比 与事件、回滚和热修复部署相连的部署事件 变更赋能;事件管理 完成的定义;逃逸缺陷 每月 不把事件与部署联系起来;只计入造成完全中断的故障;放宽窗口使故障落在其外;向前修复并称之为新变更 每季度对照部署日志评审事件样本;跟踪记录了部署关联的事件占比;部署返工率
部署返工率 为修复面向用户的问题而进行的计划外生产部署占比 为响应生产问题而进行的计划外部署 / 期内所有生产部署;碰巧包含修复的计划内部署被排除;“计划外”的规则已写下来 百分比 按部署原因标记的流水线日志,与事件或缺陷记录相连 变更赋能;问题管理 计划外工作;在计划之外发布的缺陷修复 每月 把修复标注为计划内工作;把修复捆绑进计划发布;通过推迟修复来避免修复性部署 来自跟踪器的缺陷和逃逸缺陷计数;未关闭的生产缺陷的年龄;对一批部署样本的标签审计

2.9 运维工作与计划外工作

所在主题:(见主题 2.9,运维工作与计划外工作)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
计划外工作比率 已完成的工作项中,按计数,在期初不在计划内的占比 期内完成的、在期间开始之后才进入看板或待办事项列表的项 / 期内完成的所有项;时钟从规划活动开始,到期末停止;已取消的项和仍未关闭的项被排除 百分比 带项创建时间和规划快照的问题跟踪器 事件管理;服务请求管理 范围变更;工作项类型 每月 向规划快照中延后添加项,使它们算作计划内;让紧急工作不被跟踪,使其永不计入;把计划项标为计划外,以便为未完成的计划开脱 带时间戳的冻结规划快照;未分类计数;每季度阅读一批已关闭项的样本,将标签与实际发生的事情比较
容量分配遵从度 实际投入与所陈述的变更工作、运行工作和改进工作之间划分的吻合程度 对每个类别,实际占比与约定占比之差的绝对值,求和后取一半;实际占比是该类别中已完成的项(或团队记录了的话,已记录的工作量)/ 所有已完成的项;没有类别的项单独报告,不丢弃 百分点 问题跟踪器的工作类型字段,以及存在的工时记录 持续改进;容量与性能管理 容量分配或容量规划 每月 在类别之间移动项以符合约定的划分;把一个项拆成几个以转移占比;选择团队本来就能达到的划分 写入工作协议的固定类别定义;将项的描述与其类别作抽样比较;计划承诺可靠度
打断率 计划之外的需求多常到达团队,并到达做计划工作的人 期内团队收到的打断 / 期内工作日,其中打断是登记到团队受理渠道且尚不在计划上的任何工单、呼叫、消息请求或请求;同一底层需求的重复只计一次 每个工作日的打断数 受理渠道日志、ITSM 队列、告警系统和团队打断日志 事件管理;服务请求管理;监控与事态管理 打断日志或团队工作协议 每周 把打断变成从不进入日志的默默帮忙;把几项需求合并成一个条目;劝阻人们提出请求 将日志与受理渠道流量和告警历史比较;在回顾会议中问团队日志是否与他们的体验相符
加急率 使用了加急通道的已完成项占比 期内进入加急通道的已完成项 / 期内所有已完成的项;时钟从该项被标记为加急时开始,到完成时停止;在工作开始前被降出该通道的项单独计数 百分比 看板通道历史或优先级字段历史 事件管理;变更赋能(紧急变更) 加急服务类别 每月 把紧急工作挡在通道之外以显得有纪律,或把一切都放进去以求速度;把加急重新定义为“重要” 带准入检验的通道限制;评审时符合检验的加急项占比;计划工作的被挤占
计划工作的被挤占 为给计划外工作腾出空间而被推迟或放弃的计划项数 期内被从该期间移除、推迟,或未完成并附有“被计划外工作挤占”这一记录原因的计划项(计数);因目标变化而被移除的项被排除 项数 带原因字段的看板变更历史 变更赋能;持续改进 交付目标保护;范围协商 每月 把被挤占记录为有意的范围变更;让计划项在无理由的情况下悄悄失败;避开可能被挤占的计划项 每个被移除或未完成的项都必填原因字段;计划承诺可靠度;在回顾会议中评审原因
重复性计划外工作占比 计划外项中,其原因与回溯窗口内较早的一个计划外项相符的占比 期内完成的、与回溯窗口(例如 90 天)内较早的某项关联到同一问题记录、告警规则或原因标签的计划外项 / 期内完成的所有计划外项;没有原因标签的项作为单独的未分类计数报告 百分比 ITSM 事件和问题记录、跟踪器的原因标签 问题管理;已知错误管理 回顾会议行动项;反复缺陷标签 每月 使用粗糙的原因标签使重复被隐藏,或使用细致的标签使没有任何东西重复;关闭问题记录以移除链接 每季度评审原因标签分类法;未分类计数;问题记录关闭后的再发检查
计划承诺可靠度 团队为该期间所计划的项中,在该期间内完成的占比 期内完成的计划项 / 期初的计划项;期初之后添加的项从两项计数中排除 百分比 规划快照和跟踪器完成历史 服务级别管理;变更赋能 预测可靠度 每月 计划得很小以便全部完成;虚增估算;把部分完成的项算作完成;在期间开始之前放弃困难的项 随时间比较所计划项的规模和价值;对交付目标的成果检查;计划外工作比率,使得计划保守时,高值不被读作健康

第 3 部分:服务台、事件与请求度量

3.1 服务台度量

所在主题:(见主题 3.1,服务台度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
联系量 服务台按渠道和期间收到的联系数 期内创建的联系计数,按渠道;内部测试联系、重复的电子邮件自动回复,以及服务台拨出的呼叫被排除 计数 电话或聊天平台日志;ITSM 工具的联系记录 服务台 待办事项列表梳理中的需求信号 每周 坐席通过把用户重定向到未被计数的渠道来劝阻登记,或把一次联系拆成几次使队列显得繁忙;经理设定较低数量的目标 每 100 位用户的联系率,以及定期将电话计数与工单计数对账;每个渠道都被计数的固定规则
联系率 联系相对于所服务总体的规模,使增长不被误认为问题 期内联系 / 期内活跃用户或活跃账户,换算为每 100 位用户;用户数取自同一期间,并写下“活跃”的定义 每 100 位用户的联系数 联系记录和身份或许可证系统 服务台;服务级别管理 产品评审中经使用量调整的需求 每月 事后选择分母(例如“活跃”的宽泛定义),使比率看起来更好 书面、注明日期的“活跃用户”定义,并在比率旁边展示原始计数
应答时间 从联系进入队列,到真人或自动应答引擎介入的等待 时钟从联系进入队列时开始,到首次人工响应时停止;被放弃的联系从本测量值中排除,计入放弃率;报告中位数和第 85 百分位数 秒(电话、聊天);分钟或小时(电子邮件、门户) 电话平台;聊天平台;ITSM 工具时间戳 服务台 响应性工作协议 评审窗口内每日,趋势按周 联系由自动问候语或转接到安静队列来应答,或通话被接起后又被置于等待;电子邮件得到被算作应答的自动回复 把时钟定义为首次人工响应,并在旁边跟踪放弃和再次联系
放弃率 在任何人介入之前,被用户结束的联系占比 在首次人工响应之前被用户结束的联系 / 进入队列的联系;在短暂宽限期内(定义中说明,例如五秒)结束的联系被作为意外而排除 百分比 电话平台;聊天平台 服务台 服务评审中的延迟成本信号 每周 来电者在进入队列之前就被挂断、宽限期被拉长,或回拨提议被算作已应答的联系 应答时间百分位数、回拨完成率,以及公布的宽限期
处理时间 服务台在一次联系上花费的时间 时钟从人介入时开始,到他们结束该联系时停止,包括联系之后的文档工作;等待用户的时间仅当定义这样规定时才计入;报告中位数和第 85 百分位数,按联系类型拆分 分钟 电话平台;聊天平台;ITSM 工具工作日志 服务台;事件管理 梳理和容量规划中的工作量信号 每周 通话被催促、过早转接或在问题解决之前结束;记录单薄;工作被移到时钟排除的联系后时间 首次联系解决率、再次联系率,以及团队对文档质量的抽样评审
首次联系解决率 在首次联系时即得到解决,且其后没有就同一事项再次联系的联系占比 在联系期间得到解决,且在再次联系窗口内没有被同一用户就同一问题再次联系的联系 / 符合条件的联系;仅需转介的通话以及不期望服务台解决的通话被排除 百分比 ITSM 工具的解决和关联字段;有收集时的用户确认 服务台;事件管理 完成定义检查,在首次接触时解决 每月 无论结果如何,通话期间就关闭工单,对“同一事项”作狭隘理解,或把困难的联系归类为“不期望解决” 再次联系率、单问题的用户确认,以及团队对排除项的定期审计
再次联系率 已解决的联系中,随后就同一事项再次联系的占比 在再次联系窗口内(例如七天,由定义设定)被同一用户就同一服务或问题再次联系的联系 / 较早期间内已解决的联系;关于新问题的联系被排除 百分比 ITSM 工具的关联和重开历史;联系记录 服务台;事件管理 逃逸缺陷率 每月 请用户为后续跟进开新工单,或把后续记录在不同类别下使其无法关联 工具中的关联规则、对未关联重复联系的抽样审计,以及用户报告的解决情况

3.2 事件数量与优先级

所在主题:(见主题 3.2,事件数量与优先级)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
按服务划分的事件数量 一个期间内为某项服务开立的事件计数 开立时间在该期间之内、归于受影响服务的事件;服务请求、已合并到父记录的重复项以及作为误报而取消的记录被排除 计数 ITSM 工具的事件记录 事件管理 每个团队的生产缺陷或计划外工作项 每周,每月评审 把事件登记为请求、合并不相关的工单、劝阻用户报告,或以“未发现故障”关闭重复项 在事件数量旁边展示用户报告的联系量和请求量;来自服务台的满意度和放弃率;抽查读起来像故障的请求
归一化的事件率 事件相对于服务使用量 期内开立的事件 /(同一期间和范围的使用量度量,包括活跃用户、会话或交易,按服务选择并记录)x 1000;使用量度量必须来自事件工具之外的来源 每 1000 个使用单位的事件数 ITSM 工具加来自分析或监控的使用数据 事件管理;服务级别管理 每次发布或每位用户的缺陷密度 每月 选择能给出最佳数字的分母,或在各期间之间更改使用量的定义 每项服务在登记册中记录的固定使用量度量;在比率旁边展示原始计数
优先级构成 开立的事件在每个优先级级别上的占比 开立时记录的优先级为该级别的事件 / 期内开立的所有事件,按每个级别展示;被重新分类的事件按开立时的优先级计数,并按关闭时的优先级再次展示 按级别的百分比 ITSM 工具,包括优先级变更的历史 事件管理 缺陷的严重性分布;服务类别构成 每月 压低优先级以显得平静,或抬高以获得关注;分配低优先级以避开响应目标 优先级重新分类率;每月对照影响和紧迫性矩阵的抽样评审;客户报告的影响
优先级重新分类率 优先级在开立与关闭之间发生变化的事件占比 期内关闭的、关闭优先级不同于开立优先级的事件 / 期内关闭的事件 百分比 ITSM 工具审计线索 事件管理 缺陷待办事项列表上的重新分诊率 每月 在应当更改时不更改优先级,使比率看起来稳定;只在关闭时更改以符合目标 对事件期间影响发生变化的记录的抽样;对事件时间线的评审
类别集中度 最大的几个类别所占的事件数量份额 按计数排名前五的类别中的事件 / 期内已分类的所有事件;未分类的事件作为自己的份额单独报告 百分比 ITSM 工具的类别和服务字段 事件管理;问题管理 按组件或史诗划分的缺陷聚集 每月 使用包罗万象的类别,或把一个大类别拆成几个以隐藏集中度 未分类和“其他”记录的占比;定期评审类别清单;对照解决备注检查类别
重复事件率 在规定窗口内,对同一服务、配置项和类别再次出现的事件占比 期内的事件中,在前述窗口(例如 30 天,一次设定并记录)内对同一服务、CI 和类别有较早的已关闭事件的 / 期内开立的事件;被重新打开的记录算作重开,而非重复 百分比 ITSM 工具和 CMDB 关联 事件管理;问题管理 回归或逃逸缺陷率 每月 用不同措辞或 CI 开立新事件以避开关联;提早关闭以避免重开 按文本和服务评审近似重复的记录;重开率;与问题记录的关联率
重开率 已关闭的事件中被重新打开的占比 期内关闭的、随后在规定窗口内(例如 7 天)被重新打开的事件 / 期内关闭的事件 百分比 ITSM 工具状态历史 事件管理 被重新打开的缺陷;返工 每月 请用户开新工单而不是重新打开;迟迟关闭工单以避免重开 引用最近已关闭工单的新工单计数;客户对解决的确认;关闭时间分布
监控发现占比 在用户报告之前由监控首先提出的事件占比 其首个事件为自动告警的事件 / 期内开立的所有事件;由人根据告警开立的事件按告警时间计数 百分比 ITSM 工具,监控集成 监控与事态管理;事件管理 告警驱动对比客户报告的缺陷 每月 创建自动开立事件的嘈杂告警,或让人把用户报告改标为告警 可操作告警占比等告警质量测量值(见主题 5.5,监控与告警质量度量);事件来源审计

3.3 事件响应与解决时间

所在主题:(见主题 3.3,事件响应与解决时间)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
检测时间 在组织知晓之前,一个故障影响用户多久 时钟从用户影响的第一刻开始(取自监控数据,或评审中记录的已确认影响开始时间);到首次告警或用户报告时停止。按服务以中位数和第 95 百分位数报告。没有已知开始时间的事件被统计并单独报告,而不是丢弃 分钟 监控和告警平台;带影响开始字段的事件记录 事件管理;监控与事态管理 可观测性和告警质量工作(见主题 5.5,监控与告警质量度量) 每月 把影响开始设得比实际晚;放宽告警阈值使更少的故障算作事件;只统计监控抓到的事件 首先由用户而不是监控报告的事件占比;定期对照监控数据评审影响开始的估计
确认时间 被提出的告警或工单在有人拥有之前等待多久 时钟从告警触发或工单登记时开始;到一位指名的人或团队接受它时停止。自动分派不会停止时钟。按优先级以中位数和第 95 百分位数报告 分钟 呼叫工具;ITSM 工具分派历史 事件管理;服务台 SRE 轮换中的值班响应 每月 自动分派或自动确认以停止时钟;确认告警后却什么也不做 同一批事件的首次响应时间和恢复时间;抽查被确认后没有后续活动的告警
首次响应时间 用户等待首次真人、有用回复的时间 时钟从事件被登记时开始;到首条针对该报告的人工消息或行动时停止。自动确认和模板化的回执被排除。说明工作时间时钟 分钟或工作小时 ITSM 工具沟通日志 服务台;事件管理 对用户的及时反馈,如工作协议中所述 每周 发送模板化或一个词的回复以停止时钟 评审首次回复的样本是否实质性;重复联系和调查评论
恢复时间 用户有多久没有可用的服务 时钟从用户影响开始时起算;到用户可以再次使用服务(包括通过变通或回滚)时停止。之后才修复的原因不会延长它。按优先级和服务以中位数和第 95 百分位数报告 分钟或小时 带影响开始和恢复时间戳的事件记录;监控 事件管理 DORA 语境下的平均恢复时间,作为分布来读(见主题 2.8,DORA 度量) 每月 在用户可以使用之前就宣布服务已恢复;通过压制症状来恢复;把中断登记为计划内维护 窗口内的再发;恢复时间之后用户报告的影响;事后被重新标注的事件占比
解决时间 事件记录在关闭之前开启多久 时钟从事件被登记时开始;到恢复和用户确认或公平等待之后被关闭时停止。处于“等待客户”的时间作为单独报告的占比展示,不从头条数字中扣除。按优先级以中位数和第 95 百分位数报告 小时或工作小时 ITSM 工具状态历史 事件管理 计划外工作的周期时间(见主题 2.2,前置时间、周期时间与流动效率) 每月 把工单移入“等待客户”或“搁置”;一次联系尝试后就关闭;把事件拆成子事件以提早关闭父事件 处于暂停状态的时间占比;重开率;最老未关闭事件的年龄;阅读关闭备注的样本
最老未关闭事件的年龄 存续最久的未关闭事件已开启多久 对每起未关闭事件,现在减去登记时间,按优先级列出最老的几起。暂停状态不被扣除 天 ITSM 工具未关闭事件清单 事件管理 团队看板上的工作项年龄(见主题 2.1,流动度量) 每周 关闭并重新提出最老的工单;将其重新归类为问题或请求,以便从清单中移除 把重复项关联到原始项并报告关联后的年龄;每个期间转为问题或请求的事件计数
主动时间占比 一起事件经过的时间中,花在主动工作而非等待上的比例 处于主动状态的时间之和 / 从登记到关闭的总时间,针对期内关闭的事件。主动状态是有人正在处理该事件的状态;等待状态列在定义中 百分比 ITSM 工具状态历史 事件管理 流动效率(见主题 2.2,前置时间、周期时间与流动效率) 每季度 记录简短而无意义的工作以将时间标为主动;不付出努力就转入主动状态 将主动时间与恢复时间等成果比较;抽查工作备注
重新分派次数 一起事件在恢复之前更换所属团队的次数 从登记到恢复之间分派组的变更计数,汇总为中位数以及有三次或更多次的事件占比。按服务和优先级计数,绝不按坐席 计数 ITSM 工具分派历史 事件管理;服务台 交接次数(见主题 9.3,协作与交接度量) 每月 在同一团队内重新打开而不是转交;通过旁路传递工作,使工具显示没有交接 恢复时间和用户满意度;定期观察工作如何在团队之间流转

3.4 重大事件度量

所在主题:(见主题 3.4,重大事件度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
重大事件计数 一个期间内按服务宣布的重大事件 在期内符合宣布标准并被宣布的事件计数,按宣布时间;在头一小时内被降级的事件单独列出并排除 每季度的计数 带重大事件标志的 ITSM 工具事件记录 事件管理 团队或服务健康评审 月度报告,季度趋势 提高宣布门槛,让事件停留在“高”优先级而从不被宣布,把一个事件拆成几条记录,或把几个合并成一个 固定、带版本的标准;每季度抽查高影响的普通事件;在计数旁边跟踪客户影响和宣布时间
重大事件持续时间 客户受影响的时间 每起事件的服务恢复时间减去影响开始时间。影响开始是监控中最早的证据或首次用户报告,以较早者为准。部分恢复作为自己的事件记录,完全恢复才停止时钟 每起事件的分钟数 监控时间线,ITSM 工具中的事件时间线 事件管理;服务级别管理 交付度量中的恢复时间(见主题 2.8,DORA 度量) 每起事件;长窗口的中位数和季度最大值 把时钟恢复到较晚的影响开始,在用户仍然失败时宣布“已恢复”,或关闭并重开一条新记录 影响开始取自监控;由面向用户的指标确认恢复;重开和关联的记录算作一起事件
宣布时间 从影响开始到宣布重大事件之间的延迟 每起事件的宣布时间减去影响开始时间。从未被宣布的事件,通过对普通高影响事件的季度评审发现,并以 n/a(从未宣布)的宣布时间计入 每起事件的分钟数 监控时间线,ITSM 工具审计线索 事件管理;监控与事态管理 团队工作协议中的升级就绪定义 每起事件 对一切都提早宣布以显得快,或把宣布回溯到影响开始 后来被降级的已宣布事件占比;宣布时间的审计线索;将时间线样本与原始监控作比较
客户影响 受影响的用户数和使用量有多少 每起事件受影响的用户(或失败的请求)乘以受影响的分钟数。只计入在影响窗口内尝试使用服务的用户。计划内维护被排除 用户分钟,或失败的请求 服务遥测,支持联系记录 服务级别管理;事件管理 面向用户的服务级别指标(见主题 5.2,SLI、SLO 与错误预算) 每起事件 收窄“受影响”的定义,只统计提了工单的用户,或度量一个仍在运行的依赖 既来自遥测也来自联系的影响;在事件评审时评审通俗语言的影响陈述
沟通及时性 受影响各方是否被及时告知 宣布之后在目标时间内发出首个面向客户的通知的重大事件占比,以及在约定间隔内发出的计划更新占比。时钟从宣布时起算。仅内部的消息被排除 事件的百分比;更新的百分比 状态页历史,ITSM 工具中的沟通日志 事件管理;服务级别管理 团队工作协议中对干系人的沟通 每起事件;季度摘要 发布含糊的通知以启动时钟,发送没有内容的更新,或计入内部消息 对更新样本的内容检查;客户对清晰度的反馈;只计入面向客户的通知
评审完成及时性 评审是否进行得足够早以致有用 在恢复之后约定的工作日数内发布了评审的重大事件占比。时钟在发布时停止,而不是在首份草稿时。仍在窗口之内的事件被排除 百分比 评审存储库,ITSM 工具 持续改进;问题管理 改进跟进 每季度 发布单薄的文档以赶上日期,或宣称某次评审“不需要” 由同行对样本评审其质量(见主题 4.2,事后复盘与学习度量);展示被豁免评审的占比
行动项跟进完成率 评审行动是否完成 按截止日期完成的评审行动 / 期内到期的评审行动。以“不做”关闭的行动连同理由单独计数,不隐藏 百分比;逾期计数 与评审相联的问题跟踪器 持续改进;问题管理 来自回顾会议的待办事项列表项 每月 撰写容易关闭的含糊或琐碎行动,不做工作就关闭行动,或重新标注为“不做” 抽查行动质量;对照系统变更核实已关闭的行动;评审“不做”的占比和理由
重复重大事件率 同一原因的再发 期内重大事件中,其记录的原因与前十二个月内较早的一起重大事件相符的 / 期内重大事件。匹配依据原因字段,由人工评审 百分比,并显示计数 评审记录,问题记录 问题管理 待办事项列表中的预防工作 每季度 通过选择不同措辞把每个原因记录为新的,或把一切归因于“人为错误” 附定义的简短原因分类法;由事件之外的人评审原因字段;“人为错误”作为原因,没有系统层面的解释不予接受

3.5 服务请求履行度量

所在主题:(见主题 3.5,服务请求履行度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
请求履行时间 交付一项请求所经过的时间,按目录项以中位数和第 95 百分位数展示 时钟从用户提交请求时开始,到用户确认交付或交付被记录时停止;被用户取消的请求被排除;等待用户的时间单独报告,不予扣除 工作日或小时 ITSM 工具请求历史 服务请求管理 团队看板上的周期时间(见主题 2.2,前置时间、周期时间与流动效率) 每周,每月做趋势 无论用户是否为原因,都因“等待用户”而暂停时钟;在交付之前关闭请求,再作为新请求重新打开;把一项请求拆成几个小的 按项的暂停时间占比,并抽查暂停原因;重开率;关闭之前用户对交付的确认
目标内履行占比 在其目录项约定的目标内交付的请求占比 目标内履行的请求 / 期内履行的请求;时钟同上,仍未关闭的项被排除,改计入待办事项列表年龄 百分比 ITSM 工具请求历史;目录项目标表 服务级别管理 服务级别预期 每月 把目标重新定义得更容易;只统计完成的请求而忽略老的未关闭请求;为目标集挑拣快的项 未关闭请求的待办事项列表年龄;目标变更连同理由记录在度量登记册中;目标集按数量涵盖所有项
请求待办事项列表与年龄 未关闭请求的数量,以及最老的有多老,按目录项 期末未关闭的请求(计数);每个未关闭请求的年龄 = 报告日期减去提交日期;报告计数、年龄中位数和最老的年龄 计数和天数 ITSM 工具未关闭请求队列 服务请求管理 在制品和老化的工作项(见主题 2.3,在制品与排队) 每周 以“无响应”或“陈旧”为由关闭旧请求;把请求移到不同的队列或类别,使其离开被统计的队列 按原因划分的未交付而关闭的请求计数;在月度会议上评审类别和队列转移
批准等待时间 请求等待批准所花的时间 时钟从请求批准时开始,到批准被授予或拒绝时停止;没有批准步骤的请求被排除 小时 ITSM 工具批准日志 服务请求管理;变更赋能 看板上的阻塞时间或“等待”列 每月 批准人不阅读就批准以降低自己的时间;请求者在系统之外追着批准人,使记录的等待很短 对照政策抽查已批准的请求;已批准项的重开率和安全例外;每个项的批准步骤数
按目录项划分的请求量 为每个项提交的请求数,以及它在所有请求中所占的份额 期内每个项提交的请求;作为重复项重新提交的请求(如能识别)被排除;报告计数和占总数的份额 计数和百分比 ITSM 工具请求记录 服务目录管理 为塑造待办事项列表而做的需求分析 每月 通过使目录更难找到或劝阻请求来降低数量;把请求重新归类为事件或“一般咨询” 目录的用户满意度;归类为“其他”的联系占比;该服务的采纳数据(见主题 6.3,服务采纳与目录度量)
自动化占比 提交之后没有任何人工步骤就被履行的请求部分 完全由自动化端到端履行的请求 / 期内履行的请求;任何履行步骤被人接触过的请求算作手工;如果政策要求,由人作出的批准不算作手工履行步骤 百分比 ITSM 工具履行记录和自动化平台日志 服务请求管理;服务价值链内的自动化 完成定义中的自动化 每月 自动化琐碎的项以抬高百分比;把仍由人手工检查的脚本化请求算作自动化;把手工步骤藏在单独的工单里 按请求量和所消除实际处理时间加权的占比;自动化失败和回退到手工的比率;端到端追踪“自动化”请求的样本
请求重开率 因结果有误或不完整而被用户重新打开或重新提出的已履行请求占比 履行后 7 天内被同一用户就同一项重新打开或重新提出的请求 / 期内履行的请求;7 天窗口是团队写下的一个示例 百分比 ITSM 工具请求历史 服务请求管理 返工率;缺陷逃逸 每月 通过使重新打开变得困难来劝阻重开;告诉用户开新请求,这会重置计数器 窗口内同一用户就同一项的重复请求;按项的用户满意度;允许从通知中重新打开

3.6 知识管理度量

所在主题:(见主题 3.6,知识管理度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
知识链接率 在解决的那一刻至少附有一篇知识文章的已解决案例占比 期内已解决的、至少有一篇关联文章的案例 / 期内已解决的案例。按解决日期计数;排除重大事件、以重复关闭的案例,以及无人工工作而自动关闭的案例 百分比 ITSM 工具:案例和文章链接表 知识管理;事件管理 完成定义包括捕获所学到的 团队每周;评审每月 在关闭之前给每个案例附上任意一篇文章,往往是通用的或非常热门的;事后批量链接 每月对已链接案例的相关性抽样;指向同样少数几篇文章的链接占比;链接时间戳对照解决时间戳
复用比 文章链接中,指向已有文章而不是在该案例期间创建的文章的占比 指向在案例开立之前就已存在的文章的链接 / 期内已解决案例上建立的所有文章链接。排除案例关闭之后才添加的链接 百分比 ITSM 工具:文章创建日期对照案例开立日期 知识管理;持续改进 复用胜于返工;代码库及其文档的共同所有权 每月 为每个案例创建新文章,然后立即链接,使其下次算作复用;或从不创建,使比率看起来完美 由定期搜索发现的重复文章率;以“不存在文章”为理由关闭的案例占比
文章新鲜度 在规定的评审窗口内经过评审,或经使用并被确认正确的在用文章占比 评审或确认使用日期在窗口之内的在用文章 / 在用文章。如果文章在过去 12 个月内(团队的选择)被关联到案例或被读者查看过,它即为在用;草稿和已淘汰的文章被排除 百分比 知识库元数据和查看日志 知识管理;服务台 文档的待办事项列表梳理;回顾会议行动 每月 不检查就把文章标为已评审;通过琐碎的编辑重置评审日期;只统计易于评审的文章 对近期评审的文章,对照真实服务抽样测试;同一批文章的有用率和书面评论
零结果搜索率 没有返回任何文章的知识搜索占比 零结果的搜索 / 所有搜索。排除机器人和自动检查的搜索;在一分钟内重复的搜索只计一次 百分比 知识库或门户搜索日志 知识管理;服务台;服务请求管理 发现未被满足的用户需求;待办事项列表输入 每周 添加模糊的或包罗万象的、匹配任何查询的文章;堆砌关键词;把难处理的搜索词排除在日志之外 点击之后在短窗口内就同一主题再次联系;有用率;人工阅读主要的搜索词
有用率 读者反馈中说文章有帮助的占比,连同回复率展示 有用票数 /(有用票数 + 无用票数),针对期内的文章;回复率 = 反馈票数 / 文章查看数 百分比,附回复率 知识库反馈组件和查看日志 知识管理;客户体验 对文档的干系人评审反馈 每月 只提示满意的读者去投票;隐藏“无用”选项;从团队内部投票 在比率旁边展示回复率和受访者构成;书面评论;阅读文章之后的联系率
发布时间 从文章草稿创建,到它被评审并对其受众可见所经过的时间 时钟从草稿创建时开始,到发布(或首个获批的可见状态)时停止。排除处于“搁置,等待产品发布”状态的时间;以中位数和第 85 百分位数报告 天(中位数和第 85 百分位数) 知识库工作流历史 知识管理 一个工作项从开始到完成的前置时间(见主题 2.2,前置时间、周期时间与流动效率) 每月 发布单薄的存根以停止时钟;把一篇文章拆成若干片段;把草稿移到时钟排除的状态 近期发布文章的相关性和有用率;处于被排除状态的草稿的数量和年龄
贡献广度 在团队中,文章创建和改进的分布情况,不点名度量 期内创建或改进了文章的不同贡献者 / 期内解决了案例的团队成员。仅针对团队报告,绝不作为姓名清单 百分比 与团队成员关系相连的知识库编辑历史 知识管理;持续改进 集体所有权;结对和群集协作 每季度 做琐碎的编辑,使每个人都显得是贡献者;请人们添加一句话以满足配额 抽查编辑的规模和实质;所贡献文章的复用和有用率;报告中不出现姓名

3.7 自助服务与自动化度量

所在主题:(见主题 3.7,自助服务与自动化度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
自助服务成功率 用户的需要在没有员工联系的情况下得到满足的自助服务会话占比 以完成的成果(请求已提交并履行、文章被标为有用、重置已完成)结束,且在 7 天内没有就同一需求发生有人值守的联系的会话,除以所有开始了某项任务的会话。时钟从门户中首个有意义的动作开始,到完成或放弃时停止。排除机器人流量、测试账户和纯浏览 百分比 门户和身份日志、工单系统、会话分析 服务请求管理;知识管理 客户反馈回路;基于成果的验收标准 每月 把任何完成的表单或任何页面查看都算作成功;在得分下降时移除“这有帮助吗”的提示;把困难的主题排除在分母之外 落空率,以及由人阅读的已关闭会话样本;报告分母的规则
估算的分流率 估计在 0 级解决的、本会到达员工的需求占比 比较某项服务在自助服务变更前后每 1000 位活跃用户的联系率,或对照保留组,并针对已知的需求变化作调整。表述为估计,并指明方法。排除转移到另一渠道的联系 百分比(估计) 工单系统、用户总体计数、实验或群组数据 服务台;事件管理 带对照组的实验;A/B 测试 每季度 隐藏联系路径;在联系之前添加步骤;无论原因,把所有更少的工单都归类为分流 每 1000 位活跃用户的联系数、受影响服务的用户满意度,以及写在数字旁边的方法
落空率 失败的自助服务尝试中,以就同一需求的有人值守联系结束的占比 在同一用户就同一主题的被放弃或不成功的自助服务会话之后 7 天内开立的有人值守联系,除以不成功的会话。时钟从会话结束时开始。排除无关的联系 百分比 按用户和主题与工单系统连接的门户日志 服务台;知识管理 完成定义中的升级路径;来自支持的反馈 每月 把匹配窗口定义得很短,使回来的人落在窗口之外;把后续联系作为重复项关闭 跨所有渠道的重复联系率;评审一批回来的联系样本
自助服务采纳(门户优先占比) 通过自助服务渠道提出的合格请求和事件报告占比 通过门户、机器人或 API 创建的项,除以提供自助服务路径的目录条目的所有项。排除不存在自助服务路径的项 百分比 工单系统的渠道字段、目录配置 服务请求管理;服务目录管理 发布后的采纳跟踪 每月 无论是否合适,强迫所有请求进入门户;把电话创建的工单重新标注为门户工单 自助服务成功率和用户付出的努力;没有可用门户路径的请求占比
自动化覆盖率 由自动化在没有任何手工步骤的情况下完成的合格的可重复工作占比 由自动化流程端到端完成的项,除以被判定为可自动化的各类型的所有项。仅当有书面的候选清单点名该类型时,才将其算作可自动化。排除一次性工作和被自动化拒绝的项 百分比 工单系统、自动化平台日志、候选清单 服务请求管理;部署管理 完成定义的自动化;流水线即代码 每月 为候选清单选择容易的项;用琐碎的任务扩大分母;把部分手工的流程算作自动化 每季度评审的书面候选清单;自动化失败与返工率;其余各项的手工接触时间
自动化失败与返工率 失败、需要手工修复,或其结果随后被更正的自动化运行占比 出错、被回滚,或在 7 天内被手工修复跟进的自动化运行,除以所有自动化运行。时钟从运行开始。排除计划内的试运行 百分比 自动化平台日志、工单系统、变更记录 变更赋能;事件管理 变更失败率;构建和测试的稳定性 每周 把手工修复排除在计数之外;让失败的运行悄悄重试直到成功;把失败标注为“计划内的试运行” 与流程相联的事件和告警记录;检测到失败运行的时间;对成果的抽样审计
每种请求类型的手工接触时间 花在作为自动化候选的某种请求类型上的员工工作量 员工在期内就该类型的项记录的实际处理分钟数,按每个项汇总为中位数和第 85 百分位数。在时间未被记录之处通过抽样估算。排除等待时间 每项的分钟数 时间抽样、工单工作日志 服务请求管理 繁琐工作跟踪;价值流浪费 每季度 对看起来是手工的项不记录时间;把时间分配给另一个类别;只在安静的日子抽样 书面并评审的抽样计划;与同类型的周期时间和队列年龄比较
级别分布(左移占比) 各项在支持链的哪个位置被解决 在每个级别(0、1、2、3)解决的项,除以该期间所有已解决的项。级别是做了实际处理工作的最高层。排除在分诊之前被取消的项 按级别的百分比 工单系统的解决小组和分派历史 事件管理;服务台 群集协作和升级模式;跨职能团队 每月 通过重新分类升级,或在 1 级关闭项而在 2 级作为新项重新打开,来抬高在 1 级解决的占比 重开率和关联工单率;解决质量的抽样;按级别的客户满意度

第 4 部分:问题、变更与发布度量

4.1 问题管理度量

所在主题:(见主题 4.1,问题管理度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
已开立和已关闭的问题 按服务,进入和离开未关闭状态的问题记录之流 期内开立的计数和期内关闭的计数,各按关闭代码(已修复、接受风险、重复、无法复现);重复项显示但不计入“已修复”的计数 每期的计数 ITSM 问题记录 问题管理 待办事项列表的流入和吞吐量 每月 开立许多琐碎的记录;把一个问题拆成几个;以重复或“无法复现”关闭记录以清理清单 关闭代码的构成;修复后再发率;每季度阅读已关闭记录的样本
问题待办事项列表年龄 未关闭的问题已等待多久 对每个未关闭的问题,快照日期减去该记录的创建日期;按优先级报告未关闭问题的中位数、第 85 百分位数和最老的 天 ITSM 问题记录 问题管理 看板上的工作项年龄 每月 不修复就关闭最老的记录;作为新记录重新打开以重设时钟;把问题重新归类为请求 把新记录与其原始记录相联,并从第一条记录起报告年龄;按原因划分的关闭清单;评审接受的风险
事件到问题的链接率 在预期有问题或已知错误之处,指向某个问题或已知错误的事件占比 期内带有关联问题或已知错误的事件 / 期内优先级为高及以上、被重开,或属于重复类别的事件;以用户错误或重复关闭的事件被排除 百分比 ITSM 事件和问题记录 事件管理;问题管理 回顾会议发现模式 每月 把每起事件都链接到一个含糊的包罗万象的问题以提高比率 指向最大的五个问题的链接占比;检查链接样本是否真实匹配;关联症状的再发
找到根因的时间 一个被诊断的问题要多久才得到有记录的原因 时钟从问题记录创建时开始,到原因被记录且第二个人评审过时停止;没有原因就关闭的问题被排除并单独统计;报告中位数和第 85 百分位数 天 ITSM 问题记录及其审计线索 问题管理 探针或调查的限时 每月 记录一个快速而肤浅的原因以停止时钟;点名“人为错误”;跳过第二位评审者 修复后再发率;“人为错误”单独不被接受的原因分类法;对照证据评审一批原因样本
已知错误复用率 事件到来时已知错误多常被使用 以关联的已知错误或其变通办法解决的事件 / 期内症状与当时存在的某个已知错误相符的事件;没有匹配的已知错误的事件被排除 百分比 ITSM 事件链接;知识文章的使用 知识管理;问题管理 团队运行手册或剧本的使用 每月 统计事件关闭之后才添加的链接;把一个已知错误加到某项服务的每起事件上 事件关闭与链接之间的时间;响应者对条目是否有帮助的反馈;评审 90 天内未被使用的条目
永久修复的时间 一个问题从诊断到修复在生产环境中运行,暴露了多久 时钟从原因被记录时开始,到关联的修复变更被实施并确认时停止;以接受风险关闭的问题被排除并单独统计;报告中位数和第 85 百分位数 天 问题记录;变更记录或流水线部署事件 问题管理;变更赋能 修复项的周期时间 每月 在修复被验证之前就把变更标为已实施;以接受风险关闭以避免这项工作 修复后再发率;带负责人和评审日期的接受风险清单;时钟停止之前的验证步骤
修复后再发率 已修复的问题中,其关联症状又回来的占比 在某个群组季度以已修复关闭、且在修复上线后 90 天内有新的匹配事件的问题 / 该季度以已修复关闭的问题;90 天窗口是示例,并在图表上说明 百分比 ITSM 事件和问题记录;部署事件 问题管理;持续改进 逃逸缺陷或回归率 每季度 狭隘地定义症状使再发无法匹配;放宽关闭窗口使修复落入较早的群组;推迟链接 由所属团队之外的人评审的原因分类法;事件链接率;预先说明的固定窗口
仅有变通办法的占比 仅受变通办法保护的已知问题占比 处于已知错误状态且没有安排修复的未关闭问题 / 处于已知错误状态的未关闭问题;带有指名负责人和评审日期的接受风险的问题,作为单独的一组展示 百分比 ITSM 问题记录 问题管理;风险管理 技术债登记册 每月 安排一个没有真实日期的占位修复;把问题移到接受风险;降低问题的优先级 已延误的预定修复的年龄;由指名的高管负责人评审的接受风险清单;按问题划分的重复事件成本

4.2 事后复盘与学习度量

所在主题:(见主题 4.2,事后复盘与学习度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
评审覆盖率 获得了已完成评审的符合条件的事件占比 在约定窗口内发布了评审的符合条件的事件 / 期内关闭的符合条件的事件。符合条件的事件是满足书面触发条件的事件。期末仍处于窗口之内的事件被排除。 百分比 与评审存储库相连的 ITSM 工具事件记录 事件管理;问题管理 定期的团队反思;团队工作协议 每月 收窄触发条件;降低严重级别使事件落在其外;归档一行字的“评审”来打勾 评审质量得分;将事件严重级别的计数与客户报告的影响比较;审计降级
评审质量得分 已发布的评审是否符合一份简短的书面标准 样本中满足检查清单至少 [约定数量] 项的评审 / 样本中的评审。样本是每个季度随机抽取的固定数量的评审,由所属团队之外的人评分。 百分比 附评分表的评审存储库季度样本 持续改进;问题管理 评审的完成定义 每季度 用套话撰写以迎合检查清单;由所属团队评分;可预测的样本 外部评分者;随机样本;每季度大声读出两份评审;跟踪高分评审的行动是否完成
行动关闭率 在截止日期前完成的评审行动占比 在截止日期前完成或被正式拒绝(附理由)的行动 / 期内到期的行动。时钟从评审发布时开始,到所属团队把行动标为完成并经评审者确认时停止。以“不做”关闭的行动单独计数并报告。 百分比 与评审相联的团队待办事项列表或 ITSM 改进登记册 持续改进;问题管理 团队待办事项列表;改进行动 每月 把截止日期定得很远;把行动拆成琐碎的片段;不经验证就关闭行动;宣布“不做”以清理清单 未关闭行动的年龄;附理由的被拒绝占比;评审者确认变更有效;原因再发率
未关闭行动的年龄 仍未关闭的评审行动的年龄 对每个未关闭的行动,今天减去其评审的发布日期。报告中位数、第 85 百分位数和最老的。 天 团队待办事项列表或改进登记册 持续改进 工作项年龄;老化的在制品 每月 关闭并重新打开或重新创建行动以重设其年龄;把行动移到单独的“想法”清单 把新行动与其来源评审相联,并保留第一个日期;被移到想法的行动计数
原因再发率 其原因类别与同一服务较早事件相符的事件占比 期内主要原因类别与过去十二个月内就同一服务关闭的某次评审相符的事件 / 期内有记录的原因类别的事件。没有记录原因类别的事件被排除并单独统计。 百分比 与事件记录相连的评审存储库原因类别字段 问题管理;事件管理 逃逸缺陷分析;回顾会议主题 每季度 记录含糊或不断变化的原因类别使什么都匹配不上;使用宽泛的“其他”类别;把重复链接到不同的类别 落入“其他”的事件占比;按类别定期重读评审;评审类别清单本身
险情报告率 人们选择报告的险情和微弱信号的数量 期内记录的险情 / 活跃服务,按服务展示趋势,绝不按人。该比率在一个健康计划的早期上升,然后趋于平稳。 每项服务的计数 险情日志,或问题跟踪器中标记的字段 事件管理;风险管理 团队健康检查;障碍看板 每月 为达成数字而要求报告;记录琐碎的事件;或者反过来,把这个数字读作失败而压制报告 导致变更的险情占比;不对计数设定目标;来自敢于发声的脉搏的反馈
学习覆盖面 一次评审在撰写它的团队之外传播了多远 在发布后 [约定天数] 内,在所属团队之外被展示或讨论(共享论坛、跨团队会议,或依赖团队有记录的阅读)的评审 / 期内发布的评审 百分比 论坛或会议记录以及评审存储库 持续改进;知识管理 干系人评审;实践社区 每季度 把名字添加到分发列表;在参加人数很少的会议上展示;把一个链接算作一次阅读 出席或实际的讨论记录;问依赖团队在上一次评审之后改变了什么
回顾会议行动的结转 在下一次回顾会议之前完成的团队回顾会议行动占比 在下一次回顾会议之前完成的回顾会议行动 / 在上一次回顾会议上商定的回顾会议行动。附理由被有意放弃的行动从两项计数中移除。 百分比 回顾会议记录或看板,保存在团队待办事项列表中 持续改进 定期的团队反思 每个评审期,每季度评审 只同意容易完成的琐碎行动;跳过回顾会议;把项标为完成 团队判断的行动影响;回顾会议举行率;同一主题是否连续几周出现
敢于发声的脉搏 人们是否相信自己能够不被责备地描述错误 在一组简短的匿名问题(例如“我可以在评审中描述一个错误而不必害怕被责备”)上达到或高于 [约定水平] 的回复 / 收到的回复。该脉搏只针对大到足以保护匿名性的群体报告。 百分比 匿名脉搏调查 持续改进;组织变革 团队健康检查;心理安全检查 每季度 向受访者施压;只调查有自信的人;报告掩盖了低分群体的平均值 回复率和受访者构成;最小群体规模;完整阅读开放式评论;评审语言是否发生变化

4.3 变更赋能度量

所在主题:(见主题 4.3,变更赋能度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
按类型划分的变更数量 已完成的变更数,按标准、正常和紧急拆分 期内达到已实施状态的变更记录计数,按批准时的类型分组;已取消和已撤回的变更被排除并单独报告;按服务报告,不按人 按类型的每周或每月变更数 ITSM 工具中的变更记录,与流水线部署事件相连 变更赋能 已完成工作项的吞吐量;每个增量的发布内容 每周,每月评审 把一项变更拆成许多小记录以显得繁忙,把许多合并成一项以显得平静,或让非正式的变更不入账 每月对照流水线部署事件核对计数;跟踪没有匹配变更记录的部署占比
标准变更占比 走预先授权路径的已完成变更占比 期内完成的标准变更 / 期内完成的所有变更;事后被重新分类的变更按其最终类型计数,重新分类被记录 百分比 带类型和重新分类历史的变更记录 变更赋能 团队工作协议和完成定义所涵盖的例行工作 每月 把有风险的工作重新归类为标准以达到目标,或撰写涵盖一切的宽泛标准程序 对分类的季度抽样评审;按类型的变更失败率(见主题 4.4,变更失败与返工);重新分类的日志
批准前置时间 一项变更等待授权决定的时间 时钟从请求被提交为就绪待评估时开始,到授权决定被记录时停止;等待请求者提供信息的时间被排除并单独显示;报告期内正常变更的中位数和第 85 百分位数;没有批准步骤的标准变更被排除 小时或工作日 变更记录上的时间戳,或流水线中的批准事件 变更赋能 工作流中的等待时间;评审列中的时间 每周,每月评审 推迟起算、提前停止、为不需要问的问题暂停,或不阅读就批准 中位数旁边的第 85 百分位数;对批准的抽样评审是否实质性;按批准人小组而不是个人的变更失败率
自动化批准占比 由流水线控制或预先授权政策作出并记录的授权决定占比 其批准由被记录的自动检查或依据书面政策被记录的同行评审授予的变更 / 期内完成的所有变更;由委员会或经理手工签字的算作未自动化 百分比 流水线日志、代码评审记录和变更记录 变更赋能;部署管理 自动化的质量关口;作为完成定义一部分的同行评审 每月 添加总是通过的自动检查,或把没有评论的同行评审算作保证 对自动化和同行批准的抽样评审;自动批准变更的逃逸缺陷和失败率;绕过计数
批准队列年龄 待处理的请求此刻已等待多久 每项当前等待决定的变更的年龄,自提交到快照那一刻度量;报告最老的项和未处理队列的第 85 百分位数;已完成的批准被排除 小时或工作日 带未结批准状态的变更记录 变更赋能 工作项年龄;老化的在制品 每日快照,每周评审 关闭或撤回旧请求使队列看起来很短,或把它们转为带新时间戳的新请求 被撤回和重新提交的请求计数;请求年龄从首次提交起度量
变更记录完整性 其记录能回答谁、什么、为什么、何时以及哪项服务的已完成变更占比 所有必填字段都已填写并与受影响的服务或配置项相联的变更 / 期内完成的所有变更;必填字段列在定义中;在变更实施之后才创建的记录被标记 百分比 变更记录、版本控制链接、配置数据 变更赋能;服务配置管理 从提交到工单再到部署的可追溯性 每月 用占位文字填充必填字段,或为满足报告在变更之后创建记录 标记在实施之后创建的记录;对自由文本的抽样质量评审;与提交的链接率

4.4 变更失败与返工

所在主题:(见主题 4.4,变更失败与返工)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
变更失败率 对生产环境的变更中,造成服务降级或需要补救的占比 在失败窗口内需要回滚、热修复、向前修复或有关联事件的变更 / 期内完成的对生产环境的所有变更;窗口从变更完成时开始,在固定的天数(例如 7 天)之后停止,写入度量登记册;仍处于窗口之内的变更单独报告,在窗口关闭之前从比率中排除 百分比 与事件工具和热修复清单相连的变更记录或部署日志 变更赋能;事件管理 完成定义;逃逸缺陷 每月,采用 90 天的滚动窗口 收窄失败窗口;不把事件与变更相联;把糟糕的变更归类为“服务请求”或“维护”;向前修复并称之为新变更;把许多编辑捆绑进一项变更,使一次失败涵盖它们 变更到事件的链接率;对照事件清单的季度抽样审计;失败定义的一致度;在其旁边的前置时间和部署频率
紧急变更占比 通过紧急路径作出的变更占比 记录为紧急的变更 / 期内完成的所有变更;紧急指由于紧迫而绕过或缩短了正常评估,预先授权的标准变更从两项计数中排除 百分比 变更记录的类型字段 变更赋能 计划外工作和加急服务类别 每月 以虚假的风险评级把紧急工作走标准路径;把普通工作当作紧急以避免批准;把一项紧急变更拆成几项正常变更 每季度阅读所有紧急变更;对原因分类并评审;标准变更占比和批准前置时间(见主题 4.3,变更赋能度量)
回滚率 被撤回到先前版本的变更占比 在到达生产环境之后被撤销的变更 / 期内对生产环境的所有变更;在变更到达任何用户之前所作的回滚(例如在第一步就被停止的金丝雀发布)单独计数 百分比 部署日志和发布工具 发布管理;部署管理 流水线和发布实践 每月 向前修复以避免记录回滚;让损坏的版本保持在线;把变更挡在生产环境之外,使没有东西可撤销 在其旁边的热修复率和返工率;恢复时间分布;对照部署日志抽查事件
热修复率 属于在正常发布流程之外应用的紧急补丁的变更占比 被标记或分支为热修复的变更 / 期内对生产环境的所有变更;分母包括热修复本身 百分比 版本控制的分支或标签,以及部署日志 变更赋能;事件管理 计划外工作;加急 每月 不给热修复打标签;让它们走正常分支;把热修复称为“小改进” 部署返工率;分支和标签审计;计划外工作占比(见主题 2.9,运维工作与计划外工作)
部署返工率 作为先前部署中某个问题的计划外修复的部署占比 在同一失败窗口内,修复近期较早部署中缺陷或故障的对生产环境的部署 / 期内所有生产部署;来自路线图的计划内后续工作被排除 百分比 带“修复”链接或标签的部署日志,以及工作跟踪器 变更赋能;持续改进 返工;逃逸缺陷;失败需求 每月 不把修复与发起它的部署相联;把一项修复标为“计划内”;把修复与新功能捆绑 纠正性部署上必填的“修复”链接;对标为计划内的部署的抽样评审;在其旁边的变更失败率
变更到事件的链接率 记录了是否由某项变更引起、以及是哪一项的已解决事件占比 带有完整的“由变更引起”字段(是或否,为“是”时附变更标识符)的事件 / 期内已解决的事件;时钟在事件关闭时停止 百分比 事件工具和变更记录 事件管理;变更赋能 事后事件评审;完成定义 每月 不检查就把字段填为“否”;让字段默认为“否”;批量关闭事件以提高百分比 在事后事件评审中抽查“否”的答案;无默认值;对样本的评审者评论
失败定义的一致度 两位评审者就一批变更样本是否失败达成的一致 两位独立评审者使用书面定义得出相同失败结论的抽样变更 / 抽样变更;每个季度随机抽取至少 20 项变更的样本 百分比 与度量登记册一起保存的样本评审表 持续改进;度量与报告 回顾会议 每季度 为样本选择容易的例子;评审者就是被度量的人;放宽定义使每个人都同意 由团队之外的人随机抽取的样本;有意包括边界案例;公布分歧并修复定义

4.5 发布与部署度量

所在主题:(见主题 4.5,发布与部署度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
部署频率 一项服务多常得到对生产环境的成功部署 期内该服务成功的生产部署计数 / 期内天数;对测试或预发环境的部署、失败或被回滚的部署,以及对未变化构建的重新部署被排除;仅配置的部署在单独的序列中计数 每天或每周的部署次数 部署流水线事件日志 部署管理 持续交付;发布可工作的增量 每周 把一项变更拆成琐碎的部署;重新部署未变化的构建;统计对预发环境的部署;把仅配置的部署与主序列一起统计 发布批量大小以及带有用户可见变更的部署占比;单独的配置序列;在其旁边的变更失败率
发布频率 用户多常收到他们可以触及的变更 期内的发布事件计数 / 期内天数;发布事件是一项变更或一组变更对其预期用户变得可触及的时刻(对所有用户开启的开关、渐进式推出的最后阶段,或没有开关的变更的部署);暗发布、停在部分阶段的推出,以及只影响内部用户的开关变更被排除 每周或每月的发布次数 与流水线日志和发布日历相连的开关服务审计日志 发布管理 在每个增量结束时发布;提供一个可能可发布的增量 每周,每月评审 把部署重新标注为发布;把对内部员工开启的开关算作发布;为达成目标而发布空洞或表面的变更;把推出的每个阶段算作单独的发布 书面的发布定义;每季度对照用户可见的变更抽查发布样本;批量大小和面向客户的变更计数
发布前置时间 一项完成的变更在用户可以触及它之前要等多久 时钟从变更被合并到主线并通过其自动检查时开始(或者,如果你的团队这样规定,从首次提交开始),到变更按上述定义被发布时停止;报告期内所发布变更的中位数和第 85 百分位数;尚未发布的变更被排除,并作为等待中的工作的年龄报告 小时或天 与流水线和开关审计日志相连的版本控制 发布管理;部署管理 从完成到交付的前置时间;到客户的前置时间 每周,每月评审 把时钟起点往后移,例如从批准而不是合并开始;把等了很久的变更当作“被阻塞”而排除;先发布一项琐碎的变更以拉低中位数;让时钟在部署时结束 第 85 百分位数和最老的等待变更的年龄;固定的书面起点;每季度评审最慢的 10% 的变更
部署到发布的间隔 已部署的代码在用户可以触及之前保持暗状态多久 时钟从变更被部署到生产环境时开始,到它被发布时停止;报告中位数和第 85 百分位数;在部署的那一刻就被发布的变更间隔为零,并被包括在内;被部署后又在没有发布的情况下被移除的变更被排除并单独计数 小时或天 与开关审计日志相连的流水线日志 发布管理;部署管理 暗发布;把部署与发布解耦 每月 为一位象征性的用户开启开关以提早记录发布;把长期处于暗状态的代码称为“不是发布”而排除在样本之外;删除暗代码以避免长间隔 发布时的暴露占比(被视为已发布的阈值);已部署而被移除、未发布的变更计数;陈旧开关计数
发布批量大小 一次发布中有多少变更一起发布 期内每次发布中已合并变更(拉取请求或工作项)数量的中位数和第 85 百分位数;变更的单位已写下来;每项变更只计一次,计入使其可触及的那次发布 每次发布的变更数 与发布事件相连的版本控制和问题跟踪器 发布管理;变更赋能 小批量;工作的垂直切片 每次发布,每月评审 把工作拆成人为的拉取请求;把无关的变更合并成一项以降低发布次数;只统计捆绑中的大变更 以行数或文件数计的变更规模中位数作为背景测量值;评审一批发布样本是否有无关的捆绑;频率旁边的规模
特性开关覆盖率 在开关之后发布的、对用户可见的变更占比 期内发布时带有开关的、对用户可见的变更 / 期内发布的所有对用户可见的变更;无法加开关的基础设施变更和缺陷修复被排除,并写下“对用户可见”的规则 百分比 与问题跟踪器和发布日志相连的开关服务 发布管理;变更赋能 渐进式交付;实验驱动的开发 每月 给琐碎的变更添加开关以提高比率;只给安全的变更加开关,而让有风险的不加开关就发布;创建一个实际上无法关闭的开关 对一批开关样本的关闭测试结果;陈旧开关计数;没有开关的事件原因
陈旧开关计数 有多少开关已超出其用途 在其所守护的变更到达所有用户之后,仍存在于代码或配置中超过规定天数的发布开关数量;永久的运营开关(终止开关、权限开关)被标记并排除;每种开关类型的年龄上限都写下来 开关数,以及发布开关年龄的中位数(天) 与代码搜索相连的开关服务清单 发布管理;知识管理 技术债清理;以移除开关作为完成标准 每月 把发布开关重新标记为永久,使其离开陈旧计数;删除开关记录而让它留在代码中;不经评审就延长到期日期 对照登记册的定期代码搜索;评审对开关类型的每一次更改;最老的发布开关的年龄

4.6 技术债与已知错误

所在主题:(见主题 4.6,技术债与已知错误)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
已知错误待办事项列表年龄 未关闭的已知错误等待永久修复多久了 时钟从问题记录被标为“已知错误”时开始;到永久修复被发布到生产环境时停止;以“接受风险”关闭的项单独报告并排除。按服务报告计数、年龄中位数和第 85 百分位数年龄 天(分布) ITSM 工具的问题和已知错误记录、发布记录 问题管理 老化工作项图表;缺陷待办事项列表年龄 每月 以“接受风险”或“不修复”关闭旧记录;把一条旧记录拆成新的年轻记录;通过重新登记来重设时钟 在同一页上报告接受风险的计数和年龄;由所属团队之外的人评审关闭;保留记录谱系
变通办法覆盖率 有坐席可以遵循的、有文档且经过测试的变通办法的未关闭已知错误占比 在过去 6 个月内评审过变通办法的未关闭已知错误 / 未关闭的已知错误;已关闭和接受风险的项被排除 百分比 与已知错误记录相联的知识库 问题管理;知识管理 可运维性的运行手册或完成定义 每月 为满足该字段而撰写含糊的变通办法;统计没有任何坐席试过的变通办法 关联事件中变通办法的使用和失败率;定期测试一批变通办法样本
与未关闭已知错误相联的事件 其原因是某个未关闭已知错误的事件,是在服务中断方面所付利息的直接度量 期内与事件开始时仍未关闭的某个已知错误相联的事件 / 期内的所有事件;没有原因链接的事件作为未链接报告,不计入 百分比,加计数 ITSM 工具的事件到问题的链接 事件管理;问题管理 逃逸缺陷;生产缺陷流入 每月 让事件保持未链接,或把它们链接到另一个原因,使占比下降 在其旁边报告未链接事件占比;对已关闭事件抽样评审是否漏了链接
债务存量 仍未关闭的已登记技术债项的数量和估算的规模 期末债务登记册中的未关闭项;规模是登记时分配的粗略工作量区间(小时、天、周)之和;未登记或疑似的债务被排除 计数,以及工作量区间 跟踪器中的债务登记册,按服务标记 持续改进;服务设计 标记为债务的产品待办事项列表项 每月 不登记债务,使存量看起来很小;把许多项合并成一个大项;登记琐事以显得勤勉 对照代码评审和事件事后复盘的样本评审登记册;项的规模和具体性检查
债务利息 由未关闭的债务和已知错误引起的额外工作,以团队时间计 期内记录在带有债务或已知错误引用的工作项上的小时数(变通办法、手工步骤、返工,以及受影响变更上的额外工作量)/ 期内团队的总工作小时;修复工作本身被排除,计入容量占比 工作时间的百分比 工作项上的时间或工作量标签,保持在团队层面 持续改进;问题管理 计划外工作和返工占比 每月 为避免被审视而少打标签,或为赢得修复预算而多打标签;把该数字读作对团队的评级 对已标记和未标记项的抽样审计;只在团队层面查看,不在团队之间比较;利息与事件链接一起阅读
债务容量占比 花在清偿债务和已知错误上的交付容量占比 被标记为债务修复或已知错误修复的已完成工作项的容量(项数或工作量)/ 期内所有已完成的工作项;没有标签的项被排除 百分比 跟踪器,按标签划分的已完成项 持续改进;变更赋能 容量分配 每个规划期,每月评审 把普通的功能工作标记为修复;选择容易的表面项来填满占比 成果检查:最老的高利息项的年龄和事件链接在下降;对照排序评审修复了什么
债务净变化 账簿是在增长还是在缩小 期内登记的债务和已知错误项减去期内已解决的项;已解决指修复被发布,而不是被合并;以“不修复”关闭的项单列一行计数 计数(带符号) 债务登记册和已知错误记录 持续改进 按类别的待办事项列表变化 每月 解决许多微小的项以抵消少数大的;以“不修复”关闭项使计数下降 按规模区间和利息展示净变化;报告“不修复”这一行;对已解决项的再发检查

第 5 部分:服务级别、可用性与可靠性度量

5.1 SLA、OLA 与 XLA 度量

所在主题:(见主题 5.1,SLA、OLA 与 XLA 度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
SLA 达成率 期内达到所述 SLA 目标的被度量项(事件、请求或时间窗口)占比 达到目标的项除以被度量的项。时钟从协议中定义的登记时间(例如工单创建)开始,到所定义的停止事件(例如确认恢复)时停止。排除:作为重复而取消的项,以及协议约定的排除项(如计划内维护)之内的时间。在占比旁边报告计数 百分比,附 n ITSM 工具时间戳;基于时间的目标的监控数据 服务级别管理;事件管理;服务请求管理 滚动窗口内的服务级别目标达成(见主题 5.2,SLI、SLO 与错误预算) 每月,每周有内部视图 把目标选得容易;提早关闭工单再之后重开;向下重新归类优先级;把困难的案例排除为“范围之外” 重开率和优先级重新分类率;与客户一起阅读已关闭工单的样本;每季度评审排除清单
险情占比 达到目标、但在允许时间的最后十分之一内完成的项占比 在目标时间的 90% 或以上完成、但仍在其内的项,除以达到目标的项。时钟与 SLA 相同。对时间窗口不适用 n/a(它只适用于达到目标的时间类测量值) 百分比 ITSM 工具时间戳 服务级别管理 流动图上接近服务级别预期的工作占比(见主题 2.1,流动度量) 每月 在限度前一分钟停止时钟,然后在记录之外继续工作;把一张工单拆成两张较短的 从最后一次客户联系到确认恢复的时间;每起事件的关联或子工单计数
时钟暂停占比 经过的工单总时间中,花在使 SLA 时钟暂停的状态上的占比 暂停时间总和除以从开始到停止的总经过时间,针对范围内的项。排除没有使用暂停状态的项。按暂停状态报告 百分比 ITSM 工具状态历史 服务级别管理;事件管理 流动视图中的阻塞时间和等待时间(见主题 2.4,价值流度量) 每月 在并非等待客户的工单上使用暂停状态;把工作移入不被计入的状态 抽样审计暂停原因;被客户撤销的暂停占比;被暂停工单的体验得分
OLA 达成率 两个团队之间的内部交接中,达到 OLA 目标的占比 在 OLA 目标内完成的交接除以收到的交接。时钟从接收团队被分派时开始,到它退回或关闭该项时停止。排除:被错误重新分派的项,单独计数 百分比,附 n ITSM 工具分派历史 服务级别管理;事件管理 团队之间的交接等待时间和被阻塞的工作(见主题 9.3,协作与交接度量) 每月 把交接退回发送者以重启时钟;在没开始工作的情况下把项标为已接受 每个项的退回计数,以及跨团队到恢复的总时间;端到端的 SLA 成果
交接等待时间(第 85 百分位数) 一个项在接收团队的队列中等待多久才开始工作 从分派给接收团队到该团队首个被记录的动作之间时间的第 85 百分位数。排除:等待客户的项 小时或分钟 ITSM 工具分派和活动历史 服务级别管理;事件管理 流动视图中的排队时间(见主题 2.3,在制品与排队) 每周 分派给个人而不是团队队列以隐藏等待;记录一个象征性的首个动作 抽样评审首个动作的质量;从分派到首次对客户可见的更新的时间
按旅程的体验得分 客户或用户对服务如何支持某个明确旅程的评分,比如获得一台新笔记本电脑,或从中断中恢复 期内已完成旅程在固定量表上的调查评分的均值和分布。报告回复率和受访者构成。排除:不完整的调查。不是单一的平均值,所以展示分布 评分量表,附回复率 简短的互动后调查;来自 ITSM 工具的旅程事件 服务级别管理;客户满意度实践(见主题 6.1,客户满意度度量) 客户反馈和成果测量值 每月,每一轮都展示 只向满意的用户发送调查;提出引导性问题;辅导响应者给出高分 受访者构成对照总体;在得分旁边展示回复率;评审时阅读开放式评论
西瓜差距 在 SLA 读作达成而体验测量值或用户影响测量值读作糟糕的报告期或服务的占比 SLA 达成率达到或高于目标而体验低于其约定水平的服务(或期间),除以 SLA 达成率达到或高于目标的服务(或期间)。体验水平必须在该期间被评分之前商定 绿色服务的百分比 SLA 达成率与体验得分一起 服务级别管理;持续改进 对照成果的结果回顾 每季度 把体验水平设得低,使差距保持很小;当它下滑时更改体验测量值 事先商定体验水平,并连同理由记录变更;整个分布的趋势
协议覆盖与时效性 其 SLA、OLA 和供应商合同存在,并在约定间隔内评审过的线上服务占比 三层都有文档并在间隔内评审过的服务,除以服务目录中的线上服务。间隔由组织设定。排除:处于淘汰中的服务 百分比 服务目录(ITIL 自己的拼写是 service catalogue)和协议登记册 服务级别管理;服务目录管理;供应商管理 按定期节奏评审的工作协议和团队章程 每季度 没有真正评审就把协议标为已评审;把一份存根文档算作 SLA 评审的证据(出席者、变更、决定);阅读协议样本,看实际内容和客户签字

5.2 SLI、SLO 与错误预算

所在主题:(见主题 5.2,SLI、SLO 与错误预算)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
SLI 达成 一项服务某一指标的有效事件中,好事件所占的比例 好事件 / 有效事件,窗口从报告期开始到结束;SLO 文档所排除的事件(负载测试,若 SLO 如此规定则含提前宣布的计划内维护)同时从分子和分母中移除 百分比 负载均衡器、应用或合成探测的遥测;监控或可观测性平台 服务级别管理;监控与事件管理 可运维性的完成定义;干系人对服务健康的评审 持续,每日并按窗口报告 收窄“有效”事件,直到失败消失,比如排除重试的请求或整类错误;只度量最健康的组件;只从有利的位置探测 在 SLO 文档中公布 SLI 定义和排除项,并附变更日志;把 SLI 与支持联系和用户投诉相比较;定期评审被排除的事件及其数量
SLO 合规 SLI 在 SLO 窗口内是否达到目标,以及在最近多少个窗口达到 SLI 达成率达到或高于目标的窗口 / 被评估的窗口,取过去 12 个月;仍然开放的窗口被排除 窗口的百分比 SLI 达成历史 服务级别管理;持续改进 团队目标或关于可靠性的工作协议 每月,每季度看趋势 把目标设得低到总能通过;在糟糕时期之后更改窗口长度;把违约重新定义为维护期 在用户参与下设定目标并按计划评审;窗口在文档中固定;与合规一起报告排除项和对窗口的计划外变更的计数
剩余错误预算 当前窗口中尚未花掉的预算部分 1 - (到目前为止的坏事件 / 整个窗口允许的坏事件),其中允许的坏事件 = (1 - SLO) x 整个窗口预期的有效事件;时钟在窗口开始时启动,在窗口结束时停止 预算的百分比 SLI 达成率和量的预测 服务级别管理;风险管理 发布就绪检查;计划工作的输入 每日,每周评审 把坏事件重新归类为排除;夸大预期量,使允许的坏事件数看起来更大;提前重置窗口 允许的坏事件按窗口结束时的实际量计算;在预算旁边展示被排除的事件量;窗口日期事先固定
燃烧率 预算相对于均匀花费速率被花掉的速度 (回看期内的坏事件 / 有效事件) / (1 - SLO);回看期是明确说明的,例如 1 小时或 6 小时 比率(1 表示恰好在预算之内) 细时间分辨率的 SLI 遥测 监控与事件管理;事件管理 值班告警规则;集群协作(swarming)触发器 持续,在告警规则中评估 调整告警阈值,使燃烧永不触发;使用长得使快速燃烧被平均掉的回看期 用过去的事件做告警覆盖测试(“这条规则会不会发出呼叫?”);可操作告警率和漏检计数(见主题 5.5,监控与告警质量度量)
预算政策遵守 当错误预算政策中的某个触发器被命中时,商定的后果被执行的频率 期内在约定时间内采取了政策行动的触发 / 期内命中的触发;被正式豁免并记录了理由的触发单独计数,而不被移除 百分比 政策文档、决定日志和待办事项列表历史 服务级别管理;变更赋能 工作协议;回顾会议的后续落实 每季度 例行地批准例外;撰写触发器永远无法达到的政策;把一张象征性的可靠性工单算作政策行动 例外单独计数和评审;期内例外的占比;已完成的可靠性工作(见主题 4.1,问题管理度量)
SLO 覆盖 拥有当前 SLO 和有效 SLI 的关键用户旅程或范围内服务的占比 至少有一个 SLO 且其 SLI 数据在过去 7 天内到达的范围内服务或旅程 / 范围内的服务或旅程;“范围内”列在服务目录中(ITIL 用语为 service catalogue) 百分比 服务目录、SLO 登记册和监控配置 服务目录管理;服务级别管理 团队服务所有权清单 每季度 为每项服务添加一个琐碎的 SLO 以提高百分比;在没有数据流入时就把旅程算作已覆盖 SLI 数据新鲜度检查(数据在过去 7 天内到达);评审 SLO 是否覆盖了关键旅程,而不是次要的端点

5.3 可用性度量

所在主题:(见主题 5.3,可用性度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
基于时间的可用性 范围内的时间中,服务达到“在线”书面定义的占比 (窗口内范围内的分钟数减去计划外停机分钟数) / 窗口内范围内的分钟数。时钟从随后被确认为用户影响的第一次失败探测开始,或从事件评审中记录的确认影响开始时间开始;在服务重新达到该定义时停止。约定服务时间内的计划内停机单独显示,约定服务时间之外的时间从分母中排除 百分比 合成监控结果;带有影响开始和恢复时间戳的事件记录 可用性管理;服务级别管理 针对单一系统的基于时间的 SLI(见主题 5.2,SLI、SLO 与错误预算) 每月 探测一个始终在线的无关紧要的页面,而真正的旅程失败;拉长探测间隔,使短暂的中断落在两次检查之间;缩减范围内的时间;把中断算作降级 按用户加权的可用性和真实用户监控;在数字旁边说明探测间隔;对照监控记录抽查事件
基于请求的可用性 成功的有效请求占比 窗口内成功的有效请求 / 有效请求总数。有效请求排除格式错误的请求以及由调用者引起的客户端错误;由服务引起的失败,包括超时,被计为失败。按服务和用户旅程报告 百分比 负载均衡器、网关或应用的日志和指标 可用性管理;监控与事件管理 带 SLO 和错误预算的成功率 SLI(见主题 5.2,SLI、SLO 与错误预算) 每日趋势,每月报告 把容易的请求(健康检查、缓存的资源)计入分母以稀释失败;把服务器错误归类为客户端错误;排除用户体验为失败的重试 按关键旅程而不是按请求的成功率;评审排除清单;与用户报告的事件相比较
按用户加权的可用性 按受影响的用户或旅程加权的可用性,使高峰期的中断比夜间的中断更重要 窗口内 1 减去(失败的用户会话或失败的旅程 / 用户会话或旅程总数)。如果某个已定义的关键步骤失败,会话即计为失败;部分成功作为单独的降级占比报告,而不是折算进来 百分比 真实用户监控;应用会话日志;分析事件 可用性管理;服务级别管理 基于旅程的 SLI,以及主题 6.2 中的体验测量值(见主题 6.2,体验级别协议) 每月 选择加权方式使高峰期的故障不重要;把“成功”会话定义得很松,使中断的步骤仍然通过 公布加权规则和旅程清单;与中断期间的投诉量和支持联系相比较
计划外停机 服务在没有事先批准的通知下不可用的分钟数 窗口内中断持续时间之和,从确认的影响开始到确认的恢复,针对在开始前未通过变更赋能宣布并批准的中断。同一服务上重叠的中断被合并,而不是相加。以总分钟数、中断次数,以及中断持续时间的中位数和第 95 百分位数报告 分钟 带有影响开始和恢复时间戳的事件记录 事件管理;可用性管理 把恢复时间作为分布来阅读(见主题 3.3,事件响应与解决时间) 每月 事后把中断重新归类为计划内;推迟确认的影响开始;把一次中断拆成两次,使之看起来更短 计划内停机占比,并规定在开始之后才宣布的中断是计划外;把影响开始与监控数据相比较
计划内停机占比 提前宣布并批准的停机占全部停机的比例 窗口内计划内停机分钟数 / (计划内加计划外停机分钟数)。只有当一次中断在开始前通过变更记录获得批准,且其开始和结束时间已告知用户时,才算计划内;超出批准窗口的超时,从窗口结束的那一刻起重新归类为计划外 百分比 带批准窗口的变更记录;事件记录;状态页历史 变更赋能;可用性管理 偏好零停机部署的发布和维护实践(见主题 4.3,变更赋能度量) 每月 把变更登记为已批准窗口,使超时和故障被算作计划内;通过安排不必要的维护夸大计划内占比 超时的分钟被重新归类为计划外;变更失败率和紧急变更占比(见主题 4.4,变更失败与返工)
中断频率与间隔 中断多常开始,以及服务在两次中断之间运行多久 窗口内开始的中断计数;以及对每一对连续的中断,从第一次的恢复到第二次的开始之间的正常运行分钟数,汇总为中位数和第 5 百分位数。当存在的间隔少于十个时,不作为单一均值报告 计数;分钟 事件记录;监控历史 事件管理;问题管理 与变更失败率并列的稳定性信号(见主题 4.4,变更失败与返工) 每月 合并事件,或只在长时间间隔之后才开立新事件,以保持计数很低;抑制告警,使短暂的中断未被记录 对照原始监控事件抽样检查告警和事件;监控覆盖与告警质量(见主题 5.5,监控与告警质量度量)
降级占比 服务能工作但低于约定质量的时间 延迟、错误或正确性指标超出其阈值的分钟数,排除已计为停机的分钟 / 范围内的分钟数。阈值按服务说明,例如在 SLO 中 百分比 监控和 SLI 测量 可用性管理;容量与性能管理 延迟 SLI(见主题 5.4,容量与性能度量) 每月 把阈值设得很松,使缓慢的服务永不违反它;把降级的时间声明为在线 在数字旁边评审延迟百分位数和用户报告的缓慢(见主题 5.4,容量与性能度量)
度量覆盖 可用性度量实际观察到的服务面向用户的行为有多少 带有活动探测或真实用户度量的关键用户旅程 / 服务定义中列出的关键用户旅程 百分比 服务定义;监控配置 监控与事件管理;可用性管理 可观测性覆盖与告警质量(见主题 5.5,监控与告警质量度量) 每季度 只列出容易探测的旅程,使覆盖读作 100%;把一个旅程算作被一个从不运行的探测覆盖 与服务负责人和用户商定旅程清单;每季度抽样探测的运行历史

5.4 容量与性能度量

所在主题:(见主题 5.4,容量与性能度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
资源利用率 一项资源的容量在一个时间间隔内被使用的占比,以间隔序列的高百分位数报告 忙碌容量 / 总容量,按 1 至 5 分钟的间隔;报告评审窗口内的中位数和第 95 百分位数;资源已被排空的维护窗口被排除 百分比 基础设施监控和云平台指标 容量与性能管理;监控与事件管理 完成定义中的运营验收标准;SRE 资源信号 每周 在很长的间隔上求平均以隐藏峰值;把闲置的预留容量算作“已使用”;只报告最安静的资源 在平均值旁边展示高峰时段的第 95 百分位数;饱和度测量值;对照服务地图评审范围内的资源清单
饱和度 在等待一项被完全使用的资源的工作量 每个间隔的队列长度、运行队列、待处理请求或被限流的请求;报告第 95 百分位数,以及有任何等待的间隔占比;没有需求的间隔被排除 计数,或间隔的百分比 应用和基础设施遥测 容量与性能管理;监控与事件管理 SRE 饱和度信号;服务队列上的在制品限制 每周 提高队列限制,使没有任何东西被报告为被拒绝或被限流;把等待移入另一个未被度量的队列 同一操作的延迟百分位数和错误率;端到端的队列时间,而不是某一阶段;评审路径中的所有队列
延迟百分位数 应答某个面向用户的操作的请求所花的时间,以中位数、p95 和 p99 报告 响应时间,从边缘收到请求到最后一个字节发出,按每个成功的请求;失败的请求作为错误报告,而不是作为快速响应;在滚动窗口内度量 毫秒 负载均衡器或网关日志、追踪、真实用户监控 服务级别管理;容量与性能管理 SRE 延迟指标和服务级别目标 持续,每周评审 只报告均值或中位数;从样本中丢弃缓慢或失败的请求;从快速的内部位置度量;排除“离群值” 始终显示 p95 和 p99;在延迟旁边显示错误和超时率;把真实用户监控与服务器端计时相比较;显示原始样本量
余量 服务在违反其目标之前还能承载的剩余负载 (经测试或建模的崩溃负载 - 当前峰值负载) / 当前峰值负载;峰值是窗口内最繁忙的一小时;崩溃负载是测试中延迟目标首次被违反时的负载,而不是硬件的最大值 百分比,或按当前增长率计的天数 负载测试结果和流量遥测 容量与性能管理;服务级别管理 流水线中的非功能性需求和性能测试 每月,以及重大发布之前 选择温和的测试工作负载;测试比生产更大的环境;把崩溃点定义为硬件最大值 对照生产流量形态评审测试工作负载;测试与生产之间差异的书面清单;相关变更之后重新测试余量
预测误差 某个时期的预测需求与实际需求之间的差异 绝对值 (预测峰值 - 实际峰值) / 实际峰值,针对规定的预测期;预测在预测期开始时冻结,之后不再修订;未预测的一次性事件被列出,而不是被移除 百分比 预测登记册和流量遥测 容量与性能管理;服务财务管理中与需求相关的规划 发布和路线图预测;SRE 需求预测 每季度 事后修订预测;设定很宽的区间,使每个结果都“在区间内”;把有意外的月份作为“未预测事件”移除 预测在登记册中冻结并标注日期;连同误差一起报告区间宽度;每个被排除的事件都被列出并评审
容量前置时间 容量需求被接受之后,使新容量投入服务所需的时间 时钟从容量请求获批时开始,到容量承载生产流量时停止;报告中位数和第 85 百分位数;被取消的请求被排除 天 ITSM 工具中的请求记录、变更记录、配置(provisioning)日志 容量与性能管理;服务请求管理;变更赋能 平台待办事项列表项的前置时间(见主题 2.2,前置时间、周期时间与流动效率) 每季度 通过延迟批准记录来推迟启动时钟;在下订单而不是容量承载流量时就关闭请求;拆分请求 时钟定义为从批准到承载流量;把已关闭请求的样本与配置日志相比较;被重新打开的请求计数
性能测试覆盖 近期做过现实的负载测试的关键服务占比 在具有代表性的环境和工作负载上,有一次早于规定期限的、通过的负载测试的关键服务 / 登记册中的关键服务;期限已写下 百分比 测试结果存储和服务登记册 容量与性能管理;发布管理 持续交付流水线中的非功能性测试 每季度 运行一个琐碎的测试来声称覆盖;缩减关键服务清单;把一个旧的通过的测试留在账上 记录测试的时效和工作负载的真实性;对照服务目录和事件历史评审关键服务清单;除通过之外也报告失败的测试

5.5 监控与告警质量度量

所在主题:(见主题 5.5,监控与告警质量度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
告警数量 通知了人的告警数量,拆分为呼叫和工单 期内送达某个轮换或队列的不同通知的计数;同一个仍然开放的告警的重复被归为一个;完全由自动化处理、没有通知人的告警被排除;按每个轮换每周报告,并单独报告非工作时间占比 每个轮换周的告警数 呼叫和告警路由工具 监控与事件管理 团队关于值班的工作协议 每周 提高阈值、增加长时间延迟,或把告警从呼叫移到无声的队列,使计数下降而问题无人看见;拆分或合并告警以改变计数 受监控检测占比和检测时间;规定每次降级都连同理由记录,并在一个季度后评审
可操作告警率 之后有人采取了有用行动的告警占比 有记录行动(修复、缓解、升级,或对告警规则的变更)的告警 / 期内被评审的告警;在任何确认之前就自动解决的告警被计为不可操作;未评审的告警作为单独的计数报告,而不是丢弃 百分比 与评审标签、工单或事件相连的告警记录 监控与事件管理;事件管理 团队对运营的改进行动 每周评审,每月趋势 事后把告警标为可操作,或采取一项琐碎的行动(一条评论、一次确认)使其合格;让嘈杂的告警不被评审,使它们永不进入分母 在比率旁边显示未评审告警的计数;由轮换之外的人抽样检查;写下“有用行动”的定义
误报率 在不存在问题时触发的告警占比 评审中被标为误报的告警 / 期内被评审的告警;“误报”指该状况并非故障,且没有人希望被告知;过于轻微而无需行动的真实问题不是误报 百分比 告警评审标签 监控与事件管理 回顾会议的噪声评审 每月 狭义地定义误报,使“真实但毫无意义”的告警被算作真实;在不打标签的情况下关闭嘈杂的告警 单独跟踪可操作告警率和“真实但不值得发呼叫”标签;定期抽样已关闭的告警
检测覆盖 至少有一个针对面向用户症状、且经过测试的告警的范围内服务占比 有症状告警、且该告警在过去 12 个月内经测试或真实事件检验过的服务 / 服务目录范围内的服务;范围内的服务清单在期初固定 百分比 服务目录、告警规则清单、测试记录 服务配置管理;监控与事件管理 新服务的完成定义 每季度 为每项服务添加一个琐碎的告警(ping)以声称覆盖;计入从未经测试的告警 要求告警盯着面向用户的症状,且在过去 12 个月内被检验过;受监控检测占比
受监控检测占比 在用户或同事报告之前,由监控检测到的事件占比 首个信号是告警的事件 / 期内的事件;时钟是事件的开立时间,没有记录首个信号的事件作为未知报告,而不是作为已检测 百分比 带首个信号字段的事件记录、告警时间线 事件管理 事件评审(事件后学习) 每月 即使用户先报告也把每起事件记录为“由监控检测到”;事后创建一个告警,然后引用它;把首个信号字段留空以避免难看的数字 在占比旁边显示未知的计数;首个信号的证据取自告警时间线,而不是记忆;由客户报告的事件与支持记录相联
检测时间(TTD) 从用户影响开始到首个通知了人的告警之间经过的时间 首个通知人的告警时间减去影响开始时间,其中影响开始是事件评审中确定的服务级别指标首次被违反的最早时间;报告中位数和第 95 百分位数;没有告警的事件被排除并单独计数 分钟 事件评审、告警时间线、服务级别指标历史 事件管理;监控与事件管理 事件后评审 每月,按事件 把影响开始声明得比实际更晚;排除没有告警的事件;报告均值以隐藏尾部 影响开始取自服务级别指标历史;没有告警的事件被计数并显示;中位数和第 95 百分位数一起报告
告警集中度 最吵的少数几条告警规则所产生的告警数量占比 告警最多的五条规则的告警 / 期内的所有告警;同一告警只归并一次;规则数五是一种惯例,团队说明理由后可以改变 百分比 告警规则清单和呼叫记录 持续改进;监控与事件管理 回顾会议的改进待办事项列表(backlog) 每月 把一条嘈杂的规则拆成几条,使它们都不在前五之内;给规则改名 除按规则外,还按潜在的故障或服务报告集中度;在旁边跟踪总量和可操作告警率
告警规则时效性 有负责人、运行手册链接,并在约定间隔内评审过的呼叫规则占比 满足全部三个条件的呼叫规则 / 所有呼叫规则;期内被禁用的规则被排除 百分比 告警规则清单 知识管理;监控与事件管理 关于运营就绪的工作协议 每季度 添加占位的负责人、空的运行手册链接,或走过场的评审以满足条件 抽查运行手册链接是否能解析、是否在真实响应中被使用;在演练中测试运行手册的做法

5.6 服务连续性度量

所在主题:(见主题 5.6,服务连续性度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
RTO 达成率 在恢复演练中,服务在其规定的 RTO 之内恢复的占比 恢复时间 <= RTO 的演练 / 所进行的演练。时钟从演练故障的宣布开始(注入时间或场景宣布)开始,到服务通过其针对真实或合成用户的约定健康检查时停止。桌面推演和没有计时恢复的演练被排除并单独计数 百分比,并显示演练次数 演练报告、来自监控的时间线、带 RTO 的服务登记册 服务连续性管理;可用性管理 演练日结果;交付度量中的恢复时间 每次演练;每季度汇总 选择很小的测试数据集、容易的场景或排练过的剧本;在团队已经开始之后才晚启动时钟;放宽健康检查,使“已恢复”来得更早;设定宽松的 RTO,使每次测试都通过 把数据量、场景意外和健康检查定义与每个结果一起记录;把 RTO 与 BIA 相比较;把每次演练展示为它自己的一行,包括失败的
RPO 达成率 在恢复演练中,数据丢失保持在规定的 RPO 之内的占比 测得的数据丢失跨度 <= RPO 的演练 / 恢复了数据的演练。数据丢失跨度是恢复后存在的最后一次写入与故障时刻之间的时间。不恢复任何状态的演练被排除 百分比,并显示演练次数 演练报告、把恢复的数据与源数据或写入日志相比较 服务连续性管理;信息安全管理 作为完成定义一部分的恢复演练 每次演练;每季度汇总 只对主表而不是对所有状态度量丢失;测试一个因为没有负载在运行而保持同步的副本;在未达成之后重新定义 RPO 对照范围内所有数据存储的写入日志验证数据丢失;在现实的写入负载下测试;保存带理由的目标变更日志
经测试的恢复覆盖 在其约定的测试间隔内做过动手恢复测试的第 1 层和第 2 层服务的占比 间隔内有合格测试的服务 / 范围内的服务。合格测试是动手的(不仅仅是桌面推演),并在测试或生产环境中恢复服务。间隔按层级设定 百分比,按层级 服务登记册、演练日历和报告 服务连续性管理;服务目录管理 演练日计划 每月 把桌面推演的讨论算作测试;测试一项微不足道的小服务以提高百分比;通过把服务重新归入较低层级来缩减范围内的清单 对第 1 层的计数要求动手测试;报告按服务关键程度加权的覆盖;对照 BIA 审计层级变更
距上次成功恢复测试的天数 每项关键服务最近一次通过的恢复测试的时效 报告日期减去既满足 RTO 又满足 RPO 的最近一次测试的日期。失败的测试不会重置时钟。从未测试过的服务显示为“从未”,而不是零 天,按服务,突出最久的 演练报告、服务登记册 服务连续性管理 演练日计划;工作项年龄 每月 重新运行一次容易的测试以重置时效;把部分测试标为通过;在纸面评审之后重置日期 展示最近一次通过的测试的范围;展示最久的时效和从未测试过的服务;要求 RTO 和 RPO 都已达成
备份恢复成功率 尝试从备份恢复中,完成并得到经验证可用数据的占比 完成并通过数据验证检查的恢复 / 所尝试的恢复,涵盖自动和手工的恢复测试。仅备份作业成功被排除,因为运行了的作业不等于有效的恢复 百分比,按数据层级 备份系统日志、自动恢复验证结果 服务连续性管理;基础设施与平台管理 恢复演练;完成定义中的可运维性标准 自动测试每周;评审时每月 把备份作业成功报告为恢复成功;只测试已知良好的备份;用无法失败的检查来验证 跟踪随机抽样的备份的恢复;要求有数据验证结果;每次审计时评审该检查本身
演练发现关闭率 恢复演练的发现中,在约定时间内关闭的占比,按严重程度拆分 在目标内关闭的发现 / 期内到期的发现。时钟从发现被记录在演练报告中开始,到经验证的修复时停止,即由重新测试或评审确认。由指名的负责人接受为风险的发现单独计数 百分比,并显示逾期发现的计数 演练报告、问题跟踪器 服务连续性管理;持续改进 回顾会议的行动项;待办事项列表项年龄 每月 在没有修复的情况下关闭发现;降低严重程度以放宽到期日;把一项发现拆成许多容易的;一开始就少记录发现 通过重新测试验证关闭;在关闭率旁边报告每次演练的发现数,因为数量下降可能意味着演练更温和;评审严重程度的变更
计划时效性 在其服务最近一次重大变更之后,或在其评审间隔内被评审过的连续性计划和运行手册占比 评审日期晚于最近一次重大变更、且在间隔之内的计划 / 范围内的计划。重大变更指被标记为改变了架构、数据存储、依赖项或供应商的变更记录 百分比,并显示最久未评审的计划的时效 计划仓库(版本控制)、变更记录、服务登记册 服务连续性管理;变更赋能 完成定义包括更新运行手册 每季度 在没有阅读计划的情况下更新评审日期;把变更标为非重大;用永不过时的通用文本填充计划 抽样计划,并与没有写它的人一起走一遍;把重大变更标记率与架构变更历史相比较;把时效性与测试结果相联

5.7 繁琐工作与值班度量

所在主题:(见主题 5.7,繁琐工作与值班度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
每班次呼叫数 一个班次内送达某个轮换的呼叫数量 班次开始到结束之间送达的呼叫计数,每个班次一个计数,在把 5 分钟内针对同一告警组的重复呼叫合并之后(合并窗口是团队设置)。测试呼叫和误发的呼叫被排除。报告各班次的中位数和第 90 百分位数,以及最繁忙的班次 每班次呼叫数 呼叫工具;值班计划 事件管理;监控与事件管理 计划外工作政策;可持续节奏 每周评审,每月趋势 提高告警阈值或使告警静音,使计数下降;把不相关的告警合并为一次呼叫;把呼叫转移到没人看的工单队列 检测覆盖,以及监控漏掉的由客户报告的事件(见主题 5.5,监控与告警质量度量);检测时间(见主题 3.3,事件响应与解决时间)
非工作时间呼叫占比 在书面工作窗口之外到达的呼叫占比 期内在工作窗口之外送达的呼叫 / 所有送达的呼叫。窗口按轮换以本地时间设定;假日算作窗口之外 百分比 呼叫工具;轮换日历 事件管理;监控与事件管理 关于可联系性的工作协议 每月 把工作窗口重新定义得更宽;重新安排作业和部署,使呼叫转移到办公时间而没有减少;把呼叫重新归类为“低紧急度” 在占比旁边显示总呼叫量;书面的工作窗口受变更控制;评审转移了什么
夜间打断率 一个班次多常在受保护的睡眠窗口内至少包含一次呼叫 在受保护的睡眠窗口内(例如本地时间 22:00 至 07:00,由团队设定)至少有一次呼叫的班次 / 期内所有班次。被自动确认、没有人工响应的呼叫被排除 班次的百分比 呼叫工具;确认日志 事件管理;劳动力与人才管理 可持续节奏;团队健康检查 每月 把确认推迟到早晨;自动确认呼叫;只统计送达人的呼叫 按小时的确认时间(见主题 3.3,事件响应与解决时间);没有人工响应的呼叫单独报告;夜间的客户影响
繁琐工作占时间的比例 轮换的工作时间中花在繁琐工作上的占比 一个月内,轮换记录在被分类为繁琐工作的工作上的小时数 / 轮换记录的总工作小时数。会议、培训和休假从分子和分母中都被排除。分类遵循繁琐工作的六个特征,由团队应用 时间的百分比 工作跟踪器中的时间抽样或任务标签;团队分类评审 持续改进;部署管理;服务请求管理 计划外工作占比;计划工作中的容量分配 每月,每季度评审分类 把繁琐工作重新归类为“工程”或“项目工作”;记录的比实际花费的少;只给容易描述的东西打标签 由轮换之外的人定期审计已分类的项;团队自己对这一周感觉如何的看法;花在计划改进工作上的时间占比
按来源的繁琐工作 繁琐工作小时数在手工重启、访问请求、证书续期和工单分诊等指名来源之间的分布 每个来源的繁琐工作小时数 / 繁琐工作总小时数,列出前五个来源和一个“其他”组。排除项与繁琐工作占时间的比例相同 按来源的繁琐工作小时数百分比 工作跟踪器中的时间抽样或任务标签 问题管理;服务请求管理 改进项的待办事项列表(backlog) 每季度 把一个大来源拆成几个小来源,使没有一个突出;把一个来源留在“其他”中不命名 对“其他”组设上限(例如低于繁琐工作小时数的五分之一,由团队设定);每季度抽样“其他”中的项
重复呼叫率 由一种在规定窗口内曾经呼叫过该轮换的状况引起的呼叫占比 其告警组或原因代码与 30 天内较早的呼叫相匹配的呼叫 / 期内所有呼叫。原因代码由响应者在关闭时设置;未设置的代码单独报告 百分比 呼叫工具;事件记录的原因代码 问题管理;事件管理 回顾会议的行动;技术债待办事项列表 每月 每次都用新的原因代码关闭呼叫,使匹配被漏掉;把原因代码放宽到所有东西都各不相同;拉长或缩短窗口 对样本做原因代码审计;同一告警组在各事件之间的再发(见主题 4.1,问题管理度量)
轮换深度 与需要填补的角色数相比,有多少合格的响应者分担呼叫器 完成了值班就绪培训并可参加班次的人数 / 每个轮换周期的班次岗位数。休假和借调会减少可用性。按轮换以比率报告,绝不按个人 比率 轮换计划;就绪检查清单 劳动力与人才管理 跨职能团队;技能矩阵 每季度 计入未完成就绪培训的人;计入很少可用的人;充实花名册 名义池实际覆盖的班次占比;按位置的实际班次数,不带姓名报告;就绪检查清单的完成情况
已消除的繁琐工作 通过自动化或设计变更从轮换工作中去掉的重复性繁琐工作小时数 变更之前某个来源的估计每月繁琐工作小时数,减去变更之后同一来源的小时数,在交付之后至少两个周期内度量。一次性清理所节省的小时数被排除 每月小时数 前后的时间抽样;改进工单 持续改进;问题管理 已交付的改进项 每季度 把一次性清理算作重复性节省;忽略构建和维护自动化的工作量;在没有前后对比的情况下声称节省 在两个周期内度量前后的小时数;自动化的维护工作量;随后几个季度的繁琐工作占时间的比例

第 6 部分:客户与体验度量

6.1 客户满意度度量

所在主题:(见主题 6.1,客户满意度度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
CSAT 针对某类已定义的互动,满意回复的占比 在五分制上评为 4 或 5 的回复 / 有效回复 百分比 与工单或发布相联的互动后调查 服务台;事件管理;服务级别管理 干系人评审的反馈 每周或每月 坐席辅导用户给出最高分;只在容易的工单之后发送调查;困难的工单在不发调查的情况下被关闭 自动向每张符合条件的工单发送调查;回复率和受访者构成;重开率
NPS 针对某项已定义的服务和受众,推荐者减去贬损者 回答 9 或 10 的百分比减去回答 0 至 6 的百分比 点,范围 -100 至 100 按固定间隔发送的关系调查 持续改进;服务级别管理 产品成果评审 每季度 只调查友好的用户;把调查的时间选在一次好事件之后;当面询问;给量表点位重新贴标签 在登记册中固定受众和时间表;受访者覆盖;阅读贬损者的评论
CES 对把某件事做完有多容易的评分的平均值或偏正面占比 偏正面的回复 / 有效回复,或平均评分 百分比或平均值 与工单、请求或发布相联的互动后调查 服务请求管理;服务台 梳理中的可用性反馈 每月 以把工作移到别处的方式删去表单中的步骤;只在顺利的请求之后询问 每个问题的联系次数;请求履行时间和返工(见主题 3.5,服务请求履行度量)
调查回复率 受邀用户中作出回复的占比 收到的回复 / 送达的调查 百分比 调查工具和工单系统 度量与报告 评审中的反馈参与度 每月 只邀请可能回答的人;每次把调查发给不同的名单 写下邀请规则;把受邀者与用户总体相比较
受访者覆盖 受访者构成在约定维度上与用户总体的接近程度 每个群体中受访者的占比与该群体用户占比的比较,按群体 百分点 与用户目录或工单数据相连的调查工具 度量与报告 干系人地图 每季度 把难以联系的群体从比较中去掉;在不说明的情况下重新加权 公布维度和方法;在加权结果旁边展示未加权的结果
评论主题占比 自由文本评论被归入每个主题的占比 主题中的评论 / 已编码的评论 百分比 已编码的调查评论 持续改进 回顾会议的主题 每月 为避开糟糕的主题而给评论编码;合并主题,使没有一个看起来很大 由第二个人对一批样本编码;保持主题清单稳定,并记录变更
贬损者跟进时间 从低评分到与用户有记录的联系的时间 跟进备注的时间戳减去低评分的时间戳,中位数和第 85 百分位数 小时或天 调查工具和工单系统 事件管理;持续改进 工作协议中的反馈闭环 每月 记录一条备注而不联系用户;联系用户以索要更好的得分 检查跟进备注的内容;在下一次调查中询问用户是否有人联系过他们

6.2 体验级别协议

所在主题:(见主题 6.2,体验级别协议)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
体验得分 针对某项服务和受众,对一条约定的体验陈述的平均评分 在固定量表上对一条陈述的有效回复的平均评分 量表点 按计划发送的简短脉冲调查 服务级别管理;持续改进 干系人评审反馈;产品成果评审 每月 只调查满意的用户;把调查的时间选在好事件之后;重新措辞陈述,使其更容易被认同 回复率和受访者构成;稳定措辞的日志;阅读评论
情绪趋势 某项服务的自由文本评论中语气的走向 每个时期被编码为正面的评论占比减去被编码为负面的占比 百分点 已编码的调查评论和工单评论 持续改进 回顾会议的主题 每月 调整工具或主题清单,直到趋势上升;排除负面渠道 每月由人检查一批样本;保持固定的编码指南并记录变更
每用户摩擦事件 表明用户遇到麻烦的信号计数,按活跃用户归一化 (重复联系 + 被重开的项 + 超出设定次数的登录失败 + 被放弃的请求) / 活跃用户 每用户事件数 工单系统、身份日志、请求门户 服务台;事件管理 在使用中发现的缺陷 每月 重新定义事件,使计入的更少;通过使服务台难以联系来阻止重复联系 按渠道的联系量;服务台的放弃率(见主题 3.1,服务台度量)
因 IT 问题损失的时间 用户在一个时期内因服务问题估计损失的时间 每用户自行报告的损失分钟数,或按受影响用户加权的降级状态下的实测时间 每用户分钟数 脉冲调查;与用户数相连的监控 可用性管理;事件管理 因阻塞而损失的周期时间 每季度 以锚定低估计的方式询问;只统计重大事件 把自行报告的时间与实测的降级时间相比较;评审调查措辞
旅程完成率 完成某个已定义旅程、而没有放弃或寻求帮助的用户占比 完成旅程而没有帮助联系的用户 / 开始旅程的用户 百分比 门户分析;工单链接 服务请求管理;服务目录管理 可用性测试中的任务成功 每月 把旅程定义得很窄,使失败超出范围;把困难的案例引导到另一个渠道 登记册中的旅程定义;求助联系率和升级
XLA 达成 期内达成的约定体验目标占比 达成的目标 / 约定的目标 百分比 XLA 登记册 服务级别管理 交付目标的达成 每季度 设定已经达成的目标;定义一组很小的目标 与用户一起评审目标设定;连同趋势和目标历史展示达成
体验差距 同一服务的 SLA 达成与体验得分之间的差异 各服务间 SLA 达成排名减去体验得分排名,或书面比较 排名差或说明 SLA 报告和脉冲调查 服务级别管理 完成定义与用户反馈相对照 每季度 选择看起来最好的服务或时期;更改所比较的 SLA 事先商定固定的比较集;展示所有服务

6.3 服务采纳与目录度量

所在主题:(见主题 6.3,服务采纳与目录度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
采纳率 期内至少使用过一次某项服务的合格用户占比 至少有一次完成使用的不同合格用户 / 合格用户 百分比 与用户目录相连的服务使用日志 服务目录管理;服务级别管理 功能采纳;产品成果评审 每月 强制使用;把登录或页面浏览量算作使用;把“合格用户”收窄到已经在使用的人 完成成果的定义;与满意度和费力程度评分相比较;公布合格用户的规则
活跃使用率 随时间推移仍在使用服务的采纳者占比 期内活跃、且前一期也使用了该服务的用户 / 前一期活跃的用户 百分比 使用日志;队列群表 持续改进 产品分析中的留存 每月 自动登记用户,使他们显得活跃;发送计入活动的通知 只统计用户发起的、完成的动作;对已不再使用的用户进行抽样访谈
目录覆盖 通过目录、而不是通过临时渠道到达的请求占比 通过目录创建的请求 / 来自所有渠道的所有请求 百分比 请求管理工具;邮箱和聊天标签 服务请求管理;服务目录管理 带有书面定义的待办事项列表项 每月 把每个请求都强行塞入通用的目录项;用“请使用门户”关闭电子邮件请求 请求放弃率和满意度;统计有多少请求被通过另一个渠道重新提出
请求放弃率 已开始、但用户没有提交的请求占比 开始后 24 小时内未提交的请求 / 已开始的请求 百分比 门户分析 服务请求管理 可用性测试中的任务放弃 每月 删去需要的表单字段,从而把工作转移到履行环节;只在很长的窗口之后才统计被放弃的请求 履行环节的返工和澄清率(见主题 3.5,服务请求履行度量)
搜索成功率 以一次请求或一次已查看的答案结束的目录搜索占比 在会话内后续有请求或知识查看的搜索 / 搜索 百分比 门户搜索日志 知识管理;服务目录管理 用户研究中的可发现性 每月 把任何点击都算作成功;添加匹配每个查询的无关文章 检查结果是否被使用(提出了请求、文章被评为有帮助);阅读零结果搜索
陈旧项占比 超过评审日期、或在设定期间内没有使用的目录项占比 过期未评审、或 12 个月内零请求的项 / 目录中的项 百分比 目录登记册 服务目录管理 待办事项列表的年龄和修剪 每季度 在没有阅读的情况下把项标为已评审;批量重置评审日期 抽样检查已评审项的准确性;显示最后一次真正变更的日期
请求集中度 被请求最多的几项所占的请求占比 前五项的请求 / 所有目录请求 百分比 请求管理工具 服务请求管理 按类型划分的工作帕累托图 每季度 把热门项拆成许多项;合并不相关的项以隐藏长尾需求 带变更日志的固定项分类法;按类别查看尾部

6.4 用户与员工体验

所在主题:(见主题 6.4,用户与员工体验)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
第一天就绪率 在开始时间,设备、账户和访问均已完成并正常工作的新入职者占比 开始时所有约定项均正常工作的新入职者 / 期内的新入职者 百分比 入职请求、身份系统、新入职者确认 服务请求管理;服务目录管理 关于入职的团队工作协议 每月 缩短约定清单;在项实际可用之前就标为就绪;推迟官方开始日期 登记册中的书面清单;新入职者确认;到达有产出的时间
到达有产出的时间 从开始日期到新入职者拥有第一项真正任务所需的一切之间经过的时间 从开始日期到新入职者及其经理确认的天数的中位数和第 85 百分位数 天 入职跟踪器;简短的确认问题 服务请求管理;持续改进 新团队成员做出第一次变更所需的时间 每月 把时钟的开始标记得更晚;过早关闭入职记录 登记册中的时钟定义;经理和新入职者双方确认
变通办法普遍度 使用未经批准的工具或手工步骤来绕开官方服务的受调查员工占比 报告该服务存在变通办法的受访者 / 有效受访者 百分比 脉冲调查;对受批准工具的发现报告 服务级别管理;持续改进 在每日团队检查中提出的障碍 每季度 通过暗示后果而使人们不敢诚实回答;只询问满意的群体 匿名声明;回复率和受访者构成;隐私保障合规
强制打断分钟数 人们被强制重启、更新和登录提示等计划中的 IT 动作打断的时间 由计划动作造成的打断总分钟数 / 群体中的活跃用户 每人每月分钟数 终端管理日志,按群体汇总 变更赋能;发布与部署管理 不被打断的工作时间 每月 只统计某些类型的打断;把打断转移到未被度量的群体 定义所有计划中的打断类型;按群体报告,包括远程和轮班员工
无障碍请求解决时间 解决与无障碍需要相关的请求所需的时间 从请求到确认有效的解决方案之间小时数的中位数和第 85 百分位数 小时 带无障碍标签的请求系统 服务请求管理;事件管理 包容性的完成定义 每月 以部分修复关闭请求;把请求标记为别的东西以避开时钟 请求者确认解决方案有效;评审未打标签的请求
工具脉冲得分 就一个简短的约定问题,对某个具名工具或服务的评分 每个工具有效回复的平均评分或偏正面占比 量表点或百分比 轮换工具的脉冲调查 服务级别管理;持续改进 团队成员对其工具的反馈 每季度 只调查满意的用户;更改问题;训练员工回答得好 稳定措辞的日志;回复率和构成;阅读评论
隐私保障合规 符合抑制和汇总规则的体验报告占比 符合规则的报告 / 已发布的报告 百分比 对照隐私规则审查已发布的报告 信息安全管理;度量与报告 关于数据使用的工作协议 每季度 在没有独立评审的情况下报告合规;放宽群体以隐藏问题 由团队之外的人定期评审;公布规则(k 值和抑制)

6.5 价值实现与业务成果

所在主题:(见主题 6.5,价值实现与业务成果)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
收益实现率 在约定的评审日期观察到的预期收益占比 实测结果达到或高于约定阈值的收益 / 评审日期在期内的预期收益 百分比 带负责人、基线和评审日期的收益登记册 持续改进;服务价值体系治理 与干系人的成果评审 每季度 设定低阈值;移动评审日期;事后重新定义收益 阈值和日期在批准时固定;证据质量占比;负责人在交付团队之外
到达首个价值的时间 从工作开始到用户首个可度量的收益的时间 从首项工作开始到收益指标首次按预期变动的日期之间的天数 天 工作跟踪器和收益指标 服务设计;发布与部署管理 价值的持续交付 每个倡议 选择因错误原因而移动的早期指标;晚启动时钟 在登记册中定义指标和时钟;与收益负责人确认
假设检查率 发布之后,其所述价值假设被检查过的已发布变更占比 有记录的发布后检查的变更 / 带有假设的已发布变更 百分比 与发布记录相连的假设日志 持续改进;变更赋能 从已发布的工作中学习 每月 撰写总能通过的含糊假设;只检查成功的变更 抽样检查假设是否可检验;在评审中纳入零结果和失败的结果
证据质量占比 有基线和所述比较方法的、被声称的收益占比 有基线和方法的收益声称 / 所报告的收益声称 百分比 收益登记册评审 度量与报告 对成果的诚实报告 每季度 回填基线;把任何比较都描述为方法 基线的日期早于变更;由团队之外的人评审
成果指标变动 所选成果指标相对于其基线的变化,以及可用时相对于比较对象的变化 (之后的指标减去之前的指标),并在旁边报告对照组的变化 指标单位 产品分析、服务数据、财务 服务级别管理;持续改进 关键结果进展 每月 挑选有利的时期或群体;忽略混杂因素 预先登记的时期和群体;所考虑的混杂因素清单
业务影响小时数 因服务问题而使业务流程降级或停止的小时数 流程负责人归因于 IT 服务原因的流程降级或停止的小时数 小时 与流程负责人确认相连的事件记录 事件管理;可用性管理 业务影响评审 每月 流程负责人夸大或缩小归因;重新归类事件以避免归因 书面记录并登记归因规则;与事件和可用性记录相比较
与成果相联的容量占比 花在与所述成果相联的工作上的团队容量占比 在与已记录成果相联的项上的容量 / 总容量 百分比 带成果字段的工作跟踪器 服务价值体系;组合治理 与产品目标对齐的工作 每季度 给所有工作贴上一个通用的成果标签;为例行工作编造成果 与干系人一起评审成果清单;抽样检查联系的质量

第 7 部分:资产、配置与财务度量

7.1 IT 资产管理度量

所在主题:(见主题 7.1,IT 资产管理度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
清单准确度 抽样的资产中,其记录与所发现情况相符的占比 记录在所有约定字段上与物理或技术证据相符的抽样资产 / 被抽样的资产 百分比 与资产登记册和发现数据相比较的审计样本 IT 资产管理;配置管理 完成定义包括登记该资产 每季度 对容易的资产抽样;只在清理之后才审计;在更少的字段上计为匹配 由团队之外的人抽取随机样本;固定的字段清单;双向抽样
发现覆盖 期内被发现工具看到的预期资产占比 在过去 30 天内被至少一个发现来源看到的资产 / 登记册中发现工具能看到的资产 百分比 与登记册相连的发现工具报告 IT 资产管理;监控与事件管理 基础设施即代码的状态与现实相符 每月 把“预期资产”收窄到发现工具能看到的;排除难以扫描的网络 记录排除项;与采购和云账单相比较
对账率 在独立来源之间匹配的资产占比 在登记册和第二个来源(例如采购、身份或云账单)中都匹配的资产 / 任一来源中的资产 百分比 登记册、采购、身份、云账单的导出 IT 资产管理;供应商管理 环境的单一事实来源 每月 选择从第一个来源派生出来的第二个来源;在薄弱的键上自动匹配 使用真正独立的来源;手工抽查匹配
无主资产占比 没有指名的有效负责人的资产占比 没有负责人或负责人已离开的资产 / 登记册中的资产 百分比 与人员目录相连的登记册 IT 资产管理;信息安全管理 服务和组件的清晰归属 每月 指定一个统括的团队作为负责人;填入占位的人员 由统括团队所拥有的资产计数;负责人确认抽样
生命周期阶段完整性 有当前生命周期阶段及该阶段所需日期的资产占比 记录了阶段和所需日期的资产 / 登记册中的资产 百分比 登记册 IT 资产管理;发布与部署管理 在流水线中跟踪的环境生命周期 每月 填入默认日期;把每项资产都设为“使用中” 在审计中把阶段与证据相比较;查看年龄分布
记录时间 资产变更与其在登记册中更新之间的延迟 从变更事件到登记册更新的小时数或天数的中位数和第 85 百分位数 天 与登记册时间戳相比较的变更、采购或流水线事件 IT 资产管理;变更赋能 流水线中的自动登记 每月 倒填变更事件;把事件时间记录为记录时间 与源系统的时间戳相比较;对编辑保留审计轨迹
下落不明资产率 在审计时无法找到或解释的预期资产占比 预期存在但未找到、且没有经批准的处置来解释的资产 / 预期的资产 百分比 审计结果 IT 资产管理;信息安全管理 对丢失物品的回顾性发现 每次审计 未经批准就核销资产;把它们重新归类为已处置 处置批准和证据率;把核销与财务记录相比较

7.2 软件资产与许可度量

所在主题:(见主题 7.2,软件资产与许可度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
有效许可状况 每个产品所持有的授权与所发现使用情况的比较,按许可证自己的计数单位 所持有的授权减去所发现的部署或用户,按产品 单位(盈余为正,缺口为负) 授权记录、发现工具、身份系统 IT 资产管理;供应商管理 面向团队的可见目录和使用数据 关键产品每月;其他每季度 以有利的单位计数;把影子部署排除在发现之外 以许可证自己的单位计数;与费用和身份数据相比较;法务评审计数规则
许可利用率 已付费的授权中,处于活跃使用的占比 在过去 90 天内有活动的授权 / 已付费的授权 百分比 供应商使用报告、身份日志、授权记录 IT 资产管理;财务管理 对工具价值的回顾 每月 缩短活动窗口;把机器人或服务账户的登录算作使用 登记册中固定的窗口;排除非人类账户;与供应商使用报告相比较
闲置许可成本 已付费却未使用的授权的年度成本 (未使用的授权乘以单位成本) 之和 每年的货币 授权记录、使用数据、发票 IT 资产管理;财务管理 工具链中的浪费削减 每季度 在评审之前恰好重新谈判或取消,以降低数字;忽略信用卡上的订阅 纳入所有支出来源;在通知窗口开始时跟踪成本
未经批准的应用数 在使用中、但不在获批目录内的软件应用数量 在费用数据、单点登录日志或网络数据中出现、但不在目录中的应用 计数 费用报告、身份提供商、网络和终端数据 IT 资产管理;信息安全管理 团队在有可见支持的情况下选择工具 每月 把所有东西都批准进目录,以降低计数;通过使用个人账户隐藏使用 目录评审标准;查看支出和身份数据;问团队需要什么
续约就绪 在通知日期之前做过使用评审的续约占比 在通知日期至少 90 天前完成使用评审的续约 / 期内到期的续约 百分比 合同登记册和评审记录 供应商管理;财务管理 为变化提前规划 每季度 举行敷衍的评审;把通知日期设得更晚 带必需输入的评审检查清单;合同日期由采购持有
SBOM 覆盖 拥有最新软件物料清单的生产服务占比 在上一个发布周期内生成了 SBOM 的服务 / 生产服务 百分比 构建流水线输出、服务目录 IT 资产管理;信息安全管理 完成定义包括依赖项的可见性 每月 生成省略传递性依赖的 SBOM;统计未发布的构建输出 在登记册中定义深度;对照已部署的制品抽查 SBOM
开源评审覆盖 在生产中、有记录的许可证识别和政策决定的组件占比 记录了许可证和决定的组件 / 在 SBOM 中发现的组件 百分比 软件成分分析工具、政策登记册 IT 资产管理;供应商管理 流水线中的依赖项评审 每月 在没有决定的情况下把组件标为已评审;接受“未知”的许可证 统计许可证未知的组件;评审一批决定的样本

7.3 硬件资产生命周期度量

所在主题:(见主题 7.3,硬件资产生命周期度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
年龄分布 按类别的设备年龄分布,以及超出计划寿命的占比 年龄中位数和第 85 百分位数;超过该类别计划寿命的设备占比 年;百分比 资产登记册的购买和部署日期 IT 资产管理;容量与性能管理 技术健康评审 每季度 更换健康的设备以降低平均值;通过把旧设备重新归类为备用来排除它们 按年龄段的故障率;闲置设备占比;评审重新归类
按时更新率 达到计划更换的设备中,在计划窗口内被更换的占比 在窗口内被更换的设备 / 期内达到计划更换的设备 百分比 资产登记册和更新计划 IT 资产管理;服务请求管理 对工作环境的计划内维护 每季度 放宽计划窗口;通过编辑计划推迟计划日期 记录计划变更及其理由;与故障和用户反馈相比较
按型号的故障率 按型号和年龄段,每 100 台设备每年的故障数 期内硬件故障 / 平均在用设备数,折算为一年,乘以 100 每 100 台每年的故障数 与登记册相连的事件和维修记录 事件管理;IT 资产管理 工作环境中的缺陷 每季度 把故障编码为用户损坏或软件故障;推迟维修记录 抽样检查故障编码;把维修记录与事件记录相比较
闲置设备占比 已发放的设备中,在设定期间内没有活动的占比 在 60 天内没有登录或网络活动的设备 / 已发放的设备 百分比 终端管理日志,按类别汇总 IT 资产管理;财务管理 浪费削减 每月 把计划内的后台活动算作使用;把闲置设备重新分配给幽灵用户 以人工登录作为活动信号;抽查分配情况
更换前置时间 用一台可用的设备替换已故障或丢失的设备所需的时间 从报告到用户拥有可用设备的小时数或天数的中位数和第 85 百分位数 天 事件和请求记录 事件管理;服务请求管理 解除团队成员阻塞的时间 每月 在发出时就停止时钟;在用户拥有可用设备之前就关闭请求 时钟在用户确认时结束;对近期更换的调查
安全处置完成 有数据擦除或销毁的记录证据的已淘汰设备占比 有擦除或销毁证据的已淘汰设备 / 已淘汰的设备 百分比 处置记录和擦除证书 信息安全管理;IT 资产管理 淘汰设备的完成定义 每月 在没有证据的情况下记录擦除;证书与序列号不匹配 使证书与序列号匹配;与处置合作伙伴一起审计一批样本
再利用与回收率 通过获批渠道被再利用、翻新或回收的已淘汰设备占比 通过获批渠道被再利用、翻新或回收的设备 / 已淘汰的设备 百分比 处置和合作伙伴的记录 IT 资产管理;供应商管理 规划中的可持续性目标 每季度 把送给下游处理情况不明的经纪人的设备算作已回收 要求经认证的合作伙伴和下游报告;抽样审计

7.4 配置与 CMDB 质量度量

所在主题:(见主题 7.4,配置与 CMDB 质量度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
CI 完整性 所有必需属性都以有效值填写的范围内 CI 占比 每个必需属性都有效的范围内 CI / 范围内的 CI 百分比 CMDB、属性规则 服务配置管理;IT 资产管理 完成定义包括服务描述 每月 用默认值或占位符填充必需属性;收窄必需清单 统计默认值和占位值;固定的必需清单;准确度抽样
CI 准确度 抽样的 CI 中,其记录在必需属性上与证据相符的占比 在所有必需属性上相符的抽样 CI / 被抽样的 CI 百分比 与线上系统相比较的审计样本 服务配置管理 基础设施即代码的状态与现实相符 每季度 对容易的类别抽样;在清理之后才审计 从两个方向独立抽取随机样本;固定的方法
依赖覆盖 其上游和下游依赖已被绘制并评审的关键服务占比 过去 90 天内评审过依赖图的关键服务 / 关键服务 百分比 CMDB 关系和评审记录 服务配置管理;可用性管理 架构和服务归属评审 每季度 在没有阅读的情况下把地图标为已评审;只绘制琐碎的依赖 影响预测命中率;对照线上流量抽查地图
影响预测命中率 实际受影响的服务都在 CMDB 预测的影响范围之内的事件和变更占比 所有受影响服务均被预测到的事件或变更 / 被评审的事件或变更 百分比 与 CMDB 查询相比较的事件后评审和变更记录 事件管理;变更赋能 关于缺失依赖的免责评审发现 每季度 选择进展顺利的事件;狭义地记录受影响的服务 评审所有重大事件;评审者在所属团队之外
重复 CI 率 与另一个 CI 重复的 CI 占比 被匹配规则标记为重复、并在评审中确认的 CI / 范围内的 CI 百分比 CMDB 匹配报告和评审样本 服务配置管理 单一事实来源 每月 合并不同的 CI 以降低比率;放宽匹配规则 抽样检查合并是否正确;记录合并规则
更新延迟 现实中 CI 的变更与其在 CMDB 中更新之间的延迟 从变更事件到 CMDB 更新的小时数或天数的中位数和第 85 百分位数 小时或天 与 CMDB 时间戳相比较的变更事件和流水线事件 服务配置管理;变更赋能 流水线中的自动登记 每月 倒填变更事件;只统计自动更新 比较来自源系统的事件与更新的时间戳;审计轨迹
CMDB 使用率 引用了 CI 的事件和变更占比,以及其中用户报告记录有帮助的占比 引用了有效 CI 的记录 / 期内的事件和变更;加上被评审的记录中,CI 数据有帮助的占比 百分比 ITSM 工具、简短的反馈提示 事件管理;变更赋能 团队在工作中使用共享的记录 每月 把 CI 引用作为形式添加;把该字段设为必填,可填任何值 检查被引用的 CI 是否相关;关于有用性的反馈问题

7.5 服务成本与单位经济

所在主题:(见主题 7.5,服务成本与单位经济)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
每项服务的成本 使用有文档记录的分摊规则,某项具名服务的完全负担的年度成本 期内该服务的直接成本 + 分摊的共享成本 每年的货币 总账、成本中心数据、云和许可证账单、时间或作业数据 服务财务管理;服务目录管理 持久产品团队及其平台的成本 每季度 通过分摊规则把成本转移到其他服务;让不利的成本不被分摊 分摊覆盖;规则公布并由负责人评审;把总数与总账相比较
单位成本 每单位用户所重视之物的成本,比如每个活跃用户、每笔交易或每个已解决请求 期内每项服务的成本 / 期内交付的单位数 每单位的货币 每项服务的成本和量的数据 服务财务管理;服务级别管理 每个成果的服务成本 每季度 用低价值的单位抬高分母;削减质量以削减成本;更改单位 质量伙伴测量值;固定的单位定义;成果检查
分摊覆盖 被归属于某项具名服务、或被声明为共享开销的 IT 支出占比 归属于服务或声明为开销的支出 / IT 总支出 百分比 总账和分摊模型 服务财务管理 每个团队工作的可见成本 每季度 把大笔金额声明为共享开销以避免归属 报告开销占比;评审什么被声明为开销以及原因
运行、变更与改进的划分 用于运行服务、变更服务和改进服务的支出或容量的占比 每个类别的支出或容量 / 总量 百分比 总账标签、工作跟踪器的工作类型 服务财务管理;持续改进 按工作类型的容量分配 每季度 把运行工作重新标注为改进或变更;在期末才打标签 在接收时打标签;抽样检查各项的类型;与事件和请求数据相比较
预测偏差 按服务,预测成本与实际成本之间的差异 (实际减去预测) / 预测 百分比 预测日志和总账 服务财务管理 预测准确度 每月 给预测加水分;在期内晚些时候修订预测 在期初记录预测;随时间把预测区间与实际相比较
展示成本争议率 服务负责人提出质疑、并因此被更改的展示成本或内部计费条目的占比 质疑后被更改的条目 / 发出的条目 百分比 展示成本系统和争议日志 服务财务管理 关于共享成本的回顾会议 每季度 阻止争议;在没有规则变更的情况下更改条目 评审争议及其结果;检查在反复争议之后规则是否改变
持久团队出资占比 以稳定的团队容量为某项服务出资的交付与运营支出占比 在持久服务团队上的支出 / 交付与运营总支出 百分比 总账和组织结构图 服务财务管理;组织变革 围绕服务和有积极性的人构建的团队 每年 把项目改名为持久团队,而不改变出资或归属 检查团队的稳定性和随时间的归属;服务健康的测量值

7.6 FinOps 与云成本度量

所在主题:(见主题 7.6,FinOps 与云成本度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
分摊覆盖 被归属于某个所属团队或声明的共享池的云支出占比 有有效负责人和服务标签、或位于声明的共享池中的支出 / 云总支出 百分比 云账单导出、标签政策 服务财务管理;IT 资产管理 团队对其所运行之物的所有权 每周 把一切都打上统括的负责人标签;把大笔金额声明为共享 由统括项所拥有的支出占比;共享池的规模和评审;负责人确认抽样
云单位成本 每单位用户所重视之物的云资源成本 期内服务的云成本 / 期内交付的单位数 每单位的货币 与服务量相连的账单数据 服务财务管理;服务级别管理 每个成果的服务成本 每月 选择增长成本低廉的单位;削减可靠性以削减成本 固定的单位定义;可靠性和质量伙伴
浪费率 花在闲置或明显过大资源上的支出占比 依据约定规则,花在闲置或过大资源上的支出 / 范围内资源的总支出 百分比 利用率测量值和账单 容量与性能管理;财务管理 工具链中的浪费削减 每周 收窄闲置的定义;把浪费移到范围之外的账户 登记册中的规则;扫描所有账户;抽样规则所排除的资源
承诺覆盖 被折扣承诺所覆盖的合格稳定使用量占比 被承诺覆盖的合格使用量 / 合格使用量 百分比 账单和承诺报告 服务财务管理;供应商管理 为可预测的需求规划 每月 承诺膨胀的基线,以追求高百分比 承诺利用率;对照使用历史检查基线
承诺利用率 所购买承诺中被使用的占比 已使用的承诺小时数 / 已购买的承诺小时数 百分比 承诺报告 服务财务管理;供应商管理 来自计划投资的价值 每月 加入不需要的合格使用量,以填满承诺 与真实需求的增长相比较;单位成本
预测偏差 按团队和总体,预测与实际云支出之间的差异 (实际减去预测) / 预测 百分比 预测日志和账单数据 服务财务管理 预测准确度 每月 给预测加水分;晚些时候修订预测 在期初记录预测;跟踪区间宽度和命中率
异常确认时间 从成本异常告警到负责人作出有记录的决定的时间 从告警到负责人响应的小时数的中位数和第 85 百分位数 小时 异常告警和工单记录 监控与事件管理;事件管理 对生产信号的响应能力 每月 不看就确认告警;自动关闭告警 记录决定和结果;抽样检查告警的响应质量

7.7 投资回报与业务论证

所在主题:(见主题 7.7,投资回报与业务论证)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
投资回报 在所述期间内,净收益相对于成本 (期间内总收益减去总成本) / 期间内总成本 百分比 业务论证、总账、收益登记册 服务财务管理;持续改进 对照出资的成果评审 决定时和每次评审时 选择很长的期间,或计入软收益;遗漏运营成本 对期间和成本范围的固定规则;收益证据的质量;独立评审
总拥有成本 在所述期间内,服务或资产的全生命周期成本 期间内的采购 + 运营 + 支持 + 变更 + 培训 + 处置成本 货币 总账、成本模型、供应商合同 服务财务管理;IT 资产管理 持久团队及其平台的成本 决定时和每年 遗漏支持、培训、变更工作量或处置;使用乐观的量 成本类别的检查清单;与类似过往工作的实际 TCO 相比较
回收期 累计净收益等于初始投资所需的时间 累计收益减去累计成本达到零的时间 月 业务论证的现金流 服务财务管理 到达首个价值的时间,延伸到成本回收 决定时和每次评审时 把起点定义得更晚;计入未实现的收益 固定时钟定义;与已实现收益的准确度相比较
净现值 在所述折现率下,预期收益的现值减去成本的现值 各期 (收益减去成本) / (1 + 折现率) 的期数次方 之和 货币 业务论证的现金流、关于折现率的财务政策 服务财务管理 基于价值的优先级排序 决定时 选择较低的折现率;延长期限 折现率由财务政策设定;展示敏感性分析
成本估算准确度 已完成倡议的实际成本与估算成本之比 每个倡议批准时的实际成本 / 估算成本,并作为分布 比率 业务论证记录和总账 服务财务管理;持续改进 预测准确度 每季度 事后修订基线估算;把超支排除为范围变更 估算在批准时冻结;记录经批准的范围变更;展示完成所需的总成本
收益估算准确度 已完成倡议中,已实现收益与预期收益之比,使用收益的证据规则 每个倡议批准时的已实现收益 / 预期收益,并作为分布 比率 业务论证记录和收益登记册 持续改进;服务价值体系治理 与干系人的成果评审 每季度 计入未度量的收益;重新定义收益 收益登记册规则;交付团队之外的负责人确认
基于证据的叫停率 因证据改变了图景,而在阶段关口被叫停或重塑的受资助倡议占比 在关口依据证据被叫停或重塑的倡议 / 到达关口的倡议 百分比 阶段关口决定日志 持续改进;组合治理 从已发布的工作中学习 每季度 叫停低价值的工作以抬高比率;从不叫停任何东西 与准确度测量值一起阅读;评审叫停和继续的理由

第 8 部分:安全、风险、合规与供应商度量

8.1 安全事件与漏洞度量

所在主题:(见主题 8.1,安全事件与漏洞度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
暴露窗口 已知漏洞在范围内资产上保持开放的时间,按优先级段 从已知该漏洞适用于该资产之日起,到修复或被接受的缓解措施得到验证之日止的天数的中位数和第 85 百分位数 天 漏洞扫描器、工单系统、变更记录 信息安全管理;问题管理 待办事项列表中修复缺陷的时间 每周 在没有验证的情况下关闭发现;更改起始日期;重新归类严重程度 由修复团队之外的人执行验证步骤;登记册中的起始日期规则;严重程度变更日志
补丁合规 满足其类别补丁政策窗口的范围内资产占比 在政策窗口内打了补丁的资产 / 期内需要补丁的范围内资产 百分比 终端和服务器管理工具、资产登记册 信息安全管理;发布与部署管理 在流水线中保持依赖项最新 每周 把难以打补丁的资产排除在范围之外;在系统未重启时就把补丁算作已应用 记录范围变更;根据资产而不是工单验证已安装的版本
逾期的关键发现 超过其政策截止日期的关键级别发现的数量和年龄 超过截止日期的关键发现数;最老的一项的年龄 计数;天 漏洞管理系统 信息安全管理;风险管理 超过约定限度的安全缺陷 每周 拆分发现或合并发现;降低严重程度 按唯一漏洞和资产计数;评审所有严重程度变更
扫描覆盖 在要求的间隔内被评估的范围内资产占比 在上一个间隔内成功扫描的资产 / 范围内的资产 百分比 与资产登记册相连的扫描器报告 信息安全管理;IT 资产管理 每次构建都运行的流水线检查 每周 扫描范围更窄;把认证失败的扫描算作扫描 对照资产登记册的覆盖;扫描质量(已认证、完整)
遏制时间 从检测到已确认的安全事件到遏制的时间 从检测到遏制的小时数的中位数和第 85 百分位数 小时 事件记录 事件管理;信息安全管理 故障之后恢复服务的时间 每起事件,每月评审 把时钟启动得更晚;过早宣布遏制 时钟从第一个检测信号开始;用证据验证遏制
风险例外的年龄 被接受风险的例外的年龄,以及超过其评审日期的占比 自批准以来的天数;超过评审日期的例外 / 未关闭的例外 天;百分比 例外登记册 风险管理;信息安全管理 技术债评审 每月 自动续期例外;拆分例外以降低年龄 评审附理由的例外续期;对没有新证据的续期设上限
安全报告率 员工报告的可疑事件相对于已确认的安全事件的占比,作为报告文化的指标 期内员工的报告 / 期内已确认的可疑事件,附群体层面的趋势 比率 安全邮箱、事件记录 信息安全管理;事件管理 公开提出障碍 每月 鼓励低价值的报告;为改善其他数字而阻止报告 报告的质量;阅读评论;调查人们是否感到报告是安全的

8.2 风险与控制度量

所在主题:(见主题 8.2,风险与控制度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
风险评审时效 在约定间隔内被其负责人评审的未关闭风险占比 在间隔内评审过的风险 / 未关闭的风险 百分比 风险登记册的评审日期 风险管理;持续改进 在规划和评审交流中评审风险 每月 在没有讨论的情况下把风险标为已评审;更改间隔 抽样检查评审的实质内容;登记册中固定的间隔
负责人覆盖 有指名的、现任的、并已接受归属的负责人的未关闭风险占比 有已确认的现任负责人的风险 / 未关闭的风险 百分比 与人员目录相连的风险登记册 风险管理 待办事项列表(backlog)上由团队拥有的风险 每月 在当事人不知情时指派负责人;指名没有权限的资深人员 负责人确认;检查负责人是否能对应对措施采取行动
控制测试覆盖 在要求的周期内,被测试运行情况的关键控制措施占比 在周期内被测试的关键控制措施 / 关键控制措施 百分比 控制登记册和测试记录 风险管理;信息安全管理 流水线中的自动化检查 每季度 测试容易的控制措施;把设计评审算作运行测试 由第二方固定关键控制措施清单;记录测试类型
控制有效率 被测试的控制措施中,发现按设计运行的占比 发现有效的控制措施 / 被测试的控制措施 百分比 测试结果 风险管理;持续改进 因正确的原因而通过的自动化测试 每季度 测试小样本;选择能通过的样本 样本方法独立于负责人;记录样本量
KRI 违规响应时间 从关键风险指标越过其阈值到有记录的决定的时间 从违规到决定的小时数或天数的中位数和第 85 百分位数 小时或天 KRI 监控和决定日志 风险管理;监控与事件管理 对生产信号的反应 每月 在违规之后更改阈值;记录一个没有内容的决定 阈值变更日志;决定内容抽样
处理计划及时性 在其承诺日期之前完成的风险处理占比 按日期完成的处理 / 期内到期的处理 百分比 风险登记册和行动跟踪器 风险管理;持续改进 已交付的改进行动 每季度 设定容易的日期;重新定义完成 日期在批准时与负责人商定;检查风险评级是否变动
基于风险的变更占比 通过基于风险的路径批准、并附有控制措施证据的变更占比 通过基于风险的路径并附必需证据而被批准的变更 / 期内的变更 百分比 变更记录 变更赋能;风险管理 带自动化检查持续交付的变更 每月 把变更归类为低风险以避免评审;附上并非由控制措施产生的证据 对照规则抽样检查分类;来自流水线的自动化证据

8.3 合规与审计度量

所在主题:(见主题 8.3,合规与审计度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
义务覆盖 被映射到一项带有负责人和证据来源的控制措施的适用义务占比 被映射到至少一项带负责人和证据来源的控制措施的义务 / 适用的义务 百分比 义务登记册和控制登记册 治理;信息安全管理;风险管理 完成定义包括控制措施的证据 每季度 把义务映射到薄弱或无关的控制措施;狭义地定义义务 由第二方评审控制措施的相关性;测试控制措施(见主题 8.2,风险与控制度量)
证据自动化率 从记录系统自动收集的、范围内控制措施证据占比 自动收集的控制措施证据项 / 所需的证据项 百分比 控制登记册、流水线和系统日志 信息安全管理;变更赋能 流水线自动记录评审、测试和部署 每季度 把截图或导出算作自动;先自动化低价值的证据 把自动定义为由系统生成且防篡改;按风险排序
证据周转时间 提供审计员或评估者所要求的证据的时间 从请求到被接受的证据的天数的中位数和第 85 百分位数 天 审计请求跟踪器 治理;信息安全管理 对干系人问题的响应能力 每次审计 迅速提供部分证据;协商请求的措辞 只统计被接受的证据;跟踪后续请求
发现关闭时间 按严重程度关闭审计发现的时间 从发现发出到经验证的关闭的天数的中位数和第 85 百分位数 天 发现跟踪器 持续改进;风险管理 修复缺陷的时间 每月 在没有验证的情况下关闭发现;重新归类严重程度 独立验证;严重程度变更日志
重复发现率 从之前的审计或评审中再次出现的发现占比 在实质上与较早已关闭的发现相匹配的发现 / 期内的发现 百分比 带原因链接的发现跟踪器 持续改进;问题管理 修复之后再次出现的缺陷 每个审计周期 重新措辞发现,使其不匹配;把较早的发现作为不同类型关闭 按原因匹配并记录规则;由内部审计评审
职责分离冲突 违反分离规则的访问或批准组合的计数,以及解决它们的时间 检测到的冲突;解决的天数中位数 计数;天 身份和访问管理工具、变更记录 信息安全管理;变更赋能 对变更的独立评审 每月 把冲突转移到不在范围内的系统;授予从未被记录的临时访问 涵盖所有带敏感流程的系统;评审临时访问
审计工作量 组织在准备和支持一个审计周期上所花的人时,按范围单位计 记入审计准备和支持的小时数 / 范围内的控制措施或系统 每单位小时数 时间记录或工作量估计 治理;持续改进 非交付工作的成本 每个审计周期 不记录小时数;把工作量转移到其他预算 抽样检查时间记录;与团队调查相比较

8.4 供应商与合同度量

所在主题:(见主题 8.4,供应商与合同度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
供应商服务级别达成 供应商达到的合同服务级别测量值占比,与同一服务的一项体验测量值配对 期内达到的测量值 / 合同规定的测量值;在该服务的用户体验得分旁边报告 百分比 供应商报告、你自己的监控、调查数据 供应商管理;服务级别管理 对合作伙伴为目标所作贡献的评审 每月 供应商把事件排除在度量之外;时钟暂停;狭窄的定义 自己的监控;体验测量值;审计排除项
归因于供应商的事件时间 归因于供应商的组件或行为的服务影响小时数 供应商的故障是已确认原因的事件的影响小时数之和 小时 带原因分析的事件记录、供应商事件报告 事件管理;供应商管理 因外部阻碍而损失的时间 每月 对归因提出争议;把供应商的故障归类为客户一侧 联合原因评审;由中立的评审者处理争议;跟踪有争议的占比
合同登记册覆盖 有现行合同、有指名的内部负责人、并有计划评审的供应商占比 三项都具备的供应商 / 范围内的供应商 百分比 合同登记册、采购记录 供应商管理;财务管理 对外部依赖的清晰归属 每季度 指名并不知情的负责人;列出没有日期的合同 负责人确认;检查评审会议确实举行
尽职调查时效 其风险评估处于评审周期之内的关键供应商占比 在周期内被评估的关键供应商 / 关键供应商 百分比 供应商风险评估 供应商管理;风险管理;信息安全管理 对风险的定期评审 每季度 仅凭问卷进行评估;供应商自我认证 对关键供应商要求证据;抽样验证
退出就绪 有书面退出计划、且该计划在约定期间内经过测试的关键供应商占比 有经过测试的退出计划的关键供应商 / 关键供应商 百分比 退出计划和测试记录 供应商管理;服务连续性管理 对依赖项的恢复演练 每年 写下计划就称之为已测试;没有真实步骤的演练 记录演练了什么;对演练的独立评审
集中度 依赖单一供应商、且没有经过测试的替代方案的关键服务占比 有单一供应商依赖、且没有经过测试的替代方案的关键服务 / 关键服务 百分比 依赖图、供应商登记册 供应商管理;风险管理 避免单点故障 每季度 在纸面上把一家供应商拆成几个法律实体 依赖图追溯到最终提供者;评审共享平台
联合行动关闭率 与供应商的联合评审中商定的行动,在到期日之前关闭的占比 按日期关闭的联合行动 / 到期的联合行动 百分比 评审纪要和行动跟踪器 供应商管理;持续改进 已交付的回顾会议行动 每季度 设定容易的行动;在没有效果的情况下关闭 评审行动的质量;检查所针对的问题是否改善

8.5 受监管与政府报告

所在主题:(见主题 8.5,受监管与政府报告)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
报告义务覆盖 有指名的负责人、说明的定义、数据来源和日历条目的报告义务占比 四项都具备的义务 / 范围内的报告义务 百分比 义务登记册 度量与报告;治理 与干系人关于信息需求的工作协议 每季度 狭义地对待义务;在没有商定的情况下列出负责人 由合规或内部审计评审登记册;负责人确认
报告及时性 在到期日之前提交的所需报告占比 在到期日当天或之前提交的报告 / 期内到期的报告 百分比 报告日历和提交记录 度量与报告 兑现对干系人的承诺 每月 为赶日期提交不完整的报告;把草稿算作提交 提交时检查完整性;只统计被接受的报告;重述率
重述率 之后被更正的已提交报告或数字占比 提交之后被更正的报告或数字 / 已提交的报告或数字 百分比 提交日志和更正日志 度量与报告;持续改进 逃逸的缺陷 每季度 压制更正;悄悄进行更正 由独立读者评审更正日志;低比率与可追溯性一起阅读
可追溯性覆盖 能够通过有文档的步骤追溯到记录系统的所报告数字占比 有到记录系统的有文档谱系的数字 / 所报告的数字 百分比 谱系文档、报告规格 度量与报告;知识管理 可复现的构建 每季度 肤浅地记录谱系;只包括简单的数字 通过从来源重新执行计算来抽样检查谱系
定义一致 法定定义与内部定义均有记录并已对账的所报告测量值占比 有记录的对账的测量值 / 有法定定义的所报告测量值 百分比 度量登记册 度量与报告;服务级别管理 共同的完成定义 每季度 在没有对账的情况下声明定义一致;只在报告中采用法定定义 评审对账文档;并排展示两个数字
报告工作量 产生一份经常性报告所花的人时 每个报告周期记录的小时数,附其中手工提取和汇编所占的比例 小时 时间估计、工作量日志 度量与报告;持续改进 非交付工作的成本 每个报告周期 不记录小时数;把工作转移给其他团队 与团队反馈相比较;在估计中包括所有贡献者
已发布的无障碍符合度 符合所要求的无障碍标准的已发布报告和数据集占比 通过无障碍检查的已发布项 / 已发布的项 百分比 无障碍测试结果 度量与报告;知识管理 包容性的完成定义 每季度 运行只发现部分问题的检查器;发布滞后的单独无障碍版本 用辅助技术进行手工测试;检查各版本之间是否一致

第 9 部分:人员、团队与改进度量

9.1 团队健康与开发者体验

所在主题:(见主题 9.1,团队健康与开发者体验)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
反馈闭环时间 一个人得到常见动作结果的时间,按闭环类型 每个团队的构建、测试运行、代码评审等待和部署的分钟数或小时数的中位数和第 85 百分位数 分钟或小时 流水线和评审工具的时间戳,按团队汇总 发布与部署管理;持续改进 持续交付中的快速反馈 每周 排除缓慢的情形;度量大多数工作不走的快速路径 报告第 85 百分位数;在登记册中定义每个闭环的起止点
专注时间占比 由团队报告的、处于约定最短长度的不被打断的时段中的工作时间占比 团队报告的专注时段小时数 / 工作小时数,在简短的脉冲中收集 百分比 团队脉冲;仅在团队选择加入并汇总时才使用日历数据 持续改进;知识管理 为深度工作保护的时间 每月 占用日历时间而不专注;为取悦经理而虚报专注 由团队拥有的脉冲;与打断的原因相比较;不做个人报告
认知负荷评分 团队对理解和更改某个具名系统或流程有多难的评分 每个系统在简短的约定量表上的平均评分和离散程度 量表点 与某个系统或流程相联的简短脉冲 服务设计;知识管理 对工作的共同理解 每季度 为避免审视而把系统评得很低;挑选容易的系统来评 为固定的系统清单评分;与入职时间和事件模式相比较
障碍解决时间 从团队提出一个障碍到其被消除、或有记录的决定不消除它的时间 从提出到解决或作出决定的天数的中位数和第 85 百分位数 天 障碍清单或跟踪器 持续改进;问题管理 已消除的障碍 每月 在没有修复的情况下关闭障碍;拒绝记录障碍 由团队确认解决;被重新打开的障碍的比率
团队健康检查趋势 团队自己对其所选维度的评分,随时间跟踪 两次检查之间团队所选维度评分的变化 量表点 由团队拥有的团队健康检查 持续改进 团队对如何变得更有成效的反思 每月或每季度 经理催促要好的得分;团队调整分数以避免关注 团队拥有结果;仅在团队同意时分享趋势
工具与流程满意度 团队对其日常使用的工具和流程的满意度评分 每个具名工具或流程的平均评分或偏正面占比 量表点或百分比 简短的脉冲 服务级别管理;持续改进 环境与工作的契合 每季度 调查满意的用户;训练员工回答得好 回复率和构成;阅读评论;与系统测量值相联
维度覆盖 团队实际使用的测量值所涵盖的 SPACE 维度数量 至少有一项在用测量值的五个维度的计数 计数(0 至 5) 度量登记册 度量与报告;治理 均衡的测量值 每年 以象征性的测量值计入某个维度 检查每项被计入的测量值是否被用于某个决定

9.2 满意度与福祉度量

所在主题:(见主题 9.2,满意度与福祉度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
可持续节奏评分 团队对当前节奏能否无限期保持的评分 对陈述“我们可以无限期地保持这样的节奏工作”在约定量表上的平均评分和离散程度 量表点 匿名的团队脉冲 持续改进;劳动力与人才管理 无限期的恒定节奏 每月 经理催促要好的得分;团队报告被期望的内容 匿名和群体规模规则;与工作负荷事实相比较;阅读评论
心理安全评分 团队对提出问题和冒人际风险有多安全的评分 每个团队在一组简短的经验证陈述上的平均评分 量表点 匿名的团队脉冲 持续改进;劳动力与人才管理 信任和公开的反思 每季度 只调查安全的团队;通过措辞变化提高得分 固定措辞的日志;回复率和构成;与事件和错误的报告率相比较
需要得到支持的评分 团队对工作中自主、胜任和关联的评分 每个团队在三条陈述中各自的平均评分 量表点 匿名的团队脉冲 劳动力与人才管理;持续改进 拥有所需环境的、有积极性的个人 每季度 重新定义陈述;辅导答案 稳定的措辞;由团队拥有解读;评论
工作负荷压力评分 团队对相对于容量,工作负荷有多苛刻的评分 平均评分,以及把工作负荷评为不可持续的占比 量表点;百分比 匿名的团队脉冲 容量与性能管理;劳动力与人才管理 可持续的开发 每月 降低所报告的压力以避免审视;在纸面上调整范围 与计划外工作和轮换负荷相比较;检查隐藏的工作
持续延长工时的周数 轮换或团队在远超其正常工时的情况下工作的周占比,在轮换或团队层面计数 期内团队层面有延长工时的周数 / 期内的周数 百分比 按团队汇总的轮换记录和值班日志;由团队报告,自愿加入 事件管理;容量与性能管理 把加班作为过载的信号 每月 不记录工时;把工作移出轮换记录 与事件日志和团队评论相比较;允许无罚则的报告
自愿离职及离职主题 期内自愿离开的团队成员占比,附来自离职交谈的主题 自愿离职者 / 平均人数;来自同意的离职者的主题计数 百分比;计数 人力资源记录、离职交谈 劳动力与人才管理 留住有经验的人 每季度 把辞职重新归类为非自愿;引导离职交谈 清晰的分类规则;独立的离职交谈;查看长期
对福祉反馈采取行动的时间 从团队提出福祉顾虑到有记录的回应的时间 从顾虑到有记录的决定或行动的天数的中位数和第 85 百分位数 天 团队反馈日志 持续改进 对团队反思的及时响应 每季度 记录一个没有行动的回应;迅速关闭顾虑 团队确认回应是有意义的;跟踪评分是否变化

9.3 协作与交接度量

所在主题:(见主题 9.3,协作与交接度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
交接次数 一个工作项在完成之前更换所属团队的次数 每个已完成项的团队到团队转移次数的中位数和第 85 百分位数,按项类型 每项转移次数 ITSM 或跟踪器的分派历史,按团队汇总 事件管理;服务请求管理;变更赋能 端到端承担工作的跨职能团队 每月 在别的团队做工作时仍把项分派给一个团队;重新分派到共享队列以避免被计数 检查各团队的实际活动;按活动而不仅仅是分派来统计交接
交接等待占比 一个项的经过时间中,花在交接之后、工作恢复之前等待的占比 从交接到接收团队首个动作之间的时间 / 总经过时间,各项的中位数 百分比 分派和活动的时间戳 事件管理;服务请求管理 流动效率;排队时间 每月 记录仅仅是确认的首个动作;晚点分派给正确的团队 把“首个动作”定义为实质性的一步;与满意度和解决时间相比较
重新分派率 在团队之间被传递两次以上、或被退回前一个团队的项占比 被重新分派两次以上或被退回的项 / 已完成的项 百分比 分派历史 事件管理;问题管理 返工和被弹来弹去的工作 每月 即使不对也拒绝重新分派;关闭项再在另一个团队名下重开 解决质量和重开率;抽样被弹回的项
依赖延迟 项因等待另一个团队而受阻的时间 处于“被另一个团队阻塞”状态的天数的中位数和第 85 百分位数,并指明依赖 天 跟踪器的阻塞状态和依赖字段 变更赋能;发布与部署管理 被阻塞的工作项的年龄 每月 不记录阻塞状态;指明错误的依赖 与周期时间和项的年龄相比较;与团队一起评审依赖字段
协作解决率 由来自多个团队的人实时协作、无需顺序升级而解决的事件占比 有记录的实时协作(例如共享的频道或通话)、且在无进一步交接的情况下得到解决的事件 / 合格优先级的事件 百分比 带协作标签的事件记录 事件管理;重大事件管理 对问题集群协作(swarming) 每月 把每起事件都标记为协作的;创建没有真正工作的共享频道 检查通话或频道是否包括解决问题的人;解决时间和成果
知识覆盖 至少有规定数量的团队成员能够运行和更改的关键组件占比 至少有目标数量的人能够运行和更改的关键组件 / 关键组件 百分比 由团队维护的技能和归属地图 知识管理;服务连续性管理 共同的所有权和集体代码所有权 每季度 列出理论上可以做这项工作的人;夸大地图 结对或演练的证据;问上一次变更实际由谁执行
干系人响应时间 从团队向干系人提出问题,到得到可用答案的时间 从问题被记录到答案被记录的小时数的中位数和第 85 百分位数 小时 问题日志或开放问题的跟踪器字段 服务级别管理;业务关系管理 干系人的持续参与 每月 晚记录问题;在答案并不可用时把它标为已收到 干系人确认答案可用;抽样检查问题

9.4 技能与学习度量

所在主题:(见主题 9.4,技能与学习度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
受保护的学习时间占比 被预留并实际用于学习的团队容量占比 在工作时间内用于学习的小时数或容量占比 / 总工作容量,在团队层面 百分比 团队容量计划和工作跟踪器的工作类型 劳动力与人才管理;持续改进 用于反思和技术卓越的时间 每月 把普通工作记录为学习;安排随后被取消的时间 只统计已使用的时间;与工作类型记录和团队评论相比较
交叉培训深度 在上一期间内,至少由两个人执行过的关键任务占比 期内由两人或更多人执行过的关键任务 / 关键任务 百分比 团队任务和归属地图,以近期工作验证 知识管理;服务连续性管理 对工作的集体所有权 每季度 列出从未做过该任务的人;把一次观察算作做过 近期工作的证据;演练结果
到达首次贡献的时间 新团队成员完成首个真实变更或已解决案例的时间 从开始日期到生产环境中首个已完成的真实工作项的天数的中位数和第 85 百分位数 天 入职跟踪器和工作跟踪器 劳动力与人才管理;知识管理 新团队成员做出首次变更所需的时间 每次招聘,每季度评审 统计琐碎的变更;把时钟启动得更晚 在登记册中定义“真实”的工作;询问新成员及其伙伴
社区参与 期内参加某个实践社区的团队成员占比,由他们自己选择 期内出席、贡献或演讲的成员 / 团队成员,在团队层面 百分比 社区记录,自愿 知识管理;持续改进 实践社区 每季度 强制出席;统计报名 只限自愿;问社区产出了什么
培训应用率 学习者或其团队报告在 90 天内把所学用于工作的培训经历占比 被报告为已应用的学习经历 / 已完成的学习经历 百分比 对学习者的简短后续问题,匿名到团队层面 劳动力与人才管理;持续改进 应用于工作的学习 每季度 迫使学习者说他们应用了;只询问热心者 匿名汇总;在团队层面跟进;查看可观察的变化
相关认证覆盖 因法律、合同或入门原因而要求认证的角色中,满足该要求的占比 持有所需认证的角色 / 要求认证的角色 百分比 角色要求登记册、证书记录 劳动力与人才管理;治理 满足合同或监管的入门要求 每年 为不需要的角色收集证书;把认证当作胜任 范围限于真正的要求;依据其他证据检查实际能力
跨团队分享的经验教训 来自事件或改进的、在原团队之外被分享并被另一个团队使用的经验教训数量 期内有另一个团队使用记录的被分享的经验教训 计数 经验教训登记册和评审笔记 知识管理;持续改进 跨团队分享的学习 每季度 分享琐碎的经验教训;统计帖子 要求有另一个团队使用的记录;评审质量

9.5 持续改进度量

所在主题:(见主题 9.5,持续改进度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
行动落实率 在评审中商定的改进行动,在约定日期之前完成的占比 按日期完成的行动 / 期内到期的行动 百分比 改进登记册或团队待办事项列表(backlog) 持续改进 已交付的反思行动 每月 商定琐碎的行动;移动到期日;在没有做的情况下关闭 评审行动的规模和价值;记录日期变更;效果检查率
改进待办事项列表的年龄 未关闭的改进项的年龄,特别关注最老的 未关闭项的年龄天数的中位数和第 85 百分位数;最老的一项的年龄 天 改进登记册 持续改进 待办事项列表年龄 每月 在没有决定的情况下把旧项以“不做”关闭;拆分项以重置年龄 记录关闭的理由;跟踪在没有行动的情况下关闭的项;评审最老的
效果检查率 已完成的改进中,其效果对照基线被检查的占比 有记录的前后检查的已完成改进 / 已完成的改进 百分比 带基线和结果字段的改进登记册 持续改进;度量与报告 从实验中学习 每季度 记录没有基线的检查;只检查成功的 基线的日期早于变更;包括零结果和负面结果
从想法到试验的时间 从提出一个改进想法到在真实工作中首次试验的时间 从提出到首次试验的天数的中位数和第 85 百分位数 天 改进登记册 持续改进 对变更的快速反馈 每月 把计划称为试验;试验琐碎的变体 把试验定义为真实工作中的变更;查看被试验想法的重要性
一线想法占比 由做这项工作的人提出的改进想法占比,在团队层面计数 由做这项工作的团队成员提出的想法 / 提出的想法 百分比 改进登记册 持续改进 自组织团队 每季度 经理以员工的名义提交想法;强制的想法配额 在团队层面记录按作者的想法;没有配额;询问团队
重复问题率 在旨在消除其原因的改进之后再次出现的问题占比 在相关改进关闭后的规定期间内再次出现的问题 / 带有相关原因而关闭的改进 百分比 按原因相联的事件、问题和改进记录 问题管理;持续改进 修复之后逃逸的缺陷 每季度 为同一个问题记录不同的原因;把较早的记录归入另一种类型关闭 按原因匹配并记录规则;由团队之外的人评审
改进容量占比 花在改进工作上的团队容量占比 标记为改进的容量或已完成项 / 总容量或已完成项 百分比 工作跟踪器的工作类型 持续改进;容量与性能管理 用于反思和技术卓越的时间 每月 把普通工作标记为改进;安排随后被用于交付的时间 抽样检查项的类型;与实际花费的时间相比较

9.6 组织变革与采纳度量

所在主题:(见主题 9.6,组织变革与采纳度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
目的清晰度 能用自己的话说出某项实践的目的、以及一种他们会判断其是否起作用的办法的团队成员占比 在简短的匿名检查中给出清晰目的和指标的成员 / 被询问的成员,在团队层面 百分比 简短的匿名检查,按团队汇总 组织变革管理;持续改进 团队对为什么这样工作的理解 每季度 辅导人们背诵目的;提出引导性问题 匿名检查;要求举例说明他们将如何判断;与成果变动相比较
实践采纳广度 使用某项已定义实践的团队占比,依据可观察的行为而不是出席来定义 在上一期间显示出所定义行为、并由团队和一位观察者确认的团队 / 范围内的团队 百分比 由观察确认的团队自我评估 组织变革管理 实践的传播 每季度 统计看板和会议;团队为观察者表演 依据行为和目的来定义;由团队之外的人观察;成果变动
对照比较的成果变动 同一期间内,采纳团队相对于类似的未采纳团队的某项成果测量值的变化 采纳者的成果变化减去对照团队的变化 成果单位 每个团队的成果测量值(流动、稳定性、体验) 持续改进;度量与报告 从实验中学习 每季度 选择有利的对照组或时期;遗漏其他变化 事先选择对照和期间;列出其他变化;展示不确定性
变革负荷 同时影响一个团队的重大变革数量 期内要求一个团队改变其工作方式的重大变革倡议计数,按团队 计数 变革组合和团队输入 组织变革管理;变更赋能 可持续的节奏 每季度 把一项倡议拆成小块;不计入非正式到来的变革 按对团队工作的影响来统计;请团队列出他们正在吸收的东西
干系人参与率 受影响的人参与了设计和评审的变革倡议占比 有受影响的人参与的记录的倡议 / 倡议 百分比 倡议记录和受影响团队的确认 组织变革管理;干系人参与 干系人的持续参与 每季度 邀请人们参加一场通报并称之为参与;只记录出席 受影响团队确认他们影响了设计;记录为回应而作出的变更
自愿采纳占比 采纳的团队中,是自己选择该实践、而不是被指令的占比 报告自己选择了该实践的采纳团队 / 采纳团队 百分比 团队报告 组织变革管理 自组织团队 每年 把指令呈现为选择;团队在觉得不得不这样做时说自己选择了 匿名报告;问如果他们拒绝会发生什么
回退率 在采纳一年之内放弃某项实践的团队占比 在 12 个月内停止的团队 / 采纳的团队 百分比 随时间推移的团队记录 组织变革管理;持续改进 因无益而被放弃的实践 每年 使放弃一项实践代价高昂或被隐藏;给被放弃的实践改名 评审放弃的理由;允许安全的撤回

第 10 部分:AI、自动化与分析度量

10.1 服务管理中的 AI 度量

所在主题:(见主题 10.1,服务管理中的 AI 度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
基线完整性 计划中的 AI 用例里,其主要指标有采纳前已记录基线的占比 有带日期基线的用例 / 计划的用例 百分比 用例登记册 持续改进;度量与报告 实验之前的基线 每季度 事后记录基线;使用方便的指标 带日期戳的基线;对基线方法的独立评审
AI 使用覆盖 按用例,使用了 AI 的合格工作项或任务占比 使用了 AI 辅助的项 / 合格的项,来自工具日志或用户标签,在团队层面 百分比 工具使用日志、标签 服务台;事件管理;发布与部署管理 愿意的团队采纳一种工具 每月 强制使用;统计琐碎或自动的调用 绝不作为目标;与成果变动相比较;统计有意义的使用
建议接受与覆盖率 被原样接受、被编辑或被拒绝的 AI 建议占比 每个类别的建议 / 提供的建议 百分比 按团队汇总的工具日志 服务台;知识管理 对机器建议的评审 每月 奖励接受;使拒绝变得麻烦 没有目标;经评审的输出准确度;询问用户的体验
经评审的输出准确度 被合格的评审者判断为正确且适合目的的、抽样的 AI 输出占比 判断为正确的输出 / 被抽样的输出 百分比 抽样评审记录 质量保证;知识管理 输出的完成定义 每月 抽样容易的输出;宽松的评审者 由独立评审者进行随机抽样;书面标准;评审者轮换
相对基线的任务时间 使用 AI 完成一项已定义任务的时间,与基线或对照组相比较 使用 AI 的任务时间的中位数和第 85 百分位数,减去基线或对照的同一数字 分钟或小时 计时的任务、工单时间戳 服务台;事件管理 任务的周期时间 每季度 只为生成计时;选择容易的任务 到达经检查结果的时间;随机抽样任务;包括评审和返工
每项 AI 辅助任务的成本 每项任务的 AI 辅助工作的总成本,包括评审和返工 (许可证和使用成本 + 评审和返工的时间成本) / 使用 AI 完成的任务 每项任务的货币 供应商发票、时间估计、工作跟踪器 服务财务管理 每个成果的服务成本 每季度 遗漏评审时间或治理成本 完整成本检查清单;与时间研究相比较
对照比较的成果变动 AI 辅助的工作相对于类似的非辅助工作,其成果指标的变化 AI 辅助组的指标变化减去对照组的变化 指标单位 每个用例的成果测量值(质量、满意度、重开率、缺陷) 持续改进 从实验中学习 每季度 选择有利的群体或时期;忽略其他变化 事先商定的对照和期间;其他变化的清单

10.2 度量 AI 辅助的工作

所在主题:(见主题 10.2,度量 AI 辅助的工作)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
留存率 在规定的期间之后,实质上保持不变的 AI 辅助变更占比 30 天后被修改或撤销的占比低于设定值的 AI 辅助变更 / 30 天前合并的 AI 辅助变更 百分比 与辅助标签相连的版本控制历史,在团队层面 发布与部署管理;变更赋能 站得住脚的工作;低返工 每月 为保持数字而避免必要的变更;只把成功的变更标记为被辅助 依据工具日志而不是作者的选择来标记;与逃逸的缺陷和返工配对
合并后返工 在短期内需要后续修复的变更占比,针对被辅助和对照的变更 14 天内有相联后续修复的变更 / 已合并的变更,按组 百分比 版本控制、问题跟踪器、变更记录 变更赋能;问题管理 逃逸的缺陷;返工 每月 在不同的工单或未相联的新变更中修复;把修复推迟到窗口之后 登记册中的链接规则;查看更长的窗口;生产缺陷
评审负荷 每项变更的评审工作量,针对被辅助和对照的变更 每项变更的评审时间和评审轮次的中位数和第 85 百分位数,按组 小时;轮次 评审工具时间戳,按团队汇总 发布与部署管理 作为反馈和学习的评审 每月 降低所度量时间的仓促评审;没有评论的批准 评审深度抽样;逃逸的缺陷;评审者调查
逃逸缺陷率 每项变更在生产中发现的缺陷,针对被辅助和对照的变更 发布之后发现、归因于某项变更的缺陷 / 已发布的变更,按组 每项变更的缺陷数 与变更相连的缺陷跟踪器 事件管理;问题管理 所发布之物的质量 每季度 不把缺陷归因于变更;把缺陷重新归类为增强 归因规则;对缺陷分类的独立抽样
解释检查通过率 其作者能在评审中解释做法及其权衡的、抽样的 AI 辅助变更占比 作者的解释使评审者满意的抽样变更 / 抽样的变更 百分比 抽样的评审笔记 知识管理;变更赋能 对代码的共同理解 每季度 作者为检查而排练;宽松的评审者 随机、不预先通知的抽样;轮换评审者;聚焦于设计的理由
辅助支持质量 AI 辅助的支持回复与无辅助回复相比较的重开率和用户满意度 重开的被辅助工单 / 被辅助的工单,以及偏正面的评分 / 评分,按组 百分比 ITSM 工具、调查 服务台;事件管理 服务成果的质量 每月 只辅助容易的工单;辅导用户给高分 按类型和难度匹配工单;回复率和构成;阅读评论
无辅助信心评分 团队对不用工具完成关键任务的信心评分 在约定量表上的平均评分和离散程度,按团队 量表点 匿名的团队脉冲 劳动力与人才管理;知识管理 团队能力和学习 每季度 为避免审视而夸大评分;为争取更多工具而压低评分 匿名;与演练中观察到的做法相比较;阅读评论

10.3 AI 代理与聊天机器人度量

所在主题:(见主题 10.3,AI 代理与聊天机器人度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
经验证的解决率 用户确认问题已解决、或在规定期间内没有再来的机器人对话占比 有确认的解决或 7 天内无再次联系的对话 / 以可解决的意图开始的对话 百分比 对话日志、用户确认、工单和联系数据 服务台;知识管理 对用户的有效成果 每周 把任何对话的结束都算作已解决;提出引导性的确认问题 中立地定义确认;再次联系率;抽样对话
再次联系率 机器人结束的对话之后,通过任何渠道就同一问题再次联系的占比 之后 7 天内有相关联系的对话 / 未经交接而结束的对话 百分比 与工单和联系记录相连的对话日志 服务台;事件管理 逃逸的缺陷 每周 只通过一个渠道度量;很短的窗口 连接所有渠道;用更长的窗口作为检查;抽样再次联系
交接背景完整性 向真人的交接中,该人无需用户重复就拥有所需信息的占比 被接收坐席判断为完整的抽样交接 / 被抽样的交接 百分比 抽样的交接、坐席反馈 服务台;知识管理 跨越边界的顺畅协作 每月 传递很长的转录而不是摘要;抽样容易的交接 接收坐席的评分;随机抽样;交接之后的解决时间
到达真人的时间 从用户请求真人、或机器人决定交接,到真人接手的时间 分钟数的中位数和第 85 百分位数 分钟 对话日志、队列数据 服务台;事件管理 用户需要帮助时的响应能力 每周 在菜单之后才启动时钟;把队列确认算作接手 时钟从请求开始;接手意味着有真人在对话中活跃
回答准确度 被合格的评审者判断为正确、完整且安全的、抽样的机器人回答占比 判断为正确的回答 / 被抽样的回答 百分比 抽样评审 知识管理;质量保证 回答的完成定义 每月 抽样容易的对话;宽松的评审者 由独立评审者进行随机抽样;对抗性的测试用例
机器人满意度与费力程度 用户在对话之后对满意度和容易程度的评分,附评论 偏正面的评分 / 评分;平均费力程度评分 百分比;量表点 简短的对话后调查 服务台;客户体验 对可工作软件的反馈 每周 只调查已完成的对话;把调查放在只有满意的用户才会到达的地方 也调查被放弃的对话;回复率和构成;阅读评论
代理行动撤销率 AI 代理所采取的行动中,必须被更正、撤销或升级的占比 被撤销或更正的行动 / 所采取的行动,按行动类型和风险类别 百分比 行动审计日志、变更记录 变更赋能;事件管理 返工和回退 每周 不记录撤销;把更正重新归类为新工作 防篡改的审计日志;把撤销与行动相联;事件评审

10.4 度量膨胀与质量稀释

所在主题:(见主题 10.4,度量膨胀与质量稀释)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
产出与成果之比 产出的数量相对于它本意要产生的成果 同期的产出计数(工单、文章、变更)/ 成果测量值(已解决的问题、被使用的文章、留存的变更),作为趋势跟踪 比率 工作跟踪器、知识库、成果测量值 持续改进;度量与报告 可工作的软件高于文档的数量 每月 选择随数量上升的成果测量值;更改期间 成果在登记册中固定;与满意度和重开率相比较
有用项占比 被合格的评审者判断为有用的抽样项占比 判断为有用(正确、相关、不重复)的抽样项 / 被抽样的项 百分比 随机抽样评审 知识管理;质量保证 内容的完成定义 每月 抽样容易的项;宽松的标准;评审者受产出者影响 随机抽样;书面评分标准;独立、轮换的评审者
验证负担 每单位产出,人花在检查和更正生成工作上的时间 评审和更正的小时数 / 产出单位,作为趋势跟踪 每单位小时数 时间估计、评审工具数据 服务财务管理;持续改进 作为约束的评审容量 每月 不记录评审时间;把检查转移给下游团队 包括下游的返工;询问评审者的负荷
内容冗余率 与另一项重复或实质重叠的知识项占比 在评审中或通过匹配被标为重复或重叠的项 / 知识库中的项 百分比 知识库评审、匹配报告 知识管理 单一事实来源 每季度 漏掉重复项的狭窄匹配规则;合并不同的项 手工抽样重复项;记录合并规则
生成的知识中经评审的占比 在发布之前由合格的人评审并批准的 AI 生成知识项占比 附经批准的评审而发布的生成项 / 发布的生成项 百分比 知识库元数据 知识管理;变更赋能 发布之前的评审 每月 在没有阅读的情况下标为评审完成;批量评审 抽样检查评审的实质;每次评审的时间;已发布项中的错误率
待办事项到达与解决 对受 AI 影响的队列,到达的工作的增长相对于已解决工作的增长 (已创建项的变化) / (已解决项的变化),与 AI 之前的基线相比较 比率 工单和跟踪器历史 事件管理;服务请求管理 流动的平衡 每月 自动关闭项;拆分项 检查解决质量;重开率;抽样已关闭的项
度量漂移标记 在引入 AI 之后,其定义或分布发生明显偏移、并经评审和注释的测量值数量 评审中被标记的测量值 / 登记册中的测量值 计数;百分比 度量登记册评审、分布检查 度量与报告 对度量的回顾 每季度 为避免工作而不标记;标记一切 每季度评审所有测量值;要求对每个标记作出决定

10.5 AI 治理与风险度量

所在主题:(见主题 10.5,AI 治理与风险度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
AI 使用登记册覆盖 通过独立手段发现的 AI 使用中,在登记册上并有负责人和风险类别的占比 登记册上有负责人和风险类别的使用 / 通过独立发现(采购、费用、身份、网络和员工报告)找到的使用 百分比 登记册、采购和费用数据、身份日志、调查 治理;IT 资产管理;风险管理 可见的工作和清晰的归属 每季度 登记琐碎的使用以提高百分比;分母仅限于已登记的内容 以独立发现作为分母;抽样登记册条目的质量;对未登记的使用给予特赦
风险评估时效 在要求的周期内有风险评估的中高风险使用占比 在周期内被评估的使用 / 中高风险的使用 百分比 风险评估 风险管理;信息安全管理 对风险的定期反思 每季度 总能通过的轻描淡写的评估;评估低风险的使用 评审评估的深度;检查风险类别是否符合标准
变更控制覆盖 生产中对模型、提示词、工具和数据来源的变更里,经过带必需测试的变更控制的占比 有变更记录、测试和与风险相称的批准的变更 / 检测到的变更 百分比 与版本历史和供应商发布说明相比较的变更记录 变更赋能;发布与部署管理 小而受控、可逆的变更 每月 不检测供应商的变更;事后记录变更 通过版本历史和供应商通知进行检测;变更记录在发布之前就带时间戳
评估时效 有当前评估(准确度、安全,以及相关时的公平)且结果在容差之内的生产使用占比 在周期内有评估且结果可接受的使用 / 范围内的生产使用 百分比 评估记录 质量保证;风险管理 行为的完成定义 每季度 在容易的案例上评估;在看到结果之后才选择容差 由独立方评审测试集;事先设定阈值
人工监督证据率 有记录的、实质性的人工评审的、抽样的有重大影响的输出或决定占比 有可能改变结果的文档化评审的抽样项 / 被抽样的项 百分比 抽样的决定记录 风险管理;治理 发布之前的评审 每月 不看就点击批准;记录本不可能改变结果的评审 抽样检查评审的实质;植入已知的错误;评审者的负荷
AI 事件率及遏制时间 涉及 AI 的事件(有害的输出、数据暴露、不安全的行动)按使用计,以及遏制它们的时间 每个生产使用每季度的事件;从检测到遏制的小时数的中位数和第 85 百分位数 事件;小时 带 AI 标签的事件记录 事件管理;信息安全管理 免责的响应和学习 每季度 不报告事件;收窄定义 容易、免责的报告;与用户投诉和审计发现相比较
供应商 AI 尽职调查时效 在关键服务中提供 AI 功能的供应商里,其针对 AI 的评估是最新的占比 有当前 AI 评估的供应商 / 带有 AI 功能的关键供应商 百分比 供应商评估 供应商管理;风险管理 对依赖项的定期评审 每季度 由市场人员回答的问卷;没有证据的评估 对关键供应商的证据要求;独立验证

10.6 自动化与编排度量

所在主题:(见主题 10.6,自动化与编排度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
自动化运行成功率 已完成并达到预期结果的自动化运行占比,由运行之后的检查确认 运行后检查成功的运行 / 期内启动的运行;没有运行后检查的运行被排除并单独报告 百分比 编排和自动化平台日志 服务请求管理;发布管理 自动化工作的完成定义 每月 在干净退出时把运行算作成功;从日志中删除失败的运行 独立的运行后检查;把日志与下游记录相比较
任务自动化覆盖 被自动化的合格重复任务占比 在约定的合格清单上、被自动化运行的任务 / 合格清单上的任务;合格清单每季度评审 百分比 任务清单和运行手册登记册 持续改进 自动化候选的待办事项列表(backlog) 每季度 缩小合格清单使覆盖上升;先自动化琐碎的任务 与第二个团队一起评审合格清单;按数量和时间加权
人工干预率 需要有人介入或修复的自动化运行占比 启动之后添加了手工步骤的运行 / 启动的运行 百分比 自动化日志和工单链接 事件管理 自动化工作中逃逸的缺陷 每月 把手工修复记录为单独的工单,使运行看起来干净 把工单与运行标识符相联;抽样检查运行中隐藏的修复
由自动化引起的事件率 归因于自动化行动的事件,按每 1,000 次运行计 有确认的自动化原因的事件 / 自动化运行 x 1,000 每 1,000 次运行的计数 与运行标识符相联的事件记录 事件管理;问题管理 自动化变更的变更失败率 每月 把自动化的失败归因于人或工具;不把事件与运行相联 要求事件记录中有运行标识符;抽样检查事件中漏掉的联系
回退时间 在认识到需要时,撤销一项自动化行动的时间 (撤销完成的时间减去作出撤销决定的时间) 的中位数和第 95 百分位数 分钟 自动化日志和事件时间线 变更赋能 完成定义中的回退能力 每季度 只度量容易的回退;晚点启动时钟 对最难的自动化在演练中练习回退;定义时钟的开始
经验证的节省时间 消除的手工工作小时数,通过抽样检查 被自动化的任务 x (时间样本中手工任务时间的中位数减去残余手工时间的中位数),在该期间内;说明样本日期 小时 时间样本和运行计数 持续改进 每项工作所交付的价值 每季度 使用乐观的任务时间;忽略维护和失败的成本 由团队之外的人做时间样本;包括构建和维护成本
自动化归属时效 有在过去 12 个月内确认归属并评审了该自动化的负责人的自动化占比 12 个月内有已确认的负责人和评审的自动化 / 登记册中的自动化 百分比 自动化登记册 治理;资产与配置管理 团队章程和归属 每季度 指名一个分发列表或一位前员工为负责人 负责人以书面形式确认;检查负责人仍在任

10.7 流水线与自动化变更度量

所在主题:(见主题 10.7,流水线与自动化变更度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
流水线成功率 完成时没有由流水线或其环境引起的失败的流水线运行占比 通过、或仅因真正的代码缺陷而失败的运行 / 启动的运行;被用户取消的运行被排除并报告 百分比 流水线平台日志 发布管理;变更赋能 持续集成的健康 每周 把基础设施的失败重新归类为已取消;重新运行直到变绿,只统计最后一次运行 统计所有的尝试;报告每项变更的重新运行
流水线时长 一项变更通过流水线所需的时间 对到达部署的运行,(最后一个阶段完成的时间减去运行开始的时间) 的中位数和第 85 百分位数 分钟 流水线平台日志 发布管理 短的反馈闭环 每周 把缓慢的阶段移到所度量的窗口之外;跳过阶段 从提交到已部署端到端地度量;把已运行的阶段与必需的阶段相比较
不稳定测试率 在没有代码变更的情况下重新运行就通过的测试失败占比 重新运行通过的失败 / 测试失败 百分比 测试结果和重新运行日志 发布管理 完成定义;测试实践 每月 删除或静默不稳定的测试;把失败标记为已知 测试数量和覆盖趋势;评审被隔离的测试,附日期
自动批准占比 在没有人工批准步骤的情况下,由流水线政策批准的变更占比 仅由政策批准的变更 / 已部署的变更 百分比 流水线和变更记录 变更赋能 带自动化检查的主干开发 每月 放宽“标准”类别,把有风险的变更包括进来 自动批准的变更的变更失败率;抽样已批准的变更
绕开率 没有通过流水线的生产变更占比 通过把部署记录与流水线记录相比较而发现的、在流水线之外作出的生产变更 / 所有生产变更 百分比 部署记录、配置审计和流水线日志 变更赋能;配置管理 工作协议 每月 把紧急的手工部署记录为流水线运行;不与生产对账 把生产状态与流水线记录对账;抽样部署
证据完整性 记录显示必需证据的、通过流水线部署的变更占比 所有必需证据项(测试、评审、扫描、批准)都已相联的变更 / 已部署的变更 百分比 流水线和变更记录 变更赋能;治理 完成定义 每月 附上空的或不相关的证据;链接一份通用的报告 抽样证据的内容;检查它是否与变更相符
政策关口失败率 被政策检查停止的运行占比,按真正的违规和政策错误拆分 被政策关口停止的运行 / 启动的运行;原因通过抽样分类 百分比 流水线日志和关口记录 变更赋能;风险管理 验收标准 每月 放松政策以减少失败;把真正的违规归类为政策错误 抽样被停止的运行;逃逸的缺陷率和来自审计的发现

10.8 分析与数据质量度量

所在主题:(见主题 10.8,分析与数据质量度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
必填字段完整性 具备使用它们的测量值所需的所有字段的记录占比 每个必填字段都存在且有效的记录 / 范围内的记录 百分比 源系统提取和数据质量检查 度量与报告;知识管理 记录的完成定义 每月 用占位符或默认值填充字段;使字段变为可选 对内容的有效性检查;抽样检查记录中的真实值
数据新鲜度 在读取报告时,数据集中最新数据的年龄 各数据集的 (读取报告的时间减去最近加载的记录的时间) 的中位数和最大值 小时 流水线日志和数据集元数据 度量与报告 快速反馈 每周 给加载而不是事件打时间戳;加载空的更新 把事件时间与加载时间相比较;每次加载的行数
对账差异 应当就同一数量一致的两个来源之间的差异 对所述数量样本和期间,来源 A 与来源 B 之间的绝对差异 / 来源 A 百分比 两个源系统 度量与报告;财务管理 关于定义的工作协议 每季度 选择碰巧一致的数量;调整一个来源以使其匹配 轮换数量;保留调整的审计轨迹
谱系覆盖 其来源、转换和负责人有文档记录的所报告测量值占比 登记册中有文档记录的谱系的测量值 / 所报告的测量值 百分比 度量登记册和数据目录 治理 团队协议 每季度 肤浅地记录谱系;在条目之间复制文本 抽样条目并端到端地追溯一项测量值
流水线运行失败率 失败或加载不完整数据的数据流水线运行占比 失败或加载不完整数据的数据流水线运行 / 启动的运行 百分比 数据流水线日志 度量与报告 针对数据的持续集成 每周 把失败的运行标为已重试或成功;删除日志 把记录数与来源相比较;对缺口告警
分析评审率 在使用之前由第二个人评审过的已发布分析占比 有记录的评审的分析 / 发布给决策受众的分析 百分比 分析登记册和评审日志 度量与报告;持续改进 同行评审 每季度 走过场的评审;在决定之后才评审 检查评审者的笔记;要求在使用之前评审
决定使用率 在期内被记录的决定所引用的所报告测量值占比 在决定日志条目中被引用的测量值 / 所报告的测量值 百分比 决定日志和度量登记册 持续改进 回顾会议的行动 每季度 在日志中引用测量值,却对决定没有影响 问什么变了;抽样条目

10.9 预测与预测分析度量

所在主题:(见主题 10.9,预测与预测分析度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
预测区间覆盖 落在所述预测区间内的实际结果占比 区间内的结果 / 已评估的预测;已评估的预测是其结果已知的那些 百分比 预测日志和实际值 容量与性能管理;财务管理 依据吞吐量用区间预测 每季度 把区间放宽到覆盖看起来不错;只评估容易的预测 连同覆盖一起报告区间宽度;评估所有已记录的预测
预测误差 预测与实际之间差异的典型大小 绝对误差的中位数及其第 85 百分位数,其中绝对误差 = (预测减去实际) 的绝对值 / 实际,对已评估的预测 百分比 预测日志和实际值 容量与性能管理 规划评审 每季度 在结果之前不久修订预测;选择评估窗口 使用已记录的原始预测;提前固定窗口
相对基线的技能 预测方法相对于简单基线的改进 1 减去 (方法的绝对误差中位数 / 基线的绝对误差中位数),对同样的预测 比值 预测日志、基线日志和实际值 持续改进 试验并比较 每季度 选择薄弱的基线;在评估数据上调优方法 提前商定基线;在未用于调优的数据上评估
校准差距 所述概率与观察到的频率之间的差异 对每个概率区段,(所述概率减去观察到的占比) 的绝对值,在各区段上取平均;案例少于所述数量的区段单独报告 百分点 概率预测日志和结果 风险管理;变更赋能 针对估算的回顾会议 每季度 使用很少的区段或案例;合并区段以隐藏差距 报告每个区段的案例数;设最小案例数
告警的精确率与召回率 对预测性的告警或评分,正确的告警占比和被捕获的事件占比 精确率 = 真阳性 / (真阳性 + 假阳性);召回率 = 真阳性 / (真阳性 + 假阴性) 百分比 预测日志和结果 事件管理;事态管理 模型的完成定义 每月 事后重新定义事件;统计重复项 提前固定事件定义;去重;抽样告警
预测漂移信号 与参考期间相比,误差随时间的上升 最近窗口的绝对误差中位数减去参考窗口的绝对误差中位数,并说明窗口大小 百分点 预测日志和实际值 持续改进;容量管理 检视与适应 每月 重置参考期间;忽略缓慢的漂移 固定参考窗口,并按计划评审它
预测与决定的联系 在被记录的决定中被引用的预测占比 在决定日志中被引用的预测 / 发布的预测 百分比 决定日志和预测日志 持续改进;治理 评审行动 每季度 在日志中引用预测,却对决定没有影响 问什么变了;抽样条目

10.10 可观测性与遥测度量

所在主题:(见主题 10.10,可观测性与遥测度量)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
埋点覆盖 发出约定的核心信号的服务和关键用户旅程占比 日志、指标和追踪符合约定标准的服务或旅程 / 服务目录中的服务或旅程 百分比 服务目录和遥测平台清单 监控与事态管理;服务配置管理 新服务的完成定义 每季度 为每项服务添加最少的信号以通过标准;把难办的服务排除在目录之外 追踪完整性和盲区事件;评审目录中的遗漏
追踪完整性 从入口到最后一个依赖都有不间断追踪的抽样请求占比 追踪覆盖所有预期跳转的请求 / 被检查样本中的请求 百分比 追踪平台和抽样检查 监控与事态管理 功能中对可观测性的测试 每月 只对简单的请求采样;把部分追踪算作完整 按请求类型定义检查样本;检查对依赖的覆盖
信号关联率 日志、指标和追踪可以通过标识符连接起来的事件占比 在时间线评审中有可用连接的事件 / 被评审的事件 百分比 事件评审和追踪平台 事件管理;问题管理 回顾会议的行动 每季度 只评审进展顺利的事件;统计只存在于纸面上的连接 评审事件的随机样本;运行连接演练
理解时间 从发现到记录下有效的原因解释的时间 对有记录原因的事件,(记录第一个有效原因的时间减去发现事件的时间) 的中位数和第 85 百分位数 分钟 事件时间线和评审笔记 事件管理 免责评审 每季度 过早而草率地记录原因;对困难的案例把原因留空 评审原因记录的质量;单独报告没有原因的事件
每项服务的遥测成本 归属于某项服务的遥测支出,按该服务的单位使用量计 分配给该服务的遥测成本 / 所述的使用单位,比如 1,000 次请求 每单位的货币 遥测账单和使用数据 财务管理 成本作为设计输入 每月 为削减成本而丢弃信号;把成本转移到另一个账户 盲区事件和理解时间;对总支出对账
遥测中的敏感数据 包含不应当在那里的数据的、已确认的记录数 期内通过扫描或评审发现的已确认案例 计数 遥测扫描和评审 信息安全管理 完成定义;隐私评审 每月 扫描得太窄;不报告发现 扫描覆盖和独立评审;跟踪移除所需的时间
盲区事件 由用户首先报告,而遥测没有显示迹象的事件 由用户首先报告、且没有相关告警或信号的事件 / 期内的事件 百分比 事件记录和评审笔记 事件管理;监控 回顾会议的行动 每季度 在用户报告之后告警触发,却把事件算作已发现;把信号定义得很宽 比较第一个信号和第一次用户报告的时间戳;抽样评审

第 11 部分:构建度量计划

11.1 设计服务度量仪表盘

所在主题:(见主题 11.1,设计服务度量仪表盘)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
问题覆盖 仪表盘能以已定义的测量值回答的、所列出的受众问题占比 有测量值和定义的问题 / 受众所列出的问题 百分比 来自干系人会议的问题清单;度量卡 持续改进;服务级别管理 持续的干系人参与 每季度 写下现有测量值已经回答的狭窄问题;把难的问题排除在外 纳入计划团队之外的干系人;明确评审未回答的问题
定义完整性 有现行的书面定义、数据来源、负责人和已知局限的所展示测量值占比 四项都有的测量值 / 所展示的测量值 百分比 度量卡或目录 信息与技术管理;知识管理 共同的理解;可见的工作 每季度 用套话填写字段;没人读的定义 请团队之外的人抽样检查定义是否清晰;检查定义是否与实际计算相符
数据新鲜度 在其预期间隔内更新的所展示测量值占比 按时更新的测量值 / 所展示的测量值 百分比 流水线日志;仪表盘元数据 监控与事态管理 快速反馈 每周 用未变化的数据刷新陈旧的来源;在来源的数据馈送失败时把刷新算作成功 除刷新时间外还检查来源的时间戳;与记录数和预期数量比较
与决定的联系 最近的评审引向被记录的决定、行动或有意不作为的所评审测量值占比 期内有相联决定的测量值 / 所评审的测量值 百分比 评审笔记;改进登记册 持续改进 定期的反思 每季度 事后记录决定以填满字段;为避免空白而虚构行动 接受“选择什么也不做”作为被记录的决定;抽样检查链接背后是否有真实的事先讨论
展示规模 每类受众视图上的测量值数量 每个视图的计数 测量值 仪表盘配置 持续改进 简洁 每季度 把测量值藏在次要的标签页上;把一个视图拆分成许多 跨所有标签页按受众统计测量值;问受众实际用了多少个数字
淘汰率 因不再为决定提供依据而在期内被移除或替换的测量值 淘汰的测量值 / 期初所展示的测量值 百分比 仪表盘的变更日志 持续改进 持续演进 每年 淘汰显示糟糕结果的不便之处的测量值 在已淘汰清单中评审趋势不利的测量值;要求说明理由
受众触达(描述性) 在期内打开了自己视图的目标团队或角色占比 查看过的不同团队或角色 / 目标团队或角色 百分比 仪表盘访问日志,聚合到团队或角色 信息与技术管理 持续的干系人参与 每季度 为提高计数而打开页面;在会议上强制查看 保持描述性;与决定的联系一起阅读;不报告个人的查看

11.2 工具全景

所在主题:(见主题 11.2,工具全景)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
来源覆盖 为约定的测量值所需、且自动馈入度量存储的记录系统占比 已连接并经测试的来源 / 约定测量值所需的来源 百分比 来源清单;流水线配置 信息与技术管理;服务配置管理 流水线的持续交付 每季度 连接容易的或无关的来源;统计不携带可用数据的连接 按约定的测量值统计;检查每个来源的数据完整性
流水线可靠性 按时完成且检查通过的计划数据加载占比 按时且检查通过的加载 / 计划的加载 百分比 流水线日志和测试结果 监控与事态管理 自动化测试和快速反馈 每周 放松检查,使加载总能通过;安排更少的加载 评审检查的强度;跟踪对账和来源的行数
新测量值的时间 从对新测量值的已批准请求,到其连同定义卡可用的经过时间 从批准到发布的天数,中位数和第 85 百分位数 天 请求和发布记录 服务请求管理;变更赋能 价值的小增量 每季度 在没有定义或测试的情况下发布;缩小什么算新测量值 要求有定义卡和对账检查才算完成
对账率 在抽样检查中,度量存储与源系统匹配的关键数字占比 在容差内匹配的数字 / 被检查的数字 百分比 对账检查 信息与技术管理 可信赖的反馈 每月 选择容易检查的数字;在失误之后放宽容差 在检查之前选择样本;提前固定容差;纳入困难的数字
手工工作占比 在经常性报告上,花在手工收集和清洗上的工作量占比 手工步骤上的小时数 / 经常性报告上的总小时数 百分比 时间估计;团队调查 持续改进 消除繁琐工作 每季度 低估手工工作;把工作量藏在别的预算里 询问做这项工作的人;与每个报告周期后期所花的时间比较
退出就绪度 定义、历史和仪表盘能否以有文档记录、可用的形式导出 经测试且完整的导出 / 计划的导出测试 百分比 导出测试记录 供应商管理;服务连续性管理 可持续的选择 每年 测试部分导出;把有文档的计划算作就绪 在样本上完整地恢复到另一个工具;验证定义和历史
每个所支持团队的工具成本 计划的工具的完整年度成本除以它所服务的团队 (许可 + 基础设施 + 维护工作量) / 所服务的团队 每团队的货币 财务和工作量记录 服务财务管理 可持续的节奏 每年 排除维护工作量;在纸面上增加团队 包括员工时间;统计积极使用其视图的团队

11.3 推行度量而不滋生恐惧

所在主题:(见主题 11.3,推行度量而不滋生恐惧)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
使用章程覆盖 已就其测量值用于什么、永不用于什么,商定了书面声明的参与团队占比 有已商定章程的团队 / 参与的团队 百分比 计划所保存的章程 治理;组织变革管理 工作协议 每季度 走过场地签署章程;领导者无视它们 检查章程在实践中的使用;报告个人使用事件;与团队一起评审章程
团队归属占比 团队帮助撰写或已批准其定义的、该团队所展示测量值的占比 有团队批准的测量值 / 向团队展示的测量值 百分比 度量目录;批准记录 持续改进 自组织团队 每季度 团队批准了没读过的定义;计划把已定稿的定义拿来签字 抽样检查定义是如何制定的;跟踪团队要求并作出的变更
坦诚信号 在引入测量值之后,对问题和未遂事件的报告是保持稳定还是上升 每个团队每季度的未遂事件或问题报告,前后对比;趋势 报告 事件、未遂事件和事后复盘记录 事件管理;持续改进 免责的反思 每季度 施压让团队报告更多或更少的问题;重新命名类别 与严重性和事后复盘的内容一起阅读;与客户报告的问题比较
质疑响应时间 从某人或某团队质疑一个数字,到对他们可见的解决之间的时间 从质疑到解决的天数的中位数和第 85 百分位数 天 质疑日志 持续改进;知识管理 回应反馈 每季度 在没有可见解决的情况下关闭质疑;劝阻质疑 要求有可见的回应;调查质疑者;跟踪重复的质疑
对度量的感知安全(调查) 团队层面的调查中,对诸如“关于我们工作的数据被用来帮助我们”之类陈述的认同 在团队调查中表示认同的百分比;展示回复率 百分比 匿名的团队调查,聚合 组织变革管理 信任与有积极性的个人 每年两次 辅导回答者;低回复率隐藏了不满的团队 匿名和最小群体规模;展示回复率;直接与团队交谈
个人使用事件 违反章程、数据被展示或用来给个人排名或评价的情形 每季度被报告的情形计数,附结果 计数 向计划作出的报告;对仪表盘和评审的审查 治理 尊重人 每季度 不报告;把事件重新归类为别的东西;责怪报告的人 容易的匿名报告;保护报告者;审查评审和仪表盘中的个人数据
自愿采纳 在某期间内、在任何强制要求之前,选择加入计划的合格团队占比 选择加入的团队 / 被邀请的合格团队 百分比 计划记录 组织变革管理 试点与学习 每季度 被框定为邀请的压力;统计为避免审查而加入的团队 问团队为什么加入;检查实践中的使用;让该期间不含强制要求

11.4 度量计划的成熟度模型

所在主题:(见主题 11.4,度量计划的成熟度模型)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
评估参与 完成了自我评估并附有自己的讨论的参与团队占比 完成并讨论的团队 / 参与的团队 百分比 评估记录 持续改进 反思与回顾会议 每年两次 为满足配额而填写表格;一个人替团队填写 要求团队讨论;索要每项声称背后的证据
按维度的概况 团队在每个维度中自评等级的分布,以范围而不是单一分数展示 每个维度中处于各等级的团队计数 每等级的团队 自我评估,聚合 持续改进;治理 可见的工作 每年两次 夸大等级以显得好;为获得帮助而故意压低 不与出资或地位挂钩;索要证据;公开校准
来自评估的改进行动 已完成、附理由放弃或仍在进行的已商定下一步占比 已关闭或附理由放弃的行动 / 已商定的行动 百分比 改进登记册 持续改进 小试验 每季度 选择琐碎的步骤以便关闭;没做就关闭 评审步骤的大小和价值;在下一次评估时检查成果
决定的证据 在被抽样的测量值中,团队能指出上一个季度该测量值为之提供依据的决定或有意选择的占比 有被指名决定的测量值 / 被抽样的测量值 百分比 团队访谈;评审笔记 持续改进 证据重于仪式 每季度 事后虚构决定;列出无关紧要的决定 索要日期和涉及的人;接受“选择什么也不做”作为决定
对定义和数据的信任 团队层面对定义清晰、数据正确的认同 在简短的团队调查中表示认同的百分比;展示回复率 百分比 匿名的团队调查 知识管理;信息管理 共同的理解 每年两次 辅导回答者;低回复隐藏了不满 匿名和最小群体规模;展示回复率;直接与团队交谈
到下一等级的时间(描述性) 团队在选择这样做的维度上,上升一个等级所经过的时间 从已商定的步骤到团队重新评估的月数中位数 月 评估历史 持续改进 可持续的节奏 每年 抢着声称进步;隐藏倒退 保持描述性;与证据一起阅读;不加惩罚地记录倒退
评估负担 评估对每个团队所花的小时数 每个团队的小时数中位数 小时 来自团队的时间估计 持续改进 可持续的节奏 每年两次 跳过讨论以削减小时数 把小时数与参与度和证据的质量一起跟踪

11.5 渐进式采纳路线图

所在主题:(见主题 11.5,渐进式采纳路线图)。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏 钻空子途径 护栏
到第一个有用结果的时间 从计划开始,到试点团队说帮助其作出变更的第一项测量值之间的经过时间 从启动到第一次由团队确认有帮助的使用的天数 天 计划日志;团队确认 持续改进 价值的早期而持续的交付 一次,然后每个新团队 宣布琐碎的变更有用;仓促地做一个展示品 问团队什么改变了;检查变更是否持续
积极使用测量值的团队 依其自己的说法,在期内的评审中使用了其测量值的受邀团队占比 在评审中使用了测量值的团队 / 受邀的团队 百分比 团队确认;评审笔记 组织变革管理 持续的干系人参与 每月 为打钩而举行评审;声称发生过的使用并未发生 索要所作的决定;抽样评审笔记;与团队交谈
可追溯到测量值的改进 团队作出的、并附理由地归因于某项测量值所显示之物的变更数量 团队报告的、带有与测量值的明确联系的变更计数 计数 改进登记册 持续改进 由证据提供依据的试验 每季度 为达到计数而虚构联系;把无关的变更说成自己的功劳 保持描述性;向团队索要推理;对不确定的联系如实对待
被淘汰的测量值和报告 因不再为决定提供依据而被停止的测量值或报告 每季度淘汰的计数 计数 目录变更日志 持续改进 持续演进 每季度 淘汰不便的测量值;淘汰后以新名称重新引入 在已淘汰清单中评审趋势不利的情形;要求说明理由
基线覆盖 有至少几个月的已记录基线的约定测量值占比 有基线的测量值 / 约定的测量值 百分比 度量目录 服务级别管理;持续改进 证据重于意见 每季度 捏造历史;使用会使之后的结果显得好的期间 记录来源和期间;保留原始数据;在变更之前选择基线
计划工作量占比 参与团队花在度量任务上的时间占比 用于收集、报告和评审的小时数 / 团队总小时数,按估计 百分比 团队的时间估计 持续改进 可持续的节奏 每季度 低估工作量;把工作转移给计数之外的人 询问做这项工作的人;与周期后期的加班比较
阶段评审完成 与团队一起举行并记录了变更的计划阶段评审占比 举行并记录了变更的评审 / 计划的评审 百分比 计划记录 持续改进 定期的反思 每阶段 简短、敷衍的评审;记录从未发生的变更 检查变更是否已执行;问团队评审是否值得他们花时间