服务度量的统计素养
工单和流动数据是偏态的、成块的,而且往往很稀薄,所以要报告中位数和高百分位数而不是平均值,说明每个比率背后有多少项,并在任何人作出反应之前,把普通的波动与真正的变化区分开。
概述与动因
大多数服务度量都以单个数字的形式出现在仪表盘上:平均解决时间、在目标内解决的事件百分比、本周关闭的工单。单个数字让人觉得精确。它通常是对一堆杂乱事件的压缩摘要,而这种压缩决定了读者看到什么。就本书而言,统计素养是让摘要保持诚实的一小组习惯:选择与数据形态相符的摘要,知道其背后有多少数据,并区分真正的变化与噪声。
服务数据的形态是第一个问题。解决时间、周期时间和等待时间等时间测量值以零为下界,右侧有一条长尾。大多数项很快完成,少数项要很久。这样的数据是偏态的(skewed),算术平均值被拉向尾部,所以一张卡住的工单对平均值的影响可能超过一百张常规工单。中位数(median),即各项排序后居中的值,受到的影响小得多。百分位数(percentile)是它的推广:第 85 百分位数是 85% 的项在其之内完成的值。这类时长常用对数正态分布(log-normal distribution)建模,其中数值的对数是对称的。教训是:对偏态数据,“典型”与“平均”并不相同。
样本量是第二个问题。一个团队在一个季度里解决了 12 起优先级 1 的事件,并报告“83% 在目标内”,描述的是 12 起中的 10 起。再多一次未达标,这个数字就会移动八个点。诚实的陈述包括计数,往往还包括一个范围。置信区间(confidence interval)是由数据计算出的范围,表达真实值与观测值可能相距多远。区间在小样本时宽,在大样本时窄,这对一个只有 12 起事件的季度而言,正是恰当的信息。
波动是第三个问题。每个过程产生的数字,都会在没有任何变化的情况下逐周起伏。沃尔特·休哈特(Walter Shewhart)在 20 世纪 20 年代研究制造质量时,把这种例行的起伏与值得调查的信号区分开来,并给了我们控制图(control chart)。把这类图表应用于一个过程,称为统计过程控制(statistical process control)。上述最后一类错误的一部分是均值回归(regression toward the mean):极端值之后往往是不那么极端的值,所以糟糕的一周之后的那一周,无论是否有人做了什么,看起来都像是复原。
敏捷的流动实践,比如《看板指南》对周期时间百分位数和工作项年龄的使用,已经要求以可能性表达的分布和预测(见主题 2.1,流动度量)。在 ITIL 4 中,度量与报告实践和持续改进实践都依赖于含义与表面相符的测量值,服务级别管理依赖于针对现实波动设定的目标。统计素养是两者之下的共同层。它也支持主题 1.2(古德哈特定律与度量的心理学)中的护栏:展示完整分布的团队,能藏匿被操纵的平均值的地方更少。
共因变异(common-cause variation)内置于过程之中,特因变异(special-cause variation)来自某件具体变化或出错的事。服务级别协议(SLA)是对客户的书面承诺,服务级别目标(SLO)是针对某项测量值的目标。
关键原则
- 让摘要与形态相符。 对时长使用中位数和百分位数,并在决定重要时展示完整分布。均值只留给大致对称的数据,或成本等总量。
- 每个比率都带着它的计数。 没有分子和分母的百分比,是一个没有证据的断言。低于规定的最小计数时,展示原始项,而不是比率。
- 普通的波动不是新闻。 在作出反应之前,先了解测量值的正常范围。对信号作出反应,而不是对每次变动。
- 不确定性是答案的一部分。 把预测表达为可能性(“85% 的项在 9 天内完成”),把估计表达为范围,并抵制虚假的精确。
- 向拥有这项工作的团队展示分布。 原始项和直方图使异常情形可见,也使悄悄的操纵更难。
- 相关、选择和时机能解释许多“改进”。 问还有什么变了,谁被排除在数据之外,起点是否异常糟糕。
- 让统计保持适度。 团队需要的是一贯使用的少数几种技术,而不是一门统计课程。用平实的话解释每张图表。
度量定义
下面的度量描述度量实践的统计质量和服务工作的分布。时间测量值使用每行所述的时钟,这些定义旨在被后面的主题复用(见主题 3.3,事件响应与解决时间,以及主题 2.2,前置时间、周期时间与流动效率)。
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| 解决时间中位数 | 期内已解决事件的居中解决时间 | 期内已解决事件的(解决时间戳减去创建时间戳)的第 50 百分位数;时钟从工单创建开始,到解决停止;暂停单独报告,不扣除;已取消和重复的工单被排除 | 小时或天 | ITSM 工具状态历史 | 事件管理;度量与报告 | 周期时间中位数 | 每周或每月 |
| 高百分位解决时间 | 大多数事件在其内解决的时间,并指明百分位数 | 与上述相同的经过时间的第 85(或第 95)百分位数;仅当至少解决了 20 项时才计算,否则列出原始项 | 小时或天 | ITSM 工具状态历史 | 事件管理;服务级别管理 | 周期时间百分位预测 | 每周或每月 |
| 最老未关闭项的年龄 | 仍未关闭的最老项的年龄,加上比高百分位数更老的项数 | 对未关闭项,现在减去创建时间戳,不扣除暂停;统计服务队列中所有未关闭项,包括等待客户的 | 天 | ITSM 工具或问题跟踪器 | 事件管理;问题管理 | 工作项年龄 | 每周 |
| 比率报告覆盖率 | 已报告的比率中,显示分子、分母和最小计数检查的占比 | 带计数和样本标记报告的比率 / 已报告的比率;只统计在期内评审材料中发布的比率 | 百分比 | 度量登记册(见主题 1.4,度量治理与归属) | 度量与报告 | 工作协议 | 每季度 |
| 控制图信号率 | 某项测量值的控制图上,按团队书面规则发出特因变异信号的点所占的比例 | 按规则被标记的点 / 所绘制的点,取最近 20 个或更多的点;规则预先固定并记录 | 百分比 | 控制图工具或电子表格 | 持续改进 | 对过程的回顾检视 | 每月 |
| 区间宽度 | 头条比率上所陈述的不确定性范围的宽度 | 登记册中指明的方法所得区间的上界减下界,针对该期间的头条比率 | 百分点 | 由 ITSM 计数计算 | 服务级别管理 | 规划中的预测范围 | 每月 |
凡合同指明了均值之处,就报告合同要求的数字,并在旁边展示中位数和百分位数。
建议
诚实地概括时间数据
1. 默认使用中位数和一个指明的高百分位数。 对解决时间、周期时间和履行时间,同时发布中位数和第 85 或第 95 百分位数,并把百分位数写入度量名称。中位数说明什么是典型,高百分位数说明可以合理地向客户承诺什么。如果必须为一项承诺选一个数字,就选百分位数。
2. 既展示摘要,也展示形态。 按关闭日期绘制的解决时间直方图或散点图,会显示任何摘要都显示不出的聚集、长尾和突然的转变。当图和数字不一致时,相信图,并调查数字。
3. 加上最老未关闭项的年龄。 已完成工作的百分位数是向后看的,会忽略仍然卡住的一切。报告最老的未关闭项,以及已经比你的高百分位数更老的未关闭项数(见主题 2.1,流动度量)。这是对“因困难的项被放任老化而改善的平均值”最有用的单一纠正。
尊重小样本和不确定性
4. 每个比率都随计数发布。 写“12 项中的 10 项在目标内解决”,而不是“83%”。增加一条规则:基于少于规定项数的比率,以计数或底层项的形式展示。这个阈值是一项判断:把它写下来,评审它,并处处应用。
5. 对头条比率和预测使用区间。 对诸如变更失败占比这样的比例,用团队商定的方法计算置信区间,并在登记册中注明方法。对交付预测,基于样本的范围(例如,“每周很可能在 8 到 14 项之间”)比单一的吞吐量数字更能告诉规划者信息。如果区间宽到无法为决定提供依据,就直说。
区分信号与噪声
6. 为你据以行动的测量值绘制控制图。 一张简单的单值图按时间顺序绘制每个点,附有由数据计算的中心线和控制限,并标记超出控制限的点,或在中心线一侧的连续点。从每周解决时间中位数和每周数量开始。把信号规则一次性写下来(例如,一个点超出控制限,或在一侧连续八个点),并保持固定,这样团队就不会调整规则直到图表与其感觉一致。
7. 对信号采取行动,对共因变异置之不理。 当一个点在控制限之内时,抵制为它找解释;那是过程在正常表现。当出现信号时,问那一周变了什么:一次发布、人员缺口、供应商中断、一个新类别。如果过程稳定但不令人满意,改进是对系统的一项改变,而不是与那个红色一周的当事人的一场谈话。
8. 在极端时期之后预期均值回归。 如果你在一年中最糟的一个月启动一项举措,随后会有一些改善是偶然的。在把功劳归于该举措之前,先与更长的基线、与一项未变的类似服务,或与控制限作比较。两个点的前后对比,是最薄弱的证据形式。
谨慎地推理因果与选择
9. 问数据中缺了什么。 调查回复来自选择回答的人。已关闭的工单不包括仍未关闭的。在得出结论之前,列出谁或什么缺席,以及这可能如何使结果偏斜。
10. 有意识地更改定义,并在图表上标注。 新的状态模型、新的优先级矩阵或新的类别清单,会在不改变工作的情况下改变数据。在图表上标注每次变更,并在其后重新开始控制限(见主题 1.5,数据来源与埋点)。
钻空子途径与护栏
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| 解决时间中位数 | 先关闭快的工单,把困难的留着不关;把一张工单拆成几张容易的;在客户等待状态中暂停时钟 | 高百分位解决时间和最老未关闭项的年龄;处于暂停状态的时间占比;关联工单比率 |
| 高百分位解决时间 | 选择使结果好看的百分位数,或在报告之间更换;把长案例当作“离群值”排除或重新归类 | 登记册中固定的百分位数;附理由的被排除项清单;最老未关闭项的年龄 |
| 最老未关闭项的年龄 | 不解决就关闭或合并最老的项;把它移到另一个队列或类别 | 重开率;对最老已关闭项的抽样审计;队列转移计数 |
| 比率报告覆盖率 | 在小字里附上计数,而头条仍以百分比为先;把最小计数设得很低以致永不触发 | 评审实际的仪表盘,而不是登记册;结合区间宽度评审最小计数 |
| 控制图信号率 | 放宽控制限、增加规则或重设基线使信号消失;通过更改测量值来移动点 | 规则和控制限连同变更历史保存在登记册中;与原始直方图作比较 |
| 区间宽度 | 选择产生窄范围的方法或窗口;合并不相似的服务以扩大样本 | 登记册中指明方法;按服务的细分可按需提供;比较合并与未合并的结果 |
健康的读数显示,中位数和百分位数的移动方向与用户的体验相同,一份简短的老项清单在缩小而没有被悄悄重新归类,而比率与其计数一同出现。控制图信号率应当较低但不为零:一张从不发信号的图表可能无法发信号,而总在发信号的图表反映的是不稳定的过程或选择不当的规则。
权衡:利与弊
| 方法 | 优势 | 劣势 |
|---|---|---|
| 平均解决时间 | 简单,符合许多合同,易于求和 | 被尾部主导;隐藏客户通常的体验 |
| 中位数加高百分位数 | 抗离群值;支持向客户作出承诺 | 需要稍作解释;百分位数需要足够多的项才稳定 |
| 不带计数的原始比率 | 紧凑而熟悉 | 隐藏小样本,招致过度解读 |
| 带计数和区间的比率 | 对不确定性诚实;避免过度反应 | 看起来不那么果断;区间方法需要达成一致 |
| 控制图 | 区分信号与噪声;指导何时行动 | 需要足够的点和稳定的定义;控制限可能被误读或被操纵 |
| 前后对比 | 快速且易于沟通 | 易受均值回归和同时发生的变化影响 |
对一年只有寥寥几起事件的服务,没有哪种统计量是稳定的,正确的方法是逐起阅读事件。对高业务量的服务台,感知分布的测量值成本低且明显更优。要根据业务量和决定的利害来选择。
与团队讨论的问题
1. 我们当前仪表盘上的数字中,哪个是偏态数据的平均值?中位数和第 95 百分位数会显示什么? 挑选最受关注的时间测量值,在会议前针对同一组项计算这三者。问平均值讲述的故事是否与用户所说的相符。最后商定哪个摘要成为头条,其他的出现在哪里。
2. 我们被引用最多的百分比背后有多少项?如果把计数写出来,我们还会引用它吗? 列出领导层读得最多的三个百分比。在每个旁边写下上一期的分子和分母。问再多一次成功或失败会如何改变这个数字。商定一个最小计数,低于它团队展示项而不是比率。
3. 我们上一次把改进归功于一项举措是什么时候?当时还有什么别的情况成立? 选一个最近的成功故事。问这项测量值最糟是什么时候,更长的历史是什么样,以及一项可比的服务是否也改善了。保持好奇的语气。
4. 我们关键测量值的正常范围是什么?谁能说某一周是不寻常的? 为一项测量值绘制最近 20 个或更多的每周值,并画出中心线和控制限,或粗略计算它们。问团队对哪些落在范围内的周作出了反应。商定谁拥有这张图,信号规则写在哪里。
5. 我们的数据中缺了谁或什么? 列出测量值的来源:已关闭的工单、调查回复、受监控的服务、带时间戳的工具。对每一个,问谁被排除及原因。把每个缺口记录为一项修复或一条警示。
6. 我们如何向领导层解释一个宽的范围或“我们还不知道”,而不让它听起来像借口? 在一个真实例子上排练措辞:“在 70% 到 95% 之间,基于 12 起事件;我们预计下个季度之后会缩小。”问受众需要决定什么,范围是否改变了决定。在会议中写一份简短的话术。
四种视角
产品与交付团队
交付团队使用周期时间和吞吐量来预测,并从基于百分位数的预测而非平均值中获益最多(见主题 2.1,流动度量)。以带可能性的范围陈述的预测,比一个日期更容易辩护。抵制把一个期间的变化读作趋势(见主题 2.5,交付预测与规划度量)。
服务与运维团队
运维团队拥有工单数据和事件时钟,所以最适合发布中位数、百分位数和最老未关闭项,并解释暂停规则。他们应当为每周数量和解决时间绘制带控制限的图表,以便把真正的转变(比如一次有缺陷的发布)与糟糕的一周区分开。当某项服务的事件很少时,他们应当逐起评审,而不是计算比率(见主题 3.3,事件响应与解决时间)。
领导层与治理
领导者提出的问题塑造了团队展示什么。对每次起伏都问“这为什么上升了?”,会训练组织去解释噪声并隐藏它。领导者应当问,一次变动是否在正常范围之内,一个数字背后有多少项,以及过程中变了什么。治理机构可以要求头条比率附上计数。
客户与用户
客户体验的是个案,而不是平均值。他们记得那一项花了五周的请求,而两天的平均值修复不了这段记忆。百分位数承诺(“十项请求中有九项在三个工作日内”)比平均时间更符合客户的心智模型。调查结果应连同回复数一起展示,开放式评论应与数字一起阅读(见主题 6.1,客户满意度度量)。
实践:一个服务管理示例
一家中型在线零售商有一个服务台和一个支持其网店的运维团队。以下数字为示意。
领导层看到一条月度头条:“平均事件解决时间从 9.1 小时降到 7.4 小时。”运维负责人被要求确认,并提出下一个 6 小时目标的计划。在同意之前,她请分析师提取底层的项并绘图。本月 240 起事件(示意)中,中位数为 2.5 小时,第 85 百分位数为 14 小时,有 9 起事件已超过 5 天仍未关闭。前一个月的中位数为 2.6 小时。平均值下降,是因为上个月的三起很长的事件(其中一起已有 11 天)碰巧在本期提前解决,也因为一批密码重置工单被重新归类到快速关闭的请求类型。
团队为最近 26 周绘制每周中位数的图表。中心线在 2.6 小时附近,过去两个月的每个点都在控制限之内。头条的下降不是信号。第二周的重新归类在图表中途改变了定义,所以团队标注它,并从该点重新开始控制限。
他们决定做三项改变。月度报告将显示中位数、第 85 百分位数和最老未关闭项,并附上每项背后的事件数。提议的 6 小时平均目标,被一场关于百分位目标的交流取代,该目标将在新定义下积累一个季度的数据之后再设定。团队还将列出那 9 起老事件,各配一位负责人和下一步。
他们在下一次评审时发现了钻空子的风险。一位经理提议把最老的 9 起事件以“无法再现”为由关闭,使最老项的数字看起来健康。因为登记册把最老未关闭项的年龄与重开率和对旧关闭项的抽样审计配对,团队阅读了拟关闭的其中三起,发现其中两起仍然有效,于是保持它们开启。最老项的数字又令人不适地持续了一个月。这正是预期的行为。
敏捷、AI、自动化与分析
敏捷
频繁交付产生许多小样本,这有利于看到变化,但每个样本都很小。一个有用的做法是在滚动窗口上展示控制图,并在定期评审中只讨论信号,而不是每个小波动。需要注意的是避免对噪声作出反应:每次下滑后就改变方向的团队,永远看不到任何变更的效果。
AI
AI 辅助的工作往往移动整个分布,比如首次响应更快但质量更不稳定。用百分位数和最老项比较前后,并把速度与质量测量值配对。需要注意的是,模型变更可能在趋势中途改变数据,所以要在图表上标注模型和提示词的变更。
自动化
把中位数、高百分位数、计数和区间的计算与显示自动化,使正确的形式成为默认,没有人手工重新计算。自动化也需要报告其自身的样本量和故障率。需要注意的是,对阈值的自动告警在数据偏态时会产生误报,所以要让告警基于控制限,而不是固定数字。
分析
始终说明一个比率背后有多少项,并在计数很小时显示区间。把预测作为范围使用,而不是单一日期。需要注意的是,统计显著性不等于实际重要性,小样本可能隐藏真实的问题,所以要把数字与阅读实际的项结合起来。
行业视角
初创公司。 业务量小,所以大多数比率由少数几项构成,区间很宽。逐起阅读事件而不是计算统计量,保持一两项测量值的简单每周图表,并避免根据三个点宣布趋势。随着业务量增长,尽早转向中位数和百分位数,使习惯已经就位。
小型企业。 运营 IT 的人同时拥有数据,样本通常很小。对罕见事件,报告计数而不是百分比,并与你自己更长的历史作比较。检查供应商的“响应时间”时钟究竟度量什么。
大型企业。 业务量使分布有意义,也鼓励把不相似的服务混在一起的汇总。比较同类事物,发布定义和所用的百分位数,并保持一个共享的图表与计算规则库,使团队不会以三种方式计算同一项测量值。
政府与公共部门。 合同和法定报告往往固定了均值或阈值百分比,这些定义不可商量。严格按定义报告所要求的数字,并在旁边展示中位数、百分位数和计数,使监督机构看到全貌。公众的审视使诚实的不确定性更有价值,因为过度自信的数字撤回起来代价高昂(见主题 8.5,受监管与政府报告)。
业务论证:动因、投资回报与总拥有成本
商定摘要规则、根据一次导出构建直方图和控制图,并向报告模板添加计数,需要几个小时,此后每个周期再花几分钟保持更新。大多数工具已经能计算百分位数。更大的成本是与习惯了一个令人安心的数字的人们的一场交谈。
回报是更好的决定和更少的浪费性反应。团队不再因糟糕的一周而重组,不再把偶然的改善归功于举措,也不再承诺一半客户体验不到的平均值。不要借用别人的数字:统计去年有多少次决定被撤销,有多少“改进”在下一期消失了,并用这些计数来估算论证的规模。
反模式与陷阱
- 对偏态时长取平均。 平均值被尾部拖动,掩盖用户的感受。报告中位数和一个指明的高百分位数,并展示最老未关闭项。
- 来自微小样本的百分比。 来自三项的“100%”是一则轶事。展示计数,并应用最小计数规则。
- 对每次波动作出反应。 追逐每个红色的一周浪费精力,并教会团队去解释噪声。使用控制限和书面的信号规则。
- 前后对比的证明。 两个点无法把干预与偶然或均值回归区分开。使用更长的基线和一个对照。
- 在图表上移动球门。 事后更改控制限、规则或定义,会使任何图表都与故事相符。固定规则,记录更改,并加以标注。
- 默认排除离群值。 最长的案例通常是客户记得的那些。仅在有书面理由时排除,并列出被排除的内容。
- 虚假的精确。 从 12 项报告 83.3% 暗示了数据所缺乏的知识。诚实地取整,并展示范围。
- 合并不相似的工作。 密码重置与数据中心故障混合的时间,哪个也描述不了。先分段。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 时间数据的摘要 | 只有平均值 | 一些团队展示中位数 | 中位数加一个指明的百分位数和最老未关闭项成为标准 | 带护栏评审分布并做成趋势 | 百分位承诺与客户和供应商商定,并随数据变化而修订 |
| 样本量与不确定性 | 比率不带计数引用 | 部分报告显示计数 | 每个比率都有计数和最小计数规则 | 头条比率有区间,方法在登记册中 | 不确定性与客户公开共享,并用于跨团队的规划 |
| 变异与因果 | 每次变化都有解释 | 少数几张带控制限的图 | 关键测量值有带书面规则的控制图 | 信号触发有计划的调查;举措对照基线检查 | 跨服务共享图表库;在不排名的情况下跨团队比较基线 |
检查清单
- 每项时间测量值都报告中位数和一个指明的高百分位数,而不是只有均值。
- 报告最老未关闭项的年龄,以及超过高百分位数的项数。
- 每个已报告的比率都显示其分子和分母。
- 最小计数规则已写下来,并应用于所有比率。
- 头条比率和预测显示范围,方法在登记册中指明。
- 团队据以行动的三项测量值存在控制图,并有书面的信号规则。
- 定义变更在图表上标注,并记录在登记册中。
- 被排除的项连同理由一并列出。
- 改进的说法在重复之前,已对照更长的基线检查。
- 每项度量的钻空子途径和护栏都在登记册中(见主题 1.4,度量治理与归属)。
AI 提示词
检查摘要是否与数据相符。
我有 [服务] 在 [期间] 内 [测量值,比如事件解决时间] 的 [数量] 个值。时钟从 [开始事件] 开始,到 [停止事件] 停止。暂停的处理方式为 [如何处理]。这些值粘贴在下方。
请描述分布的形态,计算均值、中位数以及 [百分位数,比如第 85] 和 [第二个百分位数,比如第 95],并告诉我哪个摘要最能代表典型案例,哪个支持对客户的承诺。指出任何看起来像数据错误的值,但不要删除它们。不要虚构基准值。请列出你的假设,以及你无法从数据中确定的内容。
[粘贴数值,已去除个人数据]
连同不确定性一起表达一个比率。
我们的团队报告 [比率名称],针对 [期间] 和 [服务] 为 [分母] 中的 [分子]。请展示如何连同计数一起呈现它,用平实的话解释再多一次或少一次成功会让它改变多少,并使用 [方法,或“你推荐并指明的方法”] 计算置信区间。建议非技术领导者能够理解的措辞,以及何时展示项而不是比率的最小计数规则。不要虚构比较数字。请列出你的假设,包括方法及其所需的任何数据条件。
判断一项变化是信号还是噪声。
这是 [服务] 的 [测量值] 连续 [数量] 个 [每周或每月] 的值。[期间] 发生了一项变化:[描述干预、发布或定义变更]。请绘制或描述带中心线和控制限的控制图,应用这些信号规则:[规则清单,比如一个点超出控制限或在一侧连续八个点],并告诉我哪些点发出了信号。说明这项变化是否可与普通波动区分开,以及我还应当排除哪些其他解释,比如均值回归或定义变更。不要声称因果关系。请列出你的假设,以及会有帮助的额外数据。
[粘贴数值]
AI 技能
- Service Management Metrics skill:用于在发布时间或比率度量之前,查找对应的主题和配对的护栏。
- Service Management Metrics maintainer skill:用于检查加入主题的统计测量值是否带有其定义、时钟、钻空子途径和护栏。
要点
- 服务时长是偏态的,所以要报告中位数和一个指明的高百分位数,并加上最老未关闭项的年龄。
- 每个比率都带着它的计数,小样本以项或范围展示,而不是以自信的百分比展示。
- 在对单独一周作出反应之前,先用控制图了解测量值的正常范围。
- 对仅靠两个点度量的改进保持怀疑:均值回归和定义变更能解释其中许多。
- 诚实的不确定性在报告中是一种长处,也是防范古德哈特式钻空子的护栏(见主题 1.2,古德哈特定律与度量的心理学)。
- 让技术保持适度:少数几种一贯使用并用平实的话解释的方法,比许多未经解释的方法更能服务团队。
参考文献与延伸阅读
- Wheeler, D. J., Understanding Variation: The Key to Managing Chaos, 2nd edition, SPC Press, 2000.
- Shewhart, W. A., Economic Control of Quality of Manufactured Product, D. Van Nostrand, 1931.
- Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
- Vacanti, D., Yeret, Y., et al., The Kanban Guide, 2020, https://kanbanguides.org/.
- Hubbard, D. W., How to Measure Anything: Finding the Value of Intangibles in Business, 3rd edition, Wiley, 2014.
- Kahneman, D., Thinking, Fast and Slow, Farrar, Straus and Giroux, 2011.
- Tufte, E. R., The Visual Display of Quantitative Information, 2nd edition, Graphics Press, 2001.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Wikipedia, Skewness.
- Wikipedia, Median.
- Wikipedia, Percentile.
- Wikipedia, Log-normal distribution.
- Wikipedia, Confidence interval.
- Wikipedia, Control chart.
- Wikipedia, Statistical process control.
- Wikipedia, Regression toward the mean.