概述与动因

每个构建和运营服务的团队整天都在做决定:下一步做什么、一次发布是否安全、服务台是否需要再加一个人、一次中断是偶发还是某种模式。没有度量,这些决定依靠记忆、轶事和最后发言的人。度量错了,情况可能更糟,因为数字带有意见所没有的权威。本主题解释为什么度量值得付出努力、两种传统各自贡献了什么,以及度量出错的代价。

本书汇集了两种传统。敏捷软件开发(Agile software development)是一套价值观和实践,由 2001 年的《敏捷宣言》陈述,崇尚可工作的软件、与客户的密切协作以及响应变化。它的度量习惯是经验式的、本地化的:团队检视自己的流动,查看自己交付了什么,并加以调整。ITIL 最初是信息技术基础架构库(Information Technology Infrastructure Library),是关于IT 服务管理(IT service management)(ITSM)的一套指导,即设计、交付和改进 IT 服务的实践。它的度量习惯是面向服务的、共享的:约定的服务级别、服务目录(ITIL 自己的拼写是 “service catalogue”),以及持续改进的规范。在 2019 年版框架 ITIL 4 中,度量与报告是通用管理实践之一,持续改进既是一项实践,也是一项指导原则。在依赖版本细节之前,请查阅框架所有者当前的出版物,因为该框架仍在演进。

两种视角的差异是有益的。敏捷问:“我们是否在构建正确的东西,工作流动得多顺畅?”ITIL 问:“服务是否满足使用者的需要,是否可靠、可支持且负担得起?”只度量流动的团队,可能把变更迅速发布到用户觉得不可靠的服务中。只度量服务级别的团队,可能达成每一个目标,却因变更交付得太慢而使服务不再贴合需要。DevOps 运动源于这样的观察:构建和运行是同一个系统,因此描述它的数字应当放在一起解读。站点可靠性工程(Site reliability engineering)(SRE)是 Google 在其已出版的书籍中描述的一门学科,它在可靠性目标与变更节奏之间增加了明确的联系。

三个术语在全书中反复出现。测量值(measure)描述工作或服务的某个方面。度量(metric)是具有明确公式、单位和数据来源的测量值,因此两个人计算会得到相同的答案。护栏(guardrail)是预先选定的第二项测量值或实践,如果第一项被钻空子,它就会变化。护栏背后的警示是古德哈特定律(Goodhart's law):当一项测量值变成目标时,人们就开始操纵数字而不是工作(见主题 1.2,古德哈特定律与度量的心理学)。

度量是为了什么

度量在完成以下四项工作之一时,才配得上它的位置。

  • 看见。 让看不见的工作变得可见:没人看的队列、横跨三个团队的事件模式、等待九天才有一个时段的变更。
  • 决定。 为两个选项之间的选择提供依据,比如是自动化某类请求,还是修复导致它的缺陷。
  • 学习。 检验一个信念。如果团队认为一种新的评审实践会减少返工,数字可以说明它是否做到了。
  • 说明。 向用户、客户和领导者诚实地说明服务交付了什么,使信任建立在证据之上。

不做这四项工作之一的数字就是开销。后面的主题会对每个度量族重复这项检验。

什么都不度量的代价

什么都不度量的团队并不是没有数字。它依靠隐含的数字运转:最响的抱怨、最近的一次中断、经理对人们看起来有多忙的感觉。随之而来两项代价。

  • 反馈缓慢。 趋势本可以早早显示的问题,却以意外的形式到来。重复联系的缓慢上升看起来像运气不好,直到它成为危机。
  • 缺乏改进的基础。 团队无法判断某项变更是否有帮助,因此无法了解哪些变更值得重复。

度量错误事物的代价

度量错误的事物往往比什么都不度量更糟,因为它以虚假的自信引导努力。关闭的工单数、代码行数、完成的故事点和记录的工时,都易于收集、易于绘图,而且每一项都是活动的度量,而不是对用户的价值的度量。SPACE 框架背后的研究(Forsgren 及其同事,2021)认为,生产力无法由单一维度来刻画,单独使用活动计数会误导。

关键原则

  • 为决定而度量。 每项度量回答一个书面的问题,并为一个有名有姓的选择提供依据。如果没人能说出是哪个,就淘汰它。
  • 把两种视角合起来。 在同一页上阅读交付流动和服务健康,使速度永不以稳定性为代价换取,反之亦然。
  • 先度量成果,再度量活动。 检验标准是用户是否因此过得更好。活动计数支持这个故事,但并不讲述它(见主题 1.3,结果重于产出:选择度量什么)。
  • 描述团队和服务,绝不描述个人。 个人排名会败坏数据,损害协作。
  • 从小处开始,逐步增长。 少数几项受信任的度量胜过一堵治理薄弱的度量墙。
  • 先给团队看。 做这项工作的人是第一批受众,也是检验数据是否准确的最佳办法。
  • 预期会改变。 当定义、度量和目标不再为决定提供依据时,就要修订。

度量定义

下面的度量描述度量实践本身的健康状况,这正是“为什么要度量”变得可检验之处。能展示这些的团队,是有理由地在度量。每一个基于时间或计数的公式都说明了它的边界。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏
与决定相联的度量占比 已报告的度量中,有书面问题和所支持的有名有姓的决定的占比 有记录的问题和决定的度量 / 季度末仪表盘上报告的度量 百分比 度量登记册(见主题 1.4,度量治理与归属) 度量与报告;持续改进 回顾会议行动;工作协议 每季度
基线覆盖率 范围内的服务和团队中,对每项约定的核心测量值都有记录的起始值的占比 过去 12 个月内记录了基线的服务与测量值配对 / 所有范围内的服务与测量值配对;目录之外的服务被排除 百分比 服务目录和度量登记册 服务级别管理;度量与报告 干系人评审;团队仪表盘 每季度
度量投入 手工收集、清理和报告度量所花费的员工时间 当月记录在手工收集和报告上的工时,不包括用于根据发现采取行动的时间 每团队每月工时 工时记录或简短的团队调查 度量与报告 回顾会议时间预算 每季度
评审时的数据时龄 小组开会讨论时,最新的数据点有多旧 评审会议时间戳减去仪表盘上最新数据点的时间戳;按度量计算,以中位数和第 85 百分位数报告 天 仪表盘刷新日志 度量与报告 干系人评审 每次评审
改进跟进完成率 从度量评审中提出的改进行动,在约定期限内完成或经审慎关闭的占比 在提出后 90 天内完成或附理由关闭的行动 / 期内提出的行动,自改进登记册中记录的日期起算 百分比 持续改进登记册或待办事项列表(backlog) 持续改进 回顾会议行动项 每季度

度量投入有意只统计手工工作。阅读数据并决定做什么的时间正是这项工作的意义所在,因此被排除在外,这样自动化收集就会表现为进展。

建议

从目的开始

1. 先写理由,再写度量。 对每项拟议的测量值,写一句话:“我们度量 X,是为了决定 Y。”如果写不出这句话,该测量值就还没准备好。这一个习惯就能在大多数虚荣度量进入仪表盘之前将其清除。

2. 说明受众和决定。 同一个数字对团队、服务负责人和高管意味着不同的东西。写下谁会阅读它,以及它支持什么选择。团队的工作视图可以有二十项测量值。呈送给领导层的应当是一组小而稳定的集合(见主题 11.1,设计服务度量仪表盘)。

两种传统并用

3. 把一项流动测量值与一项服务测量值配对。 至少选一项工作如何流动的测量值,比如前置时间或工作项年龄(见主题 2.2,前置时间、周期时间与流动效率),以及至少一项服务表现如何的测量值,比如事件重复发生或服务级别指标(见主题 5.2,SLI、SLO 与错误预算)。把它们放在一起展示,可以防止常见的失败:速度和稳定性由不同的小组管理,看着不同的图表。

4. 把交付和运维视为一个系统。 《Accelerate》(Forsgren、Humble 和 Kim,2018)所总结的研究报告称,软件交付绩效可以用四项平衡吞吐量与稳定性的测量值来描述。无论团队采用哪一组,都要让与变更相关和与事件相关的数字靠得足够近,使其中一个上升时会促使人们去看另一个(见主题 2.8,DORA 度量)。

诚实地度量

5. 宁取少数相互牵制的测量值。 单一数字会招致过度优化,所以要选配对,比如速度与质量、数量与成果、成本与体验。这个配对不必是一个公式,只需出现在同一页上。

6. 在改变任何东西之前,先记录基线。 没有起始值,改进的说法只是一个故事。先采集几周的数据,既包括平均值,也包括数值的分布范围(见主题 1.6,服务度量的统计素养)。基线也保护团队:它们表明糟糕的一个季度是接在工作计数方式的改变之后,而不是绩效下降。

养成习惯

7. 评审的节奏要与决定相匹配。 流动测量值适合每周一次的交流,或在持续软件交付的每个步骤进行的交流。服务级别和成本测量值适合每月或每季度一次。以错误的节奏评审的度量,要么制造噪声,要么错过行动本可发挥作用的时机。

8. 用改进工作闭环。 以“有意思”结束的评审浪费了它的数据。每次评审以一两项有名字的行动、一位负责人和一个日期结束,并跟踪其完成情况。ITIL 的持续改进实践和敏捷回顾会议是同一门规范的两个名称(见主题 9.5,持续改进度量)。

9. 说明你不会把这些数字用于什么。 明确声明团队度量不会被用于给个人排名或奖励,并且定义会公开更改。当人们信任度量将如何被使用时,他们才会配合度量(见主题 11.3,推行度量而不滋生恐惧)。

钻空子途径与护栏

即便是关于度量的度量也可能被钻空子。下表的每一行,把度量与通常被扭曲的方式,以及能够揭示它的检查配对。

度量 如何被钻空子 配对的护栏度量或实践
与决定相联的度量占比 事后为每项度量写一个看似合理的问题和决定,以抬高百分比 抽查决定日志:问因为这项度量改变了什么,并核对条目写入的日期与该度量首次出现的日期
基线覆盖率 记录一次基线后从不刷新,或选择一个方便的平静时期 要求每个基线附有明确的日期范围和样本量;在服务发生重大变化后评审基线
度量投入 通过不记录工时来做收集工作,把它移出账面,或转移给供应商 与一份关于人们说报告要花多长时间的简短调查相比较;在评审中包括供应商的投入
评审时的数据时龄 在会议前刚刷新仪表盘,而底层记录依然陈旧 除刷新时间外,还报告源系统中最新记录的时龄
改进跟进完成率 以“不再相关”为由关闭行动以达到百分比,或把行动拆成琐碎的小块 每季度评审关闭行动所给的理由,并跟踪该行动所针对的度量是否有所变化

健康的读数是一种显然鲜活的实践。度量因书面理由而进入和退出登记册,基线是新的,评审中的行动被完成或被诚实地放弃,团队花在根据数据采取行动上的时间多于收集数据的时间。每一行都得满分,是抽查底层记录的信号,而不是庆祝的理由。

权衡:利与弊

选择 优势 劣势
少度量 成本低;钻空子风险低;信任度高 有盲点;决定依靠轶事
多度量 覆盖面广;在许多方面提前预警 注意力被稀释;治理薄弱;收集成本增长
联合视图 平衡速度与稳定性;支持共同所有权 需要跨团队约定的定义和一个共同的查看之处
对度量设定目标 提供方向和紧迫感 招致钻空子;需要配对的护栏
度量不设目标 鼓励诚实的讨论 可能退化为无人采取行动的报告

务实的答案是一组小而联合的集合,仅对已被充分了解、且用户提出了要求的情形,比如服务级别目标,才谨慎地使用目标。其余的一切都是有待讨论的问题。目的不是把判断从决策中拿走,而是给它喂以更好的证据。

与团队讨论的问题

1. 上个季度我们做了哪个决定,是由一个数字真正改变的? 请小组回忆具体的决定,然后弄清其中哪些(如果有)依赖了数据。如果清单很短,这本身就是有用的信息:这意味着目前的许多报告配不上它占的位置。引导者应记录确实改变了决定的度量,因为它们是需要保护的候选。然后问哪些决定是凭直觉做出的,一个数字是否本可以有所帮助。

2. 我们当前的数字中,哪些描述活动,哪些描述对用户的价值? 把当前的仪表盘放在屏幕上,把每项度量标记为活动(关闭的工单、运行的构建、完成的点数)或成果(用户能够工作、问题没有再发)。不要在边界情形上争论太久。重点是看清平衡。凡是只有活动之处,就问这项活动应该产生什么成果,以及团队如何知道。

3. 交付和运维的数字目前存放在哪里?是同一批人在看两者吗? 追踪每一族测量值存放在何处,以及谁来评审。团队往往惊讶地发现,变更数据由一个小组评审,事件数据由另一个小组评审,没有共同的会议。问问由于两者从未被放在一起看,可能错过了什么模式。商定一个两者相会的地方或一次会议。

4. 我们没有度量的东西里,有哪些如果不知道会让我们后悔? 邀请大家说出担忧,而不是度量:“我担心我们不会注意到……”从答案出发,找到候选的测量值,再找到能显示它们的最便宜的数据。保持清单简短。

5. 在向领导层展示我们的数字之前,我们需要相信关于它们的什么? 讨论是什么让数据值得信任:稳定的定义、抽样的准确性检查,以及对排除项的一致意见。列出团队的疑虑,即使是小疑虑,比如某个状态使用得不一致。决定哪些疑虑必须在更广泛分享前解决,哪些可以连同数字一起披露。

6. 如果下个季度我们只能保留三项度量,会是哪三项,为什么? 这一约束迫使人们排出优先级。请每个人写下三项,然后比较。寻找在成果上的一致和在活动测量值上的分歧。问这三项各自需要什么护栏。

四种视角

产品与交付团队

交付团队从快速的本地反馈中获益最多:工作等了多久、在哪里排队、变更多久引起一次问题。他们应当为自己保留丰富的工作视图,并向外发布一组小集合。团队应当抵制把产出量作为价值替代品来度量的诱惑,并从一开始就把速度测量值与质量测量值配对(见主题 2.1,流动度量)。

服务与运维团队

运维团队本来就与数字共处:数量、响应和解决时间、可用性。机会在于,通过重复发生、根因以及计划外工作的占比,从报告发生了什么走向解释为什么(见主题 2.9,运维工作与计划外工作)。他们还应当把数据带入与交付团队的规划交流,使可靠性工作靠证据而不是靠抱怨来争取。

领导层与治理

领导者往往无意间通过自己所问的问题设定了激励。问“这为什么是红色?”的领导者教会团队隐藏红色。问“你学到了什么,需要什么?”的领导者教会团队诚实报告。治理机构除数字之外,还应当索要登记册、护栏和改进行动,并应当为坏数字所揭示的工作出资(见主题 1.4,度量治理与归属)。

客户与用户

用户评判服务的依据是它是否好用、问题是否得到纠正,而不是内部度量。他们自己的话,出现在调查、投诉和评论中,应当与运营数字并列,作为检验团队是否在度量重要事物的依据(见主题 6.1,客户满意度度量)。

实践:一个服务管理示例

一家中型在线零售商运营着一个服务台、一个运维团队,以及三个分别构建店面、支付和履约服务的产品团队。以下数字为示意。

领导层问,为什么客户抱怨结账缓慢,而交付团队报告说他们每天都在发布,运维团队报告说可用性是 99.9%。每个小组按各自的度量都是对的,却没有人把它们放在一起看。服务管理主管提议为结账服务做一页联合视图,使用团队已在收集的数据。

该视图显示过去十二周的四项内容。变更前置时间的中位数为 2 天,第 85 百分位数为 9 天。变更失败率为 8%。结账上的事件有 14 起,其中 6 起有同一个原因,即最近一次发布引入的一个缓慢的数据库查询。恢复时间的中位数是 40 分钟,但第 95 百分位数的页面加载时间在六周内悄悄上升,可用性数字并未显示这一模式,因为服务在技术上始终是在线的。

小组看到了被隐藏的东西。可用性被度量为“结账有响应”,而用户体验的是“结账响应得足够快”。产品团队和运维团队同意为结账增加一项延迟指标,其目标由产品负责人在阅读客户评论后设定;把重复的事件原因当作有负责人的问题记录来处理;并每两周评审一次联合视图。他们记录了一项决定:在一段持续软件交付的时间里暂停新的结账功能,以修复该查询,并在发布流水线中增加性能检查。

一个月内出现了钻空子的风险。运维团队注意到,14 起事件中有两起被作为“服务请求”开立,因为请求类别没有解决目标。团队意识到,针对事件的目标促使人们把边界情形归类为请求。他们把重新归类的占比加入视图,并每月抽查十张工单。变更之后,第 95 百分位数的页面加载时间下降,重复事件减少,团队保留了这一视图,因为它改变了一项决定。

敏捷、AI、自动化与分析

敏捷

持续交付和持续的干系人参与给你带来源源不断的小变更和定期的反馈,这正是少数几个诚实的数字所需要的。一个有用的做法是,在每一次定期改进交流中评审同一小组测量值,并问团队接下来将改变什么。需要注意的是,避免把评审当作状态报告:没有附带决定的数字就是开销。

AI

AI 辅助的工作可以提高产出计数,比如起草的工单、提出的变更或撰写的文章,而不提高用户所得到的价值。把任何针对 AI 辅助工作的数量测量值,与一项质量测量值配对,比如人需要纠正的草稿占比,或由 AI 回答的请求的重复联系率。需要注意的是,关于 AI 使用的数字显示的是采纳,而不是收益,所以要说明它不能显示什么。

自动化

从记录系统自动收集时间戳和状态,使没有人往报告里手工键入数字。一项值得尽早采用的做法,是一个小的自动检查,标记缺失的时间戳和不可能的顺序。需要注意的是,自动化本身也需要度量:静默失败的流水线或机器人会让下游的每个数字看起来都健康。

分析

在制作图表之前,先确定问题和决定,并展示每个比率背后有多少项。使用百分位数和趋势,而不是单一的平均值,并在图表上标注每一次定义的变更。需要注意的是不确定性:少量的项目可以使百分比大幅移动,所以避免依据一个月的数据采取行动。关于 ITIL 5,具体请参见主题 1.8,ITIL 5 度量与价值成果。

行业视角

初创公司。 小团队流程少、信任度高,这是有利的。风险在于在尚无需要时就引入庞大的企业仪表盘。从创始人每周会阅读的两三项测量值开始,比如变更前置时间、一个简单的可靠性指标和直接的用户反馈,并写下它们的定义。

小型企业。 负责 IT 的人往往向所有者汇报,一次客户抱怨就可能压过任何图表。保持集合很小,使用你的工具已经产生的数据,并偏重与用户的交流。对供应商提供的报告要持一些谨慎,因为供应商有自己的激励。

大型企业。 规模放大了对可比数字的需求,也放大了钻空子的压力。使用带有书面定义的一小组标准集合,把团队工作视图与汇总分开,并避免比较运营非常不同类型服务的团队。度量登记册、共享的定义和评审节奏变得不可或缺。

政府与公共部门。 合同约定的服务级别、审计要求和公开报告义务,可能使某些度量不可商量。把它们当作设计输入:满足它们,在旁边展示护栏,并说明所用的定义。公共问责提高了隐瞒坏消息的代价,所以要建立安全的内部渠道供坦率报告(见主题 8.5,受监管与政府报告)。

业务论证:动因、投资回报与总拥有成本

度量的动因是以更低的成本做出更好的决定。度量支持优先级排序,显示浪费所在,对服务下滑提供早期预警,并为投资请求提供证据。

成本有几个部分。有工具,往往已经拥有:工单系统、问题跟踪器、版本控制和监控。有定义度量、构建视图和维护登记册的员工时间。有评审会议的经常性成本,这是最大的,也最值得。度量实践的总拥有成本(TCO)还包括根据发现采取行动的成本,因为没有修复预算的洞见,回报很少。

回报很难用一个通用的数字来陈述,本书也不虚构数字。建立论证的一个有用方法,是在变更前后度量你自己的基线:手工报告所花的时间、重复联系、因数据有误而撤销的决定,以及晚期发现的意外。可预期的模式是意外更少、争论更短,以及运营数字与用户体验之间有更好的一致。将投入的努力与节省的努力做一个简单的投资回报(Return on investment)(ROI)比较,是合理的起点,主题 7.7(投资回报与业务论证)涵盖了这一方法。

反模式与陷阱

  • 无所不包的仪表盘。 几十张图表,没有负责人,没有决定。选几项,说出每项支持的决定,淘汰其余的。
  • 片面的度量。 有速度没稳定性,或有稳定性没相关性。把一项流动测量值与一项服务测量值配对。
  • 度量人。 个人排名败坏数据,阻碍互相帮助。在团队和服务的层面报告。
  • 先有目标后有基线。 没有起始值的目标只是猜测。先记录基线,并至少在一个评审周期之后再设定目标。
  • 没有行动的报告。 不产生任何改变的评审教会人们忽略它。每次评审以一项有名字的行动、负责人和日期结束。
  • 悄悄更改定义。 趋势线变得毫无意义。记录每次更改及其理由,并在图表上标注。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
目的与选择 因工具提供而选择度量 一些度量有明确的目的 每项报告的度量都有书面的问题和决定 对照决定评审度量集,无人使用时予以淘汰 围绕共同成果与用户和供应商共同设计度量
敏捷与 ITIL 的联合视图 交付数据和服务数据分开保存 少数团队同时查看两者 每项服务有流动与服务健康的共同视图 联合视图被做成趋势并与改进工作相联 跨团队和供应商的视图与用户成果相联
基线与投入 无基线;手工收集 部分服务有基线;混合收集 核心测量值有记录的基线;收集大多自动 变更后刷新基线;投入被跟踪并减少 随着服务变化,基线和定义持续调整
在改进中的使用 数字被记下后遗忘 糟糕的几周之后偶尔有行动 每次评审以有名字的行动结束 行动跟进被度量并获得出资 改进来自每个人,并在团队之间可见

检查清单

  • 每项报告的度量都有书面的问题和所支持的有名有姓的决定。
  • 每个视图的受众已指明,团队视图与领导层视图分开。
  • 至少一项流动测量值和一项服务测量值出现在同一页上。
  • 每项核心测量值都有带日期范围和样本量的基线。
  • 每项时间测量值都说明时钟从何处开始、到何处停止。
  • 每项度量旁边都展示了护栏。
  • 已知手工收集的投入,并已审视最大的手工任务是否可以自动化。
  • 团队先于领导层看到自己的数据。
  • 没有个人排名、薪酬或纪律与某项度量相挂钩。
  • 每次评审以至少一项有名字的改进行动、负责人和日期结束。
  • 过去一年中至少淘汰或重新定义了一项度量。

AI 提示词

为每项度量起草目的陈述。

我们是 [团队名称],负责 [服务或产品]。我们当前的仪表盘显示这些度量:[带定义的度量清单]。请为每一项起草一句话的陈述,形式为“我们度量 X,是为了决定 Y”,并标出任何你无法从我所给的信息推断出决定的度量。请建议我应当回答哪些问题,以完成每一项陈述。不要虚构基准值或目标。请列出你的假设。

联合交付视图与服务视图。

我们针对 [服务名称] 的交付测量值是 [清单,带定义和数据来源],服务测量值是 [清单,带定义和数据来源]。请提出一个把两者放在一起展示的一页布局,把每项速度测量值与一项稳定性或质量测量值配对,并注明各自所需的数据。指出两组之间有冲突的任何定义。不要虚构数值或阈值。请列出你的假设以及你无法确定的内容。

规划基线。

我们想在改变 [实践或工具] 之前,为 [服务或团队] 记录 [度量名称] 的基线。数据来自 [来源]。请建议采集数据多长时间、记录哪些汇总统计量(包括百分位数)、排除什么及原因,以及如何注明期间工作计数方式的任何变化。不要假设数值。请列出你的假设以及你看到的数据质量风险。

准备一次导向行动的评审。

我们与 [受众] 举行 [每周、每月或每季度] 一次对 [度量集] 的评审。请起草议程和一小组引导问题,把评审从阅读数字引向选择一两项改进行动,每项行动都有负责人和日期。包括一条提示,对照每项度量的护栏检查是否存在钻空子。不要虚构数据。请列出你对该小组及其文化的假设。

AI 技能

要点

  • 度量是为了看见、决定、学习和说明;不做这几项的数字就是开销。
  • 敏捷提供关于流动的快速本地反馈;ITIL 提供关于可靠性和价值的共享的服务级视图。把两者放在一起读。
  • 什么都不度量,会把决定留给轶事;度量错误的事物,会以虚假的自信引导努力。
  • 从少数几项度量开始,每项都有书面的目的、基线和护栏。
  • 描述团队和服务,绝不描述个人,并让团队先看到自己的数据。
  • 闭环:不产生行动的评审会浪费数据。

参考文献与延伸阅读

  1. Beck, K., et al., Manifesto for Agile Software Development, 2001, https://agilemanifesto.org/.
  2. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  3. Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
  4. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016.
  5. Vacanti, D., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
  6. Vacanti, D., Yeret, Y., et al., The Kanban Guide, 2020, https://kanbanguides.org/.
  7. AXELOS, ITIL Foundation: ITIL 4 Edition, TSO, 2019.
  8. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  9. Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
  10. Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
  11. Wikipedia, Agile software development.
  12. Wikipedia, ITIL.
  13. Wikipedia, Information technology service management.
  14. Wikipedia, DevOps.
  15. Wikipedia, Site reliability engineering.
  16. Wikipedia, Goodhart's law.
  17. Wikipedia, Return on investment.