概述与动因

大多数度量计划把精力花在仪表盘上,却几乎不在为其供数的管道上花功夫。这是本末倒置。一张精美的图表,若建立在不一致的时间戳、没人更新的状态字段,或上个月悄悄停止的集成之上,看起来权威,实则有误。本主题涵盖本书其余部分不那么光鲜的基础:服务和交付数据来自哪里、每个来源有多可靠,以及哪些数据质量故障会在无人察觉时让一项度量失效。

来源分为几个族。IT 服务管理(ITSM)工具记录事件、请求、问题和变更,ITIL 将它们视为服务运营的核心记录。问题跟踪系统(issue tracking system)记录敏捷团队的待办事项列表(backlog)和工作项的流转。版本控制(version control)记录提交、分支和合并。持续集成与持续交付(CI/CD)流水线记录构建、测试结果和部署。监控和可观测性(observability)平台发出遥测数据:来自运行中系统的度量、日志和追踪。配置管理数据库(CMDB)记录各事物所关联的服务和组件。调查记录任何系统都无法观察到的东西,比如满意度和所付出的努力。

流水线写入的部署事件是客观的,难以伪造;工作完成数小时后才更改的工单状态是一种回忆;调查答案则是一种感知。知道数字背后是哪一种记录,就能告诉你应当首先寻找哪种故障。

敏捷和 ITIL 的视角在同一份数据上相遇:两者都是带时间戳的状态机,所以要把每一次状态变化都作为带有可靠时间的事件来记录,并从事件中推导度量。

三个术语在本主题中反复出现。记录系统(system of record)是对某一事实具有权威性的唯一来源,例如“发生了一次部署”以流水线为准。埋点(instrumentation)是通过代码、配置或工具集成对事件的有意捕获,使度量无需任何人键入就能计算。状态模型(status model)是工作项或记录可处的状态的集合,以及状态之间允许的转换。状态模型决定了哪些时钟根本可以被计算。

在企业和公共部门的规模下,问题会加剧。数据要经过连接器、抽取、转换、加载(ETL)作业和报告层,每一跳都是含义发生漂移的机会。在源头含义确定的字段,到了数据仓库可能含义有了微妙的不同,而数字依然看起来合理。补救办法是缩短事件到仪表盘之间的距离,并定期检查管道。

关键原则

  • 捕获事件,而不是摘要。 存储带时间戳的原始状态变化,并据此计算度量,使定义可以更改而不丢失历史。
  • 宁取观察,不取自我报告。 凡系统能看到事件之处,就用系统的;人的报告只留给只有人能说的内容。
  • 每个事实指定一个记录系统。 重复的来源会相互不一致,这种不一致会侵蚀对两者的信任。
  • 先设计状态模型,再设计度量。 时钟无法从不存在的状态,或在不同团队含义不同的状态中计算出来。
  • 把管道当作产品。 它有负责人、测试、监控和变更日志,因为数据质量会悄悄衰退。
  • 展示出处。 仪表盘上的每个数字都应当点一两下就能追溯到其来源记录。
  • 只收集你会使用的,并保护它。 每个字段都是成本,涉及人时还是一项隐私义务。

度量定义

下面的度量衡量数据供给本身的健康状况。它们是仪器的仪表板。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏
来源覆盖率 范围内的服务和团队中,其事件自动到达度量存储的占比 有自动馈送的服务或团队 / 范围内的服务或团队;“范围内”列于度量登记册 百分比 度量登记册和管道配置 度量与报告;服务配置管理 团队关于工具的工作协议 每季度
时间戳完整率 已关闭的工作项中,带有该度量的时钟所需的每个时间戳的占比 带有全部所需状态变更时间戳的已关闭项 / 期内关闭的项;仍未关闭的项被排除 百分比 ITSM 工具或问题跟踪器的历史 事件管理;服务请求管理 看板或工作流历史 每月
补录率 事后记录的状态变更占比,以事件时间与录入时间之间的间隔度量 在事件时间之后超过 24 小时才录入的状态变更 / 期内的状态变更;时钟从事件开始,到录入停止 百分比 跟踪器的审计线索,或管道事件时间与录入时间对照 变更赋能;事件管理 完成的定义 每月
数据新鲜度 仪表盘被查看时,其上最新的数据有多旧 查看时间减去已加载的最新事件时间;报告中位数和第 95 百分位数 小时 管道运行日志和仪表盘加载日志 度量与报告 干系人评审的准备 每周
对账差异 两个来源对同一计数的不一致 两个计数之间的绝对差 / 记录系统的计数,针对固定的期间和范围 百分比 记录系统和报告层 服务级别管理;财务管理 发布报告检查 每月
状态模型漂移 实际使用的不同状态名称或转换的数量,与文档化模型相比 期内观察到的未文档化的状态或转换(计数);已文档化的被排除 计数 跟踪器的工作流配置和事件历史 持续改进 关于工作流的工作协议 每季度
调查回复率 受邀者中完成调查的占比 完成的回复 / 已送达的邀请;退回的邀请被排除 百分比 调查工具 服务级别管理;客户体验 干系人评审和改进反馈 每轮调查

时间戳完整率只统计已关闭的项,所以大量陈旧的未关闭项无法掩盖缺口。补录率使用 24 小时的阈值作为示例;团队应选择适合自己工作的阈值并写下来。

建议

把每项度量映射到其来源

1. 在构建仪表盘之前,先构建来源图。 对每项度量,记录记录系统、启动时钟的事件、停止时钟的事件、来源的负责人,以及已知的故障模式。如果你说不出系统的名字,就还不知道数字来自哪里。把这张图保存在度量登记册中(见主题 1.4,度量治理与归属)。

2. 每个事实选择一个记录系统。 部署由流水线记录,事件由 ITSM 工具记录,代码变更由版本控制记录,服务关系由 CMDB 记录。凡两个工具持有同一事实之处,决定哪个为准,并让另一个从它读取。对账于是成为一项检查,而不是一场争论。

在事件发生的那一刻捕获它

3. 对事件埋点,而不是对报告埋点。 让流水线记录部署,版本控制托管方记录合并,监控系统记录告警。依赖某人记得去更新字段的数据,会随着与事件的距离和工作负荷而退化。凡存在自动化事件之处,就宁取它而不取人工录入的同一事实的替代品(见主题 2.8,DORA 度量)。

4. 让状态变更成为工作的副作用。 如果一次分支合并把工作项移到“评审中”,或一次部署把它移到“已发布”,就没有人需要记得去做。版本控制、流水线和跟踪器之间的集成能消除大部分补录。

5. 保留原始事件,并保持其不可变。 存储每次状态变更,连同事件时间、录入时间和行动者类型(人或自动化)。把更正写成新事件,而不是覆盖,使更正的历史本身成为数据。

把时间弄对

6. 用一种标准记录时间。 以协调世界时(Coordinated Universal Time,UTC)存储时间戳,采用如 ISO 8601 和 RFC 3339 所定义的无歧义格式,仅在显示时才转换为本地时间。混合的时区和夏令时变化,会悄悄地产生负的时长和相差一小时的时钟。

7. 把时钟规则写在数据所在之处。 对每项时间测量值,说明哪个事件启动时钟、哪个事件停止、哪些状态使其暂停。暂停状态是一项设计决定。报告每个暂停状态被使用的频率,因为时钟是服务数据最常被塑造的地方(见主题 3.3,事件响应与解决时间)。

设计状态模型

8. 让状态模型保持精简、共享且有文档。 每多一个状态,就多一份各团队不同的解读。用一句话定义每个状态的含义、谁可以把工作移入其中,以及允许哪些转换。工作项年龄和流动测量值依赖于这个模型(见主题 2.1,流动度量),而跨团队比较取决于各团队对相同状态使用相同的词。当数据令你意外时,先怀疑工作流:记录对工作流或字段的每一次更改及其日期和理由,并把未文档化的状态算作漂移的信号。

保持管道诚实

9. 像测试软件那样测试管道。 对照来源检查行数,检查必填字段是否存在,检查重复,并在馈送停止时告警。给每块仪表盘增加一个新鲜度指示,使查看者能看到数据有多旧。静默的连接器故障,使屏幕上留着上个月的数字,是这一领域最常见也最具破坏性的故障之一(见主题 11.1,设计服务度量仪表盘)。

10. 定期对账,并手工抽样。 将报告层的计数与来源在固定期间内比较,并调查差异。然后阅读一小批原始记录的样本。十五分钟的抽样,往往能发现自动检查发现不了的东西,比如某个状态被以意想不到的方式使用。

谨慎对待人和调查

11. 把调查留给只有人才能告诉你的事。 满意度、付出的努力、信任和福祉无法从系统数据中观察到。直接询问,保持调查简短,变换时机,并报告回复率和谁作了回复,因为回答的人与不回答的人不同,这是选择偏差(selection bias)的一种形式。完整阅读开放式评论(见主题 6.1,客户满意度度量)。

12. 保护个人数据,并将数据保持在团队层面。 关于工作的事件数据,可以通过提交的作者、经办人字段和聊天记录识别个人。按度量所需的层面收集,汇总到团队和服务,并适用你所在司法辖区和组织的隐私规则。个人层面的数据一旦被收集,往往会被用于排名,这会败坏来源(见主题 1.2,古德哈特定律与度量的心理学)。

钻空子途径与护栏

度量 如何被钻空子 配对的护栏度量或实践
来源覆盖率 一个馈送接上之后就算该服务已覆盖,即使它几乎不传送事件;把困难的服务排除在范围之外 将每个已覆盖服务的事件量与其已知活动作比较;对照服务目录评审范围清单
时间戳完整率 为满足校验,用关闭时间填充必填的时间戳 连续状态之间的间隔分布;抽查已关闭项,看时间是否合理
补录率 恰好在阈值之内录入变更;放宽阈值;通过一次批量更新记录所有变更 按小时的录入时间模式;自动化与手工所作变更的占比;对批量编辑的审计
数据新鲜度 显示最近一次刷新的时间,而不是最新事件的时间 在仪表盘上显示最新事件时间;当馈送没有传送新事件时告警
对账差异 选择能对上的期间或范围;调整报告层以匹配来源而不去查明原因 事先固定范围和期间;记录发现的每个原因,并每季度评审这些原因
状态模型漂移 为避免被标记,把现有状态挪作新含义;添加状态而不记录 每次评审时将工作流配置与登记册作比较;阅读处于异常状态的项的样本
调查回复率 只邀请可能回复的人;向满意的用户发送提醒;提供会使答案产生偏差的奖励 将受访者构成与用户总体作比较;按轮次的答案分布;在评审中阅读开放式评论

健康的读数是一组枯燥的数字:覆盖率高,补录率低且在下降,新鲜度在其声明的承诺之内,而每当对账差异不为零时,都有一个已知的原因。当一个数字发生变动时,有人能说清是工作变了,还是仪器变了。

权衡:利与弊

方法 优势 劣势
自动事件捕获 客观、及时,建成后几乎不费力 只涵盖已埋点的内容;工具变化时会悄悄失效
手工录入和状态更新 捕获背景和判断;无需集成即可工作 滞后、不一致,且易被钻空子
一个中央度量存储 一个定义,一个测试和治理的地方 需要资金和负责人;可能成为瓶颈
每个团队保留自己的数据 贴合本地工作;上手快 定义分歧;汇总不可靠
长期保留原始事件 定义可以更改,历史可以重新计算 存储和隐私成本;需要保护的东西更多

自动化可观察的,向人询问不可观察的,并保留原始记录。首先投资于团队实际使用的两三项度量背后的来源,而不是为每一个可以想象的数字建立一个数据平台。

与团队讨论的问题

1. 对我们最重要的度量,哪个系统是记录系统?我们如何知道? 请小组把数字从仪表盘一路追溯到第一个事件。记下人或转换触及数据的每一处。引导者应当寻找没人能解释的步骤,因为首次调查应当从那里开始。

2. 我们的时间戳中,哪些由系统写入,哪些由人键入? 列出在用的时钟,比如响应时间、解决时间和周期时间。把每个起点和终点标记为自动或手工。对手工的,问录入通常在事件之后多久进行。讨论往往显示,争论最多的度量,建立在最不可靠的时间戳之上。

3. 我们的状态是什么意思?所有团队的理解相同吗? 把工作流放在白板上,请来自不同团队的人用自己的话解释每个状态。比较这些解释。统计时钟暂停的状态,并问谁可以使用它们及原因。商定一项消除歧义的更改,并连同理由记录。

4. 如果一个馈送悄悄停了,我们如何发现? 问上一次有人检查仪表盘上的数据是最新的是什么时候。讨论什么告警或新鲜度指示能在一天之内发现停止的连接器。引导者应当推动指定负责人和具体的检查,而不是泛泛的“要小心”的意愿。

5. 我们收集了哪些从不使用的东西?我们使用了哪些收集得不好的东西? 把字段清单和度量清单并排放置。标出不支持任何决定的字段,以及依赖糟糕字段的度量。决定本季度停止收集一个字段,改进一个字段。

6. 谁回答我们的调查,谁不回答? 将受访者与用户或团队成员的总体作比较。按群体、一天或一周中的时间来查看回复率。讨论沉默可能意味着什么,以及如何不施压地接触安静的群体。商定回复率如何显示在每个调查结果旁边。

四种视角

产品与交付团队

交付团队产生大部分客观数据:提交、评审、构建和部署。他们受益于让状态变更成为工作副作用的埋点,使看板无需额外努力就保持诚实。他们应当保持工作流精简,并警惕把版本控制活动当作努力的度量(见主题 2.2,前置时间、周期时间与流动效率)。

服务与运维团队

服务团队依赖在压力下由人创建的记录,往往是在事件期间。时钟规则、暂停状态和优先级字段是发生漂移的地方。运维团队应当尽可能让关键时间的捕获自动化,比如告警时间和确认时间,审计暂停状态的使用,并让监控数据与工单记录分开,使两者能互相检查(见主题 5.5,监控与告警质量度量)。

领导层与治理

领导者决定对数据基础投入多少,并设定决定数据是否保持诚实的激励。他们应当先问数字从哪里来,再问它为什么变动,把管道的归属作为持续的工作来出资,并期望每份报告都有新鲜度日期和定义。治理机构应当把来源或定义的有文档记录的变更视为正常事件,而不是失败。

客户与用户

用户提供了关于体验最重要的数据,通常是通过回答调查、给互动打分或报告问题。他们需要知道收集了什么、为什么收集,以及会因此改变什么。简短的调查和可见的跟进使回复率保持健康。面向客户的服务级别报告应当说明其来源和定义(见主题 5.2,SLI、SLO 与错误预算)。

实践:一个服务管理示例

一家中型在线零售商有一个平台团队、三个产品团队和一个服务台。本示例中的所有数字均为示意。

领导层问,月度报告上的变更前置时间为何在一个季度内从中位数 9 天降到 3 天,而产品团队报告说工作方式没有任何变化。平台工程主管怀疑仪器,请求提供该度量的来源图。

来源图显示,前置时间在 ITSM 工具中创建变更记录时开始,在其状态被设置为“已实施”时停止。有两个产品团队已开始在工作完成之后才创建记录,所以时钟开始得晚。对 40 条记录的抽样发现,其中 12 条是在部署当天创建的。补录率,以流水线中的部署事件与“已实施”状态录入之间的间隔来度量,超过团队设定的 24 小时阈值的占 31%。

团队做了三项改变。第一,时钟的起点移到与变更关联的第一次提交,取自版本控制,终点移到流水线写入的部署事件。第二,ITSM 工具从流水线接收状态,因此“已实施”不再靠键入。第三,仪表盘增加了新鲜度指示,以及流水线与 ITSM 工具之间变更计数的对账检查。

在新定义下,前置时间中位数为 7 天,第 95 百分位数为 21 天,补录率降到 4%。领导层起初把 7 天读成更差的结果。平台主管解释说,旧数字是记录创建滞后造成的假象。记录在决定日志中的决定是:根据原始事件重述前两个季度,并在图表上标注定义变更。团队发现的钻空子风险很微妙:没有人伪造数字,但记录创建滞后产生了一个好看的数字。对账差异现在充当护栏,原始记录的样本每季度评审一次。

敏捷、AI、自动化与分析

敏捷

与功能一起,分小步构建埋点,使每次发布都增加度量它所需的事件,并与将阅读这些数字的人一起商定事件的定义。一个切实的步骤是把事件加入变更的完成定义。需要注意的是,发布后再补加度量,会使早期数据出现缺口,之后任何修复都无法挽回。

AI

AI 系统增加了新的数据来源:提示词、回复、工具调用、人工编辑和覆盖。在遵守隐私和保留规则的前提下,捕获由谁或什么采取了行动、运行了哪个模型版本,以及是否有人修改了结果。需要注意的是,记录提示词可能捕获个人或机密数据,所以在开始之前就要决定存储什么。

自动化

在事件发生的那一刻,从记录系统自动捕获事件,并用已知输入测试管道。自动化本身就是一个来源:记录运行、失败、重试和回滚。需要注意的是静默失败,即损坏的连接器产生平坦且看似健康的数字,所以要把数据新鲜度作为一项度量来监控。

分析

每个季度至少对照一个独立来源核对一个数字,并公布差异。这为之提供依据的决定是,一项度量是否值得足够信任以供使用。需要注意的是,看起来干净的仪表盘可能建立在薄弱的数据之上,所以要在结果旁边显示数据的完整性。

行业视角

初创公司。 数据稀薄、信任度高,这是有利的。使用流水线和版本控制作为主要来源,因为它们无需额外努力,并让状态模型保持在少数几个状态。在一页纸上写下每个定义及其来源,并在团队人数翻倍时重新审视。

小型企业。 往往由一个人在托管的服务台上运营 IT。使用工具的报告,要求供应商书面提供其定义,并定期导出原始数据以避免锁定。

大型企业。 众多工具、众多团队和层层集成,造成定义漂移的最大风险。投资于共享的事件模型、有明确负责人的中央度量存储,以及自动化的对账和新鲜度检查。商定一套小型的全企业状态词汇表,并让团队仅在说明了与它的映射关系时才添加本地状态。

政府与公共部门。 记录可能受保留、审计、访问和隐私法律的约束,采购可能锁定工具和数据格式。把这些当作设计输入:保留审计线索,记录从事件到报告的血缘,并在合同中谈判数据导出权。报告义务使有文档的定义变得不可或缺(见主题 8.5,受监管与政府报告)。

业务论证:动因、投资回报与总拥有成本

本主题的成本有三个部分。第一是构建投入:集成、度量存储和状态模型的整理。第二是运行投入:管道的负责人、对馈送的监控,以及每季度的对账和抽样例行工作。第三是对你所保留数据的隐私和安全控制的成本。

回报来自基于“含义与表面相符”的数字所做的决定。糟糕的数据导致错误的投资、关于谁的数字正确的争论,以及损害信任的重述结果。通过你可以自己度量的模式来描述收益:生成月度报告在前后所花的时间、每季度的对账纠纷数,以及随时间变化的补录率和时间戳完整率。总拥有成本以人为主,所以要计入管道负责人的工时。

反模式与陷阱

  • 先建仪表盘,后做来源图。 图表看起来完成了,其含义却不明。先映射来源、时钟和负责人。
  • 信任手工状态更新来做时间度量。 滞后的录入使时钟成为虚构。凡存在流水线和版本控制事件之处,都让转换自动化。
  • 一个事实有多个记录系统。 纠纷随之而来。选择一个,让其他的从它读取。
  • 悄悄更改定义。 趋势线变得毫无意义。记录每次更改及其理由,并在图表上标注。
  • 基于不完整数据的平均值。 缺失的时间戳并非随机,因为棘手的项往往是被跳过的那些。在结果旁报告时间戳完整率。
  • 收集一切以防万一有用。 成本和隐私风险上升而不服务于任何决定。收集一个有名有姓的问题所需要的。
  • 没有新鲜度指示。 陈旧的仪表盘与最新的看起来一样。在每个视图上显示最新事件的时龄。
  • 没有目的的个人层面数据。 它诱使排名并损害来源。汇总到团队和服务层面,并限制访问。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
来源与捕获 数字靠导出手工拼凑 一些工具自动馈送报告;其他的不 每项度量有一个指明的记录系统,凡存在事件之处都自动捕获 度量并跟踪覆盖率和完整性的趋势 事件通过约定的接口在团队和供应商之间共享,合同中有导出条款
时间与状态模型 每个人记录和读取时间的方式都不同 一些团队记录了他们的工作流 一种时间标准和共享的状态词汇表,带有书面的时钟规则 监控漂移和补录,更改连同理由被记录 当模型不再为决定提供依据时,与供应商和客户联合修订
管道质量 有人抱怨时才发现故障 偶尔的手工检查 行数、重复检查,以及每块仪表盘上的新鲜度指示 对账有计划,原因被评审;管道有负责人 像服务一样报告管道健康,并为改进出资
调查与隐私实践 临时的调查;没有隐私评审 一些团队使用标准问题 简短的定期调查,显示回复率;数据保持在团队层面 评审并据以行动受访者构成 调查结果和隐私实践与用户公开共享

检查清单

  • 每项已报告的度量都有一个指明的记录系统和一位指明的来源负责人。
  • 来源图保存在度量登记册中。
  • 每项时间测量值都说明其时钟从何处开始、停止和暂停。
  • 时间戳以无歧义的格式存储为 UTC,且服务器时钟已同步。
  • 凡存在事件之处,状态变更都由自动化生成。
  • 原始事件连同事件时间和录入时间一并保留,更正是新事件。
  • 状态模型有文档,每次更改都连同理由记录。
  • 每块仪表盘都显示其最新数据的时龄。
  • 计数按计划与来源对账,原因被记录。
  • 每个季度阅读一批原始记录的样本。
  • 每个调查结果都显示调查回复率和受访者构成。
  • 个人数据被最小化,并汇总到团队和服务层面。

AI 提示词

为一项度量构建来源图。

我正在记录这项度量背后的数据:[度量名称],定义为 [定义]。我们的工具有 [工具清单,例如跟踪器、ITSM 工具、流水线、监控]。请起草一张来源图,包含这些字段:启动时钟的事件、停止时钟的事件、各自的记录系统、由谁或什么创建事件(人或自动化)、可能的故障模式,以及能发现每种故障的检查。不要虚构工具功能或基准值。请列出你的假设,以及我应当回答哪些问题以完成这张图。

评审状态模型的歧义。

这是 [团队或服务] 的工作流:[状态清单和允许的转换,如已知则附上每个状态的一句话含义]。我们据此计算的时钟有 [时钟清单]。请找出含糊的状态、时钟可能以误导方式停止或暂停的状态,以及两个团队可能对同一个词有不同理解的地方。建议一个仍能支持这些时钟的更小的模型,并说明会损失什么。不要猜测我们的工具是如何配置的。请列出你的假设。

为一个馈送设计数据质量检查。

我们每 [计划] 把 [数据类型,例如变更记录] 从 [来源系统] 加载到 [目的地]。必填字段有 [字段清单]。请针对完整性、重复、新鲜度,以及对照来源的对账,提出一套实用的检查,并为每项建议一个告警和一个负责人角色。让这套检查小到足以让一个 [团队规模] 人的团队维护。不要虚构阈值;向我索取你需要的阈值。请列出你的假设。

起草一份简短的调查和提高回复率的计划。

我想为 [受众] 度量 [体验主题,例如获得一项请求被履行所付出的努力]。请起草 [数量] 个中立的问题、关于何时以及如何发送的计划,以及如何报告回复率和受访者构成。标出可能使答案产生偏差的措辞,并注意到数据将保存在 [工具或位置] 时的隐私考虑。不要虚构基准回复率。请列出你的假设。

AI 技能

要点

  • 每项度量都依赖一个指明的记录系统,所以在构建图表之前先映射来源。
  • 在事件发生的那一刻自动捕获它,并保留原始事件,使定义可以更改而不丢失历史。
  • 时间也是数据:使用一种标准,写下时钟规则,并留意补录。
  • 让状态模型保持精简、共享且有文档,并记录每一次更改。
  • 把管道当作产品,有负责人、测试、新鲜度指示和定期对账。
  • 把调查用于只有人才能说的内容,显示回复率,并让个人数据保持在团队层面。

参考文献与延伸阅读

  1. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  2. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  3. Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
  4. Kleppmann, M., Designing Data-Intensive Applications, O'Reilly Media, 2017.
  5. DAMA International, DAMA-DMBOK: Data Management Body of Knowledge, 2nd edition, Technics Publications, 2017.
  6. ISO/IEC 25012:2008, Software engineering: Software product Quality Requirements and Evaluation (SQuaRE): Data quality model, International Organization for Standardization.
  7. ISO 8601, Date and time: Representations for information interchange, International Organization for Standardization.
  8. Klyne, G., and Newman, C., RFC 3339: Date and Time on the Internet: Timestamps, Internet Engineering Task Force, 2002, https://www.rfc-editor.org/rfc/rfc3339
  9. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  10. Wikipedia, Information technology service management.
  11. Wikipedia, ITIL.
  12. Wikipedia, Issue tracking system.
  13. Wikipedia, Version control.
  14. Wikipedia, CI/CD.
  15. Wikipedia, Observability (software).
  16. Wikipedia, Configuration management database.
  17. Wikipedia, Extract, transform, load.
  18. Wikipedia, Data quality.
  19. Wikipedia, Coordinated Universal Time.
  20. Wikipedia, Selection bias.