概述与动因

度量治理是一组轻量的决定:谁拥有一项测量值、它意味着什么、谁可以看到它、多久评审一次,以及何时将其移除。它是数据治理(data governance)的近亲,后者涵盖组织中对数据可用性、质量和安全的更广泛管理。度量治理把同样的规范应用于团队和领导者用来引导服务与交付工作的那一小组高可见度的数字。

这种需要表现为细小而反复的摩擦。两个团队对“解决时间”的计算方式不同,花一次会议来核对数字。仪表盘上的一个图块因为构建它的人换了工作而数月陈旧。一项为帮助某个团队诊断其流动而设计的测量值,被指导委员会采纳为绩效目标,这正是上一个主题所警示的情形(见主题 1.2,古德哈特定律与度量的心理学)。这些都不是统计问题。每一个都是归属问题,每一个预防起来都很便宜。

敏捷和 ITIL 的视角在侧重上不同,这种差异是有益的。在敏捷视角中,团队拥有自己的工作测量值,并在回顾会议、工作协议和评审中就它们进行协商。按 ITIL 4(AXELOS 2019 年版,现由 PeopleCert 出版)所记载的 ITIL 视角,度量与报告是一项通用管理实践,而持续改进是一项有自己的角色、记录和评审的实践。ITIL 还期望服务负责人和实践负责人对结果负责。这两种视角相互契合:团队拥有工作视图,有名有姓的服务或实践负责人拥有已报告的视图,一份小小的登记册把两者联系起来。

这里使用的几个术语。度量负责人(metric owner)是对度量的定义、数据质量和使用负责的唯一责任人。度量登记册(metric register)是在用度量的简短目录,列有每项度量的负责人、定义、数据来源、护栏和评审日期。度量章程(metrics charter)是针对一组度量的目的、范围、角色和评审节奏的一页纸陈述。单一事实来源(single source of truth)是据以计算某个数字的唯一权威系统或数据集。数据管家(data steward)负责照看某个数据域的质量和定义,在小型组织中,度量负责人往往兼任这一角色。RACI 矩阵(RACI matrix)记录每项活动由谁负责(responsible)、谁问责(accountable)、咨询谁(consulted)、通知谁(informed)。数据字典(data dictionary)是数据元素及其含义的目录,在较大的规模下,登记册中的定义列就变成了它。最小权限原则(principle of least privilege)指人和系统只获得其任务所需的访问权限,不多不少。持续改进(Continual improvement)是改进服务、实践和工作方式的持续努力,既是 ITIL 实践,也是敏捷习惯。SLA 指服务级别协议,ITSM 指 IT 服务管理。

关键原则

  • 每项已报告的度量有一位有名有姓的负责人。 是一个角色或一个人,绝不是“团队”。共同所有会使定义无人维护。
  • 一个定义,一个单一事实来源。 把定义写一次,包括时钟从何处开始和停止,并在一个地方计算该数字。
  • 治理与后果成比例。 团队用来调试自己看板的度量,只需要一句话。出现在合同、公开报告或董事会材料中的度量,需要章程条目、评审和审计线索。
  • 访问权限遵循目的。 决定谁看到哪个视图及原因。团队工作视图的默认受众是团队。
  • 按节奏评审,依证据淘汰。 度量有生命周期。有意识地采纳、评审、修订和淘汰它们。
  • 写下来并保持精简。 一页纸就能装下的登记册会被阅读。政策手册则不会。
  • 治理服务于被度量的人。 一项度量的所有者包括其工作被它描述的人。

度量定义

这些是度量实践的健康状况的测量值,而不是服务的测量值。它们有意很少,并且从登记册本身收集起来成本很低。除非另有说明,每个期间为一个日历季度。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏
归属覆盖率 已报告的度量中,有一位有名有姓、现任负责人的占比 其负责人在期末仍担任该角色的已报告度量 / 期末已报告的度量;不包括仅在某个团队私有看板内使用的度量 百分比 度量登记册 度量与报告 工作协议 每季度
定义时效性 已报告的度量中,其定义在约定间隔内被评审过的占比 评审日期在最近 6 个月内的度量 / 已报告的度量;时钟从最近一次记录的评审开始,到期末停止 百分比 度量登记册变更日志 度量与报告;持续改进 回顾会议行动 每季度
来源一致性 已报告的度量中,恰好由一个指明的来源计算的占比 有一个权威来源且无已知并行计算的度量 / 已报告的度量;并行计算通过抽查仪表盘和报告发现 百分比 登记册加上仪表盘与报告的样本 度量与报告;服务级别管理 度量的完成定义 每季度
淘汰率 一个期间内被淘汰或合并的度量数,相对于已报告的度量 期内被淘汰或合并的度量 / 期初已报告的度量;移入私有团队视图的度量,算作从已报告集合中淘汰 百分比 度量登记册变更日志 持续改进 回顾会议行动 每季度
访问评审时效性 受限度量视图中,其受众名单在间隔内被评审过的占比 最近 6 个月内做过受众评审的受限视图 / 受限视图;向整个组织开放的视图被排除 百分比 访问名单或 BI 工具权限导出 信息安全管理;度量与报告 工作协议 每半年
决定关联率 已报告的度量中,在登记册里与其所支持的某项决定相联的占比 有记录的决定或问题的度量 / 已报告的度量;只有该决定是在过去 12 个月内做出的,关联才算数 百分比 度量登记册和决定日志 持续改进 干系人评审和改进成果 每季度

这些都不是目标。登记册可以显示完全的归属覆盖,却仍描述着无用的度量,所以请把本表与下面的钻空子表一起阅读。

建议

建立归属和登记册

1. 保持一份一页纸的度量登记册。 列出每项已报告的度量,附上它的问题、负责人、定义、公式与时钟、单位、数据来源、受众、护栏、上次评审日期和计划评审日期。一张电子表格或版本控制中的一个 Markdown 文件就足够。登记册是本主题中最有用的单个制品,而上一个主题已经假定它存在(见主题 1.2,古德哈特定律与度量的心理学)。

2. 每项度量指定一位负责人,并记录角色。 负责人对定义、数据质量以及对奇怪结果的解释负责。选择贴近数据和决定的人,往往是服务负责人、实践负责人或团队负责人。既记录角色也记录人,使条目在工作变动后依然有效,而空缺会在覆盖率数字中显现。

3. 把拥有一项度量与拥有它所度量的工作区分开。 度量的负责人解释并维护它,但做这项工作的团队仍对结果负责。这避免了两个陷阱:为自己无法影响的数字而被责备的负责人,以及因为别人维护数字而否认它的团队。章程中的一张简短 RACI 表使这一点明确。

4. 把定义连同它的时钟一次写清。 登记册保存权威的定义:统计什么、时钟从何处开始和停止、哪些状态会让它暂停,以及排除什么。从每块展示该度量的仪表盘链接到它。当定义需要更改时,先在登记册里更改,并在图表上标注这一变更(关于如何显示趋势中的断点,见主题 1.6,服务度量的统计素养)。

5. 每项度量只在一个地方计算。 选定权威来源,比如 ITSM 工具、问题跟踪器或监控系统,并在登记册中说明。复制该数字的并行电子表格,要么淘汰,要么改名,使没人把它们误认为官方数字。数据血缘和工具属于下一个主题(见主题 1.5,数据来源与埋点)。

设定节奏与变更控制

6. 按与后果相称的时间表评审定义。 对合同、受监管的报告或高管材料中的度量,每年评审两次,并在底层工作流有任何变更时评审。对团队层面的工作测量值,回顾会议就是评审。每次评审问三个问题:定义是否仍然准确,数据是否仍然可靠,是否有人用这个数字做了决定?

7. 像对待服务变更那样对待定义变更。 记录谁提出了变更、为什么、咨询了谁,以及它生效的日期。对状态工作流的一个小改动,可能悄悄地让时间测量值大幅移动。针对定义的轻量变更控制借鉴了变更赋能的理念,但没有繁文缛节(服务变更的对应内容,见主题 4.3,变更赋能度量)。

8. 把评审接入持续改进。 度量评审应当产生改进工作,或明确的不采取行动的决定。ITIL 把持续改进视为拥有改进机会登记册的实践,敏捷团队通过回顾会议行动达到同样的效果。如果一次评审既没有行动也没有淘汰,就问这项度量是否在起作用(见主题 9.5,持续改进度量)。

9. 有意识地淘汰度量。 定义一项淘汰检验,比如“连续两个评审周期没有在决定中被引用”,并应用它。归档定义和最终值,说明有什么取代了该度量(如果有),并告知受众。淘汰日志对审计人员是证据,对手工维护数据的人是一种解脱。

控制视图与访问

10. 为每个视图确定受众。 大多数度量有给团队的工作视图、给服务负责人或项目的已报告视图,有时还有给客户、监管机构或供应商的外部视图。记录哪个受众得到哪个视图及原因。以最小权限原则为指导,限制包含个人数据、安全细节或商业敏感的供应商数字的视图,其余保持开放,使透明成为默认。

11. 让个人层面的数据不进入报告。 本书的铁律是,度量描述团队、服务和系统,而不是人。治理通过设定报告的粒度(比如团队和服务)以及把任何个人层面的提取限制给数据管家来支持这一点。如果收到个人层面细分的请求,就记录下来,问它服务于什么决定,并提供团队层面或系统层面的替代方案(见主题 11.3,推行度量而不滋生恐惧)。

钻空子途径与护栏

度量 如何被钻空子 配对的护栏度量或实践
归属覆盖率 指定一位经理或一个邮件列表作为负责人以达到 100%,没有人能解释或更改这项度量 请每位负责人解释该数字最近的一次变动;跟踪超过一周无人回答的问题
定义时效性 不读定义就更新评审日期 每季度抽查三个条目,将书面定义与工具的实际配置作比较
来源一致性 宣布某个来源为权威,而电子表格仍在流转并相互不一致 在报告样本中统计同一度量所发现的不同数字的个数;在评审中核对差异
淘汰率 淘汰琐碎或无人使用的度量以显得有纪律,或给度量改名使其算作新的 评审淘汰日志,看移除了什么;并排跟踪已报告度量的总数和决定关联率
访问评审时效性 不读就批准现有的受众名单 将名单与当前的团队成员和角色作比较;报告发现的移除数
决定关联率 写一个含糊的决定,比如“改善服务”,以满足该字段 要求有带日期的决定或问题,并抽查决定日志,看该度量是否真的被查阅过

健康的读数是一份会变化的登记册。条目有能回答问题的负责人,评审日期落在过去六个月内,淘汰日志附有理由,还有一份简短的仍被需要的度量清单,因为人们能说出它们支持的决定。一份每个字段都填满而从无变化的登记册是个警示信号。

权衡:利与弊

方法 优势 劣势
集中的度量办公室 定义一致,工具共享;更易审计 缓慢,远离工作,且倾向于把本应因团队而异的测量值标准化
带共享登记册的联邦式所有权 负责人贴近数据;登记册保持共同的最低要求 需要持续的鼓励,以避免团队之间质量的漂移
仅团队自有的测量值 快,且贴合工作 定义分歧;汇总变得不可靠;知识随人离开
默认开放的访问 建立信任和共同理解 有暴露敏感或个人层面细节的风险
受限的访问 保护敏感数据 对本可提供帮助的人隐藏了背景,并招致猜疑

平衡的办法是把必须一致的那一薄层集中起来,即登记册、共享定义和访问规则,而把其余的一切联邦化。

与团队讨论的问题

1. 如果我们仪表盘上被引用最多的数字明天看起来有误,谁来回答? 请小组说出一个人,而不是一个组。如果出现好几个名字,或者一个也没有,这项度量实际上没有负责人。引导者应记录该度量、候选负责人,以及负责人要做好这项工作所需的东西,比如对数据的读取权限或评审中的时间。最后商定由谁来确认负责人并把角色记录在登记册中。

2. 同一个数字目前在哪里存在两个版本? 寻找以不同数值显示同一度量的报告:每周的幻灯片对比实时仪表盘,或供应商报告对比内部报告。对每一个,问差异出在哪里,比如范围、时钟或排除项。决定哪个来源是权威的,另一个版本怎么办。预期这次交流会揭示人们以为共享的词语,其实有不同的工作定义。

3. 如果必须淘汰一项,本季度我们会淘汰哪项度量? 从最近没人在决定中引用过的度量开始。问如果它消失会怎样,谁会注意到。如果答案是“没人”,就把它移出已报告的集合,试行一段时间。引导者应当把淘汰视为正常且健康的,并把结果记录在淘汰日志中。

4. 谁看到我们的哪些度量?这是有意为之吗? 画一张简单的网格,把度量对照受众:团队、服务负责人、领导层、客户、供应商、监管机构。标出哪里的访问是一项决定,哪里只是碰巧如此。寻找任何可能被用来比较个人的视图。商定至少改变一份受众名单,并商定下次由谁评审。

5. 我们如何在不破坏趋势的情况下更改定义? 回顾最近对状态工作流或优先级量表的一次变更。问谁被告知了,图表是否被标注,是否有人比较了新旧数值。起草一份团队真正会填写的轻量变更条目。商定谁批准对出现在合同或外部报告中的度量的更改。

6. 如果治理成了负担,我们会不再做什么? 治理可能变成例行仪式。问如果没人检查,人们会跳过当前做法的哪些部分,以及原因。把答案当作设计反馈,而不是抵触。引导者应当寻找互相重复的步骤、没人读的字段,以及从不产生决定的评审。

四种视角

产品与交付团队

交付团队拥有工作项年龄和周期时间等工作测量值,并应在工作协议中商定定义。当某项度量上升到组合报告中时,团队应当知道其负责人、定义和受众。团队从每项已报告测量值的一条简短登记册条目中获益最多,也从质疑不再适合工作流动方式的定义的权利中获益(见主题 2.1,流动度量)。

服务与运维团队

服务和运维团队承载着出现在 SLA 和运营评审中的度量,所以定义、时钟和排除项具有合同上的分量。这里的负责人通常是服务负责人和实践负责人。他们应当为定义变更保留证据线索,定期对照 ITSM 工具核对已报告的数字,并率先淘汰不再为运营决定提供依据的测量值(见主题 5.1,SLA、OLA 与 XLA 度量)。

领导层与治理

领导者设定条件:谁拥有度量、哪些视图进入高管材料,以及数字如何被使用。他们应当索要登记册和淘汰日志,阅读头条数字背后的定义,并抵制对个人层面排行榜的要求。治理机构需要一个小型的常设议程项来评审登记册并记录决定,与 ISO/IEC 20000-1 对服务管理体系的期望(截至其 2018 年版)保持一致,而不把评审变成合规练习(见主题 8.3,合规与审计度量)。

客户与用户

客户和用户很少看到登记册,但当服务评审中的数字与他们的体验不同时,他们会感受到它的缺失。凡度量出现在面向客户的报告或 SLA 中,定义都应当以平实的语言提供,包括排除了什么。客户应当有途径质疑某个数字,负责人应当回答(见主题 5.1,SLA、OLA 与 XLA 度量)。

实践:一个服务管理示例

一家中型在线零售商运营着一个服务台、三个产品团队和一个运维小组。以下所有数字均为示意。

月度服务评审显示事件解决时间的中位数为 5.1 小时。产品团队自己的仪表盘,由同一个 ITSM 工具构建,显示 6.4 小时。这两个数字已经流传了一年。一位新上任的服务负责人问谁拥有这项度量,得到三个不同的答案。

这位负责人与团队负责人和数据管家,用两次会议建立了包含 14 项已报告度量的第一份登记册。其中 5 项没有负责人,4 项有两个来源。解决时间是双来源的度量之一。差异可追溯到一个暂停状态:服务评审排除了处于“等待客户”的时间,而团队仪表盘没有。小组商定一个定义,指定服务负责人为度量负责人,并在一个季度里把两个数值按定义标注后发布在同一页上,使没有人丢失历史。他们在定义变更处标注了图表。

在第一次季度评审中,小组应用淘汰检验,移除了 14 项度量中的 3 项,其中包括一张近期没有任何决定引用过的月度工单计数图。他们还限制了按分析师细分解决时间的视图,仅保留数据管家为唯一持有者,并改为提供团队层面的细分。

钻空子的风险在第二次评审时出现。归属覆盖率达到 100%,但抽样显示,其中两位负责人是一个分发列表和一位从未打开过数据的部门负责人。小组把他们换成有名有姓的服务负责人,并把护栏问题加入评审:“负责人能解释这个数字最近的变动吗?”覆盖率有一个季度降到 86%,小组将其记录为诚实的结果。记录的决定是:在护栏运行两个周期之前,暂不对覆盖率设定目标。

敏捷、AI、自动化与分析

敏捷

把度量登记册当作团队学到东西时就更新的活文档,而不是一次性的设计练习。一个实用的习惯是定期的简短评审,由度量负责人、团队和一位干系人商定哪些度量保留、更改或淘汰。需要注意的是,频繁的小改动会破坏趋势,所以要连同理由记录每一次更改。

AI

关于 AI 系统的度量,和服务度量一样需要负责人,且负责人需要有权在数字表明系统正在伤害用户时暂停该系统。在登记册中记录哪些度量描述 AI 辅助的工作,以及由谁评审其质量配对。需要注意的是,供应商提供的 AI 仪表盘有它们自己的定义,所以要引用供应商的定义并加以核对后再登记。

自动化

把登记册的卫生自动化:标记没有负责人、没有评审日期,或最近没有在决定中被引用的度量,并提醒负责人。需要注意的是,没人回应的自动提醒就是噪声,所以要度量有多少标记导致了行动,并淘汰不会导致行动的那些。

分析

也把对度量数据的访问视为治理问题:谁能看到团队层面的数据,谁能看到原始工单,数据保留多久。登记册所支持的决定是保留、更改还是淘汰什么。需要注意的是,针对人的行为的分析可能越过界限变成监视,所以要让度量保持在团队和服务层面,并检查适用于你的隐私规则。

行业视角

初创公司。 创始人或首席工程师往往默认拥有每一项度量。风险是定义只存在于一个人的脑子里。在共享文档中保持一份五到八项度量的登记册,为每项指定负责人,并在一项度量首次出现在投资人或客户的更新中的当天写下定义。

小型企业。 负责 IT 的人通常既是负责人、管家,又是报告的读者。把治理保持在一页纸,每年评审两次,并在供应商提供的报告对某项度量的定义与你自己的不同时格外小心。指明企业中谁拥有每个面向客户的数字。

大型企业。 规模使共享层变得必不可少。使用带工作流的登记册、每季度开会的轻量委员会,以及每个主要领域的数据管家角色。为工作测量值保留团队自主权,并防止把本应因服务类型而异的度量标准化。与组织中已有的数据治理对齐可以节省精力。

政府与公共部门。 法定报告、审计和采购使书面定义和变更记录成为义务。把登记册当作审计制品,并保持从每个公布的数字到其负责人和来源的清晰链路。访问决定常常涉及法律和隐私评审,所以要记录每个受限视图的依据(见主题 8.5,受监管与政府报告)。

业务论证:动因、投资回报与总拥有成本

成本不大,主要是时间。预计需要几个小时来建立第一份登记册,每季度一两个小时用于评审,以及数据管家为解决来源冲突付出一些精力。工具成本低,因为一张电子表格或一个受版本控制的文件就足以开始。

回报主要是避免的浪费。用来核对数字的会议消失了,审计会发现清晰的线索,新的服务负责人上手更快,因为定义已经写下来。决定更好,因为它们基于每个月含义相同的数字。没有你自己的数据,不要为这些收益引用百分比。如果你的业务论证需要数字,就统计上个季度花在核对冲突数字上的小时数,以及没有记录负责人的度量数,然后在两个评审周期之后再数一遍。

反模式与陷阱

  • 委员会式所有权。 一个小组拥有度量,无人回答问题。指定一个问责角色和一位副手。
  • 登记册沦为坟场。 建好一次后就再没动过。把评审日期放进日历,并在每块仪表盘上显示日期。
  • 一切标准化。 把一种定义强加给工作不同的团队,产生的数字在哪里都没有意义。只共享必须一致的那一层。
  • 悄悄更改定义。 趋势破裂,信任随之而去。连同理由记录每次更改,并在图表上标注。
  • 有治理而无淘汰。 集合只增不减,注意力被稀释。每次评审都应用淘汰检验。
  • 默认保密。 对被度量的人隐藏工作视图会滋生猜疑。只限制带有真实风险的内容,并解释原因。
  • 个人层面数据的开放访问。 一次提取在几天内就可能变成排行榜。把报告的粒度设为团队和服务,并把任何个人层面的数据交由管家保管。
  • 合规作秀。 为满足清单而填写字段。抽查条目是否属实,并请负责人解释最近的变动。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
归属与登记册 负责人不清;度量存在于个人电子表格中 一些团队保留带负责人的清单 所有已报告的度量共用一份登记册,各有有名有姓的负责人和角色 覆盖率和时效性被做成趋势;缺口促成有资源的修复 在数字跨越边界之处,登记册与供应商和客户共享
定义与变更控制 定义因人而异 部分合同度量有书面定义 每项已报告的度量都有含时钟的书面定义和变更日志 发布前评审变更对趋势的影响 当定义不再为决定提供依据时,跨团队和供应商联合修订
评审与淘汰 度量只增不减 偶尔清理 评审节奏和淘汰检验已写下来 评审结果作为改进工作被跟踪 淘汰与更新成为常规,由来自用户和团队的证据驱动
访问与受众 访问出于偶然 对敏感数据设置受限视图 每项度量列出受众并附理由 按节奏评审访问;个人层面数据由管家持有 与被度量的人和客户共同设计受众

检查清单

  • 存在一份度量登记册,列出每项已报告的度量。
  • 每项已报告的度量都有一位有名有姓的负责人和已记录的角色。
  • 每项已报告的度量都有含开始、停止和排除规则的书面定义。
  • 每项度量在登记册中都指明了一个权威来源。
  • 每项度量都记录了评审日期和间隔。
  • 定义变更连同理由被记录,并在图表上标注。
  • 淘汰检验已写下来,并在每次评审时应用。
  • 记录了每个视图的受众,对任何限制都附有理由。
  • 没有已报告的视图给个人排名,个人层面的数据由数据管家保管。
  • 过去一个季度内已抽查登记册是否属实。

AI 提示词

为一组度量起草度量章程。

请为 [团队或服务名称] 起草一份一页纸的度量章程,该团队提供 [服务或交付工作的类型]。度量集为:[度量清单]。受众为 [受众]。包括目的、明确的非目标、使用这些角色的负责人、数据管家和评审者的 RACI 表:[角色]、评审节奏和一项淘汰检验。仅基于我所写的内容起草。不要虚构度量、目标或基准值。请列出你的假设,以及我应当回答哪些问题以完成该章程。

找出一项度量两个版本之间的冲突。

这里有对本应是同一项度量 [度量名称] 的两种描述。版本 A,来自 [来源 A]:[描述和公式]。版本 B,来自 [来源 B]:[描述和公式]。请就统计什么、时钟从何处开始和停止、哪些状态使其暂停,以及排除什么对它们作比较。解释哪些差异可能说明 [值 A] 与 [值 B] 之间的差距,并为负责人建议问题。不要猜测我没有给出的数值。请列出你的假设以及你无法确定的内容。

评审度量登记册的缺口。

下面是我们度量登记册的一个摘录,字段为 [字段清单]。请检查缺失的负责人、没有评审日期或晚于 [间隔] 的条目、有多个来源的度量、没有关联决定的度量,以及可能暴露个人层面细节的视图。按度量而不是按个人报告模式。不要虚构关于我们度量的事实。告诉我哪些发现可从文本中确定,哪些是猜测,并列出你的假设。

[粘贴登记册摘录,已去除个人数据]

规划一次淘汰评审。

我们每 [间隔] 评审一次度量。我们的淘汰检验是:[检验]。对下面每一项度量,请利用我提供的记录,提出淘汰、保留、合并或重新设计的建议,附一句理由和一个向负责人提出的问题:[度量,附上最后被引用日期和负责人角色]。另外建议如何向 [受众] 宣布每项淘汰。不要虚构使用数据。请列出你的假设,以及会改变你建议的任何信息。

AI 技能

要点

  • 治理使数字随时间保持含义不变,一页纸的登记册是其核心。
  • 为每项已报告的度量指定一位问责的负责人,既记录角色也记录人。
  • 写一个含时钟的定义,在一个地方计算它,并记录每一次更改。
  • 让治理的分量与度量的后果相称。
  • 有意识地决定谁看到哪个视图,让个人层面的数据不进入报告,并依证据淘汰度量。

参考文献与延伸阅读

  1. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  2. Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
  3. Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
  4. DAMA International, DAMA-DMBOK: Data Management Body of Knowledge, 2nd edition, Technics Publications, 2017.
  5. AXELOS, ITIL Foundation: ITIL 4 Edition, TSO, 2019. Summarized, not reproduced.
  6. ISO/IEC 20000-1:2018, Information technology, Service management, Part 1: Service management system requirements, International Organization for Standardization.
  7. Wikipedia, Data governance.
  8. Wikipedia, Single source of truth.
  9. Wikipedia, Data steward.
  10. Wikipedia, RACI matrix.
  11. Wikipedia, Data dictionary.
  12. Wikipedia, Principle of least privilege.
  13. Wikipedia, Continual improvement process.