概述与动因

《敏捷宣言》背后的第五条原则说,要围绕有积极性的个人来构建项目,给予他们所需要的环境和支持,并信任他们能把工作做好。对使用内部 IT 的人来说,环境就是笔记本电脑、登录、协作工具、访问流程和服务台。当这些缓慢或令人困惑时,有积极性的人会损失时间和善意,并发明变通办法。因此,度量这一环境是支持人的一种方式。它不是监视人的方式。

员工体验(employee experience)是员工在其任职期间与工作场所的所有互动的总和。由 IT 塑造的部分有时称为数字化员工体验,而数字化工作场所(digital workplace)是人们用来工作的技术的集合。本部分前面的主题涵盖了满意度调查(见主题 6.1,客户满意度度量)和体验级别协议(见主题 6.2,体验级别协议)。本主题把同样的关注转向内部,转向每天使用 IT 服务的同事,包括构建和运行这些服务的工程师和运维人员。

内部用户与外部客户在四个方面不同,这对度量很重要。

  • 他们无法离开。 员工没有可以转投的竞争对手,所以沉默不等于满意。它可能意味着认命,或某种变通办法。
  • 他们是可识别的。 在几百人的公司里,一小群调查回答就可能指向某个人。隐私设计放在第一位。
  • 他们同时也是同事。 糟糕的体验数据会伤害关系和士气,而良好的数据可以公开分享并一起采取行动。
  • 他们包括交付和运维团队。 开发人员和服务台人员所使用的工具是体验的一部分,其摩擦通过更慢的修复触及用户。

本主题贯穿两个主题。第一个是摩擦(friction):横亘在一个人与其工作之间的、可避免的努力、延迟和打断。打断和心智负担的代价,比它们的时钟时间所显示的更高。认知负荷(cognitive load),即工作记忆的负担,这一理念解释了为什么令人困惑的表单或意外的强制重启,代价超出它所花的几分钟;而心流(flow),一种全神贯注的状态,这一理念解释了为什么保护不被打断的时间对知识工作很重要。第二个主题是伦理:如何在不侵犯隐私的情况下了解体验。员工监控(employee monitoring)技术可以度量很多东西,而支持与监管之间的界线很容易越过。古德哈特定律的护栏在这里以人的形式适用:用来评判人的得分,教会他们隐藏自己的问题(见主题 1.2,古德哈特定律与度量的心理学)。

关键原则

  • 度量环境,而不是个人。 分析的单位是一项服务、一种设备类型或一个群体,绝不是个人。
  • 把摩擦视为敌人。 损失的时间、打断和困惑,都是要消除的成本。
  • 询问、观察、度量。 把人们所说的、系统所记录的,以及你观看工作进行时所看到的结合起来。
  • 把隐私作为设计要求。 收集能回答问题所需的最少数据,尽早汇总,并抑制小群体。
  • 包容每个人。 有无障碍需要的人、远程和轮班的员工,以及新入职者,往往遇到最糟糕的体验。
  • 保护专注。 围绕人们的工作来规划变更、更新和通知。
  • 说明你收集什么以及为什么。 透明建立诚实回答所依赖的信任。

度量定义

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏
第一天就绪率 在开始时间,设备、账户和访问均已完成并正常工作的新入职者占比 开始时所有约定项均正常工作的新入职者 / 期内的新入职者 百分比 入职请求、身份系统、新入职者确认 服务请求管理;服务目录管理 关于入职的团队工作协议 每月
到达有产出的时间 从开始日期到新入职者拥有第一项真正任务所需的一切之间经过的时间 从开始日期到新入职者及其经理确认的天数的中位数和第 85 百分位数 天 入职跟踪器;简短的确认问题 服务请求管理;持续改进 新团队成员做出第一次变更所需的时间 每月
变通办法普遍度 使用未经批准的工具或手工步骤来绕开官方服务的受调查员工占比 报告该服务存在变通办法的受访者 / 有效受访者 百分比 脉冲调查;对受批准工具的发现报告 服务级别管理;持续改进 在每日团队检查中提出的障碍 每季度
强制打断分钟数 人们被强制重启、更新和登录提示等计划中的 IT 动作打断的时间 由计划动作造成的打断总分钟数 / 群体中的活跃用户 每人每月分钟数 终端管理日志,按群体汇总 变更赋能;发布与部署管理 不被打断的工作时间 每月
无障碍请求解决时间 解决与无障碍需要相关的请求所需的时间 从请求到确认有效的解决方案之间小时数的中位数和第 85 百分位数 小时 带无障碍标签的请求系统 服务请求管理;事件管理 包容性的完成定义 每月
工具脉冲得分 就一个简短的约定问题,对某个具名工具或服务的评分 每个工具有效回复的平均评分或偏正面占比 量表点或百分比 轮换工具的脉冲调查 服务级别管理;持续改进 团队成员对其工具的反馈 每季度
隐私保障合规 符合抑制和汇总规则的体验报告占比 符合规则的报告 / 已发布的报告 百分比 对照隐私规则审查已发布的报告 信息安全管理;度量与报告 关于数据使用的工作协议 每季度

为每项测量值定义群体和时期。第一天就绪只有在约定清单上的每一项都正常工作时,才把新入职者算作就绪,该清单记录在度量登记册中。强制打断分钟数根据群体总数计算,所显示的最低层级是至少十人的群体。隐私保障合规适用于体验计划本身,这使它成为对其他六项的护栏。

建议

从人和他们的工作出发

1. 与同事一起走过一天。 与来自不同角色、地点和班次的几个人坐在一起,观看他们工作。记下每一次等待、每一种变通办法和每一个困惑的时刻。问他们最先会修复什么。观察能发现调查所错过的问题,因为人们会不再注意到自己已经学会忍受的摩擦。事先商定你将记录什么以及如何使用。

2. 描绘重要的时刻。 对员工来说,影响大的时刻通常是第一天、笔记本电脑故障、在团队之间调动、请求访问,以及离开组织。写下每一个时刻的步骤以及由谁负责。这张地图显示出团队之间延迟所隐藏的交接,这与后面一个部分中的协作测量值相联(见主题 9.3,协作与交接度量)。

3. 纳入处于边缘的人。 有无障碍需要的员工、轮班员工、远程和外勤员工,以及承包商,在平均值中往往是看不见的。在安全的情况下细分结果,并单独评审服务最差的群体。把无障碍视为一等公民的要求。网络无障碍(web accessibility)标准,比如《Web Content Accessibility Guidelines》,为内部工具提供了具体的检查清单,而在许多司法辖区,无障碍问题是法律和伦理问题。

谨慎地度量

4. 结合三类证据。 使用关于具名工具和时刻的简短脉冲问题、强制打断分钟数和入职完成之类的系统测量值,以及交谈。当两类证据不一致时,进行调查。正常运行时间极佳而脉冲得分很差的工具,告诉你正常运行时间所无法说明的东西(见主题 5.3,可用性度量)。

5. 问某个工具,而不是问 IT。 “在文件系统中找到一份文档有多容易?”比“IT 怎么样?”得到更好的答案。在脉冲中轮换工具,使没有人每季度被问超过一两次,并保持措辞稳定,使趋势有意义。

6. 统计人们损失的分钟数。 损失的时间比得分更容易理解。在可以的地方根据系统来估计,例如重启提示和登录失败,在无法估计的地方请人们给出一个大致的数字。按群体以每人每月来呈现,附方法,并且除非你同时说明假设,否则避免乘以薪水来得出一个引人注目的数字。

7. 最小化并汇总。 遵循数据最小化(data minimization)原则:只收集你需要的,只保留你需要的那么久,并尽早汇总。凡数据可能识别某人之处,假名化(pseudonymization)降低风险。像k-匿名(k-anonymity)这样的规则,要求每个被报告的群体至少包含 k 个人,提供了一种抑制小单元格的简单办法。在登记册中说明你的 k。

8. 与监视划清界线。 不要用体验数据、终端遥测或情绪来评估个人、检测谁“投入较少”,或为绩效评审提供输入。以书面形式说明,并让员工代表或职工委员会(凡存在之处)评审数据计划。在收集任何行为数据之前,检查当地法律并咨询隐私专家。信任一旦丧失,会使之后的每一次调查都更不诚实。

对所了解的采取行动

9. 先修复最大的摩擦,并说明这一点。 按损失的时间、人数,以及对受影响者的严重程度给问题排序,并为排名靠前的出资。告诉人们你修复了什么,以及你选择不修复什么,并给出理由。看得见的修复,是鼓励人们继续报告问题的最有力的办法。

10. 围绕工作来规划打断。 许多强制打断是可以避免的。在专注时间之外安排更新,在限度内提供推迟,并捆绑重启。把强制打断分钟数与安全目标并排评审,使权衡是明确的,因为有些更新必须迅速进行(见主题 4.3,变更赋能度量)。

11. 把变通办法视为设计反馈。 当人们使用未经批准的工具时,问它做得更好的地方是什么。答案是官方工具错过的一项需求。影子 IT(shadow IT)在安全和成本方面带有真实的风险,而惩罚性的回应会把它逼入地下。倾向于采纳好的想法,或解释风险并提供一个安全的替代方案。

12. 与计划所服务的人分享这个计划。 向员工展示结果,与代表举行简短的评审,并问下个季度要改变什么。该计划是 IT 与其用户之间持续协作的一种形式,而环境的持续改进是其成果。把它与下一个部分中的人员测量值相联(见主题 9.2,满意度与福祉度量)。

钻空子途径与护栏

度量 如何被钻空子 配对的护栏度量或实践
第一天就绪率 缩短约定清单;在项实际可用之前就标为就绪;推迟官方开始日期 登记册中的书面清单;新入职者确认;到达有产出的时间
到达有产出的时间 把时钟的开始标记得更晚;过早关闭入职记录 登记册中的时钟定义;经理和新入职者双方确认
变通办法普遍度 通过暗示后果而使人们不敢诚实回答;只询问满意的群体 匿名声明;回复率和受访者构成;隐私保障合规
强制打断分钟数 只统计某些类型的打断;把打断转移到未被度量的群体 定义所有计划中的打断类型;按群体报告,包括远程和轮班员工
无障碍请求解决时间 以部分修复关闭请求;把请求标记为别的东西以避开时钟 请求者确认解决方案有效;评审未打标签的请求
工具脉冲得分 只调查满意的用户;更改问题;训练员工回答得好 稳定措辞的日志;回复率和构成;阅读评论
隐私保障合规 在没有独立评审的情况下报告合规;放宽群体以隐藏问题 由团队之外的人定期评审;公布规则(k 值和抑制)

健康的读数是:新入职者在第一天就能工作,强制打断的计数在下降,变通办法带来更好的官方工具,以及员工说他们信任这个计划,因为他们看到了它如何对待他们的回答。

权衡:利与弊

方法 优势 劣势
脉冲调查 直接的声音、廉价、易于重复 调查疲劳;回复偏差
系统遥测 客观、持续、没有调查负担 隐私风险;显示事件而不是感受
观察和访谈 发现隐藏的摩擦;建立关系 耗时;样本小
细粒度数据 诊断精确 识别到人;侵蚀信任
带抑制的汇总数据 可以放心分享并据此行动 细节较少;隐藏可能在挣扎的小群体
对设备的严格控制 安全与合规 更多强制打断;更多变通办法

答案是在群体层面使用三类证据,只在诊断需要的期间内保留细节,并把安全和体验视为需要公开讨论的权衡。目标是一个有积极性的人能以很少的力气得到所需要的东西的工作场所。

与团队讨论的问题

1. 对新同事来说,第一天是什么样子?我们如何知道? 请团队追踪从录用通知到第一项真正任务的路径。谁做什么,又在哪里等待?请一位近期入职的人参加交谈。引导者应当聚焦于让这个人等待或尴尬的时刻,并商定一项能改善下一位入职者那一天的变更。

2. 人们使用了哪些我们不希望他们使用的变通办法?它告诉我们什么? 列出团队见过的非官方工具和手工步骤。对每一个,问它满足了什么需要。这场交流常常发现官方服务所错过的一项需求。决定采纳哪些变通办法、以更好的官方选项取代哪些,以及附解释地禁止哪些。

3. 我们自己的动作每个月占用同事多少分钟? 估算一个典型的人的强制重启、更新和提示。与用户会说的相比较。引导者可以问,如果公布这个数字,会有什么改变。商定本季度减少或重新安排一项打断。

4. 我们可以收集哪些关于同事的数据?我们应当承诺永不用它做什么? 列出两份清单:技术上可能的,以及团队实际将收集的。起草一份简短的目的与限度声明。请一位员工代表作出反应。讨论显示反监视的界线在哪里,以及如何解释它。

5. 谁在使用我们的工具时最挣扎?他们在我们的数据里吗? 想想无障碍需要、轮班员工、远程员工和新来的人。检查调查和日志是否触达他们,以及小群体规则是否把他们隐藏起来。商定一种直接倾听服务最差群体的办法。

6. 上个季度我们因同事告诉我们的话而修复了什么?他们听说了吗? 列出修复及其如何被宣布。如果清单很短,讨论是什么阻碍了行动:归属、资金还是恐惧。商定在下一次调查之前交付一项看得见的修复,并附一条解释它的信息。

四种视角

产品与交付团队

交付团队既是内部工具的用户,也是其构建者。他们自己的摩擦,比如缓慢的构建、不稳定的环境和访问延迟,拖慢他们交付的一切,本主题中的测量值同样适用于他们。他们应当把内部工具纳入产品待办事项列表(backlog),指定负责人和用户,并作为同事参加脉冲和评审(见主题 9.1,团队健康与开发者体验)。

服务与运维团队

运维和服务台塑造了体验的大部分,他们自己也是有自己的工具和工作负荷的员工。他们应当带着对用户专注的关心来发送变更,保持无障碍渠道的响应,并把变通办法用作反馈。他们还应当保护自己的同事,免于被体验数据排名。支持人员也是有积极性的个人。

领导层与治理

领导者设定度量的文化。他们应当索要摩擦的消除,而不是得分的提高,并为修复出资。他们应当以书面形式保护隐私承诺,抵制对个人使用这些数据的要求,并接受安全控制有需要权衡的体验成本。治理应当期望任何体验报告都附带隐私规则及其评审。

客户与用户

使用内部 IT 的人是体验的作者。他们应得到一个有效的第一天、尊重其专注的工具、对关于他们收集了什么的诚实说明、可能时选择退出的办法,以及表明发声会带来变化的证据。有无障碍需要的同事,应当被问到如何使服务对他们有效,而不是被当作特例。

实践:一个服务管理示例

一所大学的中央 IT 部门支持着 6,000 名员工,并运行着服务台、平台团队和几个产品团队。下面的数字均为示意。

一位新的 IT 负责人想知道,为什么在服务台的解决时间都在目标之内时,员工对入职的抱怨依然存在。她请服务经理与员工委员会一起,为新入职者和主要的协作工具试行一个体验计划。委员会的条件是一份书面承诺,即不会使用任何关于个人的数据,并且同意评审该计划。

团队用入职跟踪器,以及来自入职者及其经理的一个问题的确认,度量上个季度 140 名新入职者的第一天就绪和到达有产出的时间。只有 46% 的新入职者在第一天所有约定项都能正常工作,到达有产出的时间中位数是 4 天,第 85 百分位数是 9 天。来自访谈的原因是,三个独立的请求各自在等待不同的团队,以及一个在周五很晚才完成的笔记本电脑镜像步骤。对协作工具的一次简短脉冲,发给轮换的十分之一员工,最小群体规模为 10,显示在晚上和周末工作的员工评分较低。按楼宇和班次汇总的终端日志显示,强制重启和更新提示平均每月 38 分钟,在上夜班的员工中尾部很长,他们在工作时间内重启,因为他们的设备在别人睡觉时更新。

团队作出三项变更。一个入职请求取代了三个,并有指名的负责人。镜像步骤移到工作日窗口。更新调度增加了一个与用户工作时间相联的推迟窗口。他们在度量登记册中公布隐私规则:最小群体规模为 10,任何报告中都没有个人数据,原始日志有六个月的保留期限。三个月后,第一天就绪率升至 81%,到达有产出的时间的第 85 百分位数降至 5 天,夜班员工的强制打断分钟数下降了大约一半。一位经理要求 IT 负责人报告哪些部门抱怨最多,以便点名团队进行跟进。她拒绝给部门排名,并提出分享群体层面的模式并修复原因。该决定被记录在决定日志中,委员会要求把该计划扩展到第二个工具。

敏捷、AI、自动化与分析

敏捷

本着持续改进的精神,分小步修复摩擦,并向人们展示变了什么。需要注意的是,反复调查人们却没有可见的行动,会破坏信任。

AI

AI 助手改变了员工的日常工作,所以要度量由 AI 辅助的任务的摩擦和损失的时间,并把使用与用户报告的收益配对。需要注意的是,关于个人的 AI 使用数据可能被滥用来评判绩效,所以要保持汇总并受到治理。

自动化

在清晰的隐私限制下自动收集设备和应用的健康状况,并就覆盖和已修复的问题数来度量收集本身。需要注意的是,技术遥测可能错过工作的感受,所以要把它与简短的调查结合起来。

分析

连同计数报告就绪和到达有产出的时间,绝不按人。这为之提供依据的决定是在哪里消除障碍。需要注意的是,小团队产生可识别的数据,所以在报告之前设定最小群体规模。

行业视角

初创公司。 每个人都和每个人交谈,所以观察和交谈会发现大部分摩擦。让第一天的体验出色,因为它设定了基调,并让遥测保持最少。尽早写下隐私承诺,即使团队很小。

小型企业。 一位管理员可能同时负责入职和支持。使用简单的检查清单,并问每位新入职者缺了什么。对小群体数据要小心:只有十几名员工时,几乎任何拆分都能识别出某个人,所以要依靠交谈。

大型企业。 庞大而多样的环境使细分既有用又有风险。按角色族、站点类型和设备类别而不是按团队细分,应用最小群体规模,并让员工代表参与。从一开始就使该计划与安全、法律和隐私职能对齐。

政府与公共部门。 关于无障碍、平等和隐私的职责往往是法定的,职工委员会或工会可能有正式的角色。把无障碍测试和咨询视为该计划的必要部分,公布隐私规则,并避免收集并非明确需要的数据。凡员工数据受监管之处,让数据保护官参与(见主题 8.5,受监管与政府报告)。

业务论证:动因、投资回报与总拥有成本

成本不高。脉冲调查和观察需要人们的时间和调查工具。终端数据通常来自已经部署的工具,不过分析和隐私评审需要工作量。最大的成本是修复所发现问题的意愿,这可能意味着跨团队更改入职流程、设备政策和更新做法。

回报来自挽回的时间、新入职者更快上手、由可避免的摩擦引起的支持联系更少,以及更少的影子 IT。你可以依据自己的数字构建论证:每人的强制打断分钟数、新入职者到达有产出的天数,以及被某项修复消除的问题所引起的支持联系。对从薪水和分钟数得出的单一生产力数字要谨慎,因为它建立在关于挽回的一分钟值多少的假设之上。账本的另一边还有风险成本:收集过多关于员工的数据,会造成法律风险并损害信任。把它纳入总拥有成本。

反模式与陷阱

  • 用体验数据评判个人。 它把支持计划变成监视,并终结诚实的反馈。汇总、抑制小群体,并说明这一点。
  • 只度量平均值。 体验最差的人被隐藏起来。查看尾部和服务最差的群体。
  • 因为可能就收集一切。 更多的数据带来更多的风险。收集能回答问题的数据。
  • 无休止地调查。 人们会停止回答。轮换工具并保持简短。
  • 惩罚变通办法。 人们会隐藏它们,而根本的需要得不到满足。从中学习。
  • 把安全和体验放在不同的房间里。 有些控制值得其成本,许多则不然。用数字讨论权衡。
  • 把第一天当作别人的问题。 入职横跨人力资源、IT 和经理。给它一个负责人。
  • 直到有投诉才关注无障碍。 从一开始就与受影响的人一起构建和测试。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
理解摩擦 只有投诉 偶尔的访谈或一次调查 对关键工具和时刻定期观察和脉冲 结合调查、系统和交谈的证据,安全地细分 与人力资源、设施和供应商的联合视图;员工共同拥有优先级
隐私与伦理 没有说明的规则 非正式的关注 书面的目的、最小化和群体规模规则 独立评审规则;度量合规 规则与员工代表共同设计,并在供应商之间审计
行动 按投诉修复 临时修复 排名靠前的摩擦带负责人进入待办事项列表 为修复出资、跟踪并宣布;围绕工作规划打断 体验改进被纳入跨团队和供应商的规划

检查清单

  • 关键时刻(第一天、设备故障、访问请求、调动、离职)已绘制并有负责人。
  • 以书面清单和时钟度量第一天就绪和到达有产出的时间。
  • 一份简短的脉冲按轮换涵盖具名工具。
  • 按群体度量强制打断分钟数,并与安全一起评审。
  • 无障碍请求被打标签、被跟踪,并由请求者确认。
  • 报告使用最小群体规模,绝不显示个人。
  • 存在并分享关于体验数据的书面目的与限度声明。
  • 凡存在员工代表机构之处,其已评审了数据计划。
  • 变通办法被收集并作为反馈评审。
  • 每季度与员工分享结果和修复。

AI 提示词

描绘一个重要的时刻。

我们想改进 [组织类型] 中的 [时刻,例如新入职者的第一天]。目前的步骤是:[列出步骤和各自的负责人]。请绘制一张显示交接和等待的文字地图,建议摩擦可能出现在哪里,并为每个主要步骤提出一项来自人们所说、一项来自系统记录、一项来自观察的测量值。不要虚构数字。请列出你的假设,以及我应当问员工的问题。

为体验计划起草隐私声明。

请为 [司法辖区] 的 [组织类型] 中的一项体验计划,起草一份给员工的一页纸通俗声明。我们收集:[列出数据]。我们的目的是 [目的]。包括我们不会做什么(例如使用关于个人的数据)、最小群体规模 [数字]、保留期限 [期限]、谁可以看到原始数据,以及员工如何提出顾虑。标出我应当与隐私专家或员工代表一起评审的任何事项。不要给出法律结论。请列出你的假设。

分析关于某个工具的脉冲评论。

这是 [期间] 关于 [工具] 的 [数量] 条匿名评论:[粘贴已去除个人数据的评论]。请把它们归入摩擦的主题,为每个主题计数,为每个主题给出两条有代表性的引文,并建议哪些主题可能指向可修复的原因,哪些指向培训需要。不要识别个人,也不要推断动机。请列出你的假设,以及人在采取行动之前应当检查什么。

规划减少打断。

我们的终端平均每人每月收到 [数量] 次计划中的打断:[列出类型和频率]。安全要求:[清单]。请提出一种方案,在满足要求的同时减少对专注时间的打断(例如推迟窗口、捆绑、按工作时间安排),并描述如何在不跟踪个人的情况下度量它是否有效。请列出你的假设,以及我应当与安全团队讨论的权衡。

AI 技能

要点

  • 目标是给有积极性的人所需要的环境和支持,所以要度量摩擦并消除它。
  • 结合脉冲问题、系统测量值和观察,并关注处于边缘的群体。
  • 统计 IT 自己的动作所造成的损失分钟数和打断,并围绕人们的专注来规划。
  • 把隐私作为设计规则:最小化、汇总、抑制小群体,绝不评判个人。
  • 把变通办法视为反馈,并告诉员工你修复了什么。
  • 从一开始就纳入无障碍,并与该计划所服务的人一起评审它。

参考文献与延伸阅读

  1. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  2. Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
  3. Noda, A., Storey, M.-A., Forsgren, N., and Greiler, M., "DevEx: What Actually Drives Productivity," ACM Queue, 21(2), 2023.
  4. Csikszentmihalyi, M., Flow: The Psychology of Optimal Experience, Harper & Row, 1990.
  5. Sweller, J., "Cognitive load during problem solving: Effects on learning," Cognitive Science, 12(2), 1988.
  6. World Wide Web Consortium, Web Content Accessibility Guidelines (WCAG) 2.2, 2023, https://www.w3.org/TR/WCAG22/.
  7. Sweeney, L., "k-anonymity: a model for protecting privacy," International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems, 10(5), 2002.
  8. Wikipedia, Employee experience management.
  9. Wikipedia, Digital workplace.
  10. Wikipedia, Cognitive load.
  11. Wikipedia, Flow (psychology).
  12. Wikipedia, Employee monitoring.
  13. Wikipedia, Goodhart's law.
  14. Wikipedia, Web accessibility.
  15. Wikipedia, Data minimization.
  16. Wikipedia, Pseudonymization.
  17. Wikipedia, K-anonymity.
  18. Wikipedia, Shadow IT.