概述与动因

仪表盘(dashboard)是对实现一个或多个目标所需最重要信息的可视化展示,其排列使之可以一目了然地被监控。在实践中,服务组织里的大多数仪表盘达不到这个定义。它们起初是回答一个真实问题的办法,然后通过累加而增长,直到展示工具能画出的一切。没人拥有它们,没人确定数字是什么意思,墙上的屏幕也被忽视。

服务度量仪表盘的目的,是帮助人们作决定并开启良好的交谈。团队用它注意到自己的工作比以前等待得更久,并问为什么。服务负责人用它看出某项服务接近其可靠性目标的边缘。领导者用它看出对某个领域的投资是否产生了所希望的成果。不做这些事的展示是装饰,而装饰的构建要花钱,忽视它要花注意力。

ITIL 把这框定为信息和沟通的问题:在正确的时间,以他们能使用的形式,把正确的信息给正确的人。敏捷的目标指向同样的设计原则。持续的干系人参与意味着受众帮助设计视图,并随着问题的变化继续帮助。持续改进意味着仪表盘本身被评审和精简。持续演进意味着测量值的集合在服务和目标变化时随之变化。可持续的节奏意味着仪表盘不会产生每天检查只按月变化的数字的强迫。而支持有积极性的个人的同样的信任,意味着团队首先看到自己的数据,并拥有它所讲述的故事。

三种设计上的失败很常见。第一种是数字墙,一百个磁贴相互竞争,却没有一个突出。第二种是只有目标的展示,其中数字对照目标以红色或绿色显示,没有趋势也没有背景,这招致按颜色管理,而不是按理解管理。第三种是无人拥有的展示,其中定义已经漂移,数据已经陈旧,没人知道该问谁。设计的工作是避免这些。

良好的视觉设计会有帮助。数据可视化(data visualization)是以图形展示数据,使模式可以被看到和理解的实践。迷你图(sparkline)是小小的、字大小的折线图,不带坐标轴或标签地显示趋势,它很适合仪表盘,因为它把历史放在当前值旁边。运行图(run chart)把测量值随时间画出,附中位数线,而控制图(control chart)添加把普通变异与值得调查的信号区分开的界限(见主题 1.6,服务度量的统计素养)。图表垃圾(chartjunk)是不增加信息的装饰,比如粗重的网格线、三维的柱子和装饰性的仪表,值得移除。

虚荣度量(vanity metric)是看起来不错、却不帮助任何人作任何决定的数字,比如处理的工单数或不附成果展示的门户登录次数。来自古德哈特定律(Goodhart's law)的护栏适用于整个展示:当屏幕上的数字变成目标,人们就会管理数字(见主题 1.2,古德哈特定律与度量心理学)。

本主题借鉴度量框架(见主题 1.7,度量框架)以及第 1 部分中的数据和治理主题。

关键原则

  • 从问题开始,而不是从数据开始。 在选择任何一张图表之前,先写下受众的决定和问题。
  • 展示少量而平衡的测量值。 跨越流动、质量、可靠性、体验和成本的一小组,比单一测量值更能抵抗钻空子。
  • 始终展示趋势和背景。 没有历史、基线,也没有关于什么变了的说明的值,难以解释。
  • 尊重变异。 不要对每次小波动作出反应。用运行图或控制图把信号与噪声分开。
  • 给每类受众自己的视图。 团队、服务负责人和领导层问不同的问题,需要不同的细节。
  • 团队首先看到自己的数据。 做这项工作的人应当在任何其他人之前看到他们的数字,并拥有解释权。
  • 定义一切并指名负责人。 每项测量值都有书面定义、数据来源,以及可以询问的人。
  • 使其易于维护。 每月需要一周手工工作的仪表盘会死去。

度量定义

下面的测量值是关于仪表盘本身的,而不是关于某项服务的。它们帮助计划团队看出自己的展示是否健康。其中一些是描述性的,并已标明,因为把它们当作目标,会招致本主题所警告的扭曲。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏
问题覆盖 仪表盘能以已定义的测量值回答的、所列出的受众问题占比 有测量值和定义的问题 / 受众所列出的问题 百分比 来自干系人会议的问题清单;度量卡 持续改进;服务级别管理 持续的干系人参与 每季度
定义完整性 有现行的书面定义、数据来源、负责人和已知局限的所展示测量值占比 四项都有的测量值 / 所展示的测量值 百分比 度量卡或目录 信息与技术管理;知识管理 共同的理解;可见的工作 每季度
数据新鲜度 在其预期间隔内更新的所展示测量值占比 按时更新的测量值 / 所展示的测量值 百分比 流水线日志;仪表盘元数据 监控与事态管理 快速反馈 每周
与决定的联系 最近的评审引向被记录的决定、行动或有意不作为的所评审测量值占比 期内有相联决定的测量值 / 所评审的测量值 百分比 评审笔记;改进登记册 持续改进 定期的反思 每季度
展示规模 每类受众视图上的测量值数量 每个视图的计数 测量值 仪表盘配置 持续改进 简洁 每季度
淘汰率 因不再为决定提供依据而在期内被移除或替换的测量值 淘汰的测量值 / 期初所展示的测量值 百分比 仪表盘的变更日志 持续改进 持续演进 每年
受众触达(描述性) 在期内打开了自己视图的目标团队或角色占比 查看过的不同团队或角色 / 目标团队或角色 百分比 仪表盘访问日志,聚合到团队或角色 信息与技术管理 持续的干系人参与 每季度

以书面形式定义每个视图的受众。按视图而不是按工具统计测量值,使拥有小首页的大目录不会被误认为蔓延。访问日志在团队或角色层面收集和报告,绝不用来跟踪个人的阅读习惯。受众触达是描述性的,并与决定的联系一起阅读,因为被大量查看却不改变任何决定的展示价值很小。与决定的联系接受“我们看过了,并选择什么也不做”作为被记录的决定,使这项测量值不会促使人们虚构行动。

建议

从受众开始

1. 列出受众及其问题。 典型的受众是做这项工作的交付或支持团队、对一项服务负责的服务负责人,以及出资和指导的领导者。与每一方坐上一个小时,写下他们问什么、作什么决定,以及希望知道什么。好的问题听起来像“我们的工作等待得比以前更久吗?”或“我们接近用完错误预算了吗?”。它听起来不像“给我看事件仪表盘。”

2. 把每个问题映射到一项测量值和一项配对的测量值。 对每个问题,从本书前面的部分选择单一最佳的测量值,以及一项防范明显扭曲的配对测量值。速度测量值与质量测量值配对。数量测量值与成果配对。体验测量值与行为测量值配对。这是贯穿全书的配对逻辑(见主题 1.3,结果重于产出:选择度量什么)。

3. 把受众纳入设计。 在构建任何东西之前先展示草图。问什么令人困惑、缺少什么,以及他们会对每个数字做什么。他们的回答会削减集合,而他们会信任自己帮助制作的东西。

选择一小组平衡的集合

4. 每个视图只保留少数几项测量值。 每类受众视图约五到九项测量值是可行的范围,尽管合适的数字取决于问题。这个限制迫使人作出选择。把细节放在点击之后的支持视图中,让首页只保留判断是否要进一步查看所需的东西。

5. 在各个维度之间平衡集合。 平衡计分卡(balanced scorecard)是一种战略管理工具,它从几个视角而不只是财务结果来看一个组织。这一理念很好地迁移过来:对一项服务,平衡流动与速度、质量与稳定、可靠性、体验和成本。只包含速度的集合鼓励走捷径,只包含质量的集合鼓励拖延。当选择指标是为了它揭示了关于某个目标的什么,而不是为了它展示起来有多容易时,相关的关键绩效指标(key performance indicator)的理念是有用的。

6. 区分指示器与诊断。 少数几个头条指示器告诉你事情是否健康。诊断测量值在不健康时帮助你找出原因。把诊断放在下一层,使首页不会变成一面墙。

展示背景和趋势

7. 随每个值展示历史。 在每个当前值旁边放一条迷你图或小的运行图。至少展示足够的历史,以看出季节性的模式,比如月度的峰值或季度的周期。标出解释变化的事件:一次发布、一项政策变化、一次中断、一次团队重组。线旁的一条说明,省去一百个问题。

8. 对时间测量值使用分布和范围。 均值隐藏了用户所感受到的长尾。展示中位数和高百分位数,比如第 85 或第 95 百分位数,并展示分散程度。当样本很小时说明样本量,并展示小样本有多不确定(见主题 1.6,服务度量的统计素养,以及主题 2.2,前置时间、周期时间与流动效率)。

9. 对目标和颜色要小心。 当目标有真实的依据时,比如服务级别目标,使用目标线,并把它作为参照而不是裁决来展示。避免因一个数据点而翻转的红、黄、绿磁贴。如果你使用状态颜色,就以考虑正常变异的规则为依据,并在页面上解释该规则。

使其可信且可维护

10. 给每项测量值附上定义和数据说明。 从每个数字点击一下,应当引向它的定义、公式、数据来源、负责人、刷新时间和已知的缺口。一条简短的“如何阅读”的说明,值得占这点空间。能看到局限的读者,不太可能误用数字,而能看到它们的团队,可以质疑它们(见主题 1.4,度量治理与归属,以及主题 1.5,数据来源与埋点)。

11. 自动化数据并拥有展示。 按计划从记录系统拉取数据,并展示最近一次更新的时间。手工的电子表格可以开启交谈,但它们很脆弱。为每个仪表盘指名一位负责人,由其负责它的定义、新鲜度和淘汰。按固定的节奏与其受众一起评审仪表盘,并精简它。

12. 从一开始就规划退出。 每项测量值都应当有说明其存在的理由,以及将被淘汰的条件,比如“当已知错误的待办事项列表连续三个月低于某个阈值时”或“当团队在其评审中不再使用它时”。淘汰测量值使集合保持小,并表明计划服务于工作。

钻空子途径与护栏

度量 如何被钻空子 配对的护栏度量或实践
问题覆盖 写下现有测量值已经回答的狭窄问题;把难的问题排除在外 纳入计划团队之外的干系人;明确评审未回答的问题
定义完整性 用套话填写字段;没人读的定义 请团队之外的人抽样检查定义是否清晰;检查定义是否与实际计算相符
数据新鲜度 用未变化的数据刷新陈旧的来源;在来源的数据馈送失败时把刷新算作成功 除刷新时间外还检查来源的时间戳;与记录数和预期数量比较
与决定的联系 事后记录决定以填满字段;为避免空白而虚构行动 接受“选择什么也不做”作为被记录的决定;抽样检查链接背后是否有真实的事先讨论
展示规模 把测量值藏在次要的标签页上;把一个视图拆分成许多 跨所有标签页按受众统计测量值;问受众实际用了多少个数字
淘汰率 淘汰显示糟糕结果的不便之处的测量值 在已淘汰清单中评审趋势不利的测量值;要求说明理由
受众触达(描述性) 为提高计数而打开页面;在会议上强制查看 保持描述性;与决定的联系一起阅读;不报告个人的查看

健康的读数显示:受众能够解释的简短首页、与计算相符的定义、按时到达的数据、有时引向行动、有时引向有意等待的评审,以及一份包含一些曾经受欢迎的测量值的淘汰清单。

权衡:利与弊

方法 优势 劣势
一个面向所有人的企业仪表盘 单一的事实来源;定义一致 对任何受众都太笼统;增长成一面墙
在共享数据上为每类受众设单独视图 契合每类受众;定义一致 需要对共享定义的治理
团队自建的仪表盘 契合本地问题;归属感强 定义漂移;难以汇总
由中央团队构建所有仪表盘 一致;设计技能 缓慢;可能不契合团队的问题
实时的展示 为运维提供快速的信号 鼓励对噪声作出反应;昂贵
定期的评审材料包 平静,附背景讨论 延迟;可能被跳过
目标和状态颜色 快速浏览 招致按颜色管理;隐藏变异
仅趋势和分布 对变异诚实 新人较难浏览

结论是在整个组织内共享定义,让每类受众有自己的小视图,只在运维响应需要之处使用实时展示,并为改进决定使用平静的定期评审。

与团队讨论的问题

1. 在过去一个季度里,我们作出过哪些由屏幕上的数字提供依据的决定? 把它们列出来。对每一项,指出数字及其来源。注意我们当前屏幕上的哪些数字从未出现在这份清单中。引导者应当问它们是否对得起自己的位置。

2. 如果我们只能向自己的团队展示五个数字,会是哪五个? 让每个人私下写一份清单,然后比较。讨论差异,以及每个数字会帮助某人决定什么。商定一组试用的集合和评审它的日期。

3. 我们仪表盘上的哪个数字最想移除?为什么? 倾听引起争论、误导或从未被阅读的数字。检查问题出在测量值还是它的呈现。商定对每一项是淘汰、重新定义还是保留。

4. 新同事在没有帮助的情况下会如何阅读我们的仪表盘? 请新人解释他们看到了什么。注意他们误读了什么以及为什么。在他们绊倒之处添加定义、背景或说明。

5. 我们工作中有什么变化是数字所没有显示的? 发布、人员配置、政策或客户的变化,可以解释一种趋势。商定如何在展示上记录事件,使下一位读者拥有这个故事。

6. 除了我们之外,还有谁看我们的数据?他们拿它做什么? 追踪我们的数字到其他受众的路径。检查他们对数字的解释是否是我们会认可的。商定我们将分享什么,以及随之附上什么背景。

四种视角

产品与交付团队

团队做这项工作,应当是自己数据的第一批受众。他们应当帮助选择测量值,用展示来引发自己的评审交谈,并用事件对它加注。团队视图应当回答“我们做得如何,应当尝试什么?”,而不是“我们与隔壁的团队相比如何?”

服务与运维团队

服务负责人对一项服务随时间的表现负责。他们的视图把一项服务的可靠性、事件、变更、成本和体验汇集在一起,附趋势和改进行动的状态。他们应当用它来决定在哪里投资,并为与客户和领导者的交谈做准备。

领导层与治理

领导者需要一份关于跨服务的成果和风险的简短视图,附足以解释它的背景。他们应当索要趋势和分布,而不是排名,抵制在不淘汰其他测量值的情况下索要新测量值,并用展示把问题指向系统和决定,而不是个人。

客户与用户

客户和用户通过状态页面、报告以及反映其视角的体验测量值来看到服务信息(见主题 6.2,体验级别协议)。他们的视图应当诚实、平实,并与团队看到的一致。他们应当能够告诉组织,数字没有显示什么。

实践:一个服务管理示例

一家有托管产品和客户支持小组的软件公司,累积了三个仪表盘:一块有 62 个磁贴的运维屏幕、一份每周通过电子邮件发送的支持报告,以及一位分析师维护的交付页面。领导团队要求一个单一的仪表盘来“看到一切”。下面的数字均为示意。

服务管理主管提议从问题开始。她与三类受众各开了一个小时的会:支持团队、平台团队和领导小组。支持团队问,客户等待第一次有用回复的时间是否比以前更久,以及同样的问题是否会回来。平台团队问,它是否接近用完错误预算,以及它的变更流程是在拖慢它还是在保护它。领导层问,客户是否得到了价值,以及对新自助门户的投资是否有回报。他们一起列出了 14 个问题。现有的仪表盘可以用已定义的测量值回答其中六个,所以问题覆盖为 43%。

小组在共享的定义上设计了三个视图,每个不超过七项测量值。支持视图显示获得有用的首次回复时间的中位数和第 85 百分位数、在七天内再次联系的占比、附样本量的满意度趋势,以及与再次联系配对的自助解决。平台视图显示对照目标的可用性并附错误预算燃耗线、变更前置时间并附变更失败率,以及花在计划外工作上的时间占比。领导视图显示服务级别的成果、客户体验、每位活跃客户的成本,以及三项已获出资的改进行动的状态。每个值都有迷你图、指向其定义卡的链接,以及事件的说明栏。颜色只出现在错误预算上,依据页面上解释的规则。

第一次评审带来了意外。支持团队注意到,它的回复时间中位数改善了,而第 85 百分位数却恶化了,因为简单的联系被很快回复,困难的却被留在等待中。它决定查看自己的分诊规则,并记录了这项决定。平台团队看到,最近变更前置时间的增加与新的批准步骤同时出现,于是把问题带给了变更小组。领导层注意到门户的使用在上升,而再次联系持平,于是问支持团队,门户未能回答什么。两个季度之后,问题覆盖为 79%,所有展示的测量值都有完整的定义,旧的 62 个磁贴的屏幕已被淘汰。有三项测量值因无人使用而被舍弃,有一项被添加。一位总监要求一行绿、黄、红的摘要。服务管理主管展示了一次试验,其中单独一周的糟糕就使该行变红,并引起了一阵没有原因的追问。他们商定以每月一份关于什么变了的简短书面说明取而代之,并记录了这项决定。

敏捷、AI、自动化与分析

敏捷

与用户一起构建仪表盘,并以小步改进,在每次定期评审时问它回答了哪个问题、改变了哪项决定。需要注意的是,为发布而一次性构建的仪表盘,会随着问题的变化而变得陈旧。

AI

仪表盘现在常常包括 AI 辅助的工作、由 AI 撰写的摘要,以及 AI 生成的洞见。把与 AI 相关的测量值连同质量配对一起展示,标注任何由 AI 撰写的文字,并在它到达决策者之前由人检查。需要注意的是,图表旁边流畅的 AI 摘要,可能比数据所应得的分量更重,所以要先展示数据。

自动化

自动刷新数据,并在仪表盘本身上展示新鲜度和任何失败的加载。就其自身的失败来度量仪表盘的流水线。需要注意的是,自动化的仪表盘在加载失败时会继续显示最后一次良好的数据,所以要使陈旧可见。

分析

把每个数字连同其趋势、背后的计数,以及关于它无法显示什么的说明一起展示。这为之提供依据的决定是受众将对哪个问题采取行动。需要注意的是,颜色和阈值暗示着目标,所以在没有目标之处避免红色和绿色。

行业视角

初创公司。 保持非常小:单独一页,大概五个数字,全公司都能读懂,反映交付的速度、稳定、客户体验和成本。使用现有工具所提供的一切。每当产品或客户变化时就重新审视这一页,并抵制在问题清晰之前构建数据平台。

小型企业。 每月更新的共享文档或简单的电子表格图表,可能就足够了。挑选所有者和员工实际使用的少数几项测量值,写下每项的含义,并在定期会议上讨论。风险不是工具太少。风险是没人信任或据以行动的测量值。

大型企业。 规模需要共享的定义、受治理的测量值目录,以及面向团队、服务、组合和高管的分层视图。把一切汇总成一个数字的诱惑很强,也有害。让团队视图由团队拥有,公布通用的定义,并要求领导视图上的任何新测量值说明目的(见主题 1.4,度量治理与归属)。

政府与公共部门。 报告义务和公共问责往往规定了某些测量值。让强制要求的测量值保持可见,并与团队用来改进的测量值清楚分开,并向公众和监督机构解释这些数字能显示什么、不能显示什么。对于与组织之外共享的任何展示,平实的语言和无障碍都很重要(见主题 8.5,受监管与政府报告)。

业务论证:动因、投资回报与总拥有成本

仪表盘计划的成本,包括访谈受众、设计和构建、连接并清洗数据、编写定义、培训和支持用户,以及随时间维护展示的时间。最大的隐藏成本,是阅读无益数字的人的时间,以及花在争论谁的数字正确的会议上的时间。廉价、快速的构建很常见,而真正的成本在之后以维护和不信任的形式到来。

回报包括更快地识别趋势、更少关于定义的争论、更有针对性的改进工作,以及当一个受治理的来源取代几份手工报告时减少的报告工作量。依据你自己的数据建立论证:手工报告在之前和之后花费的小时数、同一数字相互竞争的版本数,以及由展示提供依据的决定。避免在没有可追溯来源、与你的背景也不相关的情况下,引用关于分析价值的已发表数字。可信的声称是适度的:更少、更好的测量值,被信任并被使用(见主题 7.7,投资回报与业务论证)。

反模式与陷阱

  • 磁贴墙。 每个数字都在争夺注意力。每类受众削减到少数几个,并把细节放在下一层。
  • 按颜色管理。 状态颜色因噪声而翻转,并驱动反应。展示趋势,并使用尊重变异的规则。
  • 没有定义。 两个团队对同一个标签读法不同。给每项测量值附上定义和负责人。
  • 作为监视的仪表盘。 个人层面的视图侵蚀信任并扭曲数据。展示团队、服务和系统。
  • 用单一数字概括一切。 它隐藏了它本意要揭示的权衡。展示平衡的少数几项。
  • 构建一次,从不评审。 展示变得陈旧。按节奏与受众一起评审并淘汰测量值。
  • 虚荣的展示。 大量的活动计数,却没有成果。把每项数量与成果测量值配对。
  • 没人要求的报告。 依据可得的数据而不是所提的问题构建。从问题开始。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
受众与问题 依据可得的数据构建 一些团队问他们需要什么 写下受众和问题;为每类受众设小视图 评审并依据问题覆盖和与决定的联系采取行动 受众共同设计视图,包括客户和供应商,问题随服务一起演进
设计与背景 许多磁贴,没有历史 一些趋势和定义 每个视图有少量测量值,每项测量值都有趋势、分布和定义 考虑变异的展示;每个头条都有配对的测量值 视图适应变化的目标;共享的模式在团队之间复用
数据与维护 手工、陈旧、无人拥有 一些自动化;非正式的负责人 自动化的馈送、指名的负责人、展示新鲜度 管理新鲜度和定义完整性;淘汰成为例行 附共享定义的联合所有权;由用户驱动淘汰和改进

检查清单

  • 写下每类受众的问题,每个视图都映射到它们。
  • 每个视图的测量值不超过约九项,细节放在下一层。
  • 该集合在流动、质量、可靠性、体验和成本之间保持平衡。
  • 每个值都展示趋势和背景,时间测量值展示高百分位数。
  • 每项测量值的定义、来源、负责人和刷新时间都只需点击一下。
  • 目标作为参照展示,状态颜色遵循所述规则。
  • 团队首先看到自己的数据,并拥有解释权。
  • 没有视图对个人排名或跟踪。
  • 仪表盘有指名的负责人、评审节奏和淘汰测量值的规则。
  • 数据自动拉取,最近更新的时间可见。

AI 提示词

把问题变成视图。

这是 [受众] 所问的问题:[列表]。对每一个,建议一项主要的测量值,和一项防范其最可能的扭曲的配对测量值。把它们组成一个不超过七项测量值的视图,并对每一项说明定义、建议的图表类型,以及它需要什么背景。不要虚构数据或基准。请列出你的假设,以及该视图无法回答的问题。

评审仪表盘的清晰度。

这是我们仪表盘的描述,列出每个磁贴、它的标签及其定义:[粘贴]。请扮演第一次阅读它的新同事。列出哪些标签含糊、哪些数字缺少背景或趋势、哪些磁贴可能招致按颜色管理,以及哪些磁贴可以淘汰。不要改写数据。请列出你的假设。

起草度量卡。

为 [测量值] 起草一张度量卡。包括平实的定义、公式、单位、数据来源、负责人、刷新间隔、已知的缺口、它最可能被钻空子的方式、配对的护栏,以及它应当为之提供依据的决定。保持在 200 字以内。不要虚构数字。把你不确定的任何东西标出来。

规划仪表盘评审。

为我们 [团队] 的仪表盘,与其受众一起规划一次 45 分钟的季度评审。包括如何检查测量值是否被用于决定、如何决定淘汰哪些、如何记录解释趋势的事件,以及如何避免给人排名。列出引导者应当问的问题和要记录的输出。

AI 技能

要点

  • 从受众所问的问题开始,并给每类受众一个自己的小视图。
  • 平衡集合,并把每个头条与防范扭曲的配对测量值配对。
  • 随每个值展示趋势、分布和背景,并尊重正常的变异。
  • 给每项测量值附上定义、来源、负责人和刷新时间。
  • 让团队首先看到并拥有自己的数据,绝不展示个人。
  • 与受众一起评审仪表盘,并淘汰不再为决定提供依据的测量值。

参考文献与延伸阅读

  1. Few, S., Information Dashboard Design: The Effective Visual Communication of Data, O'Reilly Media, 2006.
  2. Tufte, E., The Visual Display of Quantitative Information, Graphics Press, 1983.
  3. Kaplan, R., and Norton, D., "The Balanced Scorecard: Measures That Drive Performance," Harvard Business Review, 1992.
  4. Wheeler, D., Understanding Variation: The Key to Managing Chaos, SPC Press, 2000.
  5. Axelos, ITIL 4 Foundation, 2019.
  6. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  7. Wikipedia, Dashboard (business).
  8. Wikipedia, Data visualization.
  9. Wikipedia, Sparkline.
  10. Wikipedia, Run chart.
  11. Wikipedia, Control chart.
  12. Wikipedia, Chartjunk.
  13. Wikipedia, Vanity metric.
  14. Wikipedia, Goodhart's law.
  15. Wikipedia, Balanced scorecard.
  16. Wikipedia, Key performance indicator.