概述与动因

分析(analytics)是使用数据和统计来回答问题并为决定提供依据。在服务管理中,它的范围从简单的每周工单计数,到预测哪些变更将失败的模型。分析是本书的第四个视角,与敏捷实践、AI 和自动化并列,也是其他三个视角所依赖的东西。建立在糟糕的数据质量(data quality)之上的仪表盘,对错误的问题给出自信的答案。

数据质量是一组属性:数据是否完整、准确、一致、及时、唯一和有效。前面的主题涵盖了服务数据来自哪里以及如何阅读它(见主题 1.5,数据来源与埋点,以及主题 1.6,服务度量的统计素养)。本主题把这些理念变成团队可以就自己的数据和分析来跟踪的测量值,就像第 4 部分度量变更那样。它还把分析作为一种实践来涵盖:所提的问题、所用的方法、由谁检查,以及结果是否改变了一项决定。

分析之所以有吸引力,是因为它可以扩展。一位分析师可以服务许多团队,一个模型可以给每张工单评分。同样的规模也放大错误。共享数据集中一个被误读的定义,会扩散到建立在其上的每份报告,而依据过去行为训练的模型,可以迅速重复旧的偏见。编写查询、图表和摘要的 AI 工具使分析更便宜,也使错误更容易自信地产生,所以检查更重要。

这里使用的术语。数据集(dataset)是已定义的记录集合,比如工单或部署。谱系(lineage)是数据来自哪里、对它做了什么的记录。对账(reconciliation)比较应当一致的两个来源。数据契约(data contract)是数据集的生产者和用户之间关于其结构、含义和质量的协议。分析(analysis)是一个问题、一种方法和一个结果。不确定性(uncertainty)是在给定数据和方法的情况下,一个值可能所处的范围。决定日志(decision log)记录一个数字为之提供依据的决定。

关键原则

  • 从问题和决定出发。 没有附带决定的分析是开销。
  • 度量关于数据的数据。 完整性、及时性和对账,是团队可以拥有的测量值。
  • 保存谱系。 你无法追溯到来源的数字,无法被更正。
  • 说明不确定性和局限。 展示比率背后的计数,并说明这个数字无法显示什么。
  • 像检查代码一样检查分析。 评审定义和查询,并把它们保存在版本控制中。
  • 保护人。 对人的行为的分析需要隐私限制,结果描述的是团队和服务。

度量定义

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏
必填字段完整性 具备使用它们的测量值所需的所有字段的记录占比 每个必填字段都存在且有效的记录 / 范围内的记录 百分比 源系统提取和数据质量检查 度量与报告;知识管理 记录的完成定义 每月
数据新鲜度 在读取报告时,数据集中最新数据的年龄 各数据集的 (读取报告的时间减去最近加载的记录的时间) 的中位数和最大值 小时 流水线日志和数据集元数据 度量与报告 快速反馈 每周
对账差异 应当就同一数量一致的两个来源之间的差异 对所述数量样本和期间,来源 A 与来源 B 之间的绝对差异 / 来源 A 百分比 两个源系统 度量与报告;财务管理 关于定义的工作协议 每季度
谱系覆盖 其来源、转换和负责人有文档记录的所报告测量值占比 登记册中有文档记录的谱系的测量值 / 所报告的测量值 百分比 度量登记册和数据目录 治理 团队协议 每季度
流水线运行失败率 失败或加载不完整数据的数据流水线运行占比 失败或加载不完整数据的数据流水线运行 / 启动的运行 百分比 数据流水线日志 度量与报告 针对数据的持续集成 每周
分析评审率 在使用之前由第二个人评审过的已发布分析占比 有记录的评审的分析 / 发布给决策受众的分析 百分比 分析登记册和评审日志 度量与报告;持续改进 同行评审 每季度
决定使用率 在期内被记录的决定所引用的所报告测量值占比 在决定日志条目中被引用的测量值 / 所报告的测量值 百分比 决定日志和度量登记册 持续改进 回顾会议的行动 每季度

完整性只在字段包含有效值时才把它算作存在,所以像“n/a”这样的占位符不算。对账差异适用于被命名的数量样本,比如一个月的工单计数,并说明样本。

建议

使数据质量可见

1. 依据测量值来定义数据质量。 列出你最重要的测量值所依赖的字段和时间戳,并为每一个定义什么是有效的。先检查这些,因为缺失的时间戳会破坏时间测量值。

2. 在源头检查,而不仅仅在报告中。 在数据创建时运行的质量检查,比如工单表单中的必填字段,防止了之后任何清理都无法完全修复的错误。在加载数据时也添加检查。

3. 在数字旁边公布质量。 在显示测量值的仪表盘上展示完整性和新鲜度。读者应当无需询问就能看到数据的质量。

4. 按计划对账。 每个季度至少对两个系统比较一个数量,比如变更记录中和流水线中的变更数。调查并解释差异,并记录发现。

使分析保持诚实

5. 先写下问题和决定。 在分析之前,记录问题、它为之提供依据的决定,以及由谁来决定。当决定已经作出,记录决定了什么。

6. 把谱系和定义保存在一份登记册中。 把每项测量值与其来源、转换、负责人和评审日期相联(见主题 1.4,度量治理与归属)。对定义的变更连同理由一起记录,并在图表上标出。

7. 评审每一份分析。 对用于决定的任何分析,由第二个人检查定义、查询和结论。把查询保存在版本控制中,使它们可以被重新运行。

8. 说明不确定性和局限。 展示每个比率背后的项数、重要之处的区间,以及分析无法显示什么。在数据不支持之处,避免单一数字的精确。

治理使用

9. 对共享的数据集使用数据契约。 产生数据集的团队说明其含义、字段、新鲜度和已知问题,并在它变化时告诉用户。破坏性的变更需要通知。

10. 保护数据中的人。 决定谁能看到原始记录、数据保存多久,以及报告的最小群体规模是多少。让分析保持在团队和服务层面,并检查适用于你的隐私规则。

11. 淘汰报告和数据集。 没人使用的报告仍然需要维护成本,并可能误导。评审使用情况,淘汰没有被决定引用的。

12. 把 AI 辅助的分析视为未经评审,直到被检查。 AI 工具可以写出看起来正确却有误的查询或摘要。评审查询,在已知的小样本上重新运行,并记录它已被检查。

钻空子途径与护栏

度量 如何被钻空子 配对的护栏度量或实践
必填字段完整性 用占位符或默认值填充字段;使字段变为可选 对内容的有效性检查;抽样检查记录中的真实值
数据新鲜度 给加载而不是事件打时间戳;加载空的更新 把事件时间与加载时间相比较;每次加载的行数
对账差异 选择碰巧一致的数量;调整一个来源以使其匹配 轮换数量;保留调整的审计轨迹
谱系覆盖 肤浅地记录谱系;在条目之间复制文本 抽样条目并端到端地追溯一项测量值
流水线运行失败率 把失败的运行标为已重试或成功;删除日志 把记录数与来源相比较;对缺口告警
分析评审率 走过场的评审;在决定之后才评审 检查评审者的笔记;要求在使用之前评审
决定使用率 在日志中引用测量值,却对决定没有影响 问什么变了;抽样条目

健康的读数是:可见且稳定的数据质量数字、得到解释的来源之间的差异、在使用之前被评审的分析,以及依据决定的需要而来去的测量值。

权衡:利与弊

方法 优势 劣势
录入时严格的数据验证 及早防止错误 给用户带来摩擦;占位符条目
事后清洗数据 灵活;不拖慢用户 隐藏原因;一些报告中仍有错误
中央分析团队 方法和质量一致 瓶颈;远离工作
由团队自助的分析 快速;贴近工作 定义不一致;质量参差
AI 辅助的分析 快速的草稿;降低门槛 自信的错误;可复现性弱

结论是在源头防止错误,在一处共享定义和谱系,并对为决定提供依据的任何分析要求评审。当检查跟得上时,来自自助服务和 AI 的速度是受欢迎的。

与团队讨论的问题

1. 如果我们仪表盘上的哪三个数字,其底层的数据有误,我们会最后悔? 从驱动决定或目标的数字开始。问它们依赖什么数据,以及由谁拥有来源。人们常常发现,一个关键数字依赖于手工输入的字段。随后选择一个在本月检查。

2. 两份报告上一次不一致是什么时候?我们是如何解决的? 关于数字冲突的故事,显示定义在哪里不同。问解决办法是否被记录,原因是否被修复。引导者应当记下重复出现的原因,比如不同的时区或状态定义。随后商定一个定义和一名负责人。

3. 我们最常看的报告中的数据有多旧? 许多人不知道。问新鲜度如何显示,以及陈旧的加载是否会被注意到。讨论过时决定的代价。随后把新鲜度加入报告。

4. 谁评审了上一份改变了决定的分析? 寻找对定义和查询的第二双眼睛。如果没有,讨论原因。问什么评审才是相称的。随后为任何为重大决定提供依据的分析,选择一个简单的评审步骤。

5. 我们最常用的测量值无法告诉我们什么? 说出局限是做好分析的习惯。询问具体的盲区,比如不联系支持的用户。把这些局限记录在测量值旁边。随后添加一项涵盖某个盲区的测量值。

6. 我们如何使用 AI 工具来编写查询和摘要?我们如何检查它们? 询问实际做法,而不是政策。倾听在报告中使用未经评审的输出的情形。讨论一项简单的检查,比如在已知样本上重新运行。随后商定关于 AI 辅助分析的规则。

四种视角

产品与交付团队

你们的工具产生别人所分析的大部分数据。使时间戳、标识符和状态保持可靠,并在字段变化时告诉数据用户。把数据质量纳入产生数据的新功能的完成定义。

服务与运维团队

工单数据取决于人们在压力下如何填写表单。使正确的录入成为容易的录入,在工具中检查数据质量,并在某项测量值误读了工作时发声。不要为了改善某个数字而倒填日期或批量更新记录。

领导层与治理

在支持决定或目标的任何数字旁边,索要数据质量和谱系。为数据工程和评审时间出资,而不仅仅是仪表盘。保护隐私,并避免用关于个人的分析来评价人。

客户与用户

关于你的数据,驱动着服务如何对待你,所以要问收集了什么以及如何使用。凡你的反馈在数据中,比如调查回复,就问它如何被保护,以及它如何抵达决定。

实践:一个服务管理示例

一家区域公用事业公司的 IT 部门为其高管团队建立了一个事件解决时间和变更失败率的仪表盘。本示例中的数字均为示意。仪表盘显示解决时间的中位数为 3.1 小时,变更失败率为 4%。

分析师在上线之前检查质量。已解决时间戳的必填字段完整性为 91%,缺失的记录主要是事后才录入的重大事件。新鲜度为 26 小时,因为提取在夜间运行。把变更记录与流水线对账,显示流水线中的生产变更比变更记录中多 8%,所以失败率有分母的问题。

团队作出变更。工单表单要求填写已解决的时间,并检查它晚于打开时间。仪表盘展示每个数字背后的事件数、数据的年龄,以及所用字段的完整性。数据契约说明,变更记录是已批准变更的记录系统,流水线是部署的记录系统,附每月的对账。第一次对账把差距解释为仅记录在流水线中的紧急变更。

当一位经理建议排除缺失已解决时间的事件以提高完整性时,出现了钻空子的风险。团队拒绝了,并修复了录入。结果是中位数区间变宽,变更失败率为 6%。决定日志记录,高管团队选择先等一个季度再设定目标。仍然困难的是:并非所有倒填的条目都能被检测到,并且对账依赖于手工的标识符链接。

敏捷、AI、自动化与分析

敏捷

短的反馈闭环有助于数据质量:修复表单,检查第二天的数据,并询问用户。一个好的做法是在定期的改进交流中,与录入数据的人一起评审数据质量的数字。需要注意的是,对字段和状态的持续变更会破坏趋势,所以要记录每一次定义的变更。

AI

AI 可以编写查询、起草图表、总结评论并标出异常,也可能编造看似合理的结果。把 AI 辅助的分析视为未经评审,直到有人检查查询并在已知的小样本上重新运行,并记录它已被检查。需要注意的是,AI 对调查评论的摘要可能误读语言和语气,所以要阅读一批原文样本。

自动化

在加载时和报告时自动化数据质量检查,并就失败和缺口来度量流水线。对缺失的加载和数量的突然变化告警。需要注意的是,自动化的清洗规则可能隐藏来源的问题,所以要报告改变了什么以及为什么。

分析

本主题是关于分析的,所以做法是为每项测量值写一份简短的说明:它的问题、决定、谱系、质量和局限。这为之提供依据的决定是对一个数字的信任是否足以据此采取行动。需要注意的是,看起来干净的仪表盘可能建立在薄弱的数据之上,所以要把质量数字展示在结果旁边,并把《服务管理度量》的定义保存在一份登记册中。

行业视角

初创公司。 数据量小且在变化。为每项测量值保持一个事实来源,把定义写在一份简短的文档中,并避免在问题清晰之前构建数据平台。

小型企业。 数据可能存在于带固定报告的托管工具中。检查该工具如何定义每项测量值,导出样本以验证,并保存一份报告所无法显示之物的简短清单。

大型企业。 众多来源和团队造成相互冲突的定义。使用共享的度量登记册、数据契约和定期对账,并给团队以检查自己数据的手段。

政府与公共部门。 记录可能受保留、访问和公共报告规则的约束。对任何公布的数字记录谱系,并为关于人的数据保持隐私规则(见主题 8.5,受监管与政府报告)。

业务论证:动因、投资回报与总拥有成本

成本是用于数据质量检查、对账、文档和评审的员工时间,加上所使用之处的数据流水线和目录的工具。其中大部分可以从小步开始,比如工单表单中的验证。

回报是依据更好的数字作出的决定、更少花在争论哪份报告正确上的时间,以及当误读的数字被晚些发现时更少的返工。把它描述为一种模式,而不是一个数字:更少被推翻的决定和更少的争议。如果你需要论证所用的数字,就度量你自己的基线,比如对账差异和解决报告争议所花的时间,变更前后的对比(见主题 7.7,投资回报与业务论证)。

反模式与陷阱

  • 只在报告中清洗。 来源仍在产生错误。修复录入和加载的检查。
  • 没有质量数字的仪表盘。 读者无法判断数字。展示完整性、新鲜度和计数。
  • 没有文档的定义。 数字在悄悄地改变含义。保存谱系和变更日志。
  • 未经评审的分析。 错误抵达决定。要求第二双眼睛。
  • 信任 AI 的摘要。 它们可能流畅而有误。检查查询并抽样原文。
  • 对个人的分析。 它变成监视并污染数据。在团队层面报告,附最小群体规模。
  • 从不淘汰报告。 它们累积并误导。评审使用并移除。
  • 没有不确定性的单一数字。 它们招致过度反应。展示计数和区间。

成熟度模型

维度 起步 发展 标准化 管理 协同
数据质量 质量未知;手工的电子表格 检查关键字段的完整性 在录入和加载时的质量检查,展示在报告上 按节奏评审对账和质量趋势 以跨团队的数据契约来管理质量
谱系与定义 定义在人们的脑子里 写下了一些定义 带来源、负责人和变更日志的登记册 为关键测量值端到端地追溯谱系 定义在团队和供应商之间共享
分析实践 一次性的报告;没有评审 一些同行评审 记录问题、决定和评审 分析被复用、评审和淘汰 分析嵌入决定之中,并反馈结果

检查清单

  • 每项关键测量值都列出它所依赖的字段和时间戳。
  • 必填字段在录入时验证,而不是只在以后清洗。
  • 报告展示完整性、新鲜度和每个比率背后的计数。
  • 每个季度至少在两个来源之间对账一个数量。
  • 登记册记录每项测量值的来源、转换、负责人和评审日期。
  • 记录定义变更,并在图表上标出。
  • 为决定提供依据的分析由第二个人评审。
  • 存在针对 AI 辅助分析的规则,包括对已知样本的检查。
  • 为关于人的数据定义访问、保留和最小群体规模。
  • 每项测量值旁边都展示了钻空子途径和护栏。

AI 提示词

为某项测量值起草数据质量检查。

我们报告这项测量值:[测量值名称],其定义为 [包括时钟开始和停止的定义]。它依赖 [工具] 中的这些字段:[列出字段]。请提出针对完整性、有效性、及时性和一致性的数据质量检查,并说明每项检查应在哪里运行(在录入时、在加载时,还是在报告中)。不要虚构阈值;使用占位符。标出假设,并列出我应当回答的问题。

在使用之前评审一份分析。

这是我们计划用于一项决定的分析:[粘贴问题、方法、查询或步骤,以及结果,不含个人数据]。请评审其中不清晰的定义、错误的分母、小样本、缺失的不确定性,以及超出数据的结论。不要假定文本中没有的事实。列出你无法判断的内容,以及人工评审者应当检查什么。

规划两个系统之间的对账。

两个系统应当就 [数量] 一致:[系统 A] 和 [系统 B]。请提出对账计划:样本、期间、如何匹配记录、如何对差异分类,以及如何记录发现。不要虚构预期的差异。请列出假设,以及我需要的访问权限。

评审数据质量测量值的钻空子风险。

我们报告这些数据质量测量值:[粘贴测量值及其定义]。背景:[团队规模、工具、受众]。对每项测量值,列出它在没有改进数据的情况下看起来更好的现实方式,提出一道护栏,并说明该护栏如何可能被钻空子。不要虚构基准值。请列出你的假设。

AI 技能

要点

  • 数字只与其数据一样值得信赖,所以要度量完整性、新鲜度和对账,并把它们展示在结果旁边。
  • 把谱系和定义保存在一份登记册中,并记录每一次变更。
  • 在分析为决定提供依据之前评审它,包括 AI 辅助的分析。
  • 说明不确定性和局限,并展示每个比率背后的计数。
  • 让分析保持在团队和服务层面,对关于人的数据设隐私限制。

参考文献与延伸阅读

  1. Wikipedia, Analytics.
  2. Wikipedia, Data quality.
  3. Wikipedia, Data lineage.
  4. Wikipedia, Data governance.
  5. Wikipedia, Statistical process control.
  6. Wikipedia, Goodhart's law.
  7. Wikipedia, Reproducibility.