概述与动因

工具是度量计划最常出错的地方,而且是朝两个相反的方向。一些组织先购买大型的分析平台,之后才发现自己没有约定的定义、没有干净的数据,也没有受众。另一些组织构建了一堆只有一个人看得懂的脚本和电子表格,当那个人调走时,计划也就结束了。两者都从工具开始,而忽略了它本意要回答的问题。

这个领域拥挤而且变化很快,所以本主题有意保持中立于供应商。它描述工具的种类、它们之间的数据流、自建与购买之间的权衡,以及选择的标准。它不点名任何产品,因为产品名称很快就过时,而一本书是了解当前功能和价格的糟糕指南。度量的原则不随供应商而变:知道你在度量什么、数据来自哪里、由谁拥有,以及将如何被阅读。

服务度量计划所需的大部分数据,已经存在于记录系统中。IT 服务管理(IT service management)工具保存事件、请求、问题、变更和配置记录。源代码控制、构建、测试和部署系统保存工程工作的历史。监控和可观测性(observability)系统保存可用性、延迟和错误数据。调查工具、财务系统、人力资源系统和合同库保存其余的部分。度量计划把这些来源连接起来,而不干扰在其中所做的工作(见主题 1.5,数据来源与埋点)。

数据从来源移动到可以被分析之处,就是数据流水线(data pipeline),经典的模式是提取、转换、加载(extract, transform, load):从来源读取,重塑和清洗,并写入存储。该存储可以是数据仓库(data warehouse),即为分析而组织的、来自多个系统的数据的集成库。计划通过应用程序编程接口(application programming interface)来访问这些系统,这是一个软件以定义好的方式向另一个软件索要数据的办法。流经其中之物的质量,决定每一张图表的质量。数据质量(data quality)涵盖准确、完整、一致和及时,而维持它的纪律是数据治理(data governance)。

财务方面值得小心。一项工具的总拥有成本(total cost of ownership),包括许可、基础设施、集成、培训、管理,以及离开它的成本。供应商锁定(vendor lock-in)是更换供应商的代价如此之高,以至于客户实际上被绑定的局面。度量计划尤其容易遭遇这种情况,因为定义、历史和仪表盘都积累在工具之内,之后要把它们取出来很难。

敏捷的目标塑造做法。持续交付适用于计划:为一个团队,搭起从一个来源到一个视图的最薄的可用路径,从它的使用中学习,然后扩展。持续的干系人参与意味着将使用这些数字的人参与工具的选择。持续改进和持续演进意味着工具预计会变化,所以可移植性比完美更重要。可持续的节奏意味着计划不会变成饿死它所度量的工作的数据工程项目。而有积极性的个人,使用他们帮助选择并理解的工具,比使用从上面强加的工具做得更好,尤其是那些让人感觉像监视的工具(见主题 11.3,推行度量而不滋生恐惧)。

本主题依托仪表盘设计的指导(见主题 11.1,设计服务度量仪表盘)以及第 1 部分的治理主题。

关键原则

  • 先问题,后工具。 先写下问题和测量值,然后看它们需要什么工具。
  • 使用记录系统。 从工作发生之处获取数据,避免要求人们录入两次。
  • 把定义保存在工具之外。 以朴素、可移植的形式维护度量定义,使其能在更换平台后幸存。
  • 优先使用可移植的数据。 以开放格式存储数据,附有文档的接口,并保留一条退路。
  • 从薄处开始,再成长。 一个来源、一个视图、一个团队,然后扩展。
  • 计入完整的成本。 许可只是集成、数据清洗和维护成本的一小部分。
  • 保护人。 工具应当聚合到团队和服务,强制执行访问规则,并使监视变得困难。
  • 把流水线视为一项服务。 它需要负责人、监控、测试,以及处理失败的办法。

度量定义

下面的测量值描述度量工具及其数据供应的健康。它们是给计划团队的,用来使基础设施保持诚实,不得用来给人评级。

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏
来源覆盖 为约定的测量值所需、且自动馈入度量存储的记录系统占比 已连接并经测试的来源 / 约定测量值所需的来源 百分比 来源清单;流水线配置 信息与技术管理;服务配置管理 流水线的持续交付 每季度
流水线可靠性 按时完成且检查通过的计划数据加载占比 按时且检查通过的加载 / 计划的加载 百分比 流水线日志和测试结果 监控与事态管理 自动化测试和快速反馈 每周
新测量值的时间 从对新测量值的已批准请求,到其连同定义卡可用的经过时间 从批准到发布的天数,中位数和第 85 百分位数 天 请求和发布记录 服务请求管理;变更赋能 价值的小增量 每季度
对账率 在抽样检查中,度量存储与源系统匹配的关键数字占比 在容差内匹配的数字 / 被检查的数字 百分比 对账检查 信息与技术管理 可信赖的反馈 每月
手工工作占比 在经常性报告上,花在手工收集和清洗上的工作量占比 手工步骤上的小时数 / 经常性报告上的总小时数 百分比 时间估计;团队调查 持续改进 消除繁琐工作 每季度
退出就绪度 定义、历史和仪表盘能否以有文档记录、可用的形式导出 经测试且完整的导出 / 计划的导出测试 百分比 导出测试记录 供应商管理;服务连续性管理 可持续的选择 每年
每个所支持团队的工具成本 计划的工具的完整年度成本除以它所服务的团队 (许可 + 基础设施 + 维护工作量) / 所服务的团队 每团队的货币 财务和工作量记录 服务财务管理 可持续的节奏 每年

按约定测量值所需而不是按存在的来源来统计来源,使覆盖不会因连接无关的系统而被提高。对账需要提前选择样本和容差。每个所支持团队的工具成本是用于比较选项的描述性数字,而不是要压低的目标。它包括维护流水线的人的工作量。

建议

决定你需要什么

1. 把需求写成问题和测量值。 列出计划已同意发布的测量值(见主题 11.1,设计服务度量仪表盘)、每项所需的来源、每项必须多新鲜、谁可以看到它,以及历史必须保存多久。区分必备项和偏好。两页的简短文档,好过一份冗长的招标书。

2. 盘点你已经拥有的。 许多组织在其服务管理、工程和监控工具中有未被使用的分析功能。许多组织有已经回答了部分需求的电子表格、脚本和报告。从看看这些能做什么开始。最便宜的工具,是已经付过钱并且已被理解的那一个。

3. 先清点数据,再选工具。 对每个来源,检查数据是否完整、录入是否一致,以及能否通过接口访问。工具无法修复没人使用的事件分类、事后创建的变更记录,或被覆盖的时间戳。一些最有价值的早期工作,是修复来源处的数据捕获(见主题 7.4,配置与 CMDB 质量度量)。

自建、购买或结合

4. 就完整成本和契合度,比较自建和购买。 购买分析平台或打包的工程分析产品,带来现成的连接器、图表和支持,代价是许可、对世界的固定模型,以及依赖。构建流水线和视图带来契合和控制,代价是工程时间和维护。大多数组织最终会结合:在内置报告足够好之处使用它,用通用的分析工具制作视图,并在没有其他东西契合之处构建薄的连接器。

5. 用真实数据测试原型。 在承诺之前,用你自己的两三项测量值,以真实数据和真实用户运行一次限时的试验。检查连接花了多长时间、工具处理你的定义有多好、它能否展示分布和百分位数,以及它如何控制访问。营销演示使用干净的数据,而你的数据并不干净。

6. 在进入之前规划退出。 问定义、历史和仪表盘如何导出,并测试它。优先选择带开放接口和标准格式的工具,并保留你自己的度量定义和清洗后数据的副本。离开的成本是留下的成本的一部分,而可信的退路会改善你的谈判地位(见主题 8.4,供应商与合同度量)。

依据清晰的标准选择

7. 使用中立于供应商的选择标准。 有用的标准包括以下几条。你所需要的数据来源有维护中的连接器吗?定义能否被编写、版本管理和评审?工具能否展示分布、百分位数和趋势,而不仅仅是均值和计数?它是否聚合到团队和服务,并让你限制个人层面的视图?它是否支持基于角色的访问和审计?数据能否以开放格式导出?供应商如何处理变更、中断和安全事件?在你预期三年后的规模下,它花费多少?

8. 对内置的评分保持警惕。 一些工具开箱即提供综合评分、对人的排名或“生产力”指数。它们容易采用,却难以辩护(见主题 1.2,古德哈特定律与度量心理学)。检查这些功能是否可以关闭,并在开启任何东西之前先设定政策。

9. 让将使用它的人参与。 请团队用他们的数据试用入围的选项。他们的问题会暴露需求文档没有暴露的局限。及早把安全、隐私、财务和采购纳入(见主题 8.1,安全事件与漏洞度量)。

把流水线作为服务来运行

10. 自动化、测试并监控流水线。 像对待任何其他生产服务一样对待数据加载。对计数、范围、重复和新鲜度运行自动化检查。对失败告警,并在仪表盘上展示数据质量的状态。对转换逻辑进行版本管理,并像评审代码一样评审对它的变更(见主题 5.5,监控与告警质量度量)。

11. 保存一份定义的目录。 维护一份共享的目录,包含每项测量值的定义、公式、来源、负责人和局限。它可以是纯文本文件的仓库、数据目录工具或维基。重要的是它是含义的事实来源,并且仪表盘从它读取或链接到它(见主题 1.4,度量治理与归属)。

12. 每年评审工具。 每年检查工具的成本、计划使用了哪些部分、哪里仍有手工工作,以及有哪些较新的选项。淘汰无人使用的东西。随着计划的成熟,重新考虑自建与购买的平衡。把变化规划为工作的正常部分。

钻空子途径与护栏

度量 如何被钻空子 配对的护栏度量或实践
来源覆盖 连接容易的或无关的来源;统计不携带可用数据的连接 按约定的测量值统计;检查每个来源的数据完整性
流水线可靠性 放松检查,使加载总能通过;安排更少的加载 评审检查的强度;跟踪对账和来源的行数
新测量值的时间 在没有定义或测试的情况下发布;缩小什么算新测量值 要求有定义卡和对账检查才算完成
对账率 选择容易检查的数字;在失误之后放宽容差 在检查之前选择样本;提前固定容差;纳入困难的数字
手工工作占比 低估手工工作;把工作量藏在别的预算里 询问做这项工作的人;与每个报告周期后期所花的时间比较
退出就绪度 测试部分导出;把有文档的计划算作就绪 在样本上完整地恢复到另一个工具;验证定义和历史
每个所支持团队的工具成本 排除维护工作量;在纸面上增加团队 包括员工时间;统计积极使用其视图的团队

健康的读数显示:按时到达并与来源对账的数据、连同定义一起发布的新测量值、下降的手工工作量,以及至少被测试过一次的退路。

权衡:利与弊

方法 优势 劣势
每个工具的内置报告 便宜;已经在那里;已被理解 孤岛;各工具之间的定义不一致
来自一家供应商的单一套件 集成;一份合同 锁定;契合供应商的模型,而不是你的
打包的工程分析产品 快速开始;现成的连接器 固定的模型;个人层面评分的风险;规模化后的成本
通用的分析和可视化工具 灵活;可得的技能广泛 需要数据供应和设计技能
带转换层的仓库 强控制;跨来源连接 工程工作量;需要归属
电子表格和脚本 开始快;没有许可 脆弱;依赖个人;难以审计
开源技术栈 控制;没有许可成本 维护工作量;支持取决于你自己
手工收集的测量值 无需工具即可运作 缓慢;易出错;难以持续

结论是从你已有的开始,添加能回答真实问题的最薄的连接,保持定义和数据可移植,并且只有当较轻的工具明显限制了决定时才转向较重的工具。

与团队讨论的问题

1. 我们每个月手工产生哪些数字?要停止需要什么? 列出手工报告及其花费的小时数。找出每一项的来源,以及它是否有接口。引导者应当问哪些报告可以干脆放弃。商定一项要自动化的和一项要淘汰的。

2. 如果我们当前的报告工具明天消失,我们会失去什么? 指出只存在于其中的定义、历史和仪表盘。检查其中哪些是可导出的。商定在哪里保存副本。

3. 我们系统中的哪些数据最不被信任?为什么? 查看录入习惯、默认值和被覆盖的字段。估计每种扭曲在多大程度上影响我们所发布的测量值。商定哪一项来源的修复,能以最小的努力增加最多的信任。

4. 这个工具让人们看到了什么,是我们不希望它让人看到的? 检查个人层面的视图、活动日志和排名。决定限制或关闭什么,并在有人使用该功能之前把规则写下来。

5. 我们添加一项新测量值需要多长时间?什么拖慢了我们? 追踪最近的一项请求,从批准到可用。标出等待。商定要移除什么,比如批准、缺失的定义或手工清洗。

6. 这个工具对一个团队一年的完整成本是多少? 加上许可、基础设施、集成、培训,以及维护它的人的时间。与它所改进的决定比较。讨论我们会停止为什么付费。

四种视角

产品与交付团队

团队想要来自工作本身、无需额外录入的数据,以及回答他们问题的视图。他们应当帮助选择和测试工具,拥有自己测量值的定义,并拒绝给个人排名的功能。他们的时间是最稀缺的投入,要求他们把工作记录两次的工具会遭到抵制。

服务与运维团队

运维团队运行来源,往往也运行流水线。他们应当把流水线视为带监控和测试的服务,保持来源数据字段可靠,并提醒记录系统中将破坏连接器的变更。数字有误时,他们是第一个看到的。

领导层与治理

领导者为计划出资并设定期望。他们应当索要总成本,而不是许可价格,要求可移植性和退路,抵制为解决定义问题而购买平台,并坚持隐私和访问规则。他们应当接受一个适度的开始,并依据它所改进的决定来评判。

客户与用户

客户和用户很少看到工具,却要承受其后果:关于他们的数据被存储、合并和分析。他们应得到关于收集什么、保存多久、谁能看到以及如何保护的清晰规则。凡测量值借助于他们的反馈之处,工具应当尊重同意和匿名。

实践:一个服务管理示例

一家区域物流公司有服务管理工具、源代码控制和部署系统、监控平台以及调查工具,每一个都产生自己的报告。服务管理主管想要为 12 个团队提供一个服务健康的统一视图。一家供应商提供一体化的分析平台,附三年的合同。下面的数字均为示意。

服务管理主管首先写下问题,以及团队和领导者在仪表盘会议上商定的 14 项测量值。她盘点了现有的东西:服务管理工具可以通过其接口导出事件和变更数据,部署系统提供部署的时间戳,而监控平台对照目标报告可用性。她请一小组团队代表,在三项测量值上以真实数据测试两个选项:供应商的平台,以及通用可视化工具加小型数据存储和薄连接器的组合。

试验找出了差异。平台两天就连上了所有来源,但它把前置时间计算为均值,无法展示高百分位数,它有一个无法关闭的内置“团队生产力评分”,而导出仪表盘定义所产生的文件,没有其他工具能读取。组合花了 11 天连接,但它展示了中位数和百分位数,把定义保存为仓库中的纯文本,并在数据存储处限制了个人层面的字段。小组还发现,30% 的变更记录是在部署之后创建的,所以无论哪个工具来读,前置时间都是错的。修复来源处的录入习惯,成了第一项工作。

公司选择了组合。来源覆盖在两个季度里,从所需 8 个来源中的 3 个上升到 7 个。流水线可靠性起初是按时且检查通过的加载占 71%,在团队添加测试和失败告警之后达到 96%。新测量值的时间从中位数 31 天降到 9 天。每月报告上的手工工作量,从约 40 小时降到 6 小时。一位总监问,能否加上供应商平台的生产力评分,给出对团队的单一排名。服务管理主管解释了主题 1.2 中的分析,展示了公司其他地方使用类似评分时发生的事,并提议采用当前的平衡视图。这项决定被记录下来,评分功能在任何有它的工具中都被禁用。

敏捷、AI、自动化与分析

敏捷

在与真实团队和真实问题的小试验中选择工具,并保留改变路线的能力。需要注意的是,过早作出的大型平台决定,在团队学到自己需要什么之前就锁定了定义。

AI

许多分析和服务管理工具现在包含 AI 功能。问 AI 做什么、用什么数据、依据什么条款、如何检查其输出,以及如何关闭它,并像对任何其他使用一样度量 AI 功能(见主题 10.5,AI 治理与风险度量)。需要注意的是,默认开启的 AI 功能可能悄悄改变报告,所以要就每个版本询问供应商。

自动化

优先选择让你通过有文档的接口自动收集数据、并保持数据可移植的工具。就失败和新测量值的时间来度量集成。需要注意的是,专有的连接器可能使你的数据难以带走,所以要测试一次导出。

分析

以来源覆盖、对账和回答新问题的时间来评判工具。这为之提供依据的决定是采用、保留还是离开哪个工具。需要注意的是,演示数据看起来很干净,所以要用你自己杂乱的数据来测试。

行业视角

初创公司。 使用产品和现有工具已经提供的东西。电子表格和你所用工具的内置报告,可以回答大多数早期问题。在问题稳定并且手工工作量造成困扰之前,抵制数据平台。把度量定义写下来,使之后的迁移变得容易。

小型企业。 很少的测量值和很少的系统,意味着简单的工具。内置的报告和电子表格往往就足够了。主要的风险是只存在于一个人脑子里的数据,以及没有导出功能的工具。选择你可以离开的产品,并把定义写下来。

大型企业。 众多的系统、团队和定义,主张采用受治理的数据存储、定义的目录和分层的视图。联合的所有权,比构建每份报告的中央团队效果更好。关注锁定、访问控制、隐私和供应商评估,并考虑由一个小型的平台团队,把流水线作为服务提供。

政府与公共部门。 采购规则、数据主权和无障碍,影响工具的选择。开放标准和可移植性很有价值,因为合同很长而行政当局会更迭。为安全评估、记录保留和公开披露规则做好规划,并检查关于托管和采购的现行指引(见主题 8.5,受监管与政府报告)。

业务论证:动因、投资回报与总拥有成本

成本包括许可或订阅、基础设施、集成和连接器的工作、数据清洗、定义和目录的工作、培训、支持,以及保持流水线健康的经常性工作量。自建方案带有容易被低估的工程成本,而购买方案带有随规模增长的费用和离开的成本。

回报来自节省的报告工作量、更快的答案、更少关于数字的争议,以及依据被信任的数据作出的更好的决定。依据你自己的数据建立论证:现在手工报告花费的小时数、同一数字相互竞争的版本数、从提问到回答之间的延迟,以及重叠的工具的成本。避免在没有可追溯来源、与你的背景也不相关的情况下,引用关于分析回报的分析师数字。公平的比较,会计入每个选项三年的完整成本,包括退出(见主题 7.5,服务成本与单位经济,以及主题 7.7,投资回报与业务论证)。

反模式与陷阱

  • 先工具,后问题。 平台到了,却没人知道该问它什么。先写测量值。
  • 购买来解决定义的问题。 关于含义的分歧在任何工具中都会持续。先把定义定下来。
  • 内置的个人评分。 它们诱人,也扭曲。先禁用它们并设定政策。
  • 没有退路。 历史和定义被困住。测试导出并保留副本。
  • 一个人的流水线。 当那个人离开时它就停了。记录它、测试它,并共享所有权。
  • 重复录入。 人们把同一项工作记录两次,两者的质量都下降。从记录系统获取数据。
  • 过早过度工程。 在单一视图证明其价值之前,数据平台就来了。从薄处开始。
  • 忽略数据质量。 干净的图表建立在脏数据上,误导得更有说服力。在来源处修复捕获。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
数据供应 手工收集;电子表格 一些自动化的馈送;个人的脚本 约定的来源通过经测试的流水线馈入共享存储 管理并展示可靠性、对账和新鲜度 跨团队和供应商、带共享契约的联合流水线;依据反馈改进来源
定义与目录 在人们的脑子里 一些有文档 一份带负责人、有版本管理并经评审的定义目录 目录驱动仪表盘;与用户一起评审变更 定义由团队和供应商共同拥有;当不再为决定提供依据时被淘汰
选择与成本 临时的采购 重叠的工具 写下标准;测试退出;计入完整成本 管理每个所支持团队的成本和手工工作量 与用户定期评审工具选择,并随需要变化而调整

检查清单

  • 在比较工具之前,写下约定的测量值及其问题。
  • 已先盘点并测试现有的工具和报告。
  • 已检查主要来源的数据质量,并修复了最糟糕的缺口。
  • 写下选择标准,包括分布、访问控制和导出。
  • 在任何承诺之前,以真实数据和真实用户完成了限时的试验。
  • 个人层面的评分和排名功能被政策禁用或限制。
  • 定义保存在任何单一工具之外的可移植目录中。
  • 流水线有负责人、自动化检查、监控和失败告警。
  • 已测试定义和历史的导出。
  • 已计入包括退出在内的三年完整成本。

AI 提示词

依据问题撰写需求。

这是我们的受众所问的问题,以及我们计划发布的测量值:[粘贴]。请为度量工具或流水线起草一份两页的需求文档。涵盖数据来源、新鲜度、访问控制、保留、分布和百分位数、导出和可移植性,以及必备项与偏好的清单。不要点名产品。请列出你的假设,以及要与团队确认的要点。

规划工具试验。

我们正在为我们的度量计划比较 [选项]。请设计一次为期两周的试验,使用我们的三项测量值和真实数据。说明要测试什么、如何对照书面标准给选项打分、谁应当参加、如何检查访问控制和导出,以及我们将记录什么证据。不要就特定产品的结果作出声称。请列出你的假设和风险。

评审数据流水线。

这是对数据如何从 [来源] 流向我们仪表盘的描述:[粘贴]。请找出数据可能延迟、重复、被覆盖或丢失的地方,并为每一处建议自动化检查。提出一种把关键数字与来源对账的办法。不要虚构系统的行为。请列出你的假设,以及你无法从描述中判断的内容。

比较完整成本。

请帮我比较为我们的度量计划自建、购买和结合工具的三年完整成本。列出每个选项的成本类别,包括许可、基础设施、集成、数据清洗、培训、维护和退出。提供一张表,为我们自己的数字留出空白。不要提供价格。请列出你的假设。

AI 技能

要点

  • 先写下问题和测量值,并选择服务于它们的工具。
  • 使用记录系统,在来源处修复数据捕获,并测试对账。
  • 保持定义和数据可移植,并在承诺之前测试退出。
  • 禁用个人层面的评分和排名,并在开启任何功能之前先设定政策。
  • 把流水线作为服务来运行,附负责人、测试和监控。
  • 计入几年的完整成本,并从能回答真实问题的最薄路径开始。

参考文献与延伸阅读

  1. Kimball, R., and Ross, M., The Data Warehouse Toolkit, Wiley, 3rd edition, 2013.
  2. Redman, T., Data Driven: Profiting from Your Most Important Business Asset, Harvard Business Press, 2008.
  3. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution Press, 2018.
  4. Axelos, ITIL 4 Foundation, 2019.
  5. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  6. Wikipedia, IT service management.
  7. Wikipedia, Observability (software).
  8. Wikipedia, Data pipeline.
  9. Wikipedia, Extract, transform, load.
  10. Wikipedia, Data warehouse.
  11. Wikipedia, Application programming interface.
  12. Wikipedia, Data quality.
  13. Wikipedia, Data governance.
  14. Wikipedia, Total cost of ownership.
  15. Wikipedia, Vendor lock-in.