配置与 CMDB 质量度量
配置数据库只有在人们足够信任它、以至于在变更或事件中使用它时,才算物有所值,所以要依据它回答真实问题的好坏来度量其质量,并让拥有服务的团队使自己的记录保持最新。
概述与动因
当数据库服务器在凌晨三点失效时,有人会问哪些服务依赖它。当团队规划一项变更时,有人会问还有什么可能出问题。答案应当来自一份关于构成你的服务的各个事物及其如何连接的记录。这份记录是配置管理的主题,而它背后的数据库是配置管理数据库,通常简称为 CMDB。
配置项(configuration item)(CI)是为交付某项 IT 服务而需要被管理的任何组件:服务器、应用、数据库、网络设备、云账户、合同。配置管理数据库(configuration management database)存储关于 CI、它们的属性以及它们之间关系的信息。资产管理问你拥有什么、谁拥有它、它花费多少(见主题 7.1,IT 资产管理度量),而配置管理问各个部分如何组合在一起,以及什么依赖什么。
CMDB 的名声褒贬不一,而这一名声是应得的。许多 CMDB 被构建为全面的地图,填入了衰败速度快于任何人能修复的数据,然后被放弃。敏捷和 DevOps 的传统提供了一个更好的起点。用代码描述其基础设施的团队,拥有对其所运行之物的权威、带版本的定义,并能自动将其发布到共享的记录中。基础设施即代码(infrastructure as code)使记录成为交付的副产品。ITIL 4 把这一实践描述为服务配置管理,并强调支持决策所需要的信息,而不是为完整而完整。
配置记录中的质量有若干部分,它们对应于数据完整性(data integrity)这一更广泛的理念:
- 完整性: 重要的 CI 和属性都在。
- 准确度: 记录所说的与现实相符。
- 及时性: 变更足够快地出现在记录中,以至于有用。
- 一致性: 同一个东西不会以不同的名称被记录两次。把指向同一事物的记录匹配起来,是实体解析(entity resolution)的问题。
- 关系质量: CI 之间的依赖存在且正确。大部分价值,以及大部分衰败,都在这里。
对 CMDB 最深的检验是使用。人们在事件和变更中查阅、并在其有误时纠正的记录,是健康的。只被审计的记录则不是。因此,下面的测量值把质量测量值与使用测量值配对。
古德哈特定律的护栏带着一种转折适用:完整性很容易用默认值来夸大,而准确度很容易在没有检查的情况下被声称。坚持要求独立证据和使用的测量值(见主题 1.2,古德哈特定律与度量的心理学)。
关键原则
- 从问题开始。 决定你需要记录回答什么,只构建那些。
- 倾向于较小而被信任的记录,而不是较大而令人怀疑的记录。 范围在获得信任之后才扩大。
- 让事实来源为记录提供数据。 应当由流水线、云 API 和发现来写入,而不是由拿着电子表格的人。
- 让服务团队拥有其服务的记录。 他们了解自己的依赖,并感受到错误的代价。
- 既按使用也按质量度量。 好的记录会被查阅。
- 对照现实检查。 通过问记录是否预测了所发生的事来测试它。
- 在源头修复。 错误的记录是一种症状。找出让它漂移的流程。
度量定义
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| CI 完整性 | 所有必需属性都以有效值填写的范围内 CI 占比 | 每个必需属性都有效的范围内 CI / 范围内的 CI | 百分比 | CMDB、属性规则 | 服务配置管理;IT 资产管理 | 完成定义包括服务描述 | 每月 |
| CI 准确度 | 抽样的 CI 中,其记录在必需属性上与证据相符的占比 | 在所有必需属性上相符的抽样 CI / 被抽样的 CI | 百分比 | 与线上系统相比较的审计样本 | 服务配置管理 | 基础设施即代码的状态与现实相符 | 每季度 |
| 依赖覆盖 | 其上游和下游依赖已被绘制并评审的关键服务占比 | 过去 90 天内评审过依赖图的关键服务 / 关键服务 | 百分比 | CMDB 关系和评审记录 | 服务配置管理;可用性管理 | 架构和服务归属评审 | 每季度 |
| 影响预测命中率 | 实际受影响的服务都在 CMDB 预测的影响范围之内的事件和变更占比 | 所有受影响服务均被预测到的事件或变更 / 被评审的事件或变更 | 百分比 | 与 CMDB 查询相比较的事件后评审和变更记录 | 事件管理;变更赋能 | 关于缺失依赖的免责评审发现 | 每季度 |
| 重复 CI 率 | 与另一个 CI 重复的 CI 占比 | 被匹配规则标记为重复、并在评审中确认的 CI / 范围内的 CI | 百分比 | CMDB 匹配报告和评审样本 | 服务配置管理 | 单一事实来源 | 每月 |
| 更新延迟 | 现实中 CI 的变更与其在 CMDB 中更新之间的延迟 | 从变更事件到 CMDB 更新的小时数或天数的中位数和第 85 百分位数 | 小时或天 | 与 CMDB 时间戳相比较的变更事件和流水线事件 | 服务配置管理;变更赋能 | 流水线中的自动登记 | 每月 |
| CMDB 使用率 | 引用了 CI 的事件和变更占比,以及其中用户报告记录有帮助的占比 | 引用了有效 CI 的记录 / 期内的事件和变更;加上被评审的记录中,CI 数据有帮助的占比 | 百分比 | ITSM 工具、简短的反馈提示 | 事件管理;变更赋能 | 团队在工作中使用共享的记录 | 每月 |
按类别和关键程度定义“范围内的 CI”的范围,并记录下来。CI 只在你指名为必需的属性上才算准确。更新延迟从现实中的事件开始,比如一次部署或一次购买,在 CMDB 反映它时停止。影响预测命中率需要一个记录实际受影响服务的评审步骤,它只与该评审一样可靠。
建议
决定记录的用途
1. 写下 CMDB 必须回答的问题。 典型的问题有:什么依赖这个组件、谁拥有这项服务、最近变更了什么、这里的故障会影响什么,以及什么已不在支持范围内。对每个问题,指明所需要的 CI 类别、属性和关系。任何不是回答某个问题所必需的,都是舍弃的候选。
2. 从最重要的服务开始。 挑选少数几个关键服务,端到端地绘制,并在添加更多之前把它做对。关于十项服务的可靠地图,比关于一千项服务的令人怀疑的地图更有帮助。随着信任和使用的增长再扩展。
3. 简单地定义类别、属性和关系类型。 一份简短的 CI 类别清单(服务、应用、数据库、主机、网络、云资源)和关系类型(依赖于、运行在、连接到、由……拥有)涵盖了大部分需要。试图捕捉一切的模型很难填充,更难查询。保存书面的模型,并有意地更改它。
从源头为记录提供数据
4. 从流水线和代码发布。 凡基础设施和应用被定义为代码之处,就让交付流水线在每次变更时创建、更新和淘汰 CI,包括与代码一起声明的归属和依赖信息。把该声明视为服务完成定义的一部分。这使更新延迟接近于零,并使记录与实际运行的东西保持一致。
5. 把发现用作第二意见。 网络和云的服务发现(service discovery)找到实际在运行的东西以及它们如何连接。把它与声明的记录相比较。差异是发现:要么声明遗漏了什么,要么有不该运行的东西在运行。没有归属的发现本身会产生有噪声的数据,所以用它来检查,而不是用它来创作。
6. 使用稳定的标识符和匹配规则。 当不同的来源以不同的方式命名同一个东西时,就会产生重复。为每个 CI 类别商定唯一的标识符,记录来源标识符,并运行匹配规则来找出并合并重复项。手工抽样评审匹配,因为自动合并可能把不同的东西合并在一起。
7. 让每个服务团队拥有自己的那一份。 构建并运行某项服务的团队,最适合了解其依赖并注意到错误。为他们提供便利:一份模板、规划时的简短评审,以及在他们的数据被使用时的反馈。中央团队拥有模型、工具和检查,而不是每一条记录。
度量质量和使用
8. 通过抽样审计准确度。 每个季度,抽取一个 CI 的随机样本并对照线上系统检查,再从线上系统抽取第二个样本,检查它们是否出现在记录中。按类别报告准确度,并展示主要的错误来源。保持抽样方法固定,使趋势有意义。
9. 对照事件测试地图。 在一次重大事件或变更之后,把实际受影响的服务与 CMDB 所预测的相比较。记录遗漏并修复缺失的依赖。这是最有意义的准确度测试,因为它对照事件来检查记录,而命中率随地图被纠正而提高。使用免责的评审,使人们愿意报告遗漏(见主题 4.2,事后复盘与学习度量)。
10. 跟踪使用,并问它是否有帮助。 统计事件和变更多常引用 CI,并就记录是否有帮助向响应者和批准者提一个简短的问题。上升的使用率连同肯定的回答,是价值最清晰的迹象。低使用率意味着人们不信任记录,或不知道它的存在,两者都是可以修复的。
11. 与负责人一起定期评审依赖图。 依赖随软件演进而变化。请关键服务的负责人每个季度确认其地图,最好作为规划或架构交流的一部分。把确认日期用作一个属性,并展示逾期的地图。
保持诚实和适度
12. 淘汰没人使用的东西。 移除没有问题需要、也没人查阅的 CI 类别和属性。更少、更好的字段提高准确度。每年评审模型,并记录移除了什么以及为什么。更小的记录意味着需要保持真实的东西更少,也使质量测量值更容易被诚实地达成。
钻空子途径与护栏
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| CI 完整性 | 用默认值或占位符填充必需属性;收窄必需清单 | 统计默认值和占位值;固定的必需清单;准确度抽样 |
| CI 准确度 | 对容易的类别抽样;在清理之后才审计 | 从两个方向独立抽取随机样本;固定的方法 |
| 依赖覆盖 | 在没有阅读的情况下把地图标为已评审;只绘制琐碎的依赖 | 影响预测命中率;对照线上流量抽查地图 |
| 影响预测命中率 | 选择进展顺利的事件;狭义地记录受影响的服务 | 评审所有重大事件;评审者在所属团队之外 |
| 重复 CI 率 | 合并不同的 CI 以降低比率;放宽匹配规则 | 抽样检查合并是否正确;记录合并规则 |
| 更新延迟 | 倒填变更事件;只统计自动更新 | 比较来自源系统的事件与更新的时间戳;审计轨迹 |
| CMDB 使用率 | 把 CI 引用作为形式添加;把该字段设为必填,可填任何值 | 检查被引用的 CI 是否相关;关于有用性的反馈问题 |
健康的读数是:一份准确度实测很高的较小记录、能预测真实事件的依赖图、对自动化类别接近于零的更新延迟,以及说他们使用记录是因为它有帮助的人。
权衡:利与弊
| 方法 | 优势 | 劣势 |
|---|---|---|
| 全面的 CMDB | 视图广泛;支持许多用例 | 保持真实的成本高;会衰败 |
| 最小的、由问题驱动的 CMDB | 被信任且廉价 | 有缺口;需要增长的纪律 |
| 由发现驱动的填充 | 发现未知;手工工作量低 | 有噪声;缺乏归属和目的 |
| 由流水线驱动的填充 | 准确;延迟低 | 仅限于通过流水线构建的东西 |
| 记录由中央拥有 | 一致 | 缓慢;远离知识 |
| 记录由团队拥有 | 准确而快速 | 有差异;需要模板和检查 |
| 图式模型 | 对关系和影响查询很自然 | 需要技能和工具 |
| 关系表模型 | 熟悉而简单 | 对深层依赖查询不便 |
答案是从小处、由问题驱动开始,从流水线填充,并以发现作为第二意见,让服务团队负责其记录。图数据库(graph database)可以使依赖问题问起来很自然,不过只要模型保持简单,传统数据库也可以工作。
与团队讨论的问题
1. 我们上一次希望 CMDB 能回答的问题是什么?它能回答吗? 回想最近一次有人搜索依赖项的事件或变更。他们找到了什么,又改做了什么?引导者应当记录这个问题,以及记录是否被查阅过。结果就是该记录目的的第一个候选。
2. 如果我们最重要的服务现在失效,我们对预测的影响有多大把握? 请 CMDB 给出预测的影响,并与了解该服务的人的看法相比较。记下差异。商定先验证哪个依赖,以及由谁来检查。
3. 谁拥有每项服务的记录?他们知道吗? 列出关键服务及其 CMDB 条目的负责人。问负责人是否知道并最近评审过。凡负责人是“CMDB 团队”之处,讨论如何把归属移到服务团队。
4. 我们为了满足必填字段而填入了什么? 寻找默认值和占位符。它们显示模型在哪里要求的比任何人所知道的更多。决定是移除该字段、将其自动化,还是找到真正的来源。
5. 我们的记录在哪里与正在运行的东西不一致? 对一项服务,把发现的输出与记录相比较。对每处差异,问是记录还是现实应当改变。这场交流往往同时发现陈旧的数据和未经授权的组件。
6. 我们会停止记录什么? 列出六个月来没人使用过的类别、属性和关系。问如果每一项消失会发生什么。商定移除两项,并观察是否有人注意到。
四种视角
产品与交付团队
交付团队掌握着其服务依赖什么的知识,最适合使记录保持真实。他们应当在代码旁边声明归属和依赖,在设计变化时评审它们,并在规划变更时使用记录。包括更新服务描述在内的完成定义,使记录靠近工作。
服务与运维团队
运维团队在事件和变更期间查阅记录,所以最先感受到其错误。他们应当在评审中报告遗漏,运行发现检查,维护匹配规则,并向负责人提供反馈。他们还运营工具和审计样本。
领导层与治理
领导者想要使影响和风险可见,并常常发起令人失望的大型 CMDB 计划。他们应当索要使用和准确度的证据,而不是记录数量,为流水线集成出资,并接受做得好的较小范围。治理应当期望看到影响预测命中率和缺口清单。
客户与用户
当事件被更快诊断、变更更不太可能破坏依赖它的服务时,用户受益。他们很少看到 CMDB,不过他们在正确指名受影响服务的沟通中,以及变更之后更少的意外中,看到它的效果。他们在事件之后的反馈,显示影响图景是否正确。
实践:一个服务管理示例
一家全国性航空公司的技术团队运行着约 300 个应用和一个客户预订平台。下面的数字均为示意。
CMDB 持有 180,000 个 CI,由五年前的一个发现工具填充。服务管理主管想知道它是否值得保留。她请一个小团队对它进行检验。关于质量,他们审计了 150 个抽样的 CI,发现在五个必需属性上有 71% 是准确的。关于地图,他们评审了最近 20 起重大事件,并把实际受影响的服务与 CMDB 所预测的相比较:20 起中有 6 起它预测到了所有受影响的服务,命中率为 30%。关于使用,上个季度有 12% 的事件引用了某个 CI,而在对响应者的一次简短调查中,大多数人说他们依赖一个单独的维基页面。重复的 CI 占总数的 9%。
团队与服务负责人一起作出四项决定。它把范围缩小到承载客户最多的 40 项服务,附五个 CI 类别和四种关系类型。它请每个服务团队在与其代码放在一起的一个简短文件中声明负责人、依赖和运行位置,流水线在每次发布时把它发布到 CMDB。它每周运行发现,并向负责人报告差异。它在事件评审中增加一个字段,“CMDB 的预测对吗?”,并在两周内修复每一次遗漏。
两个季度后,限定范围的 CMDB 有 14,000 个 CI,抽样集的准确度为 92%,对于流水线中的服务,从发布到记录的更新延迟不到一小时,最近 12 起事件的命中率为 75%。事件中的 CMDB 使用率升至 58%,响应者说不再需要那个维基页面。首席运营官要求制定一份计划,一次性纳入其他 260 个应用。服务管理主管提议每季度添加十项服务,在每项服务于一次测试事件中达到约定的命中率水平之后,并解释说,早先宽泛的记录从未被信任过。该决定被记录下来,并每季度评审。
敏捷、AI、自动化与分析
敏捷
让服务团队在工作中使自己的记录保持最新,并定期与他们一起评审质量。需要注意的是,仅有完整性目标,会产生填满占位符的记录。
AI
AI 可以推断依赖、建议记录,并根据配置数据回答问题,而 AI 系统本身就是配置项。对照真实事件,跟踪由 AI 建议的依赖的影响预测命中率。需要注意的是,猜测依赖的 AI,可能用看似合理的错误污染记录。
自动化
从发现和基础设施即代码为记录提供数据,并度量更新延迟。需要注意的是,没有明确的标识规则,自动发现可能产生重复或陈旧的项。
分析
依据数据库在真实变更和事件中回答问题的好坏来评判它,并报告使用率。这为之提供依据的决定是在哪里改进数据。需要注意的是,准确度是通过抽样来度量的,所以要展示样本量。
行业视角
初创公司。 除了服务目录和基础设施代码之外,几乎不需要 CMDB。把服务负责人和依赖保存在代码仓库中,并据此生成地图。只有当问题超出这些文件所能回答的范围时,才添加数据库。
小型企业。 一张简单的图和一份带负责人和供应商的系统清单可能就够了。在每次重大变更之后更新它。克制为小型环境购买平台的冲动,但要保持图表是最新的,因为它在中断期间极为宝贵。
大型企业。 规模需要一个模型、联合的归属,以及与若干来源(包括收购)的集成。标准化标识符和核心模型,让团队在规则之内扩展它,并按领域度量使用和准确度。预料要运行一项持久的匹配和清洗职能。
政府与公共部门。 服务往往建立在长期存在的系统、承包商和共享基础设施之上,而事件的影响可能波及公众。明确绘制对供应商和共享平台的依赖,为审计保存记录,并与连续性规划保持一致(见主题 5.6,服务连续性度量)。
业务论证:动因、投资回报与总拥有成本
成本是建模和治理的工作量、流水线和发现的集成、一些工具,以及审计和修复的工作量。许多组织已经拥有这一平台。一旦模板存在,通过流水线填充就很廉价。一次性填充一切的大型计划代价高昂,且常常失败。
回报是更短的事件、更安全的变更,以及更少花在查找信息上的时间。依据你自己的证据构建论证:响应者在典型事件中查找依赖所花的时间、缺失的依赖信息延迟了诊断的事件占比,以及造成意外影响的变更。影响预测命中率直接度量记录是否本会有帮助。避免引用关于由变更引起的事件占比或中断成本的已发布说法,除非你能追溯其来源。把保持一份庞大而令人怀疑的记录的成本,与一份小而被信任的记录的价值相比较。
反模式与陷阱
- 先填充一切。 庞大而陈旧的记录摧毁信任。从关键服务开始。
- 以发现作为唯一来源。 它无法告诉你某物为何存在或谁拥有它。与声明相结合。
- 审计完整性却称之为质量。 完整却错误,比不完整却正确更糟。为准确度抽样。
- 由中央团队拥有所有数据。 他们并不了解它。把归属交给服务团队。
- 带默认值的必填字段。 它们看起来完整,却不携带任何信息。移除或自动化它们。
- 按 CI 的数量度量。 更多不等于更好。度量准确度、命中率和使用。
- 忽略关系。 没有依赖,CMDB 就只是一份清单。为关键服务投资于地图。
- 因遗漏而责备人。 他们会停止报告。把遗漏的依赖视为发现。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 范围与模型 | 发现工具找到什么就是什么 | 已定义模型;范围宽泛 | 由问题驱动的模型;绘制关键服务 | 当命中率和使用证明合理时,范围才增长 | 跨团队和供应商的联合模型;共享标识符 |
| 填充与质量 | 手工或一次性加载 | 计划内的发现和导入 | 流水线从代码发布;发现用作检查;抽样审计 | 度量并分析准确度、延迟和重复项的趋势 | 带自动对账和负责人确认的实时数据流 |
| 使用 | 很少被查阅 | 少数几个团队使用 | 在事件和变更中作为标准做法被引用 | 对照事件测试影响预测;跟踪使用和有用性 | 记录为自动化决策和共享的供应商地图提供依据 |
检查清单
- 写下 CMDB 必须回答的问题。
- 范围限于关键服务,并有明确的增长规则。
- 模型有一小组类别、属性和关系类型。
- 每项关键服务都有一名在上个季度确认过其记录的负责人。
- 流水线为以代码构建的服务发布 CI 变更。
- 把发现结果与记录相比较,并评审差异。
- 每季度双向审计一批随机的准确度样本。
- 事件评审记录预测的影响是否正确。
- 跟踪事件和变更中的 CMDB 使用,并附有用性问题。
- 按计划淘汰未使用的类别和属性。
AI 提示词
定义问题和范围。
我们运行 [组织类型和服务]。我们需要配置信息的典型情形:[列出事件、变更、审计]。请起草一份我们的 CMDB 应当回答的问题清单、每个问题所需要的 CI 类别、属性和关系,以及一个由最关键服务构成的最小起始范围。不要虚构工具。请列出你的假设,以及应与服务负责人确认的事项。
分析一次影响预测的遗漏。
在事件 [描述] 之后,CMDB 预测的受影响服务是:[清单],而实际受影响的服务是:[清单]。请解释每处差异可能的原因(缺失的依赖、错误的关系、陈旧的数据、间接依赖),建议如何验证每一种,并提出在源头的修复办法。不要假定信息无法支持的原因。请列出你的假设。
为服务团队设计声明文件。
请提出一份简短、人类可读的声明,由服务团队与其代码放在一起,为 CMDB 描述该服务:负责人、支持联系人、层级、依赖、运行位置和数据分类。包括流水线可以应用的验证规则,以及针对 [服务类型] 的一个最小示例。让它限于 [粘贴问题] 中的问题所需要的内容。请列出你的假设,以及应与安全部门一起评审的字段。
规划每季度的准确度审计。
我们的 CMDB 在这些类别中持有 [数量] 个 CI:[清单]。请设计一次每季度的审计,从两个方向抽取随机样本(从 CMDB 到现实,以及从现实到 CMDB),说明每个类别要检查什么、如何诚实地报告准确度和错误来源,以及如何避免给自己的作业打分。不要夸大统计精度。请列出你的假设。
AI 技能
- Service Management Metrics skill:用于查找配置质量度量所配对的护栏。
- Service Management Metrics maintainer skill:用于检查 CMDB 度量条目是否带有其钻空子途径、护栏和独立证据规则。
要点
- 构建 CMDB,以回答关于最重要服务的指名问题,并随着信任的增长而扩大它。
- 从流水线和代码填充它,把发现用作第二意见,并让服务团队拥有自己的记录。
- 对照事件检验质量:把预测的影响与事件中实际发生的相比较。
- 度量使用和有用性,而不是 CI 的数量。
- 从独立证据双向抽样检验准确度。
- 淘汰没人使用的东西,并在源头修复错误。
参考文献与延伸阅读
- AXELOS (now PeopleCert), ITIL 4 Practice Guide: Service Configuration Management, TSO, 2020.
- Wang, R. Y., and Strong, D. M., "Beyond accuracy: what data quality means to data consumers," Journal of Management Information Systems, 12(4), 1996.
- DAMA International, DAMA-DMBOK: Data Management Body of Knowledge, 2nd ed., Technics Publications, 2017.
- Morris, K., Infrastructure as Code, 2nd ed., O'Reilly, 2020.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Configuration item.
- Wikipedia, Configuration management database.
- Wikipedia, Infrastructure as code.
- Wikipedia, Data integrity.
- Wikipedia, Entity resolution.
- Wikipedia, Goodhart's law.
- Wikipedia, Service discovery.
- Wikipedia, Graph database.