概述与动因

可观测性(observability)是系统的一种属性:从系统所产生的输出,能多好地理解其内部状态。在实践中,这些输出被称为遥测(telemetry),通常分为三类。日志(logs)是离散事件的记录。指标(metrics)是随时间变化的数值测量,比如请求速率或错误率。追踪(traces)沿着分布式系统的各部分,跟随一次请求。许多团队还添加性能剖析、来自用户设备的事件,以及业务事件。

监控提出已知的问题,比如“错误率是否高于阈值?”,并在答案为是时告警。可观测性旨在让团队提出它没有计划过的问题,比如“为什么来自这个地区的请求,对这个客户群体来说很慢?”。两者都是需要的。监控已在前面的主题中涵盖(见主题 5.5,监控与告警质量度量)。本主题涵盖信号本身的质量,以及从中理解系统的实践。

遥测有成本和风险。收集一切在存储和金钱上是昂贵的,并且可能捕获个人或机密数据。收集太少,会让团队在事件期间一无所知。遥测在前一个主题的意义上也是数据(见主题 10.8,分析与数据质量度量),所以它有完整性、及时性和谱系的问题。而且随着 AI 工具读取遥测来总结事件并提出原因,信号的质量决定摘要是否正确。

这里使用的术语。信号(signal)是一股遥测流,比如日志、指标或追踪。埋点(instrumentation)是产生信号的代码。基数(cardinality)是指标上某个标签不同取值的数量,高基数会增加成本。服务级别指示器(SLI)度量服务中用户所体验到的某个方面(见主题 5.2,SLI、SLO 与错误预算)。采样(sampling)只保留数据的一部分,这节省成本,却丢失细节。保留(retention)是数据保存多久。关联(correlation)意味着通过共享的标识符,把描述同一请求或事件的信号联系起来。

关键原则

  • 为问题埋点,而不是为数据量。 选择能回答关于用户体验和系统行为的问题的信号。
  • 度量你能看到的,以及你看不到的。 对服务和旅程的覆盖显示盲区。
  • 信号必须相联。 把日志、追踪和指标连起来的标识符,使理解变快。
  • 遥测既是成本也是风险。 为它做预算,并让个人和机密数据远离它,除非有理由和规则。
  • 可观测性服务于人。 度量理解所需的时间,以及值班人员的体验。
  • 开放标准减少锁定。 在适合之处,优先使用通用的埋点格式,并检查当前的规范。

度量定义

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏
埋点覆盖 发出约定的核心信号的服务和关键用户旅程占比 日志、指标和追踪符合约定标准的服务或旅程 / 服务目录中的服务或旅程 百分比 服务目录和遥测平台清单 监控与事态管理;服务配置管理 新服务的完成定义 每季度
追踪完整性 从入口到最后一个依赖都有不间断追踪的抽样请求占比 追踪覆盖所有预期跳转的请求 / 被检查样本中的请求 百分比 追踪平台和抽样检查 监控与事态管理 功能中对可观测性的测试 每月
信号关联率 日志、指标和追踪可以通过标识符连接起来的事件占比 在时间线评审中有可用连接的事件 / 被评审的事件 百分比 事件评审和追踪平台 事件管理;问题管理 回顾会议的行动 每季度
理解时间 从发现到记录下有效的原因解释的时间 对有记录原因的事件,(记录第一个有效原因的时间减去发现事件的时间) 的中位数和第 85 百分位数 分钟 事件时间线和评审笔记 事件管理 免责评审 每季度
每项服务的遥测成本 归属于某项服务的遥测支出,按该服务的单位使用量计 分配给该服务的遥测成本 / 所述的使用单位,比如 1,000 次请求 每单位的货币 遥测账单和使用数据 财务管理 成本作为设计输入 每月
遥测中的敏感数据 包含不应当在那里的数据的、已确认的记录数 期内通过扫描或评审发现的已确认案例 计数 遥测扫描和评审 信息安全管理 完成定义;隐私评审 每月
盲区事件 由用户首先报告,而遥测没有显示迹象的事件 由用户首先报告、且没有相关告警或信号的事件 / 期内的事件 百分比 事件记录和评审笔记 事件管理;监控 回顾会议的行动 每季度

埋点覆盖取决于约定的核心标准,比如请求速率、错误率、延迟和追踪标识符,并在度量登记册中说明。理解时间只统计记录了原因的事件,所以原因未知的事件单独报告。

建议

决定要看到什么

1. 从用户旅程和服务级别开始。 列出重要的旅程,以及显示用户是否成功的指示器。先为它们埋点,因为它们把遥测与成果联系起来(见主题 5.2,SLI、SLO 与错误预算)。

2. 商定一个核心标准。 定义每项服务发出的最少信号,以及命名和标识符的约定。把标准放进新服务的完成定义。

3. 诚实地绘制覆盖图。 把服务目录与发出核心信号的服务相比较。列出缺口及其负责人,并先处理对用户影响最大的。

使信号有用

4. 用共享的标识符把信号相联。 让请求或追踪标识符贯穿日志、指标和追踪,使人能从一次缓慢的请求走到确切的日志行。在演练中测试这一点。

5. 像测试代码一样测试埋点。 在队列处断开的追踪,或时区有误的日志,会浪费一次事件。通过抽样请求检查完整性,并修复断点。

6. 有意识地控制基数和采样。 高基数的标签会造成巨大的成本,而采样可能丢掉你所需要的罕见事件。决定在哪里采样,记录采样率,并在负担得起之处为错误和缓慢的请求保留完整数据。

7. 让敏感数据远离。 决定什么不得出现在日志和追踪中,比如个人数据、凭据,以及健康或支付的细节。为它扫描,并修复来源。与你的法律顾问核实义务,因为本书不提供法律建议。

度量理解

8. 度量理解时间,而不仅仅是修复时间。 从发现到有效解释的时间,显示信号对人的支持有多好。评审最长的案例,看缺少了什么信号。

9. 统计盲区。 由用户首先发现的事件,是缺口最清楚的证据。对每一个,问什么信号本来会显示它,并添加它。

10. 评审仪表盘和告警的使用情况。 淘汰无人打开的仪表盘,以及从不引向行动的告警(见主题 5.5,监控与告警质量度量)。一小组人们信任的东西,胜过一面图表墙。

管理成本和标准

11. 为遥测成本做预算并归属。 把成本分配到服务,并关注趋势。依据价值设定保留期:详细数据保留较短的时间,摘要保留更长,并删除没有用处的。

12. 在适合之处优先使用开放标准。 通用的埋点和数据格式,比如由 OpenTelemetry 项目维护的那些,使更换工具更容易。在承诺之前,检查当前的规范和你的工具的支持,因为标准和产品会变化。

钻空子途径与护栏

度量 如何被钻空子 配对的护栏度量或实践
埋点覆盖 为每项服务添加最少的信号以通过标准;把难办的服务排除在目录之外 追踪完整性和盲区事件;评审目录中的遗漏
追踪完整性 只对简单的请求采样;把部分追踪算作完整 按请求类型定义检查样本;检查对依赖的覆盖
信号关联率 只评审进展顺利的事件;统计只存在于纸面上的连接 评审事件的随机样本;运行连接演练
理解时间 过早而草率地记录原因;对困难的案例把原因留空 评审原因记录的质量;单独报告没有原因的事件
每项服务的遥测成本 为削减成本而丢弃信号;把成本转移到另一个账户 盲区事件和理解时间;对总支出对账
遥测中的敏感数据 扫描得太窄;不报告发现 扫描覆盖和独立评审;跟踪移除所需的时间
盲区事件 在用户报告之后告警触发,却把事件算作已发现;把信号定义得很宽 比较第一个信号和第一次用户报告的时间戳;抽样评审

健康的读数是:覆盖随完整追踪和连接的数量一起上升、由用户首先发现的事件占比下降、理解时间在不削减信号的情况下下降、被理解并被归属的遥测成本,以及被迅速修复的敏感数据发现。

权衡:利与弊

方法 优势 劣势
收集一切,长期保存 最大的调查能力 高成本和风险;难以搜索
采样并短期保留 成本较低 可能错过罕见事件和旧事件
跨服务的标准埋点 一致;理解更快 采纳需要努力;可能不适合每项服务
团队自选的埋点 契合本地需要 不一致;信号难以连接
遥测的 AI 摘要 更快的初步视图 可能有误;取决于信号质量

结论是为错误和缓慢的请求保留丰富的数据,对例行的请求采样,并依据价值设定保留期。一套适度、一致且相联的信号,胜过一大堆互不相联的东西。

与团队讨论的问题

1. 在我们上一次事件中,我们想知道什么却无从查明? 这揭示缺失的信号。请人们回忆问题以及他们去哪里找。预料会有这样的回答:“哪些客户受到影响”或“改变了什么”。随后决定由谁添加信号以及如何测试它。

2. 对于我们最重要的用户旅程,我们如何知道它在失败? 逐步走一遍旅程。问每一步由哪个信号显示成功,以及多快。寻找没有信号的步骤。随后为最薄弱的一步添加指示器。

3. 我们能否从用户的点击出发,跟随一次请求到数据库再回来? 现场试一试。注意追踪在哪里断开,比如在队列或第三方调用处。问找到匹配的日志行需要多久。随后修复最大的断点。

4. 我们在遥测上花了多少?我们得到了什么? 许多团队不知道按服务划分的成本。问过去一个季度用过哪些信号。讨论哪些可以在无害的情况下被采样或删除。随后选择一个信号来评审。

5. 今天我们的日志和追踪中可能有什么敏感信息? 一起搜索例子。常见的情形是电子邮件地址、令牌和自由文本字段。问它是怎么到那里的,以及谁能读到它。随后商定规则和扫描。

6. 我们如何在遥测上使用 AI 工具?谁来检查它们所说的? 倾听对事件未经检查的摘要。问有什么数据被发送给工具,以及依据什么条款。讨论人如何验证一个被建议的原因。随后写一条简短的规则。

四种视角

产品与交付团队

由你们决定服务发出什么。在构建时添加埋点,包括把信号相联的标识符,并作为工作的一部分来测试它。把缺失的可观测性视为缺陷,因为下一次事件会为它付出代价。

服务与运维团队

你们在压力下使用遥测。告诉团队哪些信号有帮助、哪些缺失,并让告警与用户影响挂钩。跟踪理解时间和盲区事件,并把它们带给产品团队。

领导层与治理

把可观测性作为服务的一部分出资,为遥测和修复缺口设预算。索要覆盖、盲区事件和成本趋势,而不是仪表盘的数量。为敏感数据和在遥测上使用 AI 工具设定规则。

客户与用户

你往往是第一个注意到问题的人,所以要问如何报告它,以及它多快会与服务的信号相联。你的报告减少盲区,你应当被告知学到了什么。问关于你收集了哪些遥测,以及为什么。

实践:一个服务管理示例

一家中型在线零售商运行着一项由八个较小服务组成的结账服务。本示例中的数字均为示意。客户报告在支付时偶尔失败,但仪表盘显示错误率健康、延迟正常。

团队进行度量。埋点覆盖是 8 项服务中有 6 项符合核心标准。对 50 个抽样的结账请求的检查,显示追踪完整性为 62%,因为追踪在消息队列处和第三方支付调用处断开。在最近的六起事件中,信号关联率是六分之二,因为日志使用的请求标识符与追踪不同。盲区事件是六分之三。

团队让单个请求标识符贯穿队列和日志,在支付调用周围添加追踪的跨度,并为缺失的两项服务埋点。一个月后,在抽样检查中追踪完整性达到约 90%,下一起事件在 35 分钟内就有了有效的解释,而之前要几个小时。他们还扫描日志,并在一条错误消息中发现了客户的电子邮件地址,他们从来源上移除了它,下个月敏感数据的发现降为零。

出现了钻空子的风险。一位经理要求通过把剩下的两项服务标为“不在范围内”来提高埋点覆盖。团队拒绝了,因为盲区事件的数量会居高不下,并记录了该缺口及其负责人。仍然困难的是:每次结账请求的遥测成本已经上升,团队尚未决定追踪保留多久。下个季度的计划是对例行的追踪采样,并为错误保留完整细节。

敏捷、AI、自动化与分析

敏捷

把可观测性纳入完成定义,使服务的每个增量在生产环境中都能被理解。一个好的做法是在定期的改进交流中评审上一次事件所缺失的信号,并把它们作为待办事项列表项添加。需要注意的是,可观测性的工作常常为功能而推迟,所以要使它可见并保护时间。

AI

AI 可以总结遥测、关联信号并建议原因,而 AI 功能本身也需要遥测,比如输入、输出、延迟、成本和用户反馈。把 AI 建议的原因与人工检查配对,并报告它们有多经常是对的,并且既要监控 AI 功能的质量,也要监控其可用性(见主题 10.1,服务管理中的 AI 度量)。需要注意的是,日志中的提示词和回复可能包含个人数据,所以在开始之前先决定记录什么。

自动化

自动化收集、关联和告警,并自动化对覆盖和敏感数据的检查。就丢失的数据和延迟,度量遥测流水线本身,因为损坏的流水线看起来像一个健康的系统。需要注意的是,对信号作出反应的自动修复可能掩盖原因,所以要记录它做了什么。

分析

用遥测来回答关于用户体验和系统行为的问题,附与成果相联的 SLI。这为之提供依据的决定是在哪里投资于信号,以及在哪里降低成本。需要注意的是,数据量不是洞见,而聚合的指标可能隐藏受伤害的用户,所以要检查分布和细分,并展示每个数字背后的事件数(见主题 10.8,分析与数据质量度量)。

行业视角

初创公司。 从主要用户旅程上的少数信号,以及日志中的追踪标识符开始。避免在问题清晰之前购买大型平台,并随着使用的增长关注成本。

小型企业。 托管服务往往只提供有限的遥测。问供应商你能看到什么,并为主要旅程保留一项简单的外部检查。避免在日志中收集个人数据。

大型企业。 众多团队和工具需要共享的标准、共享的标识符和中央的成本归属。允许团队在标准之内添加信号,并集中管理保留和访问。

政府与公共部门。 关于数据位置、保留和访问的规则,塑造你能收集什么以及存放在哪里。记录遥测的数据流,并与法律顾问核实义务(见主题 8.5,受监管与政府报告)。

业务论证:动因、投资回报与总拥有成本

成本是埋点工作、平台或服务费用、按保留期计的存储,以及维护标准和仪表盘的员工时间。遥测成本会随数据量和基数迅速增长,所以要为它做预算并归属。

回报是事件中更快的理解、更少由用户首先发现的事件,以及在哪里改进上更好的决定。这些收益是真实的,却难以定价,所以避免虚构数字。把你自己的理解时间和盲区事件占比,在工作前后进行比较,并把假设表述为区间(见主题 7.7,投资回报与业务论证)。风险一面是通过遥测数据泄漏的成本,以及从未被使用的遥测的成本。

反模式与陷阱

  • 统计仪表盘。 更多的图表不意味着更多的理解。度量覆盖、连接和理解时间。
  • 永远收集一切。 成本和风险增长,而用处很少。依据价值设定保留期。
  • 互不相联的信号。 无法连接的日志、指标和追踪,拖慢每一次事件。传递共享的标识符。
  • 把罕见事件采样掉。 你所需要的失败,正是你丢掉的那个。保留错误和缓慢的请求。
  • 日志中的敏感数据。 它扩散并难以移除。扫描并修复来源。
  • 对每个信号告警。 噪声使人们学会忽略告警。对用户影响告警。
  • 未经检查就信任 AI 的摘要。 它们可能有误,信号也可能不完整。对照数据验证。
  • 把埋点当作别人的工作。 编写代码的人知道该发出什么。使它成为工作的一部分。

成熟度模型

维度 起步 发展 标准化 管理 协同
覆盖与标准 信号因团队而异;盲区未知 为主要服务埋点 核心标准,并对照目录跟踪覆盖 评审盲区事件并弥合缺口 覆盖被构建到服务创建中,并依据用户影响调整
信号质量与关联 只有日志;没有共享标识符 一些追踪和指标 共享标识符;检查追踪完整性 评审理解时间;运行演练 信号依据所提的问题自动适应
成本与治理 成本未知;没有数据规则 总体成本可见 成本被归属;保留和敏感数据规则 按节奏评审成本和数据发现 跨团队依据价值管理遥测成本和风险

检查清单

  • 核心信号标准已写下,并是完成定义的一部分。
  • 对照服务目录跟踪埋点覆盖。
  • 请求或追踪标识符把日志、指标和追踪相联。
  • 在真实请求的样本上检查追踪完整性。
  • 为事件记录理解时间,连同原因。
  • 统计盲区事件,每一个都引向一个信号。
  • 遥测成本被归属到服务,保留期依据价值设定。
  • 为遥测中的敏感数据扫描,并在来源处修复。
  • 存在针对读取遥测的 AI 工具的规则。
  • 每项测量值旁边都展示了钻空子途径和护栏。

AI 提示词

设计核心信号标准。

我们的服务是 [描述],由 [数量] 个以 [技术] 构建的组件组成。我们最重要的用户旅程是 [列表]。请提出核心信号标准:每个组件应发出的最少日志、指标和追踪,命名和标识符的约定,以及如何检查符合性。除非我指名,不要推荐特定的供应商。标出假设,并列出我应当回答的问题。

从事件评审中找出可观测性的缺口。

这是最近一起事件的摘要,附时间线和笔记(已移除个人数据):[粘贴]。请找出团队缺少信号、无法把信号相联、或依赖猜测的时刻。对每一个,提出本来会有帮助的信号或连接,作为供团队评估的建议。不要断言文本不支持的原因。列出你无法判断的内容,以及你的假设。

规划对遥测中敏感数据的扫描。

我们把日志和追踪保存在 [工具] 中。请起草在其中查找敏感数据的计划:要查找的数据类别、在哪里查找、如何抽样、如何报告发现,以及如何在来源处修复。不要陈述法律要求;列出要问我们法律顾问的问题。请列出假设,以及你需要的访问权限。

评审可观测性测量值的钻空子风险。

我们报告这些可观测性测量值:[粘贴测量值及其定义]。背景:[团队规模、工具、受众]。对每项测量值,列出它在没有改进理解的情况下看起来更好的现实方式,提出一道护栏,并说明该护栏如何可能被钻空子。不要虚构基准值。请列出你的假设。

AI 技能

要点

  • 可观测性是对运行中的服务提出新问题的能力,所以要度量覆盖、相联的信号和理解时间。
  • 由用户首先发现的事件,是盲区最清楚的证据,所以要统计它们并添加信号。
  • 跨日志、指标和追踪的共享标识符,使理解变快。
  • 遥测要花钱,并可能泄漏敏感数据,所以要为它做预算、依据价值设定保留期,并扫描敏感内容。
  • 对照数据检查遥测的 AI 摘要,因为它们取决于信号的质量。

参考文献与延伸阅读

  1. Wikipedia, Observability (software).
  2. Wikipedia, Telemetry.
  3. Wikipedia, Distributed tracing.
  4. Wikipedia, Site reliability engineering.
  5. Wikipedia, Log management.
  6. Wikipedia, Service-level indicator.
  7. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016.