可观测性与遥测度量
可观测性是对运行中的服务提出新问题、并从它自己的信号中得到答案的能力,所以要度量你能看到服务的多少、信号有多好、它们多快引向理解,以及遥测的代价是什么,而不是统计仪表盘或数据量。
概述与动因
可观测性(observability)是系统的一种属性:从系统所产生的输出,能多好地理解其内部状态。在实践中,这些输出被称为遥测(telemetry),通常分为三类。日志(logs)是离散事件的记录。指标(metrics)是随时间变化的数值测量,比如请求速率或错误率。追踪(traces)沿着分布式系统的各部分,跟随一次请求。许多团队还添加性能剖析、来自用户设备的事件,以及业务事件。
监控提出已知的问题,比如“错误率是否高于阈值?”,并在答案为是时告警。可观测性旨在让团队提出它没有计划过的问题,比如“为什么来自这个地区的请求,对这个客户群体来说很慢?”。两者都是需要的。监控已在前面的主题中涵盖(见主题 5.5,监控与告警质量度量)。本主题涵盖信号本身的质量,以及从中理解系统的实践。
遥测有成本和风险。收集一切在存储和金钱上是昂贵的,并且可能捕获个人或机密数据。收集太少,会让团队在事件期间一无所知。遥测在前一个主题的意义上也是数据(见主题 10.8,分析与数据质量度量),所以它有完整性、及时性和谱系的问题。而且随着 AI 工具读取遥测来总结事件并提出原因,信号的质量决定摘要是否正确。
这里使用的术语。信号(signal)是一股遥测流,比如日志、指标或追踪。埋点(instrumentation)是产生信号的代码。基数(cardinality)是指标上某个标签不同取值的数量,高基数会增加成本。服务级别指示器(SLI)度量服务中用户所体验到的某个方面(见主题 5.2,SLI、SLO 与错误预算)。采样(sampling)只保留数据的一部分,这节省成本,却丢失细节。保留(retention)是数据保存多久。关联(correlation)意味着通过共享的标识符,把描述同一请求或事件的信号联系起来。
关键原则
- 为问题埋点,而不是为数据量。 选择能回答关于用户体验和系统行为的问题的信号。
- 度量你能看到的,以及你看不到的。 对服务和旅程的覆盖显示盲区。
- 信号必须相联。 把日志、追踪和指标连起来的标识符,使理解变快。
- 遥测既是成本也是风险。 为它做预算,并让个人和机密数据远离它,除非有理由和规则。
- 可观测性服务于人。 度量理解所需的时间,以及值班人员的体验。
- 开放标准减少锁定。 在适合之处,优先使用通用的埋点格式,并检查当前的规范。
度量定义
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| 埋点覆盖 | 发出约定的核心信号的服务和关键用户旅程占比 | 日志、指标和追踪符合约定标准的服务或旅程 / 服务目录中的服务或旅程 | 百分比 | 服务目录和遥测平台清单 | 监控与事态管理;服务配置管理 | 新服务的完成定义 | 每季度 |
| 追踪完整性 | 从入口到最后一个依赖都有不间断追踪的抽样请求占比 | 追踪覆盖所有预期跳转的请求 / 被检查样本中的请求 | 百分比 | 追踪平台和抽样检查 | 监控与事态管理 | 功能中对可观测性的测试 | 每月 |
| 信号关联率 | 日志、指标和追踪可以通过标识符连接起来的事件占比 | 在时间线评审中有可用连接的事件 / 被评审的事件 | 百分比 | 事件评审和追踪平台 | 事件管理;问题管理 | 回顾会议的行动 | 每季度 |
| 理解时间 | 从发现到记录下有效的原因解释的时间 | 对有记录原因的事件,(记录第一个有效原因的时间减去发现事件的时间) 的中位数和第 85 百分位数 | 分钟 | 事件时间线和评审笔记 | 事件管理 | 免责评审 | 每季度 |
| 每项服务的遥测成本 | 归属于某项服务的遥测支出,按该服务的单位使用量计 | 分配给该服务的遥测成本 / 所述的使用单位,比如 1,000 次请求 | 每单位的货币 | 遥测账单和使用数据 | 财务管理 | 成本作为设计输入 | 每月 |
| 遥测中的敏感数据 | 包含不应当在那里的数据的、已确认的记录数 | 期内通过扫描或评审发现的已确认案例 | 计数 | 遥测扫描和评审 | 信息安全管理 | 完成定义;隐私评审 | 每月 |
| 盲区事件 | 由用户首先报告,而遥测没有显示迹象的事件 | 由用户首先报告、且没有相关告警或信号的事件 / 期内的事件 | 百分比 | 事件记录和评审笔记 | 事件管理;监控 | 回顾会议的行动 | 每季度 |
埋点覆盖取决于约定的核心标准,比如请求速率、错误率、延迟和追踪标识符,并在度量登记册中说明。理解时间只统计记录了原因的事件,所以原因未知的事件单独报告。
建议
决定要看到什么
1. 从用户旅程和服务级别开始。 列出重要的旅程,以及显示用户是否成功的指示器。先为它们埋点,因为它们把遥测与成果联系起来(见主题 5.2,SLI、SLO 与错误预算)。
2. 商定一个核心标准。 定义每项服务发出的最少信号,以及命名和标识符的约定。把标准放进新服务的完成定义。
3. 诚实地绘制覆盖图。 把服务目录与发出核心信号的服务相比较。列出缺口及其负责人,并先处理对用户影响最大的。
使信号有用
4. 用共享的标识符把信号相联。 让请求或追踪标识符贯穿日志、指标和追踪,使人能从一次缓慢的请求走到确切的日志行。在演练中测试这一点。
5. 像测试代码一样测试埋点。 在队列处断开的追踪,或时区有误的日志,会浪费一次事件。通过抽样请求检查完整性,并修复断点。
6. 有意识地控制基数和采样。 高基数的标签会造成巨大的成本,而采样可能丢掉你所需要的罕见事件。决定在哪里采样,记录采样率,并在负担得起之处为错误和缓慢的请求保留完整数据。
7. 让敏感数据远离。 决定什么不得出现在日志和追踪中,比如个人数据、凭据,以及健康或支付的细节。为它扫描,并修复来源。与你的法律顾问核实义务,因为本书不提供法律建议。
度量理解
8. 度量理解时间,而不仅仅是修复时间。 从发现到有效解释的时间,显示信号对人的支持有多好。评审最长的案例,看缺少了什么信号。
9. 统计盲区。 由用户首先发现的事件,是缺口最清楚的证据。对每一个,问什么信号本来会显示它,并添加它。
10. 评审仪表盘和告警的使用情况。 淘汰无人打开的仪表盘,以及从不引向行动的告警(见主题 5.5,监控与告警质量度量)。一小组人们信任的东西,胜过一面图表墙。
管理成本和标准
11. 为遥测成本做预算并归属。 把成本分配到服务,并关注趋势。依据价值设定保留期:详细数据保留较短的时间,摘要保留更长,并删除没有用处的。
12. 在适合之处优先使用开放标准。 通用的埋点和数据格式,比如由 OpenTelemetry 项目维护的那些,使更换工具更容易。在承诺之前,检查当前的规范和你的工具的支持,因为标准和产品会变化。
钻空子途径与护栏
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| 埋点覆盖 | 为每项服务添加最少的信号以通过标准;把难办的服务排除在目录之外 | 追踪完整性和盲区事件;评审目录中的遗漏 |
| 追踪完整性 | 只对简单的请求采样;把部分追踪算作完整 | 按请求类型定义检查样本;检查对依赖的覆盖 |
| 信号关联率 | 只评审进展顺利的事件;统计只存在于纸面上的连接 | 评审事件的随机样本;运行连接演练 |
| 理解时间 | 过早而草率地记录原因;对困难的案例把原因留空 | 评审原因记录的质量;单独报告没有原因的事件 |
| 每项服务的遥测成本 | 为削减成本而丢弃信号;把成本转移到另一个账户 | 盲区事件和理解时间;对总支出对账 |
| 遥测中的敏感数据 | 扫描得太窄;不报告发现 | 扫描覆盖和独立评审;跟踪移除所需的时间 |
| 盲区事件 | 在用户报告之后告警触发,却把事件算作已发现;把信号定义得很宽 | 比较第一个信号和第一次用户报告的时间戳;抽样评审 |
健康的读数是:覆盖随完整追踪和连接的数量一起上升、由用户首先发现的事件占比下降、理解时间在不削减信号的情况下下降、被理解并被归属的遥测成本,以及被迅速修复的敏感数据发现。
权衡:利与弊
| 方法 | 优势 | 劣势 |
|---|---|---|
| 收集一切,长期保存 | 最大的调查能力 | 高成本和风险;难以搜索 |
| 采样并短期保留 | 成本较低 | 可能错过罕见事件和旧事件 |
| 跨服务的标准埋点 | 一致;理解更快 | 采纳需要努力;可能不适合每项服务 |
| 团队自选的埋点 | 契合本地需要 | 不一致;信号难以连接 |
| 遥测的 AI 摘要 | 更快的初步视图 | 可能有误;取决于信号质量 |
结论是为错误和缓慢的请求保留丰富的数据,对例行的请求采样,并依据价值设定保留期。一套适度、一致且相联的信号,胜过一大堆互不相联的东西。
与团队讨论的问题
1. 在我们上一次事件中,我们想知道什么却无从查明? 这揭示缺失的信号。请人们回忆问题以及他们去哪里找。预料会有这样的回答:“哪些客户受到影响”或“改变了什么”。随后决定由谁添加信号以及如何测试它。
2. 对于我们最重要的用户旅程,我们如何知道它在失败? 逐步走一遍旅程。问每一步由哪个信号显示成功,以及多快。寻找没有信号的步骤。随后为最薄弱的一步添加指示器。
3. 我们能否从用户的点击出发,跟随一次请求到数据库再回来? 现场试一试。注意追踪在哪里断开,比如在队列或第三方调用处。问找到匹配的日志行需要多久。随后修复最大的断点。
4. 我们在遥测上花了多少?我们得到了什么? 许多团队不知道按服务划分的成本。问过去一个季度用过哪些信号。讨论哪些可以在无害的情况下被采样或删除。随后选择一个信号来评审。
5. 今天我们的日志和追踪中可能有什么敏感信息? 一起搜索例子。常见的情形是电子邮件地址、令牌和自由文本字段。问它是怎么到那里的,以及谁能读到它。随后商定规则和扫描。
6. 我们如何在遥测上使用 AI 工具?谁来检查它们所说的? 倾听对事件未经检查的摘要。问有什么数据被发送给工具,以及依据什么条款。讨论人如何验证一个被建议的原因。随后写一条简短的规则。
四种视角
产品与交付团队
由你们决定服务发出什么。在构建时添加埋点,包括把信号相联的标识符,并作为工作的一部分来测试它。把缺失的可观测性视为缺陷,因为下一次事件会为它付出代价。
服务与运维团队
你们在压力下使用遥测。告诉团队哪些信号有帮助、哪些缺失,并让告警与用户影响挂钩。跟踪理解时间和盲区事件,并把它们带给产品团队。
领导层与治理
把可观测性作为服务的一部分出资,为遥测和修复缺口设预算。索要覆盖、盲区事件和成本趋势,而不是仪表盘的数量。为敏感数据和在遥测上使用 AI 工具设定规则。
客户与用户
你往往是第一个注意到问题的人,所以要问如何报告它,以及它多快会与服务的信号相联。你的报告减少盲区,你应当被告知学到了什么。问关于你收集了哪些遥测,以及为什么。
实践:一个服务管理示例
一家中型在线零售商运行着一项由八个较小服务组成的结账服务。本示例中的数字均为示意。客户报告在支付时偶尔失败,但仪表盘显示错误率健康、延迟正常。
团队进行度量。埋点覆盖是 8 项服务中有 6 项符合核心标准。对 50 个抽样的结账请求的检查,显示追踪完整性为 62%,因为追踪在消息队列处和第三方支付调用处断开。在最近的六起事件中,信号关联率是六分之二,因为日志使用的请求标识符与追踪不同。盲区事件是六分之三。
团队让单个请求标识符贯穿队列和日志,在支付调用周围添加追踪的跨度,并为缺失的两项服务埋点。一个月后,在抽样检查中追踪完整性达到约 90%,下一起事件在 35 分钟内就有了有效的解释,而之前要几个小时。他们还扫描日志,并在一条错误消息中发现了客户的电子邮件地址,他们从来源上移除了它,下个月敏感数据的发现降为零。
出现了钻空子的风险。一位经理要求通过把剩下的两项服务标为“不在范围内”来提高埋点覆盖。团队拒绝了,因为盲区事件的数量会居高不下,并记录了该缺口及其负责人。仍然困难的是:每次结账请求的遥测成本已经上升,团队尚未决定追踪保留多久。下个季度的计划是对例行的追踪采样,并为错误保留完整细节。
敏捷、AI、自动化与分析
敏捷
把可观测性纳入完成定义,使服务的每个增量在生产环境中都能被理解。一个好的做法是在定期的改进交流中评审上一次事件所缺失的信号,并把它们作为待办事项列表项添加。需要注意的是,可观测性的工作常常为功能而推迟,所以要使它可见并保护时间。
AI
AI 可以总结遥测、关联信号并建议原因,而 AI 功能本身也需要遥测,比如输入、输出、延迟、成本和用户反馈。把 AI 建议的原因与人工检查配对,并报告它们有多经常是对的,并且既要监控 AI 功能的质量,也要监控其可用性(见主题 10.1,服务管理中的 AI 度量)。需要注意的是,日志中的提示词和回复可能包含个人数据,所以在开始之前先决定记录什么。
自动化
自动化收集、关联和告警,并自动化对覆盖和敏感数据的检查。就丢失的数据和延迟,度量遥测流水线本身,因为损坏的流水线看起来像一个健康的系统。需要注意的是,对信号作出反应的自动修复可能掩盖原因,所以要记录它做了什么。
分析
用遥测来回答关于用户体验和系统行为的问题,附与成果相联的 SLI。这为之提供依据的决定是在哪里投资于信号,以及在哪里降低成本。需要注意的是,数据量不是洞见,而聚合的指标可能隐藏受伤害的用户,所以要检查分布和细分,并展示每个数字背后的事件数(见主题 10.8,分析与数据质量度量)。
行业视角
初创公司。 从主要用户旅程上的少数信号,以及日志中的追踪标识符开始。避免在问题清晰之前购买大型平台,并随着使用的增长关注成本。
小型企业。 托管服务往往只提供有限的遥测。问供应商你能看到什么,并为主要旅程保留一项简单的外部检查。避免在日志中收集个人数据。
大型企业。 众多团队和工具需要共享的标准、共享的标识符和中央的成本归属。允许团队在标准之内添加信号,并集中管理保留和访问。
政府与公共部门。 关于数据位置、保留和访问的规则,塑造你能收集什么以及存放在哪里。记录遥测的数据流,并与法律顾问核实义务(见主题 8.5,受监管与政府报告)。
业务论证:动因、投资回报与总拥有成本
成本是埋点工作、平台或服务费用、按保留期计的存储,以及维护标准和仪表盘的员工时间。遥测成本会随数据量和基数迅速增长,所以要为它做预算并归属。
回报是事件中更快的理解、更少由用户首先发现的事件,以及在哪里改进上更好的决定。这些收益是真实的,却难以定价,所以避免虚构数字。把你自己的理解时间和盲区事件占比,在工作前后进行比较,并把假设表述为区间(见主题 7.7,投资回报与业务论证)。风险一面是通过遥测数据泄漏的成本,以及从未被使用的遥测的成本。
反模式与陷阱
- 统计仪表盘。 更多的图表不意味着更多的理解。度量覆盖、连接和理解时间。
- 永远收集一切。 成本和风险增长,而用处很少。依据价值设定保留期。
- 互不相联的信号。 无法连接的日志、指标和追踪,拖慢每一次事件。传递共享的标识符。
- 把罕见事件采样掉。 你所需要的失败,正是你丢掉的那个。保留错误和缓慢的请求。
- 日志中的敏感数据。 它扩散并难以移除。扫描并修复来源。
- 对每个信号告警。 噪声使人们学会忽略告警。对用户影响告警。
- 未经检查就信任 AI 的摘要。 它们可能有误,信号也可能不完整。对照数据验证。
- 把埋点当作别人的工作。 编写代码的人知道该发出什么。使它成为工作的一部分。
成熟度模型
| 维度 | 起步 | 发展 | 标准化 | 管理 | 协同 |
|---|---|---|---|---|---|
| 覆盖与标准 | 信号因团队而异;盲区未知 | 为主要服务埋点 | 核心标准,并对照目录跟踪覆盖 | 评审盲区事件并弥合缺口 | 覆盖被构建到服务创建中,并依据用户影响调整 |
| 信号质量与关联 | 只有日志;没有共享标识符 | 一些追踪和指标 | 共享标识符;检查追踪完整性 | 评审理解时间;运行演练 | 信号依据所提的问题自动适应 |
| 成本与治理 | 成本未知;没有数据规则 | 总体成本可见 | 成本被归属;保留和敏感数据规则 | 按节奏评审成本和数据发现 | 跨团队依据价值管理遥测成本和风险 |
检查清单
- 核心信号标准已写下,并是完成定义的一部分。
- 对照服务目录跟踪埋点覆盖。
- 请求或追踪标识符把日志、指标和追踪相联。
- 在真实请求的样本上检查追踪完整性。
- 为事件记录理解时间,连同原因。
- 统计盲区事件,每一个都引向一个信号。
- 遥测成本被归属到服务,保留期依据价值设定。
- 为遥测中的敏感数据扫描,并在来源处修复。
- 存在针对读取遥测的 AI 工具的规则。
- 每项测量值旁边都展示了钻空子途径和护栏。
AI 提示词
设计核心信号标准。
我们的服务是 [描述],由 [数量] 个以 [技术] 构建的组件组成。我们最重要的用户旅程是 [列表]。请提出核心信号标准:每个组件应发出的最少日志、指标和追踪,命名和标识符的约定,以及如何检查符合性。除非我指名,不要推荐特定的供应商。标出假设,并列出我应当回答的问题。
从事件评审中找出可观测性的缺口。
这是最近一起事件的摘要,附时间线和笔记(已移除个人数据):[粘贴]。请找出团队缺少信号、无法把信号相联、或依赖猜测的时刻。对每一个,提出本来会有帮助的信号或连接,作为供团队评估的建议。不要断言文本不支持的原因。列出你无法判断的内容,以及你的假设。
规划对遥测中敏感数据的扫描。
我们把日志和追踪保存在 [工具] 中。请起草在其中查找敏感数据的计划:要查找的数据类别、在哪里查找、如何抽样、如何报告发现,以及如何在来源处修复。不要陈述法律要求;列出要问我们法律顾问的问题。请列出假设,以及你需要的访问权限。
评审可观测性测量值的钻空子风险。
我们报告这些可观测性测量值:[粘贴测量值及其定义]。背景:[团队规模、工具、受众]。对每项测量值,列出它在没有改进理解的情况下看起来更好的现实方式,提出一道护栏,并说明该护栏如何可能被钻空子。不要虚构基准值。请列出你的假设。
AI 技能
- Anomaly analysis:用于在决定原因之前考察遥测中不寻常的模式。
- Root cause analysis:用于把信号和时间线变成经过检验的解释。
- Service level agreement:用于把指示器与它们所支持的协议和目标联系起来。
- Service Management Metrics skill:用于查找涵盖某项度量及其配对护栏的主题。
要点
- 可观测性是对运行中的服务提出新问题的能力,所以要度量覆盖、相联的信号和理解时间。
- 由用户首先发现的事件,是盲区最清楚的证据,所以要统计它们并添加信号。
- 跨日志、指标和追踪的共享标识符,使理解变快。
- 遥测要花钱,并可能泄漏敏感数据,所以要为它做预算、依据价值设定保留期,并扫描敏感内容。
- 对照数据检查遥测的 AI 摘要,因为它们取决于信号的质量。
参考文献与延伸阅读
- Wikipedia, Observability (software).
- Wikipedia, Telemetry.
- Wikipedia, Distributed tracing.
- Wikipedia, Site reliability engineering.
- Wikipedia, Log management.
- Wikipedia, Service-level indicator.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016.