概要と動機

オブザーバビリティ(observability)はシステムの性質で、内部の状態が、それが生み出す出力からどれだけよく理解できるかです。実際には、それらの出力はテレメトリ(telemetry)と呼ばれ、通常は三種類に分けられます。ログは個別のイベントの記録です。メトリクスは、リクエスト率やエラー率のような、時間にわたる数値の測定値です。トレースは、分散システムの各部分を通る一つのリクエストを追います。多くのチームは、プロファイル、ユーザーのデバイスからのイベント、ビジネスイベントを加えます。

監視は、「エラー率がしきい値を超えているか?」のような既知の問いを尋ね、答えがイエスならアラートを出します。オブザーバビリティは、「この顧客セグメントについて、この地域からのリクエストがなぜ遅いのか?」のような、計画していなかった問いをチームが尋ねられるようにすることを目指します。両方が必要です。監視は前のトピックで扱われています(トピック 5.5「監視とアラート品質のメトリクス」を参照)。このトピックは、シグナル自体の質と、それらからシステムを理解する実践を扱います。

テレメトリにはコストとリスクがあります。すべてを収集することは、ストレージとお金の点で高価で、個人情報や機密データを捉えうるものです。収集が少なすぎると、インシデントの最中にチームが見えなくなります。テレメトリも、前のトピックの意味でのデータなので(トピック 10.8「アナリティクスとデータ品質のメトリクス」を参照)、完全性、適時性、系譜の問いがあります。そしてAIツールがインシデントを要約し原因を示唆するためにテレメトリを読むとき、シグナルの質が、要約が正しいかを決めます。

ここで使う用語。シグナルは、ログ、メトリクス、トレースのような、テレメトリの流れです。計装は、シグナルを生み出すコードです。カーディナリティは、メトリクスのラベルの異なる値の数で、高いカーディナリティはコストを増やします。サービスレベル指標(SLI)は、ユーザーが体験するサービスの一側面を測ります(トピック 5.2「SLI、SLO、エラーバジェット」を参照)。サンプリングは、データの一部だけを保つことで、コストを節約し詳細を失います。保持は、データをどれだけ保つかです。相関は、共有の識別子を通じて、同じリクエストやイベントを記述するシグナルをリンクすることを意味します。

主要な原則

  • 量ではなく、問いのために計装する。 ユーザー体験とシステムの振る舞いについての問いに答えるシグナルを選ぶ。
  • 見えるものと見えないものを測る。 サービスとジャーニーの網羅が、盲点を示す。
  • シグナルはリンクされていなければならない。 ログ、トレース、メトリクスをつなぐ識別子が、理解を速くする。
  • テレメトリはコストでありリスクである。 予算を立て、理由と規則がない限り、個人情報や機密データを入れない。
  • オブザーバビリティは人に仕える。 理解までの時間と、オンコールの人々の体験を測る。
  • オープンな標準はロックインを減らす。 合うところでは計装に共通の形式を好み、現在の仕様を確認する。

メトリクスの定義

メトリクス 定義 計算式 単位 データソース ITILプラクティス アジャイルの対応物 頻度
計装の網羅 合意した中核のシグナルを発するサービスと重要なユーザージャーニーの割合 合意した標準を満たすログ、メトリクス、トレースを持つサービスまたはジャーニー ÷ サービスカタログのサービスまたはジャーニー パーセント サービスカタログとテレメトリプラットフォームの棚卸し 監視とイベント管理、サービス構成管理 新しいサービスの完了の定義 四半期ごと
トレースの完全性 抽出したリクエストのうち、入口から最後の依存先まで途切れないトレースがある割合 トレースが期待されるすべてのホップにまたがるリクエスト ÷ 確認した標本のリクエスト パーセント トレースのプラットフォームと抽出による確認 監視とイベント管理 機能におけるオブザーバビリティのテスト 毎月
シグナルの相関率 ログ、メトリクス、トレースが識別子で結合できたインシデントの割合 時系列のレビューで結合が機能したインシデント ÷ レビューしたインシデント パーセント インシデントのレビューとトレースのプラットフォーム インシデント管理、問題管理 振り返りのアクション 四半期ごと
理解までの時間 検知から、原因の記録された機能する説明までの時間 原因が記録されたインシデントについて、(最初の機能する原因が記録された時刻 − インシデントが検知された時刻)の中央値と85パーセンタイル 分 インシデントの時系列とレビューのメモ インシデント管理 非難しないレビュー 四半期ごと
サービスあたりのテレメトリのコスト サービスに帰属するテレメトリの支出を、サービスの利用の単位あたりで見たもの サービスに配賦されたテレメトリのコスト ÷ 1,000リクエストなど、述べられた利用の単位 単位あたりの通貨 テレメトリの課金と利用のデータ 財務管理 設計の入力としてのコスト 毎月
テレメトリ内の機微なデータ あるべきでないデータを含む確認されたレコードの数 その期間にスキャンやレビューで見つかった確認された事例 件数 テレメトリのスキャンとレビュー 情報セキュリティ管理 完了の定義、プライバシーレビュー 毎月
盲点のインシデント ユーザーが最初に報告し、テレメトリにはまったく兆候がなかったインシデント 関連するアラートやシグナルなしにユーザーが最初に報告したインシデント ÷ その期間のインシデント パーセント インシデントの記録とレビューのメモ インシデント管理、監視 振り返りのアクション 四半期ごと

計装の網羅は、メトリクスの台帳に述べられた、リクエスト率、エラー率、レイテンシ、トレースの識別子のような、合意された中核の標準に依存します。理解までの時間は、原因が記録されたインシデントのみを数えるので、原因が不明なインシデントは別に報告されます。

推奨事項

何を見るかを決める

1. ユーザーのジャーニーとサービスレベルから始める。 重要なジャーニーと、ユーザーが成功しているかを示す指標を列挙します。それらを最初に計装します。テレメトリを成果に結び付けるからです(トピック 5.2「SLI、SLO、エラーバジェット」を参照)。

2. 中核の標準に合意する。 すべてのサービスが発する最小のシグナルと、命名と識別子の規約を定義します。標準を、新しいサービスの完了の定義に入れます。

3. 網羅を誠実に地図にする。 サービスカタログを、中核のシグナルを発するサービスと比較します。ギャップとそのオーナーを列挙し、ユーザーへの影響が最も大きいものから取り組みます。

シグナルを役立つものにする

4. 共有の識別子でシグナルをリンクする。 リクエストやトレースの識別子をログ、メトリクス、トレースに通し、人が遅いリクエストから正確なログの行に移れるようにします。訓練でこれをテストします。

5. 計装をコードのようにテストする。 キューで途切れるトレースや、誤ったタイムゾーンのログは、インシデントを無駄にします。抽出したリクエストで完全性を確認し、途切れを直します。

6. カーディナリティとサンプリングを意図的に制御する。 高カーディナリティのラベルは大きなコストを生みえ、サンプリングは必要なまれなイベントを落としえます。どこでサンプリングするかを決め、率を記録し、負担できるところではエラーと遅いリクエストの完全なデータを保ちます。

7. 機微なデータを入れない。 個人情報、認証情報、健康や支払いの詳細など、ログとトレースに現れてはならないものを決めます。それをスキャンし、情報源を直します。この本は法的助言を与えないので、義務は法律顧問とともに確認します。

理解を測る

8. 修正までの時間だけでなく、理解までの時間を測る。 検知から機能する説明までの時間は、シグナルが人々をどれだけよく支えているかを示します。最も長い事例をレビューして、どのシグナルが欠けていたかを見ます。

9. 盲点を数える。 ユーザーが最初に見つけたインシデントは、ギャップの最も明確な証拠です。それぞれについて、どのシグナルがそれを示していたかを尋ね、それを加えます。

10. ダッシュボードとアラートを利用のためにレビューする。 誰も開かないダッシュボードと、行動につながらないアラートを廃止します(トピック 5.5「監視とアラート品質のメトリクス」を参照)。人々が信頼する小さな集合は、チャートの壁に勝ります。

コストと標準を管理する

11. テレメトリのコストに予算を立てて帰属させる。 コストをサービスに配賦し、傾向を見ます。保持を価値で設定します。詳細なデータは短く、要約はより長く保ち、用途のないものは削除します。

12. 合うところではオープンな標準を好む。 OpenTelemetryプロジェクトが維持するものなどの共通の計装とデータ形式は、ツールの変更を容易にします。標準と製品は変わるので、約束する前に現在の仕様とツールの対応を確認します。

悪用の手口と防護柵

メトリクス 悪用のされ方 組になる防護柵のメトリクスまたはプラクティス
計装の網羅 標準を通すためにすべてのサービスに最小限のシグナルを加える、難しいサービスをカタログから除外する トレースの完全性と盲点のインシデント。カタログの抜けをレビューする
トレースの完全性 単純なリクエストだけを抽出する、部分的なトレースを完全と数える 確認の標本をリクエストの種類で定義する。依存先の網羅を確認する
シグナルの相関率 うまくいったインシデントだけをレビューする、紙の上にだけ存在する結合を数える インシデントの無作為の抽出をレビューする。結合の訓練を行う
理解までの時間 原因を早く緩く記録する、難しい事例の原因を空白のままにする 原因の記録の質をレビューする。原因のないインシデントを別に報告する
サービスあたりのテレメトリのコスト コストを削るためにシグナルを落とす、コストを別のアカウントに移す 盲点のインシデントと理解までの時間。総支出を突合する
テレメトリ内の機微なデータ スキャンが狭すぎる、所見を報告しない スキャンの網羅と独立したレビュー。取り除くまでの時間を追跡する
盲点のインシデント ユーザーの報告後にアラートが発火したインシデントを検知済みと数える、シグナルを広く定義する 最初のシグナルと最初のユーザーの報告のタイムスタンプを比較する。レビューを抽出する

健全な読みは、完全なトレースと結合の数とともに上がる網羅、ユーザーが最初に見つけるインシデントの割合の低下、シグナルを削らずに下がる理解までの時間、理解され帰属されたテレメトリのコスト、そして素早く直される機微なデータの所見です。

トレードオフ:長所と短所

手法 強み 弱み
すべてを収集し、長く保つ 調査する能力の最大化 高いコストとリスク。検索しにくい
サンプリングし、短い保持にする 低いコスト まれなイベントと古いインシデントを見逃しうる
サービス横断の標準の計装 一貫している。理解がより速い 採用の労力。すべてのサービスに合わないかもしれない
チームが選ぶ計装 局所的なニーズに合う 一貫しない。シグナルを結合しにくい
テレメトリのAIによる要約 最初の見方が速い 間違いうる。シグナルの質に依存する

散文での結論は、エラーと遅いリクエストには豊富なデータを保ち、日常のものはサンプリングし、保持を価値で設定することです。控えめで、一貫し、リンクされたシグナルの集合は、大きくリンクされていない山に勝ります。

チームで話し合う問い

1. 最後のインシデントの間、私たちは何を知りたくて、見つけられなかったか? これが欠けているシグナルを明らかにします。人々に問いと探した場所を思い出してもらいます。「どの顧客が影響を受けたか」や「何が変わったか」のような答えを予期します。誰がシグナルを加え、どうテストするかを決めて追跡します。

2. 最も重要なユーザージャーニーについて、それが失敗していたら、どうやって分かるか? ジャーニーをステップごとにたどります。各ステップで、どのシグナルが成功を示し、どれだけ早いかを尋ねます。シグナルのないステップを探します。最も弱いステップに指標を加えて追跡します。

3. ユーザーのクリックからデータベースまで往復する一つのリクエストを追えるか? 実際に試します。キューやサードパーティの呼び出しなど、トレースが途切れる場所に気づきます。対応するログの行を見つけるのにどれだけかかるかを尋ねます。最大の途切れを直して追跡します。

4. テレメトリにいくら使い、その見返りに何を得ているか? 多くのチームは、サービス別のコストを知りません。直近の四半期にどのシグナルが使われたかを尋ねます。害なしにサンプリングまたは削除できるものを話し合います。レビューするシグナルを一つ選んで追跡します。

5. 今日、私たちのログとトレースに、どんな機微な情報が入っているかもしれないか? 一緒に例を探します。一般的な事例は、メールアドレス、トークン、自由記述のフィールドです。どうやってそこに入り、誰が読めるかを尋ねます。規則とスキャンに合意して追跡します。

6. 私たちのテレメトリにAIツールをどう使い、それが言うことを誰が確認するか? 確認されていないインシデントの要約に耳を傾けます。ツールにどんなデータが送られ、どんな条件かを尋ねます。示唆された原因を人がどう検証するかを話し合います。短い規則を書いて追跡します。

四つの視点

プロダクトとデリバリーのチーム

サービスが何を発するかを決めるのはあなたです。築きながら計装を加え、シグナルをリンクする識別子を含め、仕事の一部としてテストします。欠けているオブザーバビリティを欠陥として扱います。次のインシデントがその代償を払うからです。

サービスと運用のチーム

あなたは圧力のもとでテレメトリを使います。どのシグナルが役立ち、どれが欠けていたかをチームに伝え、アラートをユーザーへの影響に結び付けておきます。理解までの時間と盲点のインシデントを追跡し、プロダクトチームに持ち込みます。

リーダーシップとガバナンス

オブザーバビリティを、テレメトリとギャップの修正の予算とともに、サービスの一部として資金を付けます。ダッシュボードの数ではなく、網羅、盲点のインシデント、コストの傾向を求めます。機微なデータと、テレメトリへのAIツールの利用の規則を設定します。

顧客とユーザー

あなたはしばしば問題に最初に気づく人なので、どう報告し、それがどれだけ早くサービスのシグナルにリンクされるかを尋ねてください。あなたの報告は盲点を減らし、何が学ばれたかを伝えられるべきです。あなたについてどんなテレメトリが収集され、なぜかを尋ねてください。

実践:サービスマネジメントの例

中規模のオンライン小売業者が、八つのより小さなサービスで構成されるチェックアウトのサービスを運用しています。この例の数字は例示です。顧客は支払いでの時折の失敗を報告しますが、ダッシュボードは健全なエラー率と通常のレイテンシを示します。

チームは測定します。計装の網羅は、八つのサービスのうち六つが中核の標準を満たしています。50件のチェックアウトのリクエストの抽出した確認は、メッセージキューとサードパーティの支払い呼び出しでトレースが途切れるため、トレースの完全性が62パーセントであることを示します。直近の六つのインシデントでは、ログがトレースと異なるリクエストの識別子を使っているため、シグナルの相関率は六つのうち二つです。盲点のインシデントは六つのうち三つです。

チームは、単一のリクエストの識別子をキューとログに通し、支払い呼び出しの周りにトレースのスパンを加え、欠けていた二つのサービスを計装します。1か月後、トレースの完全性は抽出した確認で約90パーセントに達し、次のインシデントは、以前の数時間に対して、35分で機能する説明を得ます。またログをスキャンして、エラーメッセージに顧客のメールアドレスを見つけ、情報源から取り除き、機微なデータの所見は翌月にゼロになります。

悪用のリスクが現れます。あるマネージャーが、残りの二つのサービスを「範囲外」とマークして、計装の網羅を上げるよう頼みます。チームは、盲点のインシデントの数が高いままになるため断り、オーナーとともにギャップを記録します。難しいまま残るもの。チェックアウトのリクエストあたりのテレメトリのコストが上がっており、チームはトレースをどれだけ保つかをまだ決めていません。来四半期の計画は、日常のトレースをサンプリングし、エラーには完全な詳細を保つことです。

アジャイル、AI、自動化、アナリティクス

アジャイル

サービスの各増分が本番で理解できるよう、オブザーバビリティを完了の定義に含めます。良い実践は、定期的な改善の対話で、最後のインシデントの欠けたシグナルをレビューし、バックログの項目として加えることです。注意点は、オブザーバビリティの仕事は機能のために後回しにされがちなので、それを見えるものにして時間を守ることです。

AI

AIはテレメトリを要約し、シグナルを相関させ、原因を示唆できます。またAI機能自体にも、入力、出力、レイテンシ、コスト、ユーザーのフィードバックといったテレメトリが要ります。AIが示唆した原因を人による確認と組にして、どれだけの頻度で正しかったかを報告し、AI機能を可用性だけでなく品質についても監視します(トピック 10.1「サービスマネジメントの測定におけるAI」を参照)。注意点は、ログ内のプロンプトと応答には個人情報が含まれうるため、始める前に何を記録するかを決めることです。

自動化

収集、相関、アラートを自動化し、網羅と機微なデータの確認を自動化します。テレメトリのパイプライン自体を、落ちたデータと遅延で測ります。壊れたパイプラインは、健全なシステムに見えるからです。注意点は、シグナルに基づいて行動する自動の修復は原因を覆い隠しうるため、それが何をしたかを記録することです。

アナリティクス

テレメトリを使って、ユーザー体験とシステムの振る舞いについての問いに、成果にリンクしたSLIとともに答えます。これが情報を与える判断は、シグナルのどこに投資し、どこでコストを減らすかです。注意点は、データ量は洞察ではなく、集約されたメトリクスは害を受けているユーザーを隠しうるため、分布とセグメントを確認し、各数字の背後にあるイベントの数を示すことです(トピック 10.8「アナリティクスとデータ品質のメトリクス」を参照)。

業種別の視点

スタートアップ。 主要なユーザージャーニーの少数のシグナルと、ログのトレース識別子から始めます。問いが明確になる前に大きなプラットフォームを買うのは避け、利用が増えるにつれてコストを見ます。

中小企業。 ホスティングされたサービスは、しばしば限られたテレメトリを提供します。供給者に何が見えるかを尋ね、主要なジャーニーの単純な外部の確認を保ちます。ログに個人情報を収集するのを避けます。

大企業。 多くのチームとツールには、共有の標準、共有の識別子、中央でのコスト帰属が要ります。チームが標準の範囲内でシグナルを加えるのを許し、保持とアクセスを中央で管理します。

政府・公共部門。 データの所在、保持、アクセスの規則が、何を収集し、どこに保存できるかを形作ります。テレメトリのデータフローを文書化し、法律顧問とともに義務を確認します(トピック 8.5「規制対応・行政向け報告」を参照)。

ビジネスケース:動機、ROI、TCO

コストは、計装の作業、プラットフォームまたはサービスの料金、保持期間ごとのストレージ、標準とダッシュボードを保守するスタッフの時間です。テレメトリのコストは、量とカーディナリティとともに急速に増えうるので、予算を立てて帰属させます。

見返りは、インシデントでのより速い理解、ユーザーが最初に見つけるインシデントの減少、どこを改善するかについてのより良い判断です。これらの便益は本物ですが値段を付けにくいので、数字を捏造するのは避けます。作業の前後で、自分たち自身の理解までの時間と盲点のインシデントの割合を比較し、前提を範囲として述べます(トピック 7.7「投資対効果とビジネスケース」を参照)。リスクの側は、テレメトリを通じたデータ漏えいのコストと、決して使われないテレメトリのコストです。

アンチパターンと落とし穴

  • ダッシュボードを数える。 より多くのチャートは、より多くの理解を意味しない。網羅、結合、理解までの時間を測る。
  • すべてを永遠に収集する。 ほとんど使われないままコストとリスクが増える。保持を価値で設定する。
  • リンクされていないシグナル。 結合できないログ、メトリクス、トレースは、あらゆるインシデントを遅くする。共有の識別子を通す。
  • まれなイベントをサンプリングで落とす。 必要な失敗は、落としたものである。エラーと遅いリクエストを保つ。
  • ログ内の機微なデータ。 広がり、取り除くのが難しい。スキャンして情報源を直す。
  • すべてのシグナルにアラート。 ノイズは人々にアラートを無視するよう訓練する。ユーザーへの影響でアラートを出す。
  • AIの要約を確認せずに信頼する。 間違いうるし、シグナルが不完全かもしれない。データに照らして検証する。
  • 計装を他の誰かの仕事にする。 コードを書く人々が、何を発するべきかを知っている。仕事の一部にする。

成熟度モデル

観点 開始 発展 標準化 管理 協調
網羅と標準 シグナルがチームによって異なる。盲点が不明 主要なサービスが計装されている 中核の標準と、カタログに対して追跡される網羅 盲点のインシデントがレビューされ、ギャップが閉じられる 網羅がサービスの作成に組み込まれ、ユーザーへの影響で調整される
シグナルの質とリンク ログのみ。共有の識別子なし 一部のトレースとメトリクス 共有の識別子。トレースの完全性が確認される 理解までの時間がレビューされる。訓練が行われる シグナルが尋ねられる問いに自動的に適応する
コストとガバナンス コスト不明。データの規則なし 全体のコストが見える コストが帰属される。保持と機微なデータの規則 コストとデータの所見が周期に沿ってレビューされる テレメトリのコストとリスクが、チーム横断で価値によって管理される

チェックリスト

  • 中核のシグナルの標準が書かれ、完了の定義の一部になっている。
  • 計装の網羅が、サービスカタログに対して追跡されている。
  • リクエストまたはトレースの識別子が、ログ、メトリクス、トレースをリンクしている。
  • トレースの完全性が、実際のリクエストの標本で確認されている。
  • 理解までの時間が、原因とともにインシデントについて記録されている。
  • 盲点のインシデントが数えられ、それぞれがシグナルにつながっている。
  • テレメトリのコストがサービスに帰属され、保持が価値で設定されている。
  • テレメトリ内の機微なデータがスキャンされ、情報源で直されている。
  • テレメトリを読むAIツールの規則がある。
  • 各メトリクスに、悪用の手口と、その隣に示された防護柵がある。

AIプロンプト

中核のシグナルの標準を設計する。

私たちのサービスは [説明] で、[技術] の [数] 個のコンポーネントで構成されています。最も重要なユーザージャーニーは [一覧] です。中核のシグナルの標準を提案してください:各コンポーネントが発すべき最小のログ、メトリクス、トレース、命名と識別子の規約、適合をどう確認するか。私が名前を挙げない限り、特定のベンダーを推奨しないでください。前提に印を付け、私が答えるべき問いを列挙してください。

インシデントのレビューからオブザーバビリティのギャップを見つける。

以下は最近のインシデントの要約で、時系列とメモを含みます(個人データは除去済み):[貼り付け]。チームがシグナルを欠いた、シグナルをリンクできなかった、推測に頼った瞬間を特定してください。それぞれについて、役立ったであろうシグナルやリンクを、チームが評価する提案として示してください。テキストが支えない原因を主張しないでください。判断できなかったことと前提を列挙してください。

テレメトリ内の機微なデータのスキャンを計画する。

私たちはログとトレースを [ツール] に保管しています。そこから機微なデータを見つける計画を起案してください:探すデータの区分、探す場所、抽出の方法、所見の報告方法、情報源での修正方法。法的要件を述べず、法律顧問への問いを列挙してください。前提と、必要となるアクセスを列挙してください。

オブザーバビリティの測定値の悪用のリスクをレビューする。

私たちは次のオブザーバビリティの測定値を報告しています:[測定値と定義を貼り付け]。文脈:[チームの規模、ツール、聞き手]。各測定値について、理解を改善せずによく見えうる現実的な方法を列挙し、防護柵を提案し、その防護柵がどう悪用されうるかを述べてください。ベンチマークの値を捏造しないでください。前提を列挙してください。

AIスキル

要点

  • オブザーバビリティとは、稼働中のサービスに新しい問いを投げかけられることなので、網羅、リンクされたシグナル、理解までの時間を測る。
  • ユーザーが最初に見つけるインシデントは盲点の最も明確な証拠なので、それを数えてシグナルを加える。
  • ログ、メトリクス、トレースにまたがる共有の識別子が、理解を速くする。
  • テレメトリはお金がかかり、機微なデータを漏らしうるので、予算を立て、保持を価値で設定し、機微な内容をスキャンする。
  • テレメトリのAIによる要約をデータに照らして確認する。シグナルの質に依存するからである。

参考文献とさらなる読書

  1. Wikipedia, Observability (software).
  2. Wikipedia, Telemetry.
  3. Wikipedia, Distributed tracing.
  4. Wikipedia, Site reliability engineering.
  5. Wikipedia, Log management.
  6. Wikipedia, Service-level indicator.
  7. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016.