概要と動機

監視とは、システムについてのリアルタイムのデータの収集、処理、表示です。システム監視(system monitoring)は、「サービスはユーザーが必要とするとおりに動いているか」という問いに答えます。アラートは、そのデータが人に何かをするよう求める地点です。ほとんどのチームは、最初の活動をうまく測れていないか、まったく測っておらず、二つ目を苦情を通じてしか測っていません。このトピックは、両方のための小さな測定値の集合を与えます。監視が重要な失敗を捉えているか、そして発するアラートが、求める注意に値するか。

まず用語です。ITIL 4の語彙では、イベント(event)はサービスの管理にとって意味のある状態の変化であり、イベント管理は、イベントを検出し、どれが重要かを決め、対応を選ぶプラクティスです。アラート(alert)は人への通知で、呼び出し、メッセージ、チケットとして届けられます。呼び出し(page)は、すぐに誰かに割り込むアラートです。誤検知(false positive)は、何も注意を要しなかったのに発火したアラートで、見逃し(false negative)は、どのアラートも報告しなかった失敗です。どちらの用語も、偽陽性と偽陰性(false positives and false negatives)の言葉から来ています。対処可能なアラート(actionable alert)は、人が取れる有用な行動があり、それを取った、あるいは記録された理由で取らないことを意図して選んだものです。

監視の二つの側面は、互いに引っ張り合います。インシデントのたびにアラートを加えると、ノイズの壁ができます。静かにするために削ると、重要な失敗の間の沈黙のリスクがあります。適合率と再現率(precision and recall)の言葉がよく合います。適合率は、発せられたアラートのどれだけが発する価値があったかを問います。再現率は、実際の問題のどれだけをアラートが捉えたかを問います。アラートの品質は二つの間のバランスで、一方しか見ない測定値は、チームに他方を犠牲にするよう促します。信号対雑音比(signal-to-noise ratio)は同じ緊張を捉えています。

人的コストが、これがサービスメトリクスの本に属する理由です。アラーム疲れ(alarm fatigue)は、多くの、大半が重要でないアラームにさらされた人が鈍感になり、重要なものへの反応が遅くなるという、よく文書化された傾向です。最初に臨床の現場で研究され、どこにもつながらないアラートで頻繁に呼び出されるオンコール(on-call)のローテーションにも当てはまります。疲れた対応者は実際のインシデントを見逃し、やがてローテーションを去ります。

この本が結び付ける二つの伝統では、見方が異なります。ITIL 4は、この仕事を監視とイベント管理のプラクティスに置き、インシデント管理とサービスレベル管理に結び付けます。その関心は、インシデントが早期に見つかり一貫して扱われるよう、イベントが検出され、分類され、ルーティングされることです。サイト信頼性エンジニアリング(SRE)は反対の端から近づきます。Googleの『Site Reliability Engineering』は、呼び出しは緊急で、重要で、対処可能で、本物であるべきで、それ以外はチケットかダッシュボードに属すると論じます。アジャイルのチームはそれを作業合意として出会います。誰が何のために起こされ、間違ったアラートを誰が直すか。以下のメトリクスは三つすべてから借り、一つの規則を守ります。メトリクスはローテーション、サービス、アラート規則を記述し、個人は決して記述しません。

このトピックは、隣のトピックを繰り返しません。インシデントの時間はトピック 3.3「インシデントの対応時間と解決時間」に、重大インシデントはトピック 3.4「重大インシデントのメトリクス」に、目標とエラーバジェットはトピック 5.2「SLI、SLO、エラーバジェット」に、人的負荷はトピック 5.7「トイルとオンコールのメトリクス」に属します。ここでの主題は、それらすべてを始めるシグナルの品質です。計装はトピック 1.5「データソースと計装」で扱います。

主要な原則

  • ユーザーが感じる症状で呼び出し、残りはチケットまたはダッシュボードにする。 ユーザーが体験すること(エラー、遅さ、利用不能)に対するアラートは、システムが変わっても有用であり続ける。原因(満杯のディスク、ビジーなCPU)に対するアラートが有用なのは、症状を予測し、それが来る前に人が行動できるときだけである。
  • すべてのアラートは行動につながらなければならない。 アラートへの正しい対応が何もしないことなら、そのアラートは変更されるか、チケットに降格されるか、削除されるべきである。行動につながる割合を測り、残りを監視の欠陥として扱う。
  • 適合率と再現率の両方を測る。 ノイズだけを数えると沈黙を報い、網羅だけを数えると量を報いる。二つを併せて品質を記述し、それぞれが他方の防護柵として働く。
  • すべてのアラート規則を、オーナーのいるプロダクトとして扱う。 規則には、目的、閾値、手順書、レビュー日がある。オーナーのいない規則は積み上がり、それが生むノイズは誰のものでもなくなる。
  • ローテーションとサービスについて報告し、人については決して報告しない。 アラートの負荷は、システムとローテーションがどう設計されているかの性質である。個人を名指しすると、設計の問題が非難の問題に変わり、本当の修正を隠す。

メトリクスの定義

以下のメトリクスは、集合として選ばれています。量だけでは無意味で、対処可能性が量が問題かを教え、網羅と検出時間が静けさが何を隠しているかを教えます。すべてサービスごと、またはローテーションごとに計算され、すべて監視とページングのツールからのアラートの記録を、インシデントとチケットの記録に結合して使います。

メトリクス 定義 計算式 単位 データソース ITILプラクティス アジャイルの対応物 頻度
アラートの量 人に通知したアラートの数。呼び出しとチケットに分ける その期間にローテーションまたはキューに届けられた個別の通知の数。同じ未解決のアラートの繰り返しは一つにまとめる。人への通知なしに完全に自動化で処理されたアラートは除く。ローテーション・週ごとに報告し、時間外の割合を別に報告する ローテーション・週あたりのアラート ページングとアラートのルーティングのツール 監視とイベント管理 オンコールについてのチームの作業合意 毎週
対処可能なアラートの率 人が有用な行動を取ったアラートの割合 記録された行動(修正、緩和、エスカレーション、アラート規則の変更)のあるアラート ÷ その期間にレビューされたアラート。確認応答の前に自動で解消したアラートは、対処可能でないものとして数える。レビューされていないアラートは、落とさず、別の件数として報告する パーセント レビューのラベル、チケット、またはインシデントに結合したアラートの記録 監視とイベント管理、インシデント管理 運用についてのチームの改善アクション 毎週レビュー、毎月の傾向
誤検知の率 問題が存在しなかったのに発火したアラートの割合 レビューで誤検知とラベル付けされたアラート ÷ その期間にレビューされたアラート。「誤検知」とは、その状態が障害ではなく、誰も知らされたくなかったことを意味する。行動するには小さすぎる実際の問題は誤検知ではない パーセント アラートのレビューのラベル 監視とイベント管理 ノイズのレトロスペクティブレビュー 毎月
検出の網羅率 ユーザー向けの症状に対する、テストされたアラートを少なくとも一つ持つ、範囲内のサービスの割合 直近12か月に、テストまたは実際のイベントで検証された症状のアラートを持つサービス ÷ サービスカタログの範囲内のサービス。範囲内のサービスの一覧は期間の開始時に固定する パーセント サービスカタログ、アラート規則の棚卸し、テストの記録 サービス構成管理、監視とイベント管理 新しいサービスの完了の定義 四半期ごと
監視による検出の割合 ユーザーや同僚が報告する前に、監視が検出したインシデントの割合 最初のシグナルがアラートだったインシデント ÷ その期間のインシデント。時計はインシデントのオープン時刻。最初のシグナルの記録がないインシデントは、検出済みではなく、不明として報告する パーセント 最初のシグナルの欄を持つインシデントのレコード、アラートのタイムライン インシデント管理 インシデントレビュー(インシデント後の学び) 毎月
検出までの時間(TTD) ユーザーへの影響の開始から、人に通知した最初のアラートまでの経過時間 人に通知した最初のアラートの時刻 − 影響の開始時刻。影響の開始は、インシデントレビューで確立された、サービスレベル指標が最初に破られた時刻。中央値と95パーセンタイルを報告する。アラートのなかったインシデントは除き、別に数える 分 インシデントレビュー、アラートのタイムライン、サービスレベル指標の履歴 インシデント管理、監視とイベント管理 インシデント後のレビュー 毎月、インシデントごと
アラートの集中 最もうるさい少数のアラート規則が生むアラートの量の割合 アラートが最も多い五つの規則からのアラート ÷ その期間のすべてのアラート。同じアラートは一度にまとめる。五つの規則という数は慣例で、理由を述べればチームは変えてよい パーセント アラート規則の棚卸しとページングの記録 継続的改善、監視とイベント管理 レトロスペクティブの改善バックログ 毎月
アラート規則の最新性 オーナー、手順書へのリンク、合意された間隔内のレビューを持つ、呼び出しの規則の割合 三つの条件をすべて満たす呼び出しの規則 ÷ すべての呼び出しの規則。その期間に無効にされた規則は除く パーセント アラート規則の棚卸し ナレッジマネジメント、監視とイベント管理 運用準備についての作業合意 四半期ごと

アラートの量には文脈が要るので、対処可能なアラートの率の隣で読みます。検出までの時間は、チケットではなくユーザーへの影響の開始を使います。チケットの時計は検出の後に始まるからです。影響の開始はインシデントレビューからの見積もりであり、そうラベル付けされるべきです。誤検知の率と対処可能なアラートの率は補数ではありません。アラートは真でありながら、人の時間に値しないことがありうるからです。

推奨事項

何が呼び出しに値するかを決める

1. 呼び出しのポリシーを書き、短く保つ。 何が呼び出しに値するか(ユーザーが今感じている、あるいはまもなく感じ、人が行動できる症状)と、そうでないものを一段落で述べます。それ以外はすべて、チケットのキューかダッシュボードに行きます。GoogleのSREの本の分散システムの監視の章は、良い出発点です(トピック 5.2「SLI、SLO、エラーバジェット」を参照)。

2. 症状でアラートを出し、原因は診断のために残す。 「エラー率が合意した閾値を超えた」の呼び出しは、ユーザーについての呼び出しです。「CPUが高い」の呼び出しは、推測についての呼び出しです。原因レベルのシグナルを、症状のアラートが発火した後に対応者が見るダッシュボードに置き、行動するのに十分な警告で確実に症状を予測する場合にのみ、呼び出しに昇格させます。

3. 呼び出しの閾値を、サービスレベル目標に結び付ける。 サービスにサービスレベル目標(SLO)があるところでは、生の閾値ではなく、エラーバジェットが消費される速度でアラートを出します。SRE Workbookのアラートの章は、バーンレートのアラートと、適合率、再現率、検出時間、リセット時間の間のトレードオフを述べています。この方法は、目標を脅かすものに対して呼び出し、そうでない短い揺らぎには静かなままです。

すべてのアラートをリズムでレビューする

4. すべてのアラートを、短い定期的なレビューでラベル付けする。 各ローテーションが、何が発火したかを見るために、毎週15分を確保します。各アラートに一つのラベルを記録します。対処可能、誤検知、本物だが呼び出しに値しない、重複。ラベルは対処可能なアラートの率と誤検知の率のデータで、レビューは、うるさい規則が次の四半期ではなく翌日に直される場所です。

5. レビューから変更を生み出す。 毎週、少なくとも一つの規則を、調整、降格、統合、削除するように選び、その変更をチームのバックログに通常の仕事として記録します。

6. 恐れずに削除する。 チームは、削除するのが危険に感じられ、なぜ存在するのか誰も覚えていないので、アラートを保ちます。すべての呼び出しの規則に目的とオーナーを持たせることを求め、述べた期間に一度も行動につながらなかった規則は、元に戻せるよう変更を記録した上で、削除または降格することに合意します。規則の最新性のメトリクスが、この規律を見えるようにします。

監視が見逃すものを測る

7. ユーザーが先に見つけたインシデントの割合を追跡する。 各インシデントの後、最初にどう気づかれたかを記録します。アラート、同僚、顧客、サポートのチケット、定期的な確認。監視が見つけた割合は、再現率の最も近い実際的な測定値です。誰も気づかなかったインシデントは標本に入らないため、完全ではないので、アラート自体の定期的なテストと組にします。

8. 検出までの時間を誠実に見積もる。 ユーザーへの影響の開始を、誰かがチケットを入力した時ではなく、サービスレベル指標の履歴から、インシデント後のレビューで確立します。中央値と高いパーセンタイルを報告し、アラートがまったくなかったインシデントを別の件数として示します。単一の平均は、典型的な事例と悪い裾の両方を隠します(トピック 1.6「サービスメトリクスのための統計リテラシー」とトピック 3.3「インシデントの対応時間と解決時間」を参照)。

9. 依存しているアラートをテストする。 検出の網羅率は、アラートが機能するのを見て初めて信頼できます。ゲームデーやリリースのリハーサルに、意図して症状を引き起こし、適切なアラートが発火し、適切なローテーションに届き、使える手順書にリンクしていることを確認するチェックを含めます。一度も行使されなかったアラートは、統制ではなく、願いです(トピック 5.6「サービス継続のメトリクス」を参照)。

シグナルの経路を健全に保つ

10. 監視を監視する。 監視システムの静かな失敗は、健全なサービスとまったく同じに見えます。アラートのパイプラインが配信を止めたら呼び出すハートビートのチェックを加え、パイプライン自体がどのくらいの頻度で失敗するかを記録します。

11. 数える前に、グループ化、重複排除、リンクをする。 関連するアラートを一つにまとめ、すでに未解決のアラートの繰り返しを抑制し、それぞれをオーナーのローテーションにルーティングします。各アラートを、その手順書と、それが作ったインシデントまたはチケットにリンクします。その結合が、手作業での集計なしに、対処可能なアラートの率と監視による検出の割合を計算できるようにするからです(トピック 1.5「データソースと計装」を参照)。

悪用の手口と防護柵

メトリクス 悪用のされ方 組になる防護柵のメトリクスまたはプラクティス
アラートの量 問題が見過ごされる間に件数が下がるよう、閾値を上げる、長い遅延を加える、アラートを呼び出しから静かなキューに移す。件数を変えるためにアラートを分割または統合する 監視による検出の割合と検出までの時間。あらゆる降格が理由とともに記録され、一四半期後にレビューされるという規則
対処可能なアラートの率 事後にアラートを対処可能とラベル付けする、資格を得るために些細な行動(コメント、確認応答)を取る、うるさいアラートをレビューされないままにして分母に入らないようにする 率の隣に示すレビューされていないアラートの数。ローテーションの外の誰かによる抽出の確認。書き下された「有用な行動」の定義
誤検知の率 「本物だが無意味」なアラートが真と数えられるよう、誤検知を狭く定義する、ラベルなしでうるさいアラートをクローズする 別に追跡する対処可能なアラートの率と「本物だが呼び出しに値しない」のラベル。クローズされたアラートの定期的な抽出
検出の網羅率 網羅を主張するために、すべてのサービスに些細なアラート(ping)を加える、一度もテストされていないアラートを数える アラートがユーザー向けの症状を見ていて、直近12か月に行使されているという要件。監視による検出の割合
監視による検出の割合 ユーザーが先に報告した場合でも、すべてのインシデントを「監視で検出」と記録する、事後にアラートを作ってそれを引用する、悪い数字を避けるために最初のシグナルの欄を空にする 割合の隣に示す不明の件数。記憶ではなく、アラートのタイムラインから取る最初のシグナルの証拠。サポートの記録からリンクされる顧客が報告したインシデント
検出までの時間(TTD) 影響の開始を実際より遅く宣言する、アラートのなかったインシデントを除外する、裾を隠すために平均を報告する サービスレベル指標の履歴から取る影響の開始。数えて示すアラートのなかったインシデント。中央値と95パーセンタイルを併せて報告する
アラートの集中 どれも上位五つに入らないよう、一つのうるさい規則を複数に分割する、規則の名前を変える 規則別に加え、根本の障害またはサービス別にも集中を報告する。その隣に、総量と対処可能なアラートの率を追跡する
アラート規則の最新性 条件を満たすために、仮のオーナー、空の手順書のリンク、形だけのレビューを加える 手順書のリンクが解決され、実際の対応で使われたことの抽出確認。ゲームデーで手順書をテストする実践

健全な読みは、いくつものことが一緒に現れます。ローテーションごとのアラートの量は、安定しているか減っていて、チームが持続可能と選んだ水準の範囲内にあります。対処可能なアラートの率は、最もうるさい規則が調整されるにつれて、数か月にわたって上がります。監視による検出の割合は高く、検出までの時間は短く、量が減っても長くなっておらず、それは静けさが買われたのではなく、獲得されたことを証明します。検出の網羅率は、些細なアラートが加えられたからではなく、サービスがテストされたから伸びます。量が減る一方で検出の割合や検出までの時間が悪化するなら、チームは再現率を平穏と交換しており、それを明らかにするのが防護柵です。

トレードオフ:長所と短所

手法 長所 短所
少数の、症状ベースの呼び出し 静かな夜、各呼び出しへの高い信頼、最新に保ちやすい ゆっくり育つ問題の検出が遅れるリスク。残りのために良いチケットとダッシュボードの習慣が要る
多数の敏感なアラート 原因レベルのトラブルの早期警告。見逃すインシデントが少ない アラーム疲れ、確認応答の遅れ、オンコールのローテーションからの離脱
SLOのバーンレートのアラート 目標を脅かすものに結び付いた呼び出し。揺らぎが少ない 良い指標と合意した目標が要る。検出時間と適合率のバランスを取る調整が要る
毎週のアラートのレビュー 速いフィードバック。うるさい規則が素早く直る 毎週時間がかかる。変更が続かなければ形骸化する
人によるラベル付け どのツールも持たない判断を捉える 主観的。定義が書かれていなければ、ラベルがレビュー担当者やローテーションの間でずれる
自動の抑制とグルーピング 大規模にノイズを削る。繰り返される呼び出しを減らす 規則が間違っていると本当のシグナルを隠しうる。独自の監視とレビューが要る

あらゆる選択は適合率と再現率のトレードオフであり、そのトレードは意図して行い、サービスごとに書き留めるべきです。それが誰もが数字を公正に読める文脈だからです。見逃された失敗の結果が深刻なサービスは、夜間に余分なアラートをチケットのキューに送るトリアージ層を伴って、より早い警告のためにより低い対処可能率を受け入れるかもしれません。

チームで話し合う問い

1. 何のために起こされたいと思い、先月の呼び出しのどれがその基準を満たしたか? 呼び出しのポリシーを一文か二文で書き、それから先月の呼び出しを取り、それぞれをそれに照らしてテストします。この演習は、それが生むパーセンテージよりも価値があります。意見の相違が、チームの期待が異なる箇所を明らかにするからです。不要だったものを、降格の候補として記録します。

2. 最もうるさいアラート規則が明日なくなったら、何を失うか? 量の上位五つの規則それぞれについて問いを投げます。その規則が捉えた具体的な失敗を誰も挙げられないことがよくあり、それは調整や削除ができるしるしです。挙げられる人がいるなら、その失敗が症状のアラートも引き起こすかを問います。

3. 監視が何を見逃したか、どうやって知るか? 直近の数件のインシデントを見て、誰が最初に気づいたか、その前に影響がどれだけ続いたかを尋ねます。答えは、新しいツールなしに、監視による検出の割合とおおまかな検出までの時間を与えます。それぞれをより早く捉えたであろうシグナルが何かを話し合います。

4. 私たちのオンコールの負荷は持続可能か、どうやってそれを知るか? ローテーションにとって持続可能とは何を意味するか、たとえば週あたりの時間外の呼び出しの上限に合意し、傾向を、人別ではなくローテーション別にレビューします。負荷が合意した水準を超えているなら、サービスの欠陥として扱い、それを減らす仕事を計画します。測定値をトピック 5.7「トイルとオンコールのメトリクス」と整合させます。

5. 私たちのアラートのうち一度もテストしていないものはどれで、どうすれば安全にテストできるか? 単一の症状のアラートに依存しているサービスを列挙し、誰かがそれが本番で、あるいはリハーサルで発火するのを見たかを尋ねます。一つのテストを計画し、検出、ルーティング、通知、手順書という全経路を確認します。アラートのパイプラインが失敗しても、それが見えるかを考えます。

6. ここでこれらの数字はどう悪用されうるか、私たちは何に気づくか? チームに、何も改善せずに各数字を良く見せられる方法を率直に述べてもらいます。それから、どの防護柵がそれを示し、誰がそれを見るかに合意します。手口を事前に名指しすることで、誘惑が小さくなります(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。

四つの視点

プロダクトとデリバリーのチーム

サービスを作って運営するチームが、それが自分自身について何を報告するかを決めるので、アラートの品質は完了の定義から始まります。テストされた独自の指標とアラートとともに出荷される新機能は、最初のインシデントの後に後付けされる監視を避けます。アラートの調整を、通常のバックログの仕事として扱います。

サービスと運用のチーム

運用チームはポケベルを持ち、コストを最初に感じるので、レビューのリズム、ラベル付け、パイプラインのハートビートを所有します。アラートが間違っているとき、修正は、呼び出しを受けた人ではなく、規則のオーナーに属します。

リーダーシップとガバナンス

リーダーは、サービス別の検出と対処可能性の数字を求め、調整の時間に資金を付け、沈黙を報いるアラートの量の目標に抵抗できます。量の減少は、検出の割合と検出までの時間が保たれている場合にのみ良い知らせです。持続可能なオンコールの限度は、動機づけの問題ではなく、人員と設計の判断です。

顧客とユーザー

顧客はアラートを決して見ません。サービスが失敗したか、直すのにどのくらいかかったかを見ます。良い監視は、顧客が気づく前に直ったインシデント、そして顧客が先に報告する事例の減少として現れます。組織が体験の測定値を使うところでは(トピック 5.1「SLA、OLA、XLAのメトリクス」を参照)、ユーザーが最初に報告したインシデントの割合は、体験のギャップの直接の指標です。

実践:サービスマネジメントの例

中規模のオンライン小売業者が、四つのプロダクトチームと、オンコールのローテーションを支える一つのプラットフォームチームで、注文基盤を運営しています。この例の数字はすべて例示です。四週間(例示)で、ローテーションは240件の呼び出しを受け、そのうち70件は22時から7時の間でした。チームはすべての呼び出しを四つのラベルでレビューします。対処可能、誤検知、本物だが呼び出しに値しない、重複。

レビューは、対処可能なアラートの率31パーセント(例示)、誤検知の率22パーセント(例示)を示します。五つの規則が呼び出しの58パーセント(例示)を生んでおり、最大のものは、常に自力で回復するバッチサーバーのディスク閾値でした。前の四半期の監視による検出の割合は62パーセント(例示)、検出までの時間の中央値は14分(例示)、95パーセンタイルは51分(例示)でした。

チームは、三つのうるさい規則をチケットのキューに降格し、重複を統合して一つの障害が一つの呼び出しを生むようにし、チェックアウトの生のエラー件数のアラートを、エラーバジェットのバーンレートのアラートに置き換え(トピック 5.2「SLI、SLO、エラーバジェット」を参照)、二件の顧客が報告したインシデントの背後にあったギャップである、注文確認メールの症状のアラートを加えます。各変更は、オーナー付きのバックログアイテムです。四週間後、呼び出しは96件(例示)に減り、対処可能な率は64パーセント(例示)に上がり、検出の割合は71パーセント(例示)に上がり、検出までの時間の中央値は14分のままです。静けさは獲得されたように見えます。

悪用のリスクは三か月目に現れます。新しいマネージャーが、四週間あたり60件未満の呼び出しという非公式な目標を設定し、あるローテーションは、チェックアウトのエラーのアラートの遅延を長くすることでそれを達成します。その検出の割合は55パーセント(例示)に下がり、検出までの時間の95パーセンタイルは80分(例示)に上がります。防護柵が量の隣にあるため、レビューがそれを捉えます。チームは量の目標を取り下げ、アラートを復元し、事例をメトリクス台帳に記録します(トピック 1.4「メトリクスのガバナンスとオーナーシップ」を参照)。

アジャイル、AI、自動化、アナリティクス

アジャイル

アラートを、オンコールの人が使うプロダクトとして定期的にレビューし、うるさいものをステークホルダーとともに廃止または調整します。注意点は、アラートの量を削る目標が、有用なアラートを取り除きうることです。

AI

AIはアラートをグループ化、要約、順位付けし、原因を提案できます。ノイズの削減を、実際のインシデントの見逃し率と組にし、AIのグルーピングのうち人が分割または統合した割合を追跡します。注意点は、モデルによる抑制が、まれだが深刻なアラートを隠しうることです。

自動化

アラートを規則別と結果別に自動で数え、アラートの自動化を抑制の誤りで測ります。注意点は、規則が単にばたついているだけのとき、自動で解消したアラートが健全なシステムに見えうることです。

アナリティクス

対処可能なアラートの率と検出の網羅率を、ユーザーが最初に気づいたインシデントとともに報告します。これが情報を与える判断は、どのアラートを直すか、削除するかです。注意点は、既知のインシデントに対して測った網羅率は、誰もまだ見たことのない失敗モードを無視することです。

業種別の視点

スタートアップ。 少数のエンジニア全員がオンコールのとき、優先事項は、短い呼び出しのポリシーと、収益を生む経路の少数の症状のアラートです。月曜日の、何が人々を起こしたかの10分の確認で十分です。主なリスクはアラートがまったくなく、顧客が監視になってしまうことです。顧客が先に教えてくれた頻度を数えてください。

中小企業。 小さな組織は、供給者の監視に頼ることがよくあります。有用な測定値は、事業を止める少数のシステムの検出の網羅率と、ユーザーが見つけたインシデントの割合です。供給者に、契約で受ける権利のあるアラートのデータを求めます。

大企業。 大きな組織には多くのツールとローテーションがあり、各チームが「対処可能」を異なって定義しているかもしれません。定義とラベルを標準化し、チームのレベルでレビューし、ツールではなくサービス別に集約します。イベント相関の基盤は大規模に量を減らしますが、独自の再現率の確認が要ります。

政府・公共部門。 一部のサービスは勤務時間に運用され、緊急システムや給付システムなど他のものは継続的に運用されます。検出の網羅率とテストされたアラートは、失敗が法的または安全上の結果を伴うところで最も重要で、テストの記録は監査を支えられます。生のアラート件数は誤読されやすいので、それではなく、網羅率と検出を監督機関に報告します(トピック 8.5「規制対応・行政向け報告」を参照)。

ビジネスケース:動機、ROI、TCO

投資の理由は実際的です。より良い検出は、ユーザーが影響を受ける時間を短くします。無意味な呼び出しが減れば、睡眠が守られ、ローテーションからの離脱が減り、重要なアラートのために注意が保たれます。アラートの品質が低いコストは、中断された睡眠、遅い対応、経験豊富なエンジニアの退職に広がっているため、見えにくいものです。

これらのメトリクスを集めるコストは、アラート、ページング、インシデントのツールを結合できれば小さく、ラベルが手作業で加えられるなら中程度です。主なコストは、毎週のレビューの時間、調整と削除の仕事、時折の検出のテストです。使われていない規則を刈り込むことは、監視のライセンスとストレージのコストも削り、総所有コストには人の時間を含めるべきです。

見返りは、数か月以内に、より静かなローテーション、上がる監視による検出の割合、悪化しない検出までの時間として現れます。これをお金に換えるには、インシデントの時間とローテーションの離職のコストを、レビューのコストと、自分たち自身の数字を使って比較します。検証された出典を引用できない限り、業界の平均を使わないでください。

アンチパターンと落とし穴

  • アラートの量に目標を設ける。 件数の目標は沈黙を報い、アラートを隠すことを招く。目標は対処可能なアラートの率と検出の割合に設定し、量は、チームが選ぶ持続可能性の限度を伴う文脈の数字として使う。
  • あらゆる原因でアラートを出す。 数十の原因レベルの呼び出しはノイズを生み、それでも誰も考えなかった症状を見逃す。代わりにユーザー向けの症状でアラートを出す。
  • インシデントのたびにアラートを加え、一つも削除しない。 すべての新しいアラートを、それが冗長にするものすべてのレビューと組にする。
  • ラベル付けせずにアラートを数える。 有用性の判断のない件数は、うるさいローテーションとビジーなローテーションを区別できない。数分しか使えなくても、毎週抽出にラベルを付ける。
  • 網羅率をアラートの数として扱う。 五十の原因アラートがあって症状のアラートがないサービスは、網羅が貧弱である。網羅率を、テストされた症状の検出として定義する。
  • 処理または確認応答した呼び出しの数で人に順位を付ける。 困難なシフトを引き受けるローテーションのメンバーを罰し、ポケベルを避けることを促す。ローテーションとサービス別に報告し、設計上の修正を探す。
  • アラートの経路を決してテストしない。 機能するのを見たことのないアラートは仮定である。ゲームデーにアラートのテストを含め、パイプライン自体を監視する。

成熟度モデル

観点 開始 発展 標準化 管理 協調
呼び出しのポリシーと規則のオーナーシップ アラートがその場限りで加えられ、多くがなぜ存在するか誰も知らない 一部のチームに、自分たちの規則のポリシーとオーナーがある 短い呼び出しのポリシーが一つ。すべての呼び出しの規則にオーナーと手順書がある 規則の最新性を追跡してレビューする。使われていない規則が予定に従って削除される サービスの変化に応じて、チームと供給者にまたがってポリシーとオーナーシップが調整される
アラートの品質の測定 ノイズへの苦情。件数なし 一部のチームが量を数える。ラベル付けなし 共通のラベルを伴う毎週のレビュー。対処可能なアラートの率と誤検知の率がサービス別に報告される 率が傾向として追われ、検出の測定値と組になる。改善の仕事に資金が付く 品質がサービスと供給者にまたがって結び付く。判断に情報を与えなくなれば定義が見直される
検出と網羅 ほとんどの問題を顧客と同僚が報告する 少数の主要サービスに症状のアラート テストされたアラートで検出の網羅率を追跡し、すべてのインシデントで最初のシグナルが記録される 検出までの時間と監視による検出の割合が防護柵とともにレビューされる。ギャップが計画された仕事になる アラートのパイプラインを含め、依存関係と供給者にまたがって検出が日常的にテストされる
改善での利用 アラートの修正が最悪の夜に続く 修正がインシデントに続く 各レビューが少なくとも一つの変更を生む 変更が、量、対処可能性、検出への効果まで追跡される ローテーションの負荷、検出、エラーバジェットが一緒にレビューされ、投資を導く

チェックリスト

  • 何が呼び出しに値するかを述べた、数文の書面の呼び出しのポリシーがある。
  • すべての呼び出しの規則に、オーナー、目的、手順書へのリンクがある。
  • 各ローテーションが、少なくとも毎週、何が発火したかをレビューし、各アラートにラベルを付けている。
  • 各レビューが、規則への少なくとも一つの記録された変更を生んでいる。
  • アラートの量、対処可能なアラートの率、誤検知の率を、ローテーションとサービス別に報告し、人別には決して報告しない。
  • すべてのインシデントが、不明の選択肢を伴って、最初にどう検出されたかを記録している。
  • 影響の開始をサービスレベル指標の履歴から見積もり、検出までの時間の中央値と95パーセンタイルを報告している。
  • 範囲内の各サービスに、直近12か月にテストされた症状のアラートがある。
  • アラートのパイプラインが止まったら、ハートビートのチェックが私たちを呼び出す。
  • 各ローテーションについて持続可能な時間外の負荷に合意し、それをレビューしている。
  • アラートの量だけに目標を設定していない。

AIプロンプト

目的:サービスの指標と結果から、そのサービスの呼び出しのポリシーを起案する。

サービス [サービス名] の呼び出しのポリシーの起案を手伝ってください。
文脈:ユーザーは [ユーザーグループ]。私たちが気にするユーザー向けの症状は [症状。例:エラー、レイテンシ、利用不能]。失敗を見逃した場合の結果は [結果]。オンコールのローテーションは [ローテーションの説明。例:時間帯とチームの規模]。
何が呼び出しに値し、何がチケットのキューに行き、何がダッシュボードにとどまるかを述べる、短いポリシー(200語未満)を書いてください。
閾値やベンチマークの値を捏造せず、私たちが自分たちのデータから設定する [閾値] のプレースホルダーを残してください。
確定する前に私たちに尋ねる問いを列挙し、前提も列挙してください。

目的:エクスポートしたアラートのレビューを、ノイズのパターンについて分析する。

[期間] のローテーション [ローテーション名] のアラートの表を、列 [列名。例:規則、時刻、ラベル、取った行動、サービス] とともに貼り付けます。
貼り付けたデータのみを使って、対処可能なアラートの率、誤検知の率、時間外の割合、最もうるさい五つの規則からのアラートの割合を計算してください。
どの規則を調整、統合、降格、削除するかを、それぞれの理由とともに提案し、各提案を確認すべき仮説として印を付けてください。
規則、サービス、ローテーション別に報告し、人別には決して報告しないでください。ベンチマークの値を捏造しないでください。
前提と、除外した行を列挙してください。

目的:公開前に、アラートのメトリクスの集合を悪用のリスクについて確認する。

以下は公開を予定しているアラート品質のメトリクスです:[定義と計算式付きのメトリクスの一覧]。
各メトリクスについて、[組織の種類とサービス] という私たちの文脈で、悪用または誤読されうる二つの方法を述べ、同じ一覧からの組になる防護柵、または採用できるプラクティスを提案してください。
防護柵なしに示されているメトリクスを指摘してください。
出典やベンチマークの値を捏造しないでください。
私たちのツールがアラートとインシデントをどう記録するかについての前提を列挙してください。

目的:網羅が弱いサービスの検出テストを計画する。

私たちのサービスは [サービスの一覧] で、存在すると信じている症状のアラートは [アラートの一覧] です。
次の [ゲームデーまたはリハーサル] のための、各サービスについて、意図した症状がアラートを引き起こし、[ローテーション] に届き、手順書にリンクしていることを確認する安全なテスト計画を提案してください。
誰に事前に知らせるべきか、検出の網羅率のために結果をどう記録するかを述べてください。
ツールの機能を捏造せず、[監視ツール] がどう動くかを私に尋ねてください。
前提を列挙してください。

AIスキル

要点

  • アラートは行動につながったかで、監視は実際のトラブルをどれだけ捉えたかで判断する。適合率と再現率は互いを守る。
  • ユーザーが感じる症状で呼び出し、サービスレベル目標があるところでは閾値をそれに結び付け、原因は診断のために残す。
  • 毎週、何が発火したかをレビューし、ラベルを付け、毎回少なくとも一つの変更を行う。
  • アラートの量だけに目標を設定せず、対処可能なアラートの率、監視による検出の割合、検出までの時間の隣で読む。
  • アラートとアラートのパイプラインをテストする。テストされていないアラートは仮定だからである。
  • ローテーションとサービス別に報告し、人別には決して報告せず、持続可能なオンコールの負荷を設計の目標として扱う。

参考文献とさらなる読書

  1. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, "Monitoring Distributed Systems," https://sre.google/sre-book/monitoring-distributed-systems/
  2. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, "Practical Alerting from Time-Series Data," https://sre.google/sre-book/practical-alerting/
  3. Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, "Alerting on SLOs," https://sre.google/workbook/alerting-on-slos/
  4. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  5. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  6. Wikipedia, System monitoring.
  7. Wikipedia, False positives and false negatives.
  8. Wikipedia, Precision and recall.
  9. Wikipedia, Signal-to-noise ratio.
  10. Wikipedia, Alarm fatigue.
  11. Wikipedia, On-call.
  12. Wikipedia, Site reliability engineering.
  13. Wikipedia, Service-level objective.