重大インシデントのメトリクス
重大インシデントは、ランキング表ではなく、学ぶべき希少で高くつく出来事として測る。数え、誠実に時間を測り、顧客への影響の大きさを見積もり、人々に伝えたかを確かめ、フォローアップのアクションが実行されたことを証明する。
概要と動機
重大インシデントとは、通常のルーチンを超えた対応が必要なほど深刻なインシデントです。ITサービスマネジメントで最もよく知られたフレームワークであるITILは、インシデント管理(incident management)を、できる限り速く通常のサービス運用を復旧することと説明し、組織が最も深刻なインシデントを、別個のより調整された経路で扱うことを期待します。組織がその線をどこに引くかは、その組織自身の判断です。よくある選択は、多くのユーザーや重要なサービスに影響し、一人の調整役の下で複数のチームが協働する必要があるインシデントです。このトピックのすべてのメトリクスがそれに依存するため、自分たちの定義を書き下してください。
重大インシデントは数が少ないものです。チームは、週に数十件の通常のインシデントを見る一方で、四半期に二、三件の重大インシデントを見るかもしれません。これが測り方を変えます。インシデントの量と解決時間についての通常の統計(トピック 3.2「インシデントの件数と優先度」とトピック 3.3「インシデントの対応時間と解決時間」を参照)は、多くのイベントを想定し、平均を報います。期間あたりの重大インシデントが一握りのとき、平均は悪い一晩に支配され、傾向線はほとんどノイズで、パーセンタイル(percentile)は五つのデータ点では無意味です(トピック 1.6「サービスメトリクスのための統計リテラシー」を参照)。誠実な手法は、すべての重大インシデントを、それぞれ固有のタイムラインを持つ独立した行として示し、より長い窓にわたってのみ要約することです。
アジャイルとITILの見方は、ここで本書のどこよりも直接的に出会います。ITILは構造を提供します。宣言された重大インシデント、名前付きの調整役、影響を受ける関係者への定義されたコミュニケーション、その後のレビュー。アジャイル(agile)とサイト信頼性エンジニアリング(site reliability engineering、SRE)の伝統は習慣を提供します。対応を仕切るインシデントコマンダー(incident commander)、何が起きたかの非難なきレビュー、継続的改善に供給する学びへの焦点。Googleの『Site Reliability Engineering』は、インシデントコマンドのパターンとポストモーテムレビューの実践の両方を説明しています(参考文献を参照)。この意味でのポストモーテム(postmortem)は、インシデント、その原因、それに続くアクションの書面の記録であり、ここでは「インシデント後のレビュー」と同じ意味で使います。
このトピックは五つの問いを扱います。重大インシデントはどのくらいの頻度で起きるか。どのくらい続き、そのうちどれだけの時間が、誰かが宣言する前に費やされるか。何人のユーザー、どのユーザーがそれを感じたか。私たちからの連絡は間に合い、安定したリズムで届いたか。そして約束したフォローアップは行われたか。関連するトピックは、その周辺にあるものを扱います。可用性(トピック 5.3「可用性のメトリクス」を参照)、書面のレビューの質(トピック 4.2「ポストモーテムと学習のメトリクス」を参照)、根底にある原因(トピック 4.1「問題管理のメトリクス」を参照)、それを引き起こすことの多い変更(トピック 4.4「変更の失敗と手戻り」を参照)。
このトピックで使う用語です。
- 重大インシデント(Major incident): 書面の宣言基準を満たし、重大インシデントのプロセスを発動させるインシデント。
- 宣言(Declaration): 権限を持つ誰かが重大インシデントのプロセスを正式に発動する瞬間。
- 復旧までの時間(Time to restore): 顧客への影響の開始から、ユーザーにとってサービスが復旧する瞬間までの時間。サービスを復旧する瞬間は、根本原因(root cause)を見つける瞬間とは同じではない。
- インシデントコマンダー(Incident commander): 対応を調整し、タスクを割り当て、決定する役割。インシデントの間の役割であり、職名ではない。
- インシデント後のレビュー(Post-incident review): サービスが復旧した後の、インシデントの構造化された非難なき検討。
- アクション項目(Action item): レビューから生じる、具体的でオーナーと期日のある変更。
主要な原則
- 出来事を示し、それから要約する。 希少な出来事には、個別のタイムラインが値する。各重大インシデントを別々に報告し、要約統計は、件数を隣に添えて、長い窓にわたってのみ使う。
- 時計を、気づきではなく影響で始める。 誰かが気づいたときに始まる所要時間は、検出のギャップを隠す。それは物語の最大の部分であることが多い。
- チームの労力ではなく、ユーザーの体験を測る。 顧客への影響は、プロセスが存在する理由である。対応者の労力の時間は追跡すべきコストであり、決してスコアではない。
- コミュニケーションは復旧の一部である。 ユーザーがまだ推測している間に復旧したサービスは、半分しか直っていない。更新のタイムリーさを、対応の測定値として扱う。
- アクションが終わるまで、レビューは終わらない。 未完了のアクションを伴う完成した文書は、何も変えていない。レビューの存在だけでなく、やり切りを測る。
- 人に順位を付けず、宣言を罰しない。 重大インシデントを宣言することが、レポートで宣言者のチームを傷つけるなら、宣言は減り、サービスが悪化する一方でメトリクスは改善する。
- 宣言の基準を安定させる。 しきい値を動かすと、このトピックのすべてのメトリクスが変わる。各変更を、その理由と日付とともに記録する。
メトリクスの定義
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| 重大インシデントの件数 | ある期間に宣言された重大インシデント。サービス別 | 宣言基準を満たしてその期間に宣言されたインシデントの数。宣言の時刻で数える。最初の1時間以内に格下げされたインシデントは別に列挙し、除外する | 四半期あたりの件数 | 重大インシデントのフラグを持つITSMツールのインシデントレコード | インシデント管理 | チームまたはサービスの健全性レビュー | 毎月の報告、四半期の傾向 |
| 重大インシデントの継続時間 | 顧客が影響を受けた時間 | インシデントごとに、サービス復旧の時刻 − 影響開始の時刻。影響開始は、監視の最も早い証拠か最初のユーザーの報告のいずれか早いほう。部分的な復旧は独自のイベントとして記録し、完全な復旧が時計を止める | インシデントごとの分 | 監視のタイムライン、ITSMツールのインシデントのタイムライン | インシデント管理、サービスレベル管理 | デリバリーのメトリクスにおける復旧までの時間(トピック 2.8「DORAメトリクス」を参照) | インシデントごと。長い窓の中央値と最大値は四半期ごと |
| 宣言までの時間 | 影響の開始から重大インシデントの宣言までの遅れ | インシデントごとに、宣言の時刻 − 影響開始の時刻。宣言されなかったインシデントは、通常の高影響のインシデントの四半期ごとのレビューで見つけ、宣言の時刻をn/a(宣言されず)として含める | インシデントごとの分 | 監視のタイムライン、ITSMツールの監査証跡 | インシデント管理、監視とイベント管理 | チームのワーキングアグリーメントにおけるエスカレーションの準備完了の定義 | インシデントごと |
| 顧客への影響 | 何人のユーザーと、どれだけの利用が影響を受けたか | インシデントごとに、影響を受けたユーザー(または失敗したリクエスト)× 影響を受けた分数。影響の窓の間にサービスを使おうとしたユーザーのみを数える。計画メンテナンスは除く | ユーザー分、または失敗したリクエスト | サービスのテレメトリ、サポートの問い合わせの記録 | サービスレベル管理、インシデント管理 | ユーザー向けのサービスレベル指標(トピック 5.2「SLI、SLO、エラーバジェット」を参照) | インシデントごと |
| コミュニケーションのタイムリーさ | 影響を受ける関係者に、時間どおりに伝えたか | 宣言後、顧客向けの最初の通知が目標内に出た重大インシデントの割合と、合意した間隔内に送られた予定された更新の割合。時計は宣言で始まる。社内のみのメッセージは除く | インシデントのパーセント、更新のパーセント | ステータスページの履歴、ITSMツールのコミュニケーションログ | インシデント管理、サービスレベル管理 | チームのワーキングアグリーメントにおけるステークホルダーへのコミュニケーション | インシデントごと。四半期の要約 |
| レビュー完了のタイムリーさ | レビューが役に立つほど早く行われたか | 復旧後、合意した営業日数内にレビューが公開された重大インシデントの割合。時計は最初の下書きではなく、公開で止まる。まだ窓の内側にあるインシデントは除く | パーセント | レビューのリポジトリ、ITSMツール | 継続的改善、問題管理 | 改善のフォローアップ | 四半期ごと |
| アクション項目のやり切り | レビューのアクションが完了したか | 期日までに完了したレビューのアクション ÷ その期間に期日が来たレビューのアクション。「やらない」としてクローズされたアクションは、隠さず、理由とともに別に数える | パーセント、期限超過の件数 | レビューに紐づく課題管理 | 継続的改善、問題管理 | レトロスペクティブからのバックログアイテム | 毎月 |
| 繰り返される重大インシデントの率 | 同じ原因の再発 | その期間の重大インシデントのうち、記録された原因が過去12か月の以前の重大インシデントと一致するもの ÷ その期間の重大インシデント。一致は原因の欄で行い、手作業でレビューする | パーセント。件数も示す | レビューの記録、問題レコード | 問題管理 | バックログの予防作業 | 四半期ごと |
すべての行は、信頼される前に書面の時計の規則が必要です。影響開始と復旧時刻についての争いはよくあり、事前に決着させるのが最善です(トピック 1.5「データソースと計装」を参照)。
推奨事項
何がインシデントを重大にするかを書き下す
当番の誰でも適用できる宣言基準を公開する。 基準は、通常、影響(影響を受けるユーザー、劣化した重要なサービス、安全または法的リスク)と、調整の必要(複数のチームが必要)を組み合わせます。長いマトリクスより、例付きの短い一覧のほうが優れています。誰が宣言でき、誠実な宣言は、インシデントが軽微だったと判明しても、決して誤りではないことを明確にします。
すべてのインシデントレコードに、基準のバージョンを記録する。 しきい値が動くと、傾向も動きます。各レコードのバージョン番号や日付により、同種のものを比較し、規則の変更による件数の跳ね上がりを説明できます。
件数を目標にせずに、数えて分類する
件数を文脈とともに報告する。 四半期あたりの重大インシデントの数を、サービス、引き金(変更、キャパシティ、依存関係、セキュリティ、その他)、基準のバージョンの隣に示します。文脈のない件数は、「四半期に三件未満」のような目標を招き、人々に宣言しないことを教えます。減少する件数を良い知らせとして扱うのは、宣言までの時間と顧客への影響が安定しているときだけです。
宣言されたもの、格下げされたもの、見逃されたものを分ける。 宣言されて格下げされたインシデントを追跡します。基準が妥当かを示すからです。毎四半期、通常のインシデントの抽出を、宣言されるべきだったものについてレビューします。見逃されたものが最も有益です。
ユーザーの側からインシデントの時間を測る
顧客が影響を受けたときに時計を始める。 最も早い信頼できる証拠を使います。それは、最初のチケットより前の監視のシグナルであることがよくあります。開始が不確かなときは、誰かが気づいた時刻ではなく、推定とその情報源を記録します。影響開始と宣言の間のギャップは、それ自体がメトリクスで、通常、改善するのが最も安上がりです。
タイムラインを段階に分ける。 検出、宣言、診断、緩和、完全な復旧は、それぞれ遅れの原因とオーナーが異なります。インシデントごとの段階の内訳は、平均を必要とせずに、時間がどこに行ったかを示します。回避策でサービスを復旧することと、原因を直すことは別のイベントで、後者は問題管理に属します。
長い窓にわたって、中央値と最悪のケースを、件数とともに使う。 一年分のデータでは、中央値と最長の所要時間を報告し、それらが何件のインシデントに基づくかを述べます。重大インシデントについては、単一の復旧までの平均時間は避けます。イベントが少数では不安定で、一度の長い障害にゆがめられるからです(トピック 1.6「サービスメトリクスのための統計リテラシー」を参照)。
顧客への影響を、ユーザーが認識できる言葉で見積もる
サーバー基準の影響より、ユーザー基準の影響を優先する。 失敗したリクエスト、影響を受けたユーザー、影響を受けた取引は、人々に何が起きたかを記述します。コンポーネントの劣化したサービスの分数は、機械に何が起きたかを記述します。サービスレベル指標があるところでは、それを使い(トピック 5.2「SLI、SLO、エラーバジェット」を参照)、インシデントを可用性の全体像に結び付けます(トピック 5.3「可用性のメトリクス」を参照)。
各レコードに、平易な言葉の影響の記述を加える。 誰が影響を受け、何ができなかったかを述べる一、二文です。サポートの問い合わせ、ソーシャルメディアでの言及、顧客のエスカレーションは、その記述の証拠であって、最大化すべきメトリクスではありません。
コミュニケーションを対応の一部として測る
読み手別にコミュニケーションの目標を設定する。 影響を受ける顧客、社内のステークホルダー、経営幹部には、異なるタイミングで異なるメッセージが必要です。宣言後の最初の通知の目標と、更新の安定したリズムに合意し、インシデントごとに遵守を測ります。内容よりリズムが重要です。「変化なし、次の更新は30分後」と述べて時間どおりに届く更新は、沈黙よりも多くの信頼を築きます。
対応とコミュニケーションを別の手に置く。 コミュニケーション担当がいれば、インシデントコマンダーは診断に集中できます。小さなチームは、代わりにチェックリストと事前に書いたテンプレートを使えます。
学びの輪を閉じる
早くレビューを開き、公開する。 記憶は薄れるので、レビューの窓を設定し、それが守られたかを測ります。レビューの完了より、レビューが何を変えるかのほうが重要なので、やり切りと組にします。Googleの『Site Reliability Engineering』は、非難なきレビューとそれを書き残すことを主張しており(参考文献を参照)、トピック4.2(ポストモーテムと学習のメトリクス)がレビューの質を扱います。
アクションを最後まで追跡し、誠実な「やらない」を認める。 各アクションを、オーナーと日付とともに、所有するチームがすでに使っているバックログに入れます。却下されたアクションを、放置させるのではなく、理由とともに記録します。期限超過のアクションを運用またはサービスのレビューでレビューし、何がそれらを妨げているかを尋ねます。残るのが重要なものになるよう、レビューごとのアクションの数に上限を設けます。
インシデント横断のパターンを探し、問題管理に送る。 繰り返される原因、共通の引き金、繰り返される検出のギャップは、個別のレビューが見逃すシグナルです。それらを問題と既知のエラーのプロセス(トピック 4.1「問題管理のメトリクス」を参照)と、サービスを所有するチームの計画に供給します。繰り返しの率の上昇は、評決ではなく、調査の促しとして扱います。
悪用の手口と防護柵
| メトリクス | 悪用のされ方 | 組になる防護柵のメトリクスまたはプラクティス |
|---|---|---|
| 重大インシデントの件数 | 宣言のしきい値を上げる、インシデントを「高」の優先度に置き続けて宣言されないようにする、一つの出来事を複数のレコードに分割する、あるいは複数を一つにまとめる | 固定されバージョン管理された基準。高影響の通常のインシデントの四半期ごとの抽出。件数の隣に宣言までの時間と顧客への影響を追跡する |
| 重大インシデントの継続時間 | 影響開始をより遅い時刻に戻す、ユーザーがまだ失敗しているのに「復旧」と宣言する、クローズして新しいレコードを再オープンする | 監視から取った影響開始。ユーザー向けの指標による復旧の確認。再オープンされ紐づけられたレコードを一つのインシデントとして数える |
| 宣言までの時間 | 速く見せるためにあらゆるものを早く宣言する、あるいは宣言を影響開始まで遡及する | 宣言されたインシデントのうち、のちに格下げされた割合。宣言の時刻の監査証跡。生の監視に照らしたタイムラインの抽出 |
| 顧客への影響 | 「影響を受けた」の定義を狭める、チケットを起こしたユーザーだけを数える、稼働し続けた依存先を測る | 問い合わせに加えてテレメトリから導出した影響。インシデントのレビューでレビューされる平易な言葉の影響の記述 |
| コミュニケーションのタイムリーさ | 時計を始めるために曖昧な通知を投稿する、内容のない更新を送る、社内のメッセージを数える | 更新の抽出の内容確認。明確さについての顧客のフィードバック。顧客向けの通知のみを数える |
| レビュー完了のタイムリーさ | 期日を満たすために薄い文書を公開する、レビューを「不要」と宣言する | 抽出した同僚によるレビューの質の確認(トピック 4.2「ポストモーテムと学習のメトリクス」を参照)。免除されたレビューの割合を示す |
| アクション項目のやり切り | クローズしやすい曖昧または些細なアクションを書く、作業をせずにアクションをクローズする、「やらない」にラベルし直す | アクションの質の抽出。クローズされたアクションをシステムの変更に照らして検証する。「やらない」の割合と理由をレビューする |
| 繰り返される重大インシデントの率 | 異なる言い回しを選んで各原因を新しいものとして記録する、あるいはすべてを「ヒューマンエラー」に帰す | 定義付きの短い原因の分類。インシデント外の誰かによる原因の欄のレビュー。システムの説明なしに「ヒューマンエラー」を原因として受け入れない |
健全な読みは、宣言されたインシデントの中程度でかなり安定した件数に、レビューで見つかるときおりの格下げとときおりの見逃しがあるものです。宣言までの時間は短く下がっており、インシデントごとの顧客への影響は理解され、予防作業が行われたところで下がり、顧客向けの更新のほぼすべてが予定どおりです。レビューは時間どおりに公開され、そのアクションはほぼ終了しており、却下されたアクションが小さく誠実な集合としてあります。すべてが完璧に見えるなら、基準がずれたのか、人々が宣言をやめたのかを尋ねます(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。チャールズ・グッドハートにちなんだ法則(law named after Charles Goodhart)は、ここで最も見やすくなります。悪い数字のコストが、警報を鳴らす意欲の低下だからです。
トレードオフ:長所と短所
| 選択 | 強み | 弱み |
|---|---|---|
| 各インシデントを行として示す | 文脈を保ち、小さな件数での誤解を招く平均を避ける | リーダーには要約しにくい。インシデントごとの短い物語が要る |
| 重大インシデントの件数を報告する | 単純で馴染みがあり、リーダーシップに見える | 目標にされやすい。基準の変更に反応する |
| 影響開始からの時間 | ユーザーの体験を反映し、検出のギャップを露わにする | 影響開始が不確かなことがあり、判断が要る |
| 宣言からの時間 | 取得しやすく比較しやすい | 遅い検出と遅い宣言を隠す |
| 影響のユーザー分 | インシデントとサービスをまたいで比較できる | テレメトリが要る。すべてのユーザーと分を同等に扱う |
| レビュー完了率 | 集めやすく、習慣を促す | 学びではなく文書を報いる |
| アクションのやり切り率 | レビューを変更に結び付ける | 些細なアクションで悪用されうる。オーナーとバックログが要る |
一つを最適化するのではなく、サイクル全体(宣言、復旧、伝達、学習、完了)をカバーする小さな測定値の集合を使います。影響の測定値は、テレメトリが存在するときにのみ加えます。テレメトリがないところでは、捏造した数字より、慎重に書かれた影響の記述のほうが役に立ちます。
チームで話し合う問い
1. ここで何がインシデントを重大にするのか、当番の全員が合意しているか? 定義は、他のすべての数字の基礎です。最近の同じインシデントを三人に分類してもらい、答えを比較します。意見の相違が、基準が曖昧な箇所を示します。ファシリテーターは、書面の基準に加える例を記録し、誰が宣言できるかに合意してください。最後に、誠実な宣言は、のちに格下げされても常に許容されることを確認します。
2. 直近の重大インシデントで、影響の開始から宣言までに、どのくらいあったか? 記憶ではなく監視からタイムラインを再構成します。ギャップは予想より大きく、最長の段階であることもあります。どんなシグナルがあり、誰がそれを見たか、ギャップが不明確な基準、欠けているアラート、宣言をためらう気持ちのどれから来たかを尋ねます。それを短縮する変更を一つ選び、どうやってそれが分かるかを決めます。
3. 誰が影響を受け、それをどうやって知っているか? そのときチームが信じていたことを、のちにテレメトリとサポートの問い合わせが示すことと比較します。どの顧客が他より影響を受けたか、それが事業にとって最も重要な顧客だったのか、最も対処しにくい顧客だったのかを尋ねます。影響の記述が顧客が認識できるものかを話し合います。次回、確実に収集できる影響の測定値を一つ決めます。
4. 必要なときに私たちからの連絡が届き、メッセージは有用だったか? 最初の通知と各更新を、合意したリズムに照らして確認します。顧客の立場で実際のメッセージを読みます。分かっていること、分かっていないこと、次の更新がいつ来るかを述べていたかを尋ねます。インシデントの間、誰がコミュニケーションを所有し、その人がそれを行う自由があるかを話し合います。
5. 直近三回のレビューのアクションはどうなったか? アクションを一つの一覧にまとめ、完了、進行中、期限超過、却下のいずれかに印を付けます。期限超過のものについて、キャパシティ、オーナーシップ、優先度、不明確なスコープのうち何が妨げているかを尋ねます。期限超過のアクションを、次の運用または計画の会議でどう提起するかを決めます。
6. 重大インシデントの件数で測られるとしたら、私たちは何を違ってするか、それで顧客は良くなるか? この問いは、悪用の手口が起きる前に表に出します。しきい値、ラベル、誰が宣言するかなど、変えうることをグループに率直に話してもらいます。そして、より良い目標は何かを尋ねます。良い答えは、顧客への影響、宣言までの時間、やり切りへと向かい、これらはユーザーを助けずに悪用するのが難しいものです。その答えを防護柵として記録します。
四つの視点
プロダクトとデリバリーのチーム
プロダクトチームは、重大インシデントを、計画された仕事への割り込みとして、また自分たちの変更へのフィードバックとして出会います。明確な影響の数字、自分たちのインシデントのタイムラインへの素早いアクセス、それを行う余裕とともに自分たちのバックログに届くレビューのアクションから、最も恩恵を受けます。インシデントのフォローアップのためにキャパシティを確保し、アクションを機能と同じ地位の仕事として扱います。繰り返される引き金が実践の変更につながるよう、原因の区分を共有します(トピック 2.9「運用作業と計画外作業」を参照)。
サービスと運用のチーム
運用チームは対応を運営し、深夜の仕事のコストを負います。午前3時に適用できる基準、人員を配置できるコマンダーとコミュニケーションの役割、事後に記憶からではなく、出来事が起きるとおりにタイムラインを取得するツールが必要です。重大インシデントが少人数のグループに与える負荷に注意し(トピック 5.7「トイルとオンコールのメトリクス」を参照)、このトピックのメトリクスを、対応者を比較するためではなく、予防の作業を求めるために使うべきです。
リーダーシップとガバナンス
リーダーは、人々が素早く宣言し、誠実に報告するかを決める風土を作ります。各重大インシデントの物語と一年にわたる傾向を求め、件数への目標は避け、顧客への影響、検出のギャップ、完了したアクションについて尋ねるべきです。レビューが勧める予防の作業に資金を出し、デリバリーの計画と同じ場でレビューします。そうすればガバナンスは、教訓が変更に変わっているかを見られます(信頼性と投資を結び付ける方法は、トピック 5.2「SLI、SLO、エラーバジェット」を参照)。
顧客とユーザー
顧客は重大インシデントを、どれだけ長く影響を受けたか、知らされたか、再び起きるかで判断します。遅く洗練された通知より、早く誠実な通知のほうが、彼らの役に立ちます。ステータスのチャネル、頼れるリズム、何が起き、何が変わるかについての事後の明確な説明を与えます。契約が適用されるところでは、サービスレベルアグリーメントで合意した言葉で報告します(トピック 5.1「SLA、OLA、XLAのメトリクス」を参照)。インシデント後の満足度は、尋ねる価値があります(トピック 6.1「顧客満足度のメトリクス」を参照)。
実践:サービスマネジメントの例
中規模のオンライン小売業者が、それぞれプロダクトチームが所有するストアフロント、決済サービス、受注管理サービスを運営し、共有のプラットフォームチームがオンコールを担っています。小さなサービスマネジメントのグループが、重大インシデントのプロセスを運営しています。この例の数字はすべて例示です。
直近の二四半期に、小売業者は五件の重大インシデント(例示)を宣言しました。サービスマネジメントのグループは、それぞれを、影響開始、宣言時刻、復旧時刻、失敗した注文の推定、顧客への最初の通知の時刻、レビューの状況を持つ行として示します。影響開始から宣言までのギャップの中央値が38分(例示)で、宣言から復旧までの時間の中央値52分(例示)とほぼ同じ長さであることに気づきます。五件ではどちらの数字もおおよそのものとして扱い、タイムラインを読みます。五件のうち三件では、早く発火した監視アラートが、共有のチャネルで確認応答されないまま放置されていました。
チームは、そのアラートの種類をオンコールのページャーへ振り分け、チケットを待たずに、持続的なチェックアウトの失敗のシグナルだけで宣言できるという一行を基準に加えると決めます。また、宣言から20分以内の顧客への最初の通知という目標(例示)を設定し、インシデントごとに確認します。五件のうち二件がそれを満たしました。デプロイのチームは、圧力の下でコミュニケーション担当が記入できるステータスページのテンプレートを加えます。
同じレビューの中で、悪用のリスクを見つけます。あるプロダクトチームのマネージャーが、四半期の目標として「重大インシデントは二件以下」を提案していました。サービスマネジメントのグループは、前の四半期に、顧客がチェックアウトで失敗している状態で4時間高優先度のままだったインシデントが一件あり、チームが上限に近かったために宣言されなかったことを指摘します。目標を、宣言までの時間、インシデントあたりの失敗した注文、期日どおりに完了したレビューのアクションの割合という三つの測定値に置き換えます。所有するチーム外の誰かが読む高優先度のインシデントの四半期ごとの抽出という防護柵を加えます。次の四半期に、宣言された件数は四件(例示)に増え、宣言までの時間の中央値は下がり、抽出レビューは見逃された宣言を見つけませんでした。
アジャイル、AI、自動化、アナリティクス
アジャイル
各重大インシデントの後に、ステークホルダーとともに非難なきレビューを行い、アクションを定期的な頻度で追跡します。注意点は、重大インシデントを減らす目標が宣言を減らすことを促すので、宣言までの時間と顧客への影響も測ることです。
AI
AIは、重大インシデントの間の検出、要約、コミュニケーションを助け、レビューの最初の下書きを起案できます。コミュニケーションのタイムリーさを、伝えた内容の正確さと組にし、レビューのどの部分をAIが起案し、人が確認したかに印を付けてください。注意点は、AIによる自信ありげなインシデントの要約が誤っていることがあるため、最終的な記録は人が所有することです。
自動化
チャット、ページング、監視からタイムラインの取得を自動化して、レビューが事実から始まるようにし、ページングの失敗など、インシデントのツール自体を測ります。注意点は、自動のステータス投稿が、それを必要とする人々に届かないままコミュニケーションのように見えうることです。
アナリティクス
重大インシデントは希少なので、率や平均ではなく、件数、タイムライン、顧客への影響を使います。これが情報を与える判断は、何を直し、何をリハーサルするかです。注意点は、少数の数字は過剰な解釈を招くため、一握りの出来事から傾向を主張するのは避けることです。
業種別の視点
スタートアップ。 スタートアップには、正式な重大インシデントのプロセスがなく、起きている誰かだけがいるかもしれません。一段落の定義、各出来事の名前付きの調整役、タイムラインを記録する共有文書から始めます。インシデントを数え、影響を一文で記します。レビューは半ページのメモでよく、フォローアップはチームのバックログのアイテムです。
中小企業。 小さな事業は、サービスの多くを供給者に依存しがちなので、タイムラインには供給者の待ちが含まれます。供給者への連絡と応答の時間を、インシデントのタイムラインに記録します。それが所要時間の多くを説明し、契約の議論の証拠になるからです。顧客へのコミュニケーションは単純に保ちます。一つのチャネル、一人、述べた更新の間隔。
大企業。 大企業は多くのサービスを運営し、各期間に多くのインシデントがあるので、サービスごとの件数と集約の両方が有用です。リスクは、部門間の基準の不一致と、宣言を遅らせるほど重いプロセスです。定義を揃え、最初の15分はプロセスを軽く保ち、影響とコミュニケーションを比較できるよう共通のレコード形式を使います。
政府・公共部門。 公的機関には、規制当局や公衆への通知のような法定の義務がしばしばあり、代替手段のない市民にとっての失敗のコストが高くなります。通知義務の遵守と、脆弱なグループへの影響の測定値を加え、監査や公的な情報開示の請求に耐える記録を保ちます。調達のサイクルがアクション項目を遅らせうるので、ブロックされたアクションを追跡し、エスカレーションします。
ビジネスケース:動機、ROI、TCO
動機は、最も傷の深いインシデントのコストを削減することです。失われた収益やサービス、損なわれた信頼、スタッフの燃え尽き、規制上のリスク。小さく一貫した重大インシデントの測定値の集合は、そのコストがどこから来るか、検出とコミュニケーションが改善しているか、予防への投資が実を結んでいるかを示します。件数しか示さない測定値は、コストをインシデントの隠蔽へ押し込みます。
データがすでにITSMツール、監視システム、課題管理にあれば、収集のコストは控えめです。主なコストは、定義に合意し、インシデントのレコードを監視とアクションのバックログに結び付け、各レビューを書く時間です。メトリクスは、レコードを一貫させる以上のコストはほとんどかかりません。
見返りは、より短い宣言までの時間、より明確なコミュニケーション、繰り返しインシデントの減少、手戻りの減少として現れます。普遍的な数字は当てはまらないので、自分たちで見積もってください。直近一年の重大インシデントを取り、各サービスの影響1時間のコストを財務とともに見積もり、繰り返しの原因を防ぐために必要なフォローアップの作業のコストと比較します。総保有コストには、レビュー担当者の時間、タイムラインとステータスページのツール、フォローアップのアクションのために確保したキャパシティが含まれ、これは多くのプログラムが投資不足の部分です。
アンチパターンと落とし穴
- 重大インシデントの件数への目標。 人々に宣言を避けることを教える。代わりに、宣言までの時間、影響、やり切りを追跡し、見逃された宣言を抽出して確認する。
- 重大インシデントの単一の復旧までの平均時間。 イベントが少ないと、一度の長い障害が支配する。代わりに、各インシデントを示し、それから一年にわたる中央値と最長を件数とともに示す。
- 宣言で時計を始める。 検出と宣言の遅れを隠す。代わりに、顧客への影響の最も早い証拠で始め、ギャップを別に報告する。
- 対応者やチームをインシデントのメトリクスで順位付ける。 率直さを壊し、レビューを壊す。代わりに、サービスとシステムごとに報告し、データから名前を外す。
- 文書が公開されたらレビューが完了したと扱う。 要点は変更である。代わりに、アクションのやり切りを測り、毎月、期限超過のアクションを見る。
- 黙ったしきい値の変更。 傾向が無意味になる。代わりに、基準をバージョン管理し、変更をレポートに注記する。
- チケットだけを影響として数える。 影響を受けた多くのユーザーは決して電話しない。代わりに、テレメトリを使い、平易な言葉の影響の記述を加える。
- メトリクスを非難の割り当てに使う。 人々は事実を隠すようになる。代わりに、レビューを非難なきものに保ち、条件と判断に焦点を当て、システムの原因を探す。
成熟度モデル
| 観点 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 協調 |
|---|---|---|---|---|---|
| 定義と時計 | 重大とは、最も声の大きい人が言うこと。時間は記憶から来る | 一部のチームに基準があり、開始と終了の時刻を書き留める | 影響開始、宣言、復旧の時計の規則を伴う、バージョン管理された一つの書面の定義がある | 定義と時計を監視に照らして監査し、変更を理由とともに記録する | 基準と時計が供給者や顧客と合意され、判断に情報を与えなくなれば見直される |
| 影響とコミュニケーション | 影響は逸話で記述され、更新は誰かが思い出したときに送られる | 一部のインシデントで影響が見積もられ、一部のチームがステータスページを使う | 主要なサービスについてテレメトリから影響を測定し、更新の目標を設定して追跡する | 影響とコミュニケーションを傾向として追い、顧客のフィードバックに結び付ける | 影響が共通の形式で顧客や供給者と共有され、共同の改善アクションがある |
| レビューとやり切り | レビューはまれで書かれず、アクションは忘れられる | 一部のチームがレビューを書く。アクションは記録されるが追跡されない | すべての重大インシデントが時間どおりにレビューされ、アクションがチームのバックログで追跡される | 期限超過のアクションと繰り返される原因を定期的にレビューし、予防の作業に資金が付く | パターンがチームと供給者の間で共有され、学びが設計と計画を日常的に変える |
| 判断での利用 | 数字が事後に引用される | 文脈なしに件数がリーダーに示される | タイムラインと傾向が、サービスを所有するチームに示される | メトリクスが防護柵と組になり、信頼性の作業の優先順位付けに使われる | 信頼性への投資が、サービス横断の影響と再発の証拠を使って共同で決められる |
チェックリスト
- 宣言基準が書かれ、バージョン管理され、当番の全員が知っている。
- 誠実な宣言が明示的に安全であり、件数への目標は存在しない。
- 影響開始、宣言、復旧の時刻が定義され、監視または監査証跡から取られている。
- 各重大インシデントが、段階のタイムライン付きの独立した行として示されている。
- 顧客への影響が、存在するところではテレメトリから導出され、平易な言葉の記述で述べられている。
- 最初の通知と更新のリズムの目標が設定され、インシデントごとに確認されている。
- レビューが合意した窓内に公開され、そのアクションが所有するチームのバックログにある。
- 期限超過のアクションと繰り返される原因が予定に従ってレビューされている。
- 高影響の通常のインシデントの四半期ごとの抽出が、見逃された宣言を確認している。
- すべてのメトリクスに名前付きの防護柵があり、個人の順位付けに使われるメトリクスはない。
AIプロンプト
レビューのための宣言基準を起案する。
[組織の種類] で重大インシデントを宣言するための基準を起案しています。サービスは [サービスの一覧]、チームは [チームの一覧]、ユーザーは [ユーザーの説明] です。それぞれ二、三の例を添えた短い宣言基準の集合、チームが議論しそうなあいまいな点の一覧、[ステークホルダー] と私が決着させるべき問いを提案してください。しきい値やベンチマークの値を捏造せず、数字が必要なところには [プレースホルダー] を使ってください。前提を列挙してください。
インシデントのタイムラインを再構成して批評する。
以下は重大インシデントのタイムラインです:[タイムスタンプと情報源付きのタイムラインを貼り付け]。影響開始、宣言、緩和、完全な復旧を特定し、どのタイムスタンプが不確かでその理由は何かを述べてください。所要時間を段階に分け、最大の遅れがどこにあったかを記してください。対応者に尋ねる問いと、探すべき監視の証拠を提案してください。タイムラインにない事実を捏造しないでください。前提を列挙してください。
インシデント後のアクションの集合をレビューする。
以下は、[サービス] の [数] 件のインシデント後のレビューからのアクションです:[オーナー、期日、状況付きのアクションを貼り付け]。テーマ別にグループ化し、曖昧、些細、またはオーナーのないものに印を付け、[所有するチーム] の問題レコードやバックログのアイテムを示唆するパターンを特定してください。個人やチームをパフォーマンスで順位付けしないでください。原因を捏造しないでください。前提と、分析を改善するために必要な情報を列挙してください。
提案されたメトリクスを悪用について試す。
[メトリクス名] を追跡する予定で、定義は [定義]、[データソース] から測定します。このメトリクスが [役割] によってどう悪用されうるか、どんな誠実な行動を妨げうるか、それぞれの場合を捉える組になる防護柵のメトリクスまたはプラクティスは何かを述べてください。提案は [チームの規模] 人のチームにとって実践的なものにしてください。ベンチマークの値や情報源を捏造しないでください。前提を列挙してください。
AIスキル
- サービスマネジメントメトリクスのスキル:関連するトピックと、各重大インシデントのメトリクスの隣に置くべき防護柵を探すときに使います。
- サービスマネジメントメトリクスのメンテナースキル:このトピックの編集版が、テンプレートと規約にまだ従っているかを確認するときに使います。
要点
- 重大インシデントは希少なので、それぞれをタイムラインとともに示し、数字の隣に件数を添えて、長い窓にわたってのみ要約する。
- 時計を顧客への影響で始め、宣言前のギャップを独立した測定値として報告する。
- 影響をユーザーと利用の観点で測り、数字が見逃すものには平易な言葉の記述を加える。
- コミュニケーションのタイムリーさを対応の一部として扱い、読み手別の目標と安定した更新のリズムを持つ。
- アクションが終わったときにレビューは終わるので、やり切りと繰り返される原因を追跡する。
- 件数に目標を置かず、人に順位を付けず、宣言を安全に保つ。
参考文献とさらなる読書
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Lunney, L., and Lueder, S., "Postmortem Culture: Learning from Failure," in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/postmortem-culture/
- Beyer, B., et al. (eds.), "Managing Incidents," in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/managing-incidents/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- AXELOS (now PeopleCert), ITIL Foundation: ITIL 4 Edition, TSO, 2019.
- Wikipedia, ITIL.
- Wikipedia, Incident management (ITSM).
- Wikipedia, Percentile.
- Wikipedia, Agile software development.
- Wikipedia, Site reliability engineering.
- Wikipedia, Incident commander.
- Wikipedia, Postmortem documentation.
- Wikipedia, Root cause analysis.
- Wikipedia, Goodhart's law.