インシデントの対応時間と解決時間
インシデントの時間の測定値は、各段階でユーザーがどれだけ待つかを記述する。そのため、時計を書き下して分布として報告し、単一の平均としては決して報告せず、すべての速さの数字を、修正が持続したかの測定値と組にする。
概要と動機
ITサービスマネジメント(ITSM)におけるインシデントとは、サービスの計画外の中断、またはその品質の低下です。インシデント管理(incident management)は、安全な限り速く通常のサービスを復旧するプラクティスです。ITIL 4では、このプラクティスはインシデント管理と呼ばれ、ITILフレームワークのサービスマネジメントのプラクティスの一つです。そのアジャイル側の対応物は、計画外の仕事を第一級のフローとして扱うチームの習慣と、ソフトウェアエンジニアリングの手法でサービスを運用する規律であるサイト信頼性エンジニアリング(site reliability engineering)(SRE)に由来する、オンコールと非難なきレビューのプラクティスです。
時間は、インシデントを記述する最も自然な方法であり、最もよく誤用される方法でもあります。一つのインシデントはいくつもの段階を通ります。何かが壊れ、監視またはユーザーが気づき、人がアラートを確認し、誰かが作業を始め、ユーザーにとってサービスが復旧し、原因が処理または延期されるとチケットがクローズされます。これらのイベントのうち二つの間の各ギャップは、それぞれ別のオーナー、別の遅れの原因、別の対策を持つ別個の測定値です。そのすべてを「解決時間」と呼ぶと、遅れがどこにあるかが隠れます。
このトピックは、インシデントを最初から最後まで追う経過時間の測定値を扱います。検出までの時間、確認応答までの時間、最初の応答までの時間、復旧までの時間、解決までの時間です。また、未解決のインシデントの年齢、インシデントの担当が変わる回数、最もよく知られた要約である、復旧または解決までの平均時間(MTTR)の統計上の問題も扱います。件数、区分、優先度は別に扱います(トピック 3.2「インシデントの件数と優先度」を参照)。大規模で特殊なインシデントには独自の測定値があります(トピック 3.4「重大インシデントのメトリクス」を参照)。
このトピックで使う用語
- 検出までの時間(Time to detect、TTD)。 故障がユーザーに影響し始めてから、組織が監視またはユーザーの報告でそれを知るまでの経過時間。
- 確認応答までの時間(Time to acknowledge、TTA)。 アラートまたはチケットが上がってから、名前付きの人またはチームがオーナーシップを引き受けるまでの経過時間。
- 最初の応答までの時間(Time to first response)。 インシデントが記録されてから、影響を受けるユーザーへの最初の意味のある行動またはメッセージまでの経過時間。自動返信は数えない。
- 復旧までの時間(Time to restore)。 ユーザーへの影響の開始から、根本原因が回避策で対処されただけでも、ユーザーが再びサービスを使えるようになるまでの経過時間。
- 解決までの時間(Time to resolve)。 インシデントが記録されてから、サービスが復旧し、ユーザーが確認した、あるいは確認する公正な機会を与えられたためにクローズされるまでの経過時間。
- 復旧または解決までの平均時間(Mean time to restore or resolve、MTTR)。 これらの所要時間のいずれかの、インシデントの集合にわたる算術平均。Rの文字は、話者によって、修理、回復、復旧、解決、応答と読まれ、これがこの略語の最初の問題です。平均修復時間のWikipediaの記事(Wikipedia article on mean time to repair)は、その変種を列挙しています。
- サービスレベルアグリーメント(Service level agreement、SLA)。 サービスレベルアグリーメント(service-level agreement)は、サービスのレベルについての提供者と顧客の間のコミットメントで、優先度ごとの目標応答時間と解決時間を含むことが多い。
平均が貧弱な要約である理由
インシデントの所要時間は対称ではありません。ほとんどのインシデントは短く、少数が非常に長く、長いものがあらゆる平均を支配します。この種の所要時間は、対数正規分布(log-normal distribution)のような右に偏った形でよく記述されます。偏ったデータでは、平均が典型的なインシデントの姿をはるかに上回りえて、一度の長い障害が、一か月分の改善より平均を大きく動かしえます。
GoogleのSREチームは、この問題の分析を公表しています。調べたインシデントのデータセットでは、インシデントの所要時間のばらつきが十分に大きく、MTTRが本物の改善を隠したり、ノイズである変化を示したりしうると論じ、代わりに分布を見ることを推奨しています(Davidovič、2021年、参考文献に挙げています)。この論拠はよく知られた統計に基づいているため、誰の結論も信頼せずに、自分のデータで確認できます。インシデントの所要時間をプロットし、平均と中央値(median)を計算し、どれだけ離れているかを見ます(トピック 1.6「サービスメトリクスのための統計リテラシー」を参照)。
代わりになるのはパーセンタイル(percentile)です。中央値は、典型的なユーザーがどれだけ待ったかを示します。85または95パーセンタイルは、運の悪い人々がどれだけ待ったかを示します。顧客が覚えているのは平均ではなく長い待ちなので、「この優先度のインシデントの10件中9件を述べた時間内に復旧する」のようなパーセンタイルのコミットメントは、平均よりはるかによく彼らの体験に合います。
ITILとアジャイルの見方の違い
ITILの見方は、優先度と目標から始まる傾向があります。影響と緊急度が優先度を決め、優先度が目標の応答時間と解決時間を決め、サービスレベルアグリーメントがそれを逃したことに結果を付けることもあります。これは整然として監査しやすく、目標が招く悪用を受けやすいものです(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。
アジャイルとSREの見方は、ユーザーへの影響とフローから始まります。チームがどれだけ早く害を抑えるか、インシデントの経過時間のうちどれだけが能動的な仕事で、どれだけが待ちだったか、チームが何を学んだかを問います。チケットのステータスの測定値よりも、影響の測定値(影響を受けたユーザー、劣化したサービスの分数)を好み、チケットの時計を便利だが不完全な代理指標として扱います。二つの見方は両立します。何を誰のために測るかを決めるのにITILの優先度の構造を使い、その数字が何か意味を持つかを決めるのにフローと影響の考え方を使います。
主要な原則
- 「解決」ではなく、段階に名前を付ける。 検出、確認応答、応答、復旧、解決は、異なるオーナーを持つ異なる問いである。それぞれを固有の名前で報告する。
- 両方の時計を書き下す。 すべての時間の測定値は、どのイベントがそれを開始し、どれが停止し、どの状態が一時停止させるかを述べる。悪用の大半は、これらの境界に棲んでいる。
- 分布を報告する。 中央値、高いパーセンタイル、最も古い未解決インシデントの年齢を示す。偏ったデータは信頼できなくするため、単独の平均は避ける。
- 復旧をクローズとは別に測る。 ユーザーが気にするのはサービスがいつ戻ったかである。チケットは、原因が処理された後、のちにクローズされうる。
- 速さを耐久性と組にする。 翌日に同じインシデントで元に戻される速い復旧は、改善ではない。すべての時間の測定値の隣に、再発と再オープンの率を示す。
- チーム、サービス、システムを記述する。 応答時間や解決時間で、個々のエージェントやエンジニアに順位を付けてはいけない。
- 比較する前に分割する。 優先度とサービスで、同種のものを比較する。混合した数字は、パスワードのリセットとデータベースの障害を混ぜているからだ。
メトリクスの定義
各行は、その時計を述べています。暦時間と営業時間は異なるので、どちらを使うかを述べてください。測定値がパーセンタイルを使う場合、表は50と95パーセンタイルを示し、チームは85パーセンタイルを加えてもかまいません。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| 検出までの時間 | 組織が知る前に、故障がどれだけの間ユーザーに影響したか | 時計はユーザーへの影響の最初の瞬間(監視データ、またはレビューで記録された確認済みの影響開始から取る)に始まり、最初のアラートまたはユーザーの報告で止まる。サービスごとに中央値と95パーセンタイルで報告する。開始が分からないインシデントは、落とさず、数えて別に報告する | 分 | 監視とアラートのプラットフォーム、影響開始の欄を持つインシデントのレコード | インシデント管理、監視とイベント管理 | オブザーバビリティとアラート品質の作業(トピック 5.5「監視とアラート品質のメトリクス」を参照) | 毎月 |
| 確認応答までの時間 | 上がったアラートまたはチケットが、人が所有するまでにどれだけ待つか | 時計はアラートが発火したか、チケットが記録されたときに始まり、名前付きの人またはチームがそれを引き受けたときに止まる。自動割り当ては時計を止めない。優先度別に中央値と95パーセンタイルで報告する | 分 | ページングのツール、ITSMツールの割り当て履歴 | インシデント管理、サービスデスク | SREの輪番におけるオンコールの応答 | 毎月 |
| 最初の応答までの時間 | ユーザーが、人による最初の有用な返信をどれだけ待つか | 時計はインシデントが記録されたときに始まり、報告に対処する人による最初のメッセージまたは行動で止まる。自動確認応答と定型の受領は除く。営業時間の時計を述べる | 分または営業時間 | ITSMツールのコミュニケーションログ | サービスデスク、インシデント管理 | ワーキングアグリーメントのような、ユーザーへのタイムリーなフィードバック | 毎週 |
| 復旧までの時間 | ユーザーが動くサービスを持たなかった時間 | 時計はユーザーへの影響の開始で始まり、回避策やロールバックによるものを含め、ユーザーが再びサービスを使えるようになったときに止まる。後で原因が直されても延長されない。優先度とサービス別に中央値と95パーセンタイルで報告する | 分または時間 | 影響開始と復旧のタイムスタンプを持つインシデントのレコード、監視 | インシデント管理 | DORAの言葉での復旧までの平均時間。分布として読む(トピック 2.8「DORAメトリクス」を参照) | 毎月 |
| 解決までの時間 | インシデントのレコードがクローズされるまでどれだけ開いていたか | 時計はインシデントが記録されたときに始まり、復旧とユーザーの確認または公正な待ちの後にクローズされたときに止まる。「顧客待ち」にある時間は、見出しから差し引かず、別の報告される割合として示す。優先度別に中央値と95パーセンタイルで報告する | 時間または営業時間 | ITSMツールのステータス履歴 | インシデント管理 | 計画外の仕事のサイクルタイム(トピック 2.2「リードタイム、サイクルタイム、フロー効率」を参照) | 毎月 |
| 最も古い未解決インシデントの年齢 | 最も長く開いているインシデントがどれだけ開いているか | 各未解決インシデントについて、現在時刻 − 記録された時刻。優先度別に最も古い数件を列挙する。一時停止状態は差し引かない | 日 | ITSMツールの未解決インシデントの一覧 | インシデント管理 | チームボード上の作業アイテムの年齢(トピック 2.1「フロー指標」を参照) | 毎週 |
| 能動的な時間の割合 | インシデントの経過時間のうち、待ちではなく能動的な作業に費やされた割合 | 能動的な状態にあった時間の合計 ÷ その期間にクローズされたインシデントについての、記録からクローズまでの総時間。能動的な状態とは、人がインシデントに取り組んでいる状態で、待機状態は定義に列挙する | パーセント | ITSMツールのステータス履歴 | インシデント管理 | フロー効率(トピック 2.2「リードタイム、サイクルタイム、フロー効率」を参照) | 四半期ごと |
| 再割り当て回数 | 復旧前にインシデントの担当チームが何回変わるか | 記録から復旧までの担当グループの変更回数。中央値と、三回以上のインシデントの割合として要約する。サービスと優先度別に数え、エージェント別には決して数えない | 件数 | ITSMツールの割り当て履歴 | インシデント管理、サービスデスク | 引き継ぎ回数(トピック 9.3「協働と引き継ぎのメトリクス」を参照) | 毎月 |
データについての二つの注記です。第一に、復旧時間は、その開始時刻と同じ程度にしか良くありません。多くのインシデントのレコードは、誰かがチケットを入力した時刻を記録し、それは実際の影響の開始に何時間も遅れうるものです。ツールに影響開始の欄がなければ追加し、推定された開始は推定として扱います(トピック 1.5「データソースと計装」を参照)。第二に、期間を比較するときは同じ優先度の定義を保ちます。そうでなければ、傾向線は再分類を反映します。
推奨事項
時計を定義する
1. 時間の測定値ごとに、時計の一覧表を書く。 各段階について、開始イベント、停止イベント、時計を一時停止させる状態、時間の基準(暦または営業時間)、除外を列挙します。メトリクス台帳に保管します(トピック 1.4「メトリクスのガバナンスとオーナーシップ」を参照)。
2. 復旧をクローズから分ける。 サービスがユーザーに戻った時刻を、チケットがクローズされた時刻とは別に、独自のタイムスタンプとして記録します。復旧はユーザーが感じるもので、クローズには検証、文書化、原因の処理が含まれます。両方に一つのタイムスタンプを使うチームは、早めにチケットをクローズすることを報われ、丁寧なフォローアップを罰せられます。
3. 記録された時刻だけでなく、影響の開始を記録する。 対応者に、ユーザーが最初に影響を感じた時刻を、可能なら監視データを使って入力してもらいます。推定のときは、欄にそう印を付けます。検出までの時間はこれなしには無意味で、復旧時間もその欠如によってゆがめられます。
4. 一時停止状態を制限し、その使用を報告する。 顧客や供給者を待つことは、正当なときもあります。短く名前付きの一時停止状態の一覧を認め、理由を求め、各状態で費やしたインシデントの時間の割合を示します。一時停止の時間の割合が上がるのは、速さではなく、ずれの兆候です。
誠実に報告する
5. 平均を、中央値と高いパーセンタイルに置き換える。 各段階について、50と95パーセンタイルを、優先度別に、時系列として示します。各点の背後にあるインシデントの件数も示します。10件のインシデントのパーセンタイルは弱い数字だからです。件数が少ないところでは、個々のインシデントを点としてプロットし、要約の線は省きます。
6. 最も古い未解決インシデントの年齢を示す。 クローズされたインシデントの所要時間のグラフには、まだ開いている、最悪のインシデントが見えません。毎週、優先度別に最も古い未解決インシデントを列挙します。仕事を終えずに改善するのは難しいので、あらゆる解決時間のグラフの有用な相棒になります。
7. 優先度とサービスで分割する。 混合した解決時間は、あらゆる種類のインシデントがより速く扱われていても、構成が複雑なインシデントに偏ると上がります。優先度の内、サービスの内で比較し、時間の隣に構成を示します(トピック 3.2「インシデントの件数と優先度」を参照)。構成が変わった月から結論を出してはいけません。
8. 管理限界でシグナルとノイズを分ける。 インシデントの所要時間は、何も変わっていなくても週ごとに大きくばらつきます。安定した期間から計算した限界を持つ管理図は、変化が説明する価値のある大きさかを示します(トピック 1.6「サービスメトリクスのための統計リテラシー」を参照)。
速さを耐久性と組にする
9. すべての時間の測定値の隣に、再オープンと再発の率を示す。 再オープン率は、述べた窓内に再オープンされたインシデントの割合です。再発は、同じサービスと症状が窓内に再び現れることです。復旧時間が下がる一方で再発が上がるなら、チームは応急処置を適用しています。再発するインシデントを問題管理に送ります(トピック 4.1「問題管理のメトリクス」を参照)。
10. 時間が消えるのは待ちと引き継ぎなので、それを測る。 ほとんどのサービスでは、インシデントの経過時間の多くは、作業ではなく、人、判断、供給者を待っています。能動的な時間の割合と再割り当て回数は、どこを見るべきかを示します。長い解決時間への修正は、より速い入力ではなく、より明確な振り分けの規則や共有のオンコールであることがよくあります。
11. パーセンタイルに目標を置き、人が関与する。 目標が必要なら、「優先度2のインシデントの10件中9件を述べた時間内に復旧する」のように、優先度ごとのパーセンタイルのコミットメントとして述べ、それを満たす人々と合意します。未達は、オンコールの人の過失ではなく、システムについての問いとしてレビューします(トピック 5.1「SLA、OLA、XLAのメトリクス」を参照)。
12. ユーザーに体験を尋ねる。 クローズされたインシデントの抽出への短いアンケートとコメントの読解は、数字が待ちの感じ方に合っているかを教えます。ユーザーは、復旧の正確な分より、タイムリーなコミュニケーションを気にすることがよくあります(トピック 6.1「顧客満足度のメトリクス」を参照)。
悪用の手口と防護柵
| メトリクス | 悪用のされ方 | 組になる防護柵のメトリクスまたはプラクティス |
|---|---|---|
| 検出までの時間 | 影響の開始を実際より遅く設定する、より少ない故障がインシデントに数えられるようアラートのしきい値を広げる、監視が捉えたインシデントだけを数える | 監視ではなくユーザーが最初に報告したインシデントの割合。影響開始の推定を監視データと照らした定期レビュー |
| 確認応答までの時間 | 時計を止めるために自動割り当てや自動確認応答を行う、アラートを確認して何もしない | 同じインシデントについての最初の応答までの時間と復旧までの時間。その後の活動がない、確認応答されたアラートの抽出 |
| 最初の応答までの時間 | 時計を止めるために、定型や一語の返信を送る | 最初の返信の実質を抽出してレビューする。再問い合わせとアンケートのコメント |
| 復旧までの時間 | ユーザーが使える前にサービスが復旧したと宣言する、症状を抑え込んで復旧する、障害を計画メンテナンスとして記録する | 窓内の再発。復旧時間後のユーザーが報告する影響。事後にラベルし直されたインシデントの割合 |
| 解決までの時間 | チケットを「顧客待ち」や「保留」に移す、一度の連絡の試みの後にクローズする、親を早くクローズするためにインシデントを子に分割する | 一時停止状態にある時間の割合。再オープン率。最も古い未解決インシデントの年齢。クローズのメモの抽出を読む |
| 最も古い未解決インシデントの年齢 | 最も古いチケットをクローズして再起票する、一覧から外すために問題やリクエストに再分類する | 重複を元に紐づけ、紐づけられた年齢を報告する。各期間に問題またはリクエストに変換されたインシデントの数 |
| 能動的な時間の割合 | 時間を能動的に印するために、短く無意味な作業を記録する、労力なしに能動的な状態に移る | 能動的な時間を復旧時間のようなアウトカムと比較する。作業メモの抽出 |
| 再割り当て回数 | 引き継ぐ代わりに同じチームの下で再オープンする、ツールに引き継ぎが現れないよう脇のチャネルで仕事を渡す | 復旧までの時間とユーザー満足度。仕事がチーム間でどう動くかの定期的な観察 |
健全な読みでは、中央値と裾のパーセンタイルが一緒に動き、一時停止の時間の割合が小さく安定し、ユーザーが最初に報告したインシデントが少なく、再発が減り、アンケートのコメントがチケットのデータに合います。見出しの改善が単独で現れるのは、悪用レビューの促しとして扱ってください。
トレードオフ:長所と短所
| 手法 | 強み | 弱み |
|---|---|---|
| 復旧までの平均時間 | 馴染みがある。一つの数字。傾向を追いやすい | 少数の長いインシデントに支配される。本当の変化を隠す。小さな標本には不向き |
| 中央値と高いパーセンタイル | 典型的な体験と運の悪い体験を記述する。外れ値に強い | 十分なインシデント数が要る。説明すべき数字が二つ |
| すべてのインシデントをプロットする | 全体の形と外れ値を示す。量の少ないときに誠実 | 量が多いと読みにくい。ファシリテーターが要る |
| 優先度ごとの目標 | 明確な期待。契約とエスカレーションを支える | 再分類と時計の一時停止を招く。目標の境界に労力を向けさせうる |
| チケットの時計の測定値 | 安価で、あらゆるITSMツールにある | ユーザーの体験ではなくチケットを測る。ステータスのワークフローに敏感 |
| 影響に基づく測定値 | ユーザーが感じることに近い。チケットの小細工に強い | 監視データと影響開始の欄が要る。監査しにくい |
実際的な答えは、あらゆるツールにあるのでチケットの時計を保ち、監視が許すところに影響に基づく復旧のタイムスタンプを加え、両方に分布を使うことです。平均は、似たインシデントの単一の、安定した、大きな集合の大まかな記述としては許容されますが、ページ上の唯一の数字にしてはいけません。
チームで話し合う問い
1. インシデントのどの段階が私たちにとって最も時間がかかり、どうやってそれを知っているか? 影響の開始からクローズまでの段階を、ボードにインシデントのタイムラインとして描きます。直近の十件のインシデントを取り、ツールのデータと対応者の記憶を使って、各段階にかかった時間を記します。ファシリテーターは、時間が集中する段階を探してください。それは、技術的な作業ではなく、引き継ぎや判断の待ちであることが多くあります。どの段階が最初の注意に値するかに合意します。
2. 私たちの時計はどこで始まりどこで止まり、誰が決めたのか? 各自に、インシデントがいつ「始まった」と思い、いつ「終わった」と思うかを言ってもらいます。答えは異なり、その違いが発見です。ツールの項目とステータスのワークフローと比較します。合意した定義をメトリクス台帳に記録し、ツールがまだそれを支えられない箇所を注記します。
3. 平均が隠すもので、私たちの中央値と95パーセンタイルは何を示すか? 会議の前に、直近の四半期のインシデントについて、優先度別に平均、中央値、95パーセンタイルを計算します。それらを並べて示し、所要時間をプロットします。チームがそれぞれから何を結論するかを尋ねます。ファシリテーターは、一つか二つのインシデントが平均を動かしていないかに気づき、中央値が典型的なユーザーの待ちを表しているとチームが信じるかを話し合ってください。
4. 私たちは作業ではなく待ちに、どのくらい時間を費やしていて、それはなぜか? 長いインシデントを三つ選び、ステータスの履歴をたどります。能動的な状態の時間と待機状態の時間を数え、誰または何を待っていたかを記録します。判断、より明確なエスカレーションの経路、共有のオンコールのどれが、待ちを短縮しうるかを尋ねます。
5. 解決時間を四分の一短縮するよう求められたら、ユーザーを助けずにどうやってそれを行うか? これは悪用レビューの縮小版です。サービスを改善せずに数字を改善する動きをすべて列挙します。時計を止める、早くクローズする、優先度をラベルし直すなど。各動きについて、防護柵がそれを捉えるかを尋ねます。その一覧が、悪用の手口の列の出発点であり、定義をどこで引き締める必要があるかを示します。
6. より速い復旧が本物だったと、どうやって知るか? 証拠を求めます。再発、再オープン、ユーザーのコメント、同じ症状の後のインシデント。最近の改善を一つ見て、一か月後も持続していたかを尋ねます。ファシリテーターは、グループを耐久性のある修正のほうへ導いてください。どの耐久性の測定値をダッシュボードに加えるかを決めて終えます。
四つの視点
プロダクトとデリバリーのチーム
自分たちのサービスを運用するプロダクトチームは、インシデントの時間を、計画された仕事を押しのける計画外の仕事のコストとして見ます。各フローの期間のうち、インシデントが占める割合を追跡し、繰り返されるインシデントを、所有するチームのバックログのアイテムとして扱います。ロールバックを素早くするリリースの実践は、復旧を短縮するので、インシデントの時間は部分的にデリバリーの測定値です(トピック 2.9「運用作業と計画外作業」を参照)。
サービスと運用のチーム
運用チームは時計を所有し、目標の圧力を感じます。時計の一覧表を公開し、一時停止状態の使用を監査し、優先度別の中央値と裾のパーセンタイルを報告し、最も古い未解決インシデントの毎週の一覧を保つべきです。オンコールの負荷とアラートの品質は、確認応答と検出の時間を形作るので、併せて見ます(トピック 5.7「トイルとオンコールのメトリクス」を参照)。
リーダーシップとガバナンス
リーダーは、数字がなぜ赤いのかではなく、どの段階が最も遅く、それに対して何が行われているかを尋ねるべきです。パーセンタイルでの報告、速さの測定値の隣の耐久性の測定値、定義が変わったときの説明を期待してください。監視、手順書、問題の作業への資金は、対応者への圧力よりも見返りが大きいことがよくあります。対応者が制御できない遅れを減らすからです。
顧客とユーザー
ユーザーは、待ち、コミュニケーションの質、問題が戻ってくるかを体験します。段階の名前を目にすることはまれです。誠実な最初の応答を与え、何を期待すべきかを伝え、予定に沿って更新します。彼らのアンケートのコメントと再問い合わせは、チケットの時計が真実を語っているかの最良の確認です。
実践:サービスマネジメントの例
中規模のオンライン小売業者が、注文プラットフォーム、顧客アカウントサービス、社内の倉庫システムを運営しています。プロダクトチームが自分たちのサービスを所有し、小さな運用グループとオンコールの輪番を共有しています。この例の数字はすべて例示です。
リーダーシップは、優先度2のインシデントについて「平均解決時間4時間未満」という目標を設定します。最初の四半期、ダッシュボードは平均3.8時間を示し、目標が達成されたように見えます。倉庫のスタッフは、一部の障害が一日中続くように感じられると言います。運用リーダーは、その四半期の優先度2のインシデント41件(例示)をプロットし、中央値が1.5時間、95パーセンタイルが11時間であることを見いだします。長い裾の大半は三件のインシデントによるものです。
彼女はその三件の長いインシデントをたどります。それぞれ、ほとんどの時間を「供給者待ち」または「顧客待ち」で過ごしていました。二件では、元のチケットが「違反」したときにクローズされて新しいインシデントとして再起票され、時計がリセットされていました。三件目は、二日間にチーム間で四回の再割り当てを伴いました。クローズのメモの抽出から、確認した30件のチケットのうち6件(例示)が、ユーザーに連絡する一度の試みの後にクローズされていたことが分かります。
チームは四つの変更を行います。インシデントのフォームに、影響開始の欄と復旧のタイムスタンプを加えます。毎週、優先度別に中央値、85パーセンタイル、95パーセンタイルと、最も古い未解決のインシデントを報告します。一時停止状態にある時間の割合と再発率を同じページに示します。そして、再起票されたチケットを元に紐づけ、年齢が引き継がれるようにします。
次のレビューで、再起票されたチケットがすべて数えられるようになったため、見出しの平均は4.6時間に上がっています。チームは、この上昇を修正としてリーダーシップに説明します。95パーセンタイルと最も古い未解決のチケットが、今や取り組む数字であり、再割り当て回数が、注文サービスと倉庫システムの間の振り分けのギャップを指し示します。共有のオンコールのエイリアスを加え、新しい目標をすぐに設定するのではなく、次の四半期にその効果をレビューすることに合意します。
アジャイル、AI、自動化、アナリティクス
アジャイル
重要なインシデントのたびに、ステークホルダーを巻き込んだ短いフィードバックのループを持つことは、チームが時計を改善する助けになります。注意点は、応答時間の目標が素早く空疎な確認応答を生むので、復旧までの時間と組にすることです。
AI
AIは、最初の応答を速め、修正を提案し、インシデントを要約できるため、復旧時間が変わらなくても、最初の応答までの時間は短縮されます。両方を報告し、AIの提案が使われたインシデントの割合と、再発したものの割合も報告してください。注意点は、誤った速いAIの返信は仕事を増やすので、再オープンされたインシデントを数えることです。
自動化
すべての時計を、一時停止の理由を記録して、ツールのイベントのタイムスタンプから計算し、自動の診断と修復を、節約された時間に加えて誤った操作で測ります。注意点は、原因を記録せずにサービスを復旧する自動化が、問題レコードを隠すことです。
アナリティクス
各時計について、最も古い未解決のインシデントとともに中央値と高いパーセンタイルを報告し、その背後にいくつのインシデントがあるかを示します。これが情報を与える判断は、ユーザーが最も長く待つ場所です。注意点は、時計の定義がツールによって異なることなので、チームを比較する前に、開始と停止のイベントを書き下してください。
業種別の視点
スタートアップ。 量が少ないため、パーセンタイルはノイズが多く、要約よりも各インシデントのプロットのほうが適しています。一人がしばしば検出、応答、復旧を行うので、段階の分離は、各インシデントの書面のタイムラインほど重要ではありません。すべてのインシデント後の記録に影響開始のメモを加え、十分なインシデントがたまったら簡単な中央値を計算します。
中小企業。 マネージドサービスプロバイダーや単独のIT担当者がインシデントを扱い、提供者の契約が応答と解決の目標を定めていることがあります。契約の時計は、しばしばユーザーの体験と異なるため、注意深く読みます。重要なインシデントについて、影響開始と復旧の短い記録を保ち、要約の数字は時計を隠すため、提供者に基礎となる記録を求めます。
大企業。 多くのチーム、供給者、優先度の体系が、比較を誘惑的で誤解を招くものにします。時計の定義と優先度の意味を組織全体で標準化し、平均ではなく分布を公開し、サービスで分割します。報告の層の数とともに増える、一時停止状態のずれと再分類に注意します。
政府・公共部門。 契約、法定の報告、監査が、時計と優先度の定義を固定していることがあります。それらの義務を書かれたとおりに満たしつつ、遵守が貧弱な体験を隠さないよう、その隣にユーザー志向の第二のビューを保ちます。時計の規則が変わるときは、定義と修正について率直であってください(トピック 8.5「規制対応・行政向け報告」を参照)。
ビジネスケース:動機、ROI、TCO
このトピックのコストは、主に設計と規律です。時計の一覧表を書くのに数時間、影響開始の欄と復旧のタイムスタンプを加える設定、パーセンタイルのレポートを作る控えめな労力が要ります。ITSMツールや監視プラットフォームがすでにタイムスタンプを保持していれば、抽出は一度きりの作業です。継続的なコストは、月次のレビューと、クローズされたインシデントの四半期ごとの抽出です。
見返りは、より良い判断と手戻りの減少から生まれます。分布の報告は改善が効いたかを示し、段階ごとの報告は、引き継ぎ、検出のギャップ、供給者の待ちなど、本当の遅れに労力を向けさせます。耐久性の測定値は、繰り返しインシデントとして戻ってくる応急処置の偽の節約を防ぎます。一四半期の自分たちのベースラインを測り、変更を一つ加えて、分布を比較してください。
アンチパターンと落とし穴
- 経営幹部のダッシュボード上の単一のMTTR。 偏ったデータの平均は誤解を招く。中央値、高いパーセンタイル、最も古い未解決インシデントを示し、各点の背後にいくつのインシデントがあるかを述べる。
- 優先度とサービスの混合。 構成の変化が、パフォーマンスの変化に見える。優先度とサービスで分割し、構成を示す。
- 一時停止状態で時計を止める。 時間が「待機」や「保留」の中に消える。認める状態を列挙し、理由を求め、各状態にある時間の割合を報告する。
- チケットのクローズと再起票。 年齢がリセットされ、長いインシデントが隠れる。再起票されたチケットを元に紐づけ、紐づけられた年齢を報告する。
- 復旧とクローズに一つのタイムスタンプを使う。 チームは早すぎるクローズを報いられ、丁寧なフォローアップを罰せられる。両方を記録し、両方を報告する。
- 解決時間でエージェントやエンジニアに順位を付ける。 簡単なチケットの選り好みを報い、助け合いとエスカレーションを妨げる。チームとサービスごとにのみ報告する。
- 耐久性の測定値のない目標。 明日失敗する速い応急処置が成功に見える。すべての目標の隣に、再発と再オープンの率を示す。
- 小さな標本を傾向として扱う。 少数のインシデントからの95パーセンタイルは推測である。個々のインシデントをプロットし、線を引く前にもっとデータを待つ。
成熟度モデル
| 観点 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 協調 |
|---|---|---|---|---|---|
| 定義と時計 | 各人が異なって測り、「解決時間」が一つある | 一部のチームに時計が書かれている。段階が部分的に分かれている | 一時停止状態を列挙した、すべての段階の時計の一覧表が一つある | 定義をレビューし、変更を理由とともに記録する | 定義が供給者や顧客と揃えられ、判断に情報を与えなくなれば見直される |
| データ品質 | 手作業のメモ。影響開始は不明 | 記録とクローズのツールのタイムスタンプ | 優先度の高いインシデントについて、影響開始と復旧が記録される | データを抽出して監査し、推定には印を付ける | 監視とITSMのデータが自動で結合され、チーム間で信頼される |
| 統計的な実践 | 平均のみ | 平均と中央値が示される | 優先度とサービス別の中央値と高いパーセンタイル | 管理限界を使い、耐久性の測定値と組にする | 分布がユーザー体験に結び付き、どこに投資するかの判断に使われる |
| 改善での利用 | 数字が個人を追い立てるために使われる | チームが自分たちの数字を見る | チームが毎月、段階の時間と待ちをレビューする | 遅い段階が、予算の付いた改善の作業につながる | 改善がチームと供給者の間で共有され、測定値が進化する |
チェックリスト
- 各段階(検出、確認応答、応答、復旧、解決)に、書面の開始、停止、一時停止の規則がある。
- 優先度の高いインシデントについて、影響開始と復旧時刻が別の項目として記録されている。
- レポートが、優先度とサービス別の中央値と高いパーセンタイルを示している。
- 報告される各点の背後にあるインシデントの件数が示されている。
- 最も古い未解決インシデントが毎週列挙されている。
- 一時停止状態が短い名前付きの一覧になっており、その時間の割合が報告されている。
- すべての時間の測定値の隣に、再オープン率と再発が示されている。
- 再起票されたチケットが元に紐づけられ、年齢が引き継がれている。
- どの時間の測定値も、個々のエージェントやエンジニアの順位付けに使われていない。
- クローズされたインシデントの抽出を、誠実さの観点で毎四半期読んでいる。
- 顧客のアンケートのコメントが、チケットのデータの隣で読まれている。
AIプロンプト
インシデントの所要時間の平均とパーセンタイルを比較する。
[期間] にわたる [サービスまたはチーム] のインシデントのレコードを貼り付けます。項目:[記録の時刻、影響開始、復旧の時刻、クローズの時刻、優先度、ステータス履歴などの項目の一覧]。[優先度] 別に、[段階の名前。例:復旧までの時間] の中央値、85パーセンタイル、95パーセンタイル、平均を計算し、各数字の背後にいくつのインシデントがあるかを示してください。平均が中央値からどれだけ異なるか、どのインシデントがその差を生んでいるかを説明してください。データやベンチマークの値を捏造しないでください。前提、除外した行、データから判断できなかったことを列挙してください。
[個人情報を除いたインシデントのデータを貼り付け]
私たちのインシデントの時間の測定値の時計の一覧表を起案する。
[チーム名] のために、検出までの時間、確認応答までの時間、最初の応答までの時間、復旧までの時間、解決までの時間をカバーする時計の一覧表を起案してください。ITSMツールは [ツール名]、監視は [監視ツール]、ステータスのワークフローは [ステータスの一覧] です。各段階について、開始イベント、停止イベント、一時停止状態、時間の基準([暦または営業時間])、除外、防護柵付きの悪用の手口を示してください。仮定しなければならなかった項目すべてに印を付け、一覧表を完成させるために私が答えるべき問いを列挙してください。目標を捏造しないでください。
いくつかの長いインシデントで、経過時間がどこに消えているかを見つける。
[サービス] の長いインシデント [数] 件のステータス履歴を示します。各インシデントについて、各ステータスで費やした時間を列挙し、次の規則で能動的な状態と待機の状態に印を付け:[どのステータスが能動的か]、[チームまたはグループ] の間のすべての再割り当てを記録してください。個人ではなくインシデント全体のパターンを報告し、どの段階が最初の注意に値するかを提案してください。データが示さない原因を推測しないでください。前提と、役に立つ追加の項目を列挙してください。
[個人情報を除いたステータス履歴を貼り付け]
私たちのインシデントの時間の目標について、悪用レビューを行う。
[優先度またはサービス] について [メトリクス名] を報告しており、定義は [開始と停止のイベントを含む定義] です。目標は [目標]、読み手は [読み手] です。時計の一時停止、早期のクローズ、ラベルの付け替え、チケットの再起票など、ユーザーを助けずに数字が改善しうる現実的な方法を列挙してください。各方法について、それを明らかにする防護柵の測定値またはプラクティスを提案し、その防護柵自体がどう悪用されうるかを述べてください。ベンチマークや統計を捏造しないでください。前提を列挙してください。
AIスキル
- サービスマネジメントメトリクスのスキル:報告しようとしているインシデントの時間の測定値について、関連するトピックと組になる防護柵を探すときに使います。
- サービスマネジメントメトリクスのメンテナースキル:このトピックの変更が、テンプレート、悪用の表、相互参照を整合させているかを確認するときに使います。
要点
- インシデントには段階があり、各段階に独自の時計、オーナー、対策がある。測っている段階に名前を付ける。
- インシデントの所要時間は偏っているので、平均は誤解を招く。中央値、高いパーセンタイル、最も古い未解決インシデントの年齢を報告する。
- 各時計がどこで始まり止まるかを書き下し、影響開始と復旧をチケットのクローズとは別に記録し、一時停止状態を制限する。
- すべての速さの測定値を、再発や再オープン率などの耐久性の測定値と組にする。
- チームとサービスを記述し、個々のエージェントは記述せず、クローズされたインシデントの抽出を読んで数字が誠実かを確認する。
参考文献とさらなる読書
- Davidovič, Š., Incident Metrics in SRE: Critically Evaluating MTTR and Friends, O'Reilly Media, 2021, https://sre.google/resources/practices-and-processes/incident-metrics-in-sre/.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
- AXELOS, ITIL Foundation: ITIL 4 Edition, TSO (The Stationery Office), 2019.
- ISO/IEC 20000-1:2018, Information technology: Service management: Part 1: Service management system requirements, International Organization for Standardization.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Incident management.
- Wikipedia, ITIL.
- Wikipedia, Site reliability engineering.
- Wikipedia, Mean time to repair.
- Wikipedia, Service-level agreement.
- Wikipedia, Log-normal distribution.
- Wikipedia, Median.
- Wikipedia, Percentile.