概要と動機

ITIL 4の言葉では、インシデントとは、サービスの計画外の中断、またはその品質の低下です。インシデント管理(incident management)は、実際的な限り速く通常のサービス運用を復旧し、事業への害を抑えるプラクティスです。すべてのインシデントはシグナルでもあります。サービス、その変更、そのユーザー、その監視の何かが、期待どおりに機能しなかったのです。したがって、インシデントの件数と性質は、運用チームが持つ需要の測定値の中で最も情報量の多いものの一つです。

量だけでは、貧弱な指針です。インシデントの増加は、サービスが悪くなった、より多くの人が使っている、あるいは監視が改善し、これまで報告されなかった故障を見るようになったことを意味しえます。減少は、信頼性の作業が実を結んだ、あるいはユーザーが報告するのをやめたことを意味しえます。このトピックは、それらの物語を区別できるだけの文脈で量を読むことについてのものです。利用状況に対して正規化し、区分とサービスで分割し、優先度の構成と繰り返しの率を見ます。

優先度は、このトピックの後半です。ITILのプラクティスは、一般に二つの入力から優先度を導出します。影響(事業のどれだけが影響を受けるか)と緊急度(事業がどれだけ早く修正を必要とするか)です。この組が、期待される応答を決める優先度のレベルに対応付けられます。アジャイルのチームには、バックログをトリアージする方法に近い対応物があります。欠陥の重大度と緊急度のラベル、フローのボード上で何がキューを飛び越えるかを決める「サービスのクラス」です。言葉は違いますが、問いは同じです。何を最初に扱うべきか、そしてなぜか。

ITILの見方は、インシデントを、区分、優先度、サービスレベル目標を伴う、サービスデスクと解決グループが所有するレコードとして扱います。アジャイルの見方は、計画外の仕事を、計画された仕事と競合する、フローへの割り込みとして扱います(トピック 2.9「運用作業と計画外作業」を参照)。どちらの見方も、測定値がその内部の人ではなく、システムを記述するなら、同じ測定値から恩恵を受けます。サービスデスク(service desk)は、ほとんどのレコードが始まる場所であり、そのメトリクスは別に扱っています(トピック 3.1「サービスデスクのメトリクス」を参照)。インシデントにどれだけ速く応答し解決するかは、トピック 3.3「インシデントの対応時間と解決時間」で扱います。重大インシデントには独自の測定値があります(トピック 3.4「重大インシデントのメトリクス」を参照)。

以下でいくつかの用語が繰り返し現れます。パーセンタイル(percentile)は、観測値の述べられた割合がそれを下回る値で、85パーセンタイルは観測値の85パーセントが超えない値です。サービスレベルアグリーメント(service-level agreement、SLA)は、提供者と顧客の間の文書化されたコミットメントです。構成アイテム(configuration item、CI)は、サービスを提供するために管理する必要のあるコンポーネントです。ポアソン過程(Poisson process)は、ある平均率で独立に到着する事象を記述し、インシデントの到着の最初のモデルとして有用です(トピック 1.6「サービスメトリクスのための統計リテラシー」を参照)。

トピック1.2(グッドハートの法則とメトリクスの心理学)からの警告は、他のどこよりもここに当てはまります。インシデントの件数と優先度は、しばしば圧力の下で人によって入力され、レコードに付けられた数字は、レコードの書き方を変えることで変えられます。以下のすべてのメトリクスには悪用の手口があり、防護柵は定義の一部です。

主要な原則

  • 比較する前に正規化する。 件数は、それを生んだ利用、ユーザーの母数、取引量なしには、ほとんど意味がない。期間やサービスをまたいで率を比較し、その隣に生の件数を示す。
  • 単一の数字ではなく、構成を読む。 優先度の分布、区分の分布、繰り返しの割合は、併せて、どんな合計よりも多くを語る。
  • 優先度は気分ではなく規則である。 書面のマトリクスを使って影響と緊急度から導出し、事後にどのくらいの頻度で変更されるかを測る。
  • インシデントとリクエストを分ける。 通常のものへのリクエストは故障ではない。両方を併せて数えると、インシデントの量が水増しされ、サービスデスクが時間を何に費やしているかが隠れる(トピック 3.5「サービスリクエスト履行のメトリクス」を参照)。
  • 繰り返しは最も価値あるシグナルである。 戻ってくるインシデントは、まだ解決されていない問題を指し示す(トピック 4.1「問題管理のメトリクス」を参照)。
  • サービスとチームを測り、エージェントは測らない。 人別の件数は順位付けを招き、順位付けはデータを腐らせる(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。
  • 量が、品質以外の理由で動くことを想定する。 リリース、季節、キャンペーン、報告チャネルの変化は、いずれも件数を動かす。グラフに注記を付ける。

メトリクスの定義

表は、このトピックのメトリクスを挙げています。時計と境界は計算式の列に述べています。「クローズ」と「オープン」は、インシデントのレコードのタイムスタンプを指します。オープンの時刻は、レコードが作成された、または監視システムが作成した時刻で、クローズの時刻は、インシデントが解決されたと確認されクローズされた時刻です。

メトリクス 定義 計算式 単位 データソース ITILプラクティス アジャイルの対応物 頻度
サービス別のインシデント件数 ある期間にサービスについて開かれたインシデントの数 オープンの時刻が期間内にあるインシデント。影響を受けたサービスに帰属させる。サービスリクエスト、親レコードに統合された重複、誤って起票されたものとしてキャンセルされたレコードは除く 件数 ITSMツールのインシデントのレコード インシデント管理 チームごとの本番の欠陥または計画外の作業アイテム 毎週、毎月レビュー
正規化したインシデント率 サービスの利用に対するインシデント その期間に開かれたインシデント ÷ 同じ期間と範囲の利用の測定値(アクティブユーザー、セッション、取引。サービスごとに選んで記録)× 1,000。利用の測定値は、インシデントのツール以外の情報源から得る 利用単位1,000あたりのインシデント ITSMツールと、アナリティクスまたは監視からの利用データ インシデント管理、サービスレベル管理 リリースまたはユーザーあたりの欠陥密度 毎月
優先度の構成 開かれたインシデントのうち、各優先度のレベルが占める割合 オープン時に記録された優先度のインシデント ÷ その期間に開かれたすべてのインシデント。各レベルについて示す。再分類されたインシデントは、オープン時の優先度で数え、クローズ時の優先度でもう一度示す レベルごとのパーセント 優先度の変更履歴を含むITSMツール インシデント管理 欠陥の重大度の分布、サービスクラスの構成 毎月
優先度の再分類率 オープンとクローズの間に優先度が変わったインシデントの割合 その期間にクローズされたインシデントのうち、クローズ時の優先度がオープン時の優先度と異なるものの数 ÷ その期間にクローズされたインシデントの数 パーセント ITSMツールの監査証跡 インシデント管理 欠陥バックログの再トリアージ率 毎月
区分の集中 最大の区分が占めるインシデント量の割合 件数上位五つの区分のインシデント ÷ その期間の分類されたすべてのインシデント。未分類のインシデントは、それ自体の割合として別に報告する パーセント ITSMツールの区分とサービスの欄 インシデント管理、問題管理 コンポーネントまたはエピック別の欠陥のまとまり 毎月
繰り返しインシデント率 述べた窓内に、同じサービス、構成アイテム、区分で再発したインシデントの割合 直前の窓(たとえば30日。一度設定して記録)内に、同じサービス、CI、区分で以前にクローズされたインシデントがある、その期間のインシデント ÷ その期間に開かれたインシデント。再オープンされたレコードは、繰り返しではなく再オープンとして数える パーセント ITSMツールとCMDBのリンク インシデント管理、問題管理 リグレッションまたは流出した欠陥の率 毎月
再オープン率 クローズされたインシデントのうち、再オープンされたものの割合 その期間にクローズされ、のちに述べた窓(たとえば7日)内に再オープンされたインシデント ÷ その期間にクローズされたインシデント パーセント ITSMツールのステータス履歴 インシデント管理 再オープンされた欠陥、手戻り 毎月
監視で検出された割合 ユーザーが報告する前に、最初に監視によって起票されたインシデントの割合 最初のイベントが自動アラートであるインシデント ÷ その期間に開かれたすべてのインシデント。アラートから人が開いたインシデントは、アラートの時刻で数える パーセント ITSMツール、監視との連携 監視とイベント管理、インシデント管理 アラート起点と顧客報告の欠陥 毎月

定義についての二つの注記です。第一に、この表の「優先度」は、レコードが持つ優先度であり、人々が仕事を行ってほしい順序ではなく、影響と緊急度のマトリクスから来るべきです。第二に、ある期間について報告される量は、オープンの数であり、ある日の未解決のインシデントの数ではありません。ある時点の未解決の件数は、バックログの測定値で、年齢の扱いに属します(トピック 3.3「インシデントの対応時間と解決時間」を参照)。

推奨事項

慎重に数える

1. インシデントが何であり、何でないかを書き下す。 多くのツールは、インシデント、リクエスト、アラート、問題を一つのテーブルに保持します。どのレコードの種類を数えるかを決め、フィルターを文書化し、毎回適用します。フィルターの変更は傾向を変えるので、変更を日付と理由とともに記録します(トピック 1.5「データソースと計装」を参照)。

2. 報告する前に重複を排除する。 一つの故障が五十枚のチケットを生むとき、親インシデントが事象で、子はその到達範囲の測定値です。両方の数字を報告します。親インシデントは何件の故障が起きたか、紐づけられたレコードは何人がそれを感じたかです。二つを混ぜると、一つの大きな障害が、一か月分の日常の仕事のように見えます。

3. インシデントをチームに加えて、サービスに帰属させる。 サービスは、事業が購入し、理解するものです。サービスカタログ(ITILの綴りは「service catalogue」)を使って一覧を定義し、サービスが変わるときはCIからの対応付けを見直します。サービスのないインシデントは、直すべきデータ品質の問題で、そうしたレコードの割合は報告する価値があります。

量を正規化し、解釈する

4. 別の情報源の利用の測定値に対して正規化する。 アクティブユーザー、セッション、取引で割り、インシデントのツールではなく、アナリティクスまたは監視から取ります。ユーザーとインシデントが倍になったサービスは悪くなっておらず、利用が横ばいのままインシデントが倍になったサービスは悪くなっています。分母が何かを隠していると誰も思わないよう、率の隣に生の件数を示します。

5. 傾向の矢印ではなく、管理図を使う。 インシデントの件数は、何も変わっていなくても週ごとにばらつきます。管理図(control chart)は、ばらつきの通常の範囲を示し、チームがシグナルに反応し、ノイズを放っておけるようにします。限界の内側で動く週次の件数はニュースではなく、平均の片側への持続的な連がニュースです。四半期末、休日、リリースのサイクルなどの季節性(seasonality)は、同種の期間を比較して調整します。

6. グラフにイベントを注記する。 リリース、移行、キャンペーン、依存先の障害、報告チャネルの変更に印を付けます。新しいセルフサービスのフォームや、より目立つ「問題を報告する」ボタンは、サービスが同じままでも量を増やしえます。グラフがその週に何が起きたかを示せば、量をめぐる議論の多くはすぐに終わります。

規則で優先度を管理する

7. 公開されたマトリクスで、影響と緊急度から優先度を導出する。 影響を、影響を受けるユーザーと事業機能の観点で、緊急度を、害がどれだけ早く増えるかの観点で定義します。エージェントが値を選ぶページにマトリクスを公開し、各セルに二、三の実例を付けます。優先度の自由選択の欄は避けます。交渉になり、「優先度1」のインシデントの数が、説得力の測定値になるからです。

8. 構成と再分類率を併せて報告する。 健全な構成は、最高優先度のインシデントが少なく、低い優先度の裾野が広い形です。最上位が増えるなら、害が増えたのか、顧客が「緊急」なら注目されると学んだのかを尋ねます。再分類率は、マトリクスがどれだけ合っているかを示します。クローズ時の頻繁な変更は、規則が不明確か、最初の評価が急がれていることを意味します。毎月、再分類されたレコードの抽出を、マトリクスを所有するグループでレビューします。

9. 優先度とアジャイルのサービスクラスを揃える。 デリバリーのチームがインシデント起点の仕事を受けるところでは、同じ言葉と同じマトリクスを使うか、明確な対応付けを公開します。欠陥を「高」と呼ぶチームと、同じ欠陥を「中」と呼ぶ運用は、翻訳で時間を失います。割り込みがフロー指標で見えるよう、緊急対応の仕事の明示的な枠を確保します(トピック 2.1「フロー指標」を参照)。

繰り返しとパターンを探す

10. 繰り返しと再オープンを別々のシグナルとして追跡する。 再オープンは最初の修正が持たなかったことを意味し、繰り返しは同じ種類の故障が適切な修正の後に戻ってきたことを意味します。前者は解決の質を、後者は未解決の原因を指します。繰り返されるまとまりを問題レコードに結び付け、戻ってきそうなインシデントを修正済みとして数えるのをやめます(トピック 4.1「問題管理のメトリクス」を参照)。

11. どこを見るかを選ぶために、パレートの法則(Pareto principle)を使う。 区分とサービスを件数で並べ、いかに少数が量の大半を占めるかを見ます。残りのための新しいレポートを作る前に、上位の少数を調べます。件数の多い区分は、単に分類しやすいものかもしれないので、その形は結論ではなく、根本原因分析(root cause analysis)への促しです。

12. 発見を、デリバリーとサービスデスクにフィードバックする。 区分と繰り返しのビューを、サービスを構築し変更するチームと、レポートではなく定期的な対話の中で共有します。繰り返されるまとまりそれぞれに、オーナー、次の手順、日付を組み、他の優先事項と同じバックログに仕事を置きます(トピック 2.6「バックログとリファインメントのメトリクス」を参照)。原因が取り除かれると量は減りますが、それには計画されたキャパシティが必要です。

悪用の手口と防護柵

メトリクス 悪用のされ方 組になる防護柵のメトリクスまたはプラクティス
サービス別のインシデント件数 インシデントをリクエストとして記録する、関係のないチケットを統合する、ユーザーが報告するのを妨げる、重複を「故障なし」としてクローズする インシデントの量の隣にユーザーが報告した問い合わせの量とリクエストの量。サービスデスクの満足度と放棄。故障のように読めるリクエストの抽出
正規化したインシデント率 最良の数字になる分母を選ぶ、期間の間で利用の定義を変える 登録簿に記録された、サービスごとの固定の利用の測定値。率の隣に生の件数を示す
優先度の構成 穏やかに見せるために優先度を下げる、あるいは注目を得るために上げる、応答目標を避けるために低い優先度を割り当てる 優先度の再分類率。影響と緊急度のマトリクスに照らした月次の抽出レビュー。顧客が報告する影響
優先度の再分類率 変えるべきときに優先度を変えず、率を安定して見せる、目標に合わせるためにクローズ時にだけ変える インシデントの最中に影響が変わったレコードの抽出。インシデントのタイムラインのレビュー
区分の集中 包括的な区分を使う、集中を隠すために大きな区分を複数に分割する 未分類および「その他」のレコードの割合。区分の一覧の定期的なレビュー。解決メモと照らした区分の確認
繰り返しインシデント率 リンクを避けるために異なる言い回しやCIで新しいインシデントを開く、再オープンを避けるために早くクローズする 近い重複レコードを文章とサービスでレビューする。再オープン率。問題レコードへのリンク率
再オープン率 再オープンせず新しいチケットを開くよう頼む、再オープンを避けるためにチケットを遅くクローズする 最近クローズされたものを参照する新しいチケットの数。顧客による解決の確認。クローズまでの時間の分布
監視で検出された割合 自動でインシデントを開く騒がしいアラートを作る、人にユーザーの報告をアラートとラベルし直させる 実行可能なアラートの割合などのアラート品質の測定値(トピック 5.5「監視とアラート品質のメトリクス」を参照)。インシデントの情報源の監査

健全な読みは、退屈で説明可能なものです。正規化した率は、安定したサービスでは安定または低下し、グラフが示す理由で利用や変更が増えたときに上がります。優先度の構成は安定し、再分類は低く、少数の区分が意図的な注意を受けています。繰り返しと再オープンは、計画された問題の作業の後に減り、どの測定値の動きも、数字を弁護することなく誰かが挙げられる説明を持ちます。

トレードオフ:長所と短所

手法 強み 弱み
生のインシデント件数 単純で、説明しやすく、常に利用できる 利用、品質、報告行動を一つの数字に混ぜる
利用に対する率 期間とサービスをまたいで公正に比較できる 信頼できる利用の情報源が要る。分母が議論されうる
固定された影響と緊急度のマトリクス チーム間で一貫した優先度。監査できる 硬直的に感じられうる。境界事例には判断と上書きの経路が要る
優先度の自由選択 経験あるエージェントには速く柔軟 一貫せず、圧力に弱く、時間をまたいで比較しにくい
詳細な区分の木 需要がどこから来るかを示す 圧力の下では使いにくい。人は最初に合うもの、あるいは「その他」を選ぶ
タグ付きの短い区分の一覧 適用が速く一貫している 詳細が少ない。テキスト分析を要するパターンを隠しうる
CIと区分による繰り返し率 未解決の原因を指し示す 良好なCIのデータに依存する。誤ったリンクと見逃しの両方が起きる

単一の正しい測定値はないことを受け入れてください。生の件数はキャパシティ計画に、率は健全性に、優先度の構成はリスクに、繰り返しは改善に使い、それぞれをそれが何であるかとして示します。区分の一覧は人が使えるほど短く保ち、判断がより細かい詳細を必要とするときにだけ、木を改善してください。

チームで話し合う問い

1. ここで何がインシデントに当たり、全員が同じように規則を適用しているか? 最近のレコードを十件取り、各自にインシデント、リクエスト、その他のいずれかでラベルしてもらいます。答えを比較し、意見の相違を話し合います。ファシリテーターは、上位の人からのすべてのチケットをインシデントとして扱うといった習慣を探し、例を添えた一つの書面の規則に合意してください。後の傾向が正しく読めるよう、日付を記録します。

2. 先四半期にインシデントの量が増えたとき、そのとき私たちは利用と変更について何を知っていたか? グラフを、リリース、キャンペーン、利用の数字のタイムラインの隣に置きます。どの上昇が説明され、どれが説明されなかったかを尋ねます。この議論は、分母がページに載っていることがいかにまれかを示す傾向があります。今後、各サービスがどの利用の測定値を持つかに合意します。

3. 優先度はどう決まり、最後に私たちを驚かせたのはいつか? 影響と緊急度のマトリクスを、各優先度のレベルの最近の例とともに見ていきます。エージェントがどこで推測し、顧客やマネージャーがどこで圧力をかけるかを尋ねます。いくつかのレコードのオープン時の優先度とクローズ時の優先度を比較します。争いを減らす、マトリクスまたはその例への変更を一つ決めます。

4. 私たちのインシデントの量の大半を占める三つの区分はどれで、誰が原因の除去に取り組んでいるか? 上位の区分と、それぞれの基盤となる原因のオーナーを列挙します。答えが「誰もいない」なら、それは発見です。その区分が本物のまとまりか、ラベル付けの習慣かを尋ねます。今四半期にデリバリーのチームと調査するまとまりを一つ選びます。

5. 繰り返しと再オープンをどう見分け、それぞれにどう対応するか? チームにレコードの二、三の組を示し、どれが繰り返しかを尋ねます。再オープンが最初の修正の質について何を語り、繰り返しが原因について何を語るかを話し合います。ファシリテーターは、グループを、繰り返されるまとまりを一つずつクローズするのではなく、問題レコードに結び付けるほうへ導いてください。誰がそれをレビューし、どのくらいの頻度かに合意します。

6. インシデントの件数が毎週上位のリーダーにレビューされるとしたら、何を変えたくなるか? グループに、その数字が壁に貼られていると想像してもらいます。どの習慣が変わるでしょうか。どう記録するか、チケットをどう統合するか、優先度をどう設定するか。圧力に、非難なしに率直に名前を付けます。変化を示す防護柵と、誰がそれを見るかに合意します。

四つの視点

プロダクトとデリバリーのチーム

デリバリーのチームは、このトピックのアウトプットを需要として受け取ります。区分と繰り返しのビューは、プロダクトのどの部分が最も問題を起こすかを示し、優先度の構成は、割り込みの仕事をどれだけ計画に入れるべきかを示します。チームは、インシデント起点の仕事を自分たちのキャパシティの一部として扱い、フロー指標で見えるようにし、繰り返しのまとまりを使って、バックログ上の信頼性の作業を正当化すべきです(トピック 2.9「運用作業と計画外作業」を参照)。リリースごとのインシデントを数えることは有用な傾向ですが、個々の開発者への非難の測定値にしてはいけません。

サービスと運用のチーム

サービスと運用のチームはレコードを作成し、優先度をめぐる圧力を感じます。明確なマトリクス、短い区分の一覧、重複を紐づける速い方法から恩恵を受けます。未分類のレコードの割合や再分類率など、他の人が気づく前に、自分たちのツールのデータを確認すべきです。運用チームは、月次の抽出レビューを運営し、繰り返されるまとまりを問題管理に供給するのに適しています。

リーダーシップとガバナンス

リーダーは、サービスが良くなっているか、どこに投資すべきかを知りたいと考えます。注記付きの、正規化した率、優先度の構成、繰り返しのビューを求め、単一の量の数字には抵抗するべきです。「インシデントを減らす」という目標は抑え込みを招くので、代わりに、顧客への影響や繰り返しの削減といったアウトカムに期待を置きます。ガバナンスは、優先度のマトリクスを所有してその変更を承認し、傾向線への影響を注記するべきです。

顧客とユーザー

顧客はインシデントを、区分ではなく、中断された仕事として体験します。故障を報告する簡単な方法、自分たちの影響に基づく公正な優先度、誠実な更新が必要です。報告が妨げられたり、優先度が恣意的に感じられたりすると、量は減り、信頼もそれとともに減ります。主な発見を、改善されたサービスや取り除かれた問題のように、ユーザーが認識できる言葉で共有します(トピック 6.1「顧客満足度のメトリクス」を参照)。

実践:サービスマネジメントの例

地域の病院のIT部門が、患者記録システム、予約システム、職員のメッセージングツールを支えています。この例の数字はすべて例示です。

月次レポートは、四半期の最終月に640件のインシデントを示し、前月の520件から増えています。リーダーシップは回復計画を求めます。予約システムのサービスオーナーは、最も件数が増えたため、サービスが悪くなったことに同意する前にデータを見たいと頼みます。

三つの事実が明らかになります。第一に、予約システムはその月に新しいクリニックのグループを加え、アクティブユーザーは約30パーセント(例示)増えました。正規化すると、セッション1,000あたりのインシデント率はほぼ横ばいでした。第二に、増えたレコードのうち90件が、検査システムとのインターフェースの障害という一つの親インシデントに紐づいており、個別の故障の数はわずかしか増えていません。第三に、優先度の構成が変わりました。最高優先度の割合は、前月は2パーセントで、今は7パーセントです。再分類率も倍になり、20件の抽出から、高い優先度の約半分がクローズ時に下げられていたことが分かりました。

チームは三つの決定を下します。親インシデントと紐づけられたレコードを別に報告します。レポートの分母として、アクティブなセッションを加えます。サービスデスクと臨床のリーダーとの30分のセッションを開き、抽出したレコードに影響と緊急度のマトリクスを適用すると、「クリニックが患者の予約を取れない」が、一部のエージェントには中、他のエージェントには高として扱われていたことが分かります。マトリクスのセルごとに二つの臨床の例を加えます。

チームが捉える悪用のリスクは静かなものでした。マネージャーが、優先度1のたびにレビューが起きるため、予約システムでは優先度1を避けるようエージェントに頼んでおり、レコードはより低い優先度で開かれ、あとで引き上げられるか、まったく引き上げられませんでした。再分類率と抽出レビューが、そのパターンを露わにしました。チームは、レビューは学びのためだと合意してその旨を公表し、クローズ時の優先度より低く開かれたインシデントの割合を防護柵として追跡します。区分の集中も、インターフェースの障害を一覧の最上位に示すので、問題レコードが開かれ、インターフェースのチームとの間で修正が予定されます。

アジャイル、AI、自動化、アナリティクス

アジャイル

インシデントの需要を、影響を受けるサービスを所有するプロダクトチームとの定期的な改善の対話でレビューし、取り除く繰り返しの原因を一つ選びます。注意点は、インシデントを減らすという目標が誠実な報告を減らしうることなので、件数の隣に監視で検出された割合を保ちます。

AI

AIは、インシデントを大量に分類し優先順位付けできますが、実際の影響に変化がないのに、優先度の構成と区分の集中が変わります。優先度の構成を、優先度の誠実さの人による抽出確認と組にし、AIが割り当てた優先度の再分類率を報告してください。注意点は、過去のチケットで訓練されたモデルが古い区分の習慣を繰り返すため、新しい種類のインシデントが古いラベルの下に登録されていないかに注意することです。

自動化

インシデントの作成、優先度の変更、監視のアラートを自動で取得し、量がイベントから数えられるようにし、自動分類のステップをそのエラー率で測ります。注意点は、アラートの嵐が、ユーザーの被害ではなくツールを反映するインシデントの件数を生むので、利用で正規化し、重複を排除することです。

アナリティクス

量を利用で正規化し、優先度を時間経過の構成として示し、繰り返されるインシデントを原因に結び付けます。これが情報を与える判断は、予防にどこで投資するかです。注意点は、高優先度のインシデントの少ない件数は、月ごとに比較するには小さすぎるので、より長い窓を使うことです。

業種別の視点

スタートアップ。 量は小さく、チームは各インシデントを知っているので、率やマトリクスは重く感じられるかもしれません。サービスごとの簡単な件数と短い区分の一覧を保ち、何がインシデントに当たるかを1ページに書き留めます。小さなチームは繰り返される故障を素早く排除して時間を取り戻せるので、繰り返しに注意します。

中小企業。 サービスデスクは、ホスト型のツールを使う一人かもしれません。ツールの標準レポートを使い、優先度を明快な影響と緊急度の規則で数レベルに保ち、リクエストがインシデントとして数えられていないかを確認します。新しいスタッフや新しいソフトウェアなど、変更についての注記とともに、月ごとに比較します。

大企業。 多くのサービス、供給者、デスクがあり、一貫性が主な問題です。一つの影響と緊急度のマトリクス、深さを限った一つの区分の体系、重複排除の一つの規則に合意し、共有の体系を変えずに、ローカルなチームがタグを加えられるようにします。サービスごとに正規化し、管理図と注記で傾向をレビューします。供給者が原因のインシデントには、契約で共有の定義が必要です(トピック 5.1「SLA、OLA、XLAのメトリクス」を参照)。

政府・公共部門。 インシデントには、特にサービスが市民の権利や安全に影響する場合、報告の義務、監査の必要、公共の関心が伴うことがあります。優先度のマトリクスと区分の体系を文書化し、優先度の変更の監査証跡を保ち、公表される数字には注意してください。公的な報告が、レコードの書き方に強い圧力を生みうるからです。利用データはプライバシー規則によって制限されうるため、正当に使える分母を述べます(トピック 8.5「規制対応・行政向け報告」を参照)。

ビジネスケース:動機、ROI、TCO

動機は需要管理です。インシデントは熟練した時間を消費し、計画された仕事に割り込み、ユーザーを妨げます。量、優先度、繰り返しを理解することで、組織は原因を取り除き、実際の需要に対して人員を配置し、信頼性の作業がどこで見返りを生むかをリーダーに示せます。

コストには三つの部分があります。セットアップは、インシデントとリクエストの定義、優先度のマトリクスと区分の体系への合意、利用データのサービスへの結び付けを含みます。運用コストは、レコードをきれいに保つ労力、月次の抽出レビュー、レポートを維持する人です。三つ目のコストは、所見に基づいて行動する時間で、見返りの大半はここから生まれるので、そのためのキャパシティを計画してください。

見返りは、自分で測れるパターンとして記述するのが最善です。問題の作業後の繰り返しの減少、優先度をめぐる争いに費やす時間の減少、不意のエスカレーションの減少、人員配置と需要のより良い一致などです。インシデントのパーセンテージでの削減を約束するのは避けてください。それはサービス、出発点、行われた作業に依存するからです。総保有コストは主に人の時間なので、それを数え、繰り返されるインシデントが現在消費している時間と比較してください。

アンチパターンと落とし穴

  • 生の件数を健全性のスコアとして報告する。 利用、変更、報告行動がすべてそれを動かす。正規化した率、生の件数、注記を併せて示す。
  • インシデントを減らす目標。 抑え込みと誤ったラベル付けを報いる。繰り返しの削減と顧客への影響に目標を置き、インシデントの件数は情報として保つ。
  • リクエストをインシデントとして数える。 量が増え、サービスが実際より悪く見える。レコードの種類を分け、それぞれを報告する。
  • 優先度の自由選択。 優先度が交渉になり、構成が無意味になる。公開されたマトリクスを使い、一貫性を抽出して確認する。
  • 誰も使わない区分の木。 人は最初に合うものを選び、「その他」が増える。短く保ち、「その他」を毎月レビューし、使われないものは刈り込む。
  • 紐づけられたすべてのチケットを別個の故障として数える。 一つの障害がその月を支配する。親インシデントと、紐づけられたレコードの数を報告する。
  • インシデントの件数でエージェントやチームの順位を付ける。 人別の件数は、仕事の割り当てとチケットの習慣を反映する。サービスに集約し、人ではなくパターンをレビューする。
  • 繰り返しを無視する。 同じ故障が何度も直され、誰も原因を所有していない。繰り返しを問題レコードに結び付け、オーナーを割り当てる。

成熟度モデル

観点 1 開始 2 発展 3 標準化 4 管理 5 協調
定義と数え方 人によってインシデントの意味が異なり、件数は場当たり的なエクスポートから来る 一部のチームがインシデントからリクエストを除く。規則が異なる 全チームに、一つの書面の定義、フィルター、重複排除の規則がある 定義の変更を記録して傾向のグラフに示し、未分類のレコードの割合を追跡する 定義を供給者や顧客とレビューし、判断に情報を与えなくなれば見直す
正規化と解釈 生の件数のみ 少数のサービスで利用データを使う 別の情報源からの、サービスごとの名前付きの利用の測定値 注記付きの管理図をレビューで使う 利用、変更、インシデントのデータをチームと供給者にまたがって結び付け、需要を説明する
優先度の実践 優先度は感覚で選ぶ 一部のチームにマトリクスがある 優先度を選ぶ場所に示された、例付きの一つのマトリクスがある 構成と再分類率を毎月レビューし、抽出して確認する 状況の変化に応じて、顧客や臨床または事業のオーナーとともにマトリクスを調整する
繰り返しとパターン 繰り返しを記憶で気づく 区分の一覧を時折レビューする 繰り返しと再オープンの率を、述べた窓で毎月報告する 繰り返されるまとまりを、オーナーと日付付きで問題レコードに結び付ける チームと供給者にまたがる原因の除去に資金が付き、需要の減少まで追跡される

チェックリスト

  • 書面の定義が、インシデントをリクエスト、アラート、問題から分けている。
  • 親インシデントと紐づけられたレコードが、別々に報告されている。
  • すべてのインシデントが、サービスカタログのサービスに帰属している。
  • 各サービスに、インシデントのツール以外の情報源からの、名前付きの利用の測定値がある。
  • レポートが、生の件数、正規化した率、リリースやキャンペーンの注記を示している。
  • 週次の量の変化に誰かが反応する前に、管理図が使われている。
  • 優先度が、例付きの公開された影響と緊急度のマトリクスから導出されている。
  • 優先度の構成と再分類率が、毎月併せてレビューされている。
  • 区分の一覧が短く、「その他」と未分類のレコードの割合が追跡されている。
  • 繰り返しと再オープンの率が、述べた窓を使い、別々に報告されている。
  • 繰り返されるまとまりが、オーナー付きで問題レコードに結び付けられている。
  • どのレポートも、インシデントの件数で個々のエージェントに順位を付けていない。

AIプロンプト

インシデントの量の定義のあいまいさを確認する。

[サービスまたはチーム] のインシデントの量を [ITSMツール] から数えています。現在のフィルターは [レコードの種類、ステータス、除外の説明] で、期間は [期間] です。リクエスト、重複、統合されたチケット、キャンセルされたレコードの扱いを含め、定義のあいまいさをレビューしてください。明確な書面の規則と、意見の相違を解消する短い例の一覧を提案してください。ベンチマークの値を捏造しないでください。前提と、定義を完成させるために私が答えるべき問いを列挙してください。

正規化したインシデント率を設計する。

サービス [サービス名] について、利用で正規化したインシデント率が欲しいと考えています。利用できる測定値は [一覧。例:アクティブユーザー、セッション、取引] で、[情報源] からのものです。選択肢を比較し、どれが最も合うかとその理由を述べ、それぞれをゆがめうるものを説明してください。生の件数、率、[リリースやキャンペーンなどのイベント] の注記を一つのグラフに示す方法を提案してください。数字やしきい値を捏造しないでください。前提を列挙してください。

影響と緊急度のマトリクスをレビューする。

私たちの優先度のマトリクスは次のとおりです:[影響のレベル、緊急度のレベル、結果としての優先度を貼り付け]。匿名化した [数] 件の例のインシデントは次のとおりです:[短い説明を貼り付け]。各例にマトリクスを適用し、二人の読み手が異なる優先度に至りうる箇所を指摘し、意見の相違を減らす言い回しや例を提案してください。マトリクスが悪用されうる方法を特定してください。応答目標やベンチマークの値を捏造しないでください。前提を列挙してください。

区分と繰り返しを分析して、改善の候補を見つける。

[期間] のインシデントのレコードがあり、項目は次のとおりです:[項目の一覧。例:サービス、区分、CI、オープンの時刻、クローズの時刻、再オープンのフラグ]。上位の区分を見つけ、[窓] の窓を使って再オープンと繰り返しを分け、問題調査のための候補を [数] 件選ぶ方法を説明してください。包括的な区分と近い重複レコードを確認する方法を説明してください。示していないデータのパターンを捏造しないでください。前提を列挙してください。

AIスキル

要点

  • インシデントの量は、品質と同じくらい、利用、変更、報告行動を反映するので、正規化し、注記を付ける。
  • 優先度を構成として読み、公開された影響と緊急度のマトリクスから導出し、再分類率に注意する。
  • 一つの障害が一か月分の日常の仕事に見えないよう、親インシデントと紐づけられたレコードを別に報告する。
  • 繰り返しと再オープンは、原因と持たなかった修正を指し示すため、最も有用なシグナルである。
  • サービスとチームに集約し、個々のエージェントには集約せず、すべてのメトリクスを防護柵と組にする。
  • 管理図とパレート図でどこを見るかを決め、それから各まとまりにオーナーとキャパシティを与える。

参考文献とさらなる読書

  1. Axelos (now PeopleCert), ITIL Foundation: ITIL 4 Edition, TSO, 2019.
  2. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  3. Wheeler, D. J., Understanding Variation: The Key to Managing Chaos, 2nd edition, SPC Press, 2000.
  4. Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
  5. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  6. ISO/IEC 20000-1, Information technology: Service management: Service management system requirements, International Organization for Standardization.
  7. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  8. Wikipedia, ITIL.
  9. Wikipedia, Incident management.
  10. Wikipedia, Help desk software.
  11. Wikipedia, Control chart.
  12. Wikipedia, Seasonality.
  13. Wikipedia, Pareto principle.
  14. Wikipedia, Root cause analysis.