概要と動機

サービスを素早く復旧するチームでも、ランニングマシンの上にいることがあります。同じ故障が数週間おきに戻り、同じ人々が呼び出され、各修復が速いためインシデントの数字は健全に見えます。問題管理は、そのランニングマシンから降りるプラクティスです。インシデントを横断して見て、根底にある原因を見つけ、その原因を取り除くか封じ込めます。このトピックは、その仕事が行われているか、機能しているかを教える数字を扱います。

四つの用語がこのトピックを支えます。インシデント(incident)は、ITILフレームワークがこの言葉を使うように、サービスの計画外の中断、またはその品質の低下です(トピック 3.3「インシデントの対応時間と解決時間」を参照)。問題(problem)は、一つ以上のインシデントの根底にある原因、または原因と疑われるものです。既知のエラー(known error)は、原因が理解され、回避策が記録されている問題で、その症状に次に出会った人が見つけられるよう、既知のエラーデータベース(known error database)に保管されます。回避策(workaround)は、原因を取り除かずに、インシデントや問題の影響を減らす、あるいは避けるものです。恒久的な修正は、原因を取り除く変更です。

原因を見つけるのは、根本原因分析(root cause analysis)の仕事です。一般的な技法には、なぜなぜ分析(five whys)、特性要因図(Ishikawa diagram)、原因を発生頻度や害の大きさで順位付けするパレート図(Pareto chart)があります。複雑なシステムには、しばしば複数の寄与する原因があり、単一の犯人はいないため、良い問題レコードは、取り除けば再発が止まる要因に名前を付け、チームがどのくらい確信しているかを述べます。

メトリクスが重要なのは、問題管理に報告上の罠が組み込まれているからです。問題レコードを開くことは簡単で、生産的に感じられます。クローズすることも簡単です。メモ一つでクローズできるからです。どちらの出来事も、ユーザーにとって何かが良くなったことを示しません。見る価値のある測定値は、もっと下流にあります。問題に紐づけられたインシデントが再発しなくなるか、既知のエラーがオンコールの人々に実際に使われるか、診断された原因がその修正をどのくらい待つか。

ITILとアジャイルの見方は、ここでほとんど摩擦なく出会います。ITIL 4では、問題管理はサービスバリューシステムの中のプラクティスで、インシデント管理、変更実現、ナレッジ管理に近いものです。そのアジャイル側の対応物は、チームのバックログ(backlog)を流れる、証拠に基づく小さな修正の流れ、パターンに気づくレトロスペクティブ、信頼性の作業を通常のプロダクトの仕事として扱う習慣です。ITILの見方がレコード、オーナーシップ、既知のエラーを強調する一方で、アジャイルの見方は小さなバッチと速いフィードバックを強調します。どちらも繰り返されるインシデントが少ないことを望み、そのアウトカムが全員の前に置くべき測定値です。

このトピックは、インシデントの時計(トピック 3.3「インシデントの対応時間と解決時間」を参照)や重大インシデントの測定値(トピック 3.4「重大インシデントのメトリクス」を参照)を繰り返さず、レビューのやり切りを、それが問題に供給する場合にのみ扱います(トピック 4.2「ポストモーテムと学習のメトリクス」を参照)。既知のエラーのバックログと、より広い技術的負債(technical debt)の考え方は、トピック 4.6「技術的負債と既知のエラー」で扱います。ここでの焦点は、問題レコードとそれが生むアウトカムです。デプロイに基づく復旧と失敗の測定値はトピック 2.8「DORAメトリクス」にあります。

主要な原則

  • 書類仕事ではなく、再発を測る。 問題管理のテストは、紐づけられたインシデントが戻ってこなくなることである。開かれ、クローズされたレコードの数は活動を記述し、結果についてはほとんど語らない。
  • 三つの瞬間を分ける。 パターンが存在することを検出する、その原因を特定する、原因を取り除く、は、時計もオーナーも異なる別の出来事である。混ぜると、遅れがどこにあるかが隠れる。
  • 回避策は終わりではなく、段階である。 記録し、使い、それが唯一の保護でいる期間を追跡する。何年も生き続ける回避策は、誰も名前を挙げられないオーナーのいる負債である。
  • 修正を仕事のあるところに置く。 恒久的な修正は、通常、プロダクトチームが所有する変更またはバックログのアイテムとして着地する。チーム自身のフローで測り、サービスを所有するチームに示す。
  • インシデントと問題を、源でリンクする。 ここのすべての測定値は、インシデントと問題の間のリンクに依存する。リンクが弱ければ、数字も弱い。
  • 平均よりも分布とコホートを優先する。 問題の所要時間は長く偏っており、少数の古いレコードがあらゆる平均を支配する(トピック 1.6「サービスメトリクスのための統計リテラシー」を参照)。
  • チームとサービスを記述し、人は記述しない。 問題はシステムの性質である。分析者ごとにクローズした問題の表は、調査をノルマに変える。

メトリクスの定義

すべての時計は、問題レコード、紐づけられたインシデントのレコード、紐づけられた変更またはバックログのアイテムのタイムスタンプを使います。行が特に述べない限り、問題はサービスと所有するチームごとに数え、統合された、あるいは重複したレコードは除きます。すべての所要時間で、平均よりパーセンタイルを優先します。このトピックの例の数字は例示です。

メトリクス 定義 計算式 単位 データソース ITILプラクティス アジャイルの対応物 頻度
開かれ、クローズされた問題 オープン状態に出入りする問題レコードの流れ。サービス別 その期間に開かれた数と、その期間にクローズされた数。それぞれクローズコード(修正済み、リスクの受容、重複、再現不可)別。重複は示すが、「修正済み」の数からは除く 期間あたりの件数 ITSMの問題レコード 問題管理 バックログへの流入とスループット 毎月
問題のバックログの年齢 未解決の問題がどのくらい待っているか 各未解決の問題について、スナップショット日 − レコードの作成日。未解決の問題の中央値と85パーセンタイル、および最も古いものを、優先度別に報告する 日 ITSMの問題レコード 問題管理 ボード上の作業アイテムの年齢 毎月
インシデントと問題のリンク率 問題または既知のエラーが期待されるところで、それを指すインシデントの割合 その期間に、問題または既知のエラーに紐づいたインシデント ÷ その期間の、優先度が高以上、再オープン、または繰り返しの区分のインシデント。ユーザーエラーや重複としてクローズされたインシデントは除く パーセント ITSMのインシデントと問題のレコード インシデント管理、問題管理 レトロスペクティブでのパターンの発見 毎月
根本原因までの時間 診断される問題が、記録された原因に達するまでにかかる時間 時計は問題レコードの作成で始まり、原因が記録され二人目の人がレビューしたときに止まる。原因なしでクローズされた問題は除き、別に数える。中央値と85パーセンタイルを報告する 日 ITSMの問題レコードとその監査証跡 問題管理 スパイクまたは調査のタイムボックス 毎月
既知のエラーの再利用率 インシデントが届いたときに、既知のエラーがどのくらいの頻度で使われるか 紐づけられた既知のエラーまたはその回避策で解決されたインシデント ÷ その時点で存在した既知のエラーと症状が一致するその期間のインシデント。一致する既知のエラーのないインシデントは除く パーセント ITSMのインシデントのリンク、ナレッジ記事の利用 ナレッジマネジメント、問題管理 チームの手順書またはプレイブックの利用 毎月
恒久的な修正までの時間 診断から、修正が本番で稼働するまで、問題がどのくらい露出するか 時計は原因が記録されたときに始まり、紐づけられた修正の変更が実施され確認されたときに止まる。リスクの受容としてクローズされた問題は除き、別に数える。中央値と85パーセンタイルを報告する 日 問題レコード、変更レコードまたはパイプラインのデプロイイベント 問題管理、変更実現 修正アイテムのサイクルタイム 毎月
修正後の再発率 修正された問題のうち、紐づけられた症状が戻ったものの割合 コホートの四半期に修正済みとしてクローズされた問題のうち、修正の稼働から90日以内に一致する新しいインシデントがあったもの ÷ その四半期に修正済みとしてクローズされた問題。90日の窓は例で、グラフに明記する パーセント ITSMのインシデントと問題のレコード、デプロイイベント 問題管理、継続的改善 流出した欠陥またはリグレッションの率 四半期ごと
回避策のみの割合 回避策だけで保護されている既知の問題の割合 修正が予定されていない、既知のエラー状態の未解決の問題 ÷ 既知のエラー状態の未解決の問題。名前付きのオーナーとレビュー日のあるリスク受容の問題は、別のグループとして示す パーセント ITSMの問題レコード 問題管理、リスク管理 技術的負債の台帳 毎月

90日の窓、症状の照合規則、リンク率の「期待される」の定義は例です。チームはサービスに合う値を選び、メトリクス台帳に書き留めます(トピック 1.4「メトリクスのガバナンスとオーナーシップ」を参照)。「修正済み」としてクローズされた問題を他のクローズコードから分けて数えることで、開かれたものとクローズされたものの組を誠実に保ちます。

推奨事項

何が問題に当たるかを決める

1. 証拠に基づいて問題を開き、その証拠が何かを述べる。 良い引き金は、同じ症状の繰り返されるインシデント、原因不明の重大インシデント、レビューで見つかった傾向、インシデントの前に見つかったリスクです。引き金をレコードに書きます。たとえば「同じサービスに紐づく六週間で五件のインシデント」。変わったインシデントがすべて問題レコードになると、バックログはノイズで埋まり、誰も読まなくなります。

2. 小さく共有されたクローズコードの集合を使う。 修正済み、リスクの受容、重複、再現不可、統合の五つで、ほとんどのチームには足ります。各コードには、一文の意味と、それを使える権限を持つオーナーがあります。クローズコードの構成は、クローズ数よりも多くを教えます。どれだけの仕事が原因を取り除き、どれだけが変更なしに終わったかを示すからです。

インシデントと問題を源でリンクする

3. リンクをインシデントのクローズのステップにする。 解決者に、クローズする前に、インシデントを問題、既知のエラー、または「見つからず」にリンクするよう求めます。ツールができるときは一致の提案を出し、人に決めさせます。数週間後に一括で行われるリンクは信頼できません(トピック 1.5「データソースと計装」を参照)。

4. 症状の照合の仕方に合意する。 再発は、二つのインシデントがいつ「同じ」かを決めることに依存します。定義と例付きの短い原因と症状の分類は、自由記述よりも優れています。照合の誤りは両方向で再発率に偏りを生むので、毎四半期、照合の抽出をレビューします。

5. パターンのレビューが問題の一覧に供給されるようにする。 サービス別、パレート図(Pareto chart)別のインシデントの区分の月次のレビューは、どの少数の原因が痛みの大半を生んでいるかを示します。レビューを使って問題を開き、優先順位を付け、重大インシデントのレビューから繰り返される原因を同じ一覧に送ります(トピック 3.2「インシデントの件数と優先度」を参照)。

三つの遅れを測る

6. 段階を別々に時間測定する。 レコードの作成から記録された原因まで、記録された原因から本番で稼働する修正までを測ります。最初の遅れは、調査のキャパシティ、データへのアクセス、技能を指します。二番目は、優先順位付け、変更プロセス、競合する機能の仕事を指します。単一の「問題をクローズするまでの時間」はそれらを混ぜ、誰にも明確なアクションを与えません。

7. 古いものを報告する。 未解決の問題の年齢の中央値と85パーセンタイルを示し、最も古いものをサービス別に列挙します。何年も前の少数のレコードは平均を動かし、ほとんど何も教えませんが、最も古いものの一覧は判断を促します。修正する、名前付きのオーナーとレビュー日付きでリスクを受容する、理由付きでクローズする。

修正を通常のフローに入れる

8. 恒久的な修正を、オーナーと日付のあるバックログのアイテムとして扱う。 問題を、修正を担う変更または作業アイテムにリンクし、修正を機能の仕事と同じボードに示します。再発するインシデントのコストを修正の労力と比べるなど、合意した規則で優先順位を付けます。修正に変更が必要なところでは、低リスクの修正のために標準変更の経路が速いべきです(トピック 4.3「変更実現のメトリクス」を参照)。

9. 回避策と出口の日付を併せて求める。 回避策は時間を稼ぎます。既知のエラーとして記録し、オンコールのチームがそれを見つけて実行できることをテストし、修正のレビュー日を設定します。回避策のみの割合は、そうすれば、静かな負債の山ではなく、判断の一覧になります(トピック 4.6「技術的負債と既知のエラー」を参照)。

修正が機能したことを確認する

10. すべての修正に再発の窓を続ける。 修正が稼働した後、述べた窓の間、一致するインシデントを監視し、四半期のコホート別に、持続した修正の割合を報告します。再発は、このプラクティスが持つアウトカムの測定値に最も近いものです。高いなら、原因が見つかったのか、単なる寄与要因だったのかを問い、分析を再開します。

11. 対応者が仕事をする場で、既知のエラーの再利用を測る。 一致するインシデントが届いたときに、既知のエラーやその回避策がどのくらいの頻度で使われるかを数えます。多くの既知のエラーがあるのに再利用率が低いのは、通常、エントリが見つけにくい、古い、あるいは対応者ではなくアナリストのために書かれていることを意味します。さらに加える前に、記事とその配置を直します(トピック 3.6「ナレッジマネジメントのメトリクス」を参照)。

数字を誠実に保つ

12. すべてのグラフの隣に、コホートと注意書きを示す。 定義、クローズコードの構成、規則の変更を、グラフ自体に記録します。修正された問題の四半期のコホートは、古い仕事と新しい仕事を混ぜずに再発を示します。どの数字も単独で立たないよう、すべての件数をアウトカムの測定値と組にします(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。

悪用の手口と防護柵

メトリクス 悪用のされ方 組になる防護柵のメトリクスまたはプラクティス
開かれ、クローズされた問題 多くの些細なレコードを開く、一つの問題を複数に分割する、一覧を片付けるためにレコードを重複や「再現不可」としてクローズする クローズコードの構成。修正後の再発率。毎四半期のクローズされたレコードの抽出を読む
問題のバックログの年齢 修正なしに最も古いレコードをクローズする、時計をリセットするために新しいレコードとして再オープンする、問題をリクエストに再分類する 新しいレコードを元に紐づけ、最初のレコードからの年齢を報告する。理由別のクローズの一覧。リスクの受容のレビュー
インシデントと問題のリンク率 率を上げるために、すべてのインシデントを曖昧な包括的な問題にリンクする 最大の五つの問題を指すリンクの割合。本物の一致かを確認するリンクの抽出。リンクされた症状の再発
根本原因までの時間 時計を止めるために、素早く浅い原因を記録する、「ヒューマンエラー」と名付ける、二人目のレビュー担当者を省く 修正後の再発率。「ヒューマンエラー」だけを受け入れない原因の分類。証拠に照らした原因の抽出のレビュー
既知のエラーの再利用率 インシデントがクローズされた後に加えられたリンクを数える、サービスのすべてのインシデントに既知のエラーを加える インシデントのクローズからリンクまでの時間。エントリが役立ったかについての対応者のフィードバック。90日使われていないエントリのレビュー
恒久的な修正までの時間 修正が検証される前に変更を実施済みと印する、作業を避けるためにリスクの受容としてクローズする 修正後の再発率。オーナーとレビュー日付きのリスク受容の一覧。時計が止まる前の検証の手順
修正後の再発率 再発が一致しないよう症状を狭く定義する、修正がより早いコホートに入るようクローズの窓を広げる、リンクを遅らせる 所有するチーム外の誰かによる原因の分類のレビュー。インシデントのリンク率。あらかじめ述べた固定の窓
回避策のみの割合 本当の日付のない仮の修正を予定する、問題をリスクの受容に移す、問題の優先度を下げる 遅れた予定の修正の年齢。名前付きの幹部オーナーとレビューされるリスク受容の一覧。問題ごとの繰り返しインシデントのコスト

健全な読みは、静かで少し退屈に見えます。開かれた数とクローズされた数はおおむね歩調が合い、最も古い未解決の問題にはそれぞれ記録された判断があり、持続した修正の割合は高くコホートの線は安定し、既知のエラーは症状に出会う人々に使われています。警告のパターンは、インシデントが戻り続ける一方での、長く整ったクローズ数です。活動の数字が優れて見えるのに、ユーザーが同じ故障に出会い続けるなら、ユーザーを信じてください。

トレードオフ:長所と短所

手法 強み 弱み
繰り返されるインシデントと重大インシデントの正式な問題レコード 明確なオーナー、履歴、修正へのリンク。監査を支える プロセスのオーバーヘッド。レコードが古くなりうる
問題レコードなしで、チームのバックログの中で原因を直す 速く、軽く、仕事に近い チーム横断のパターンが見えない。共有の既知のエラーがない
厳格なクローズコードと四半期のコホート 誠実なアウトカムの見方。整った件数に強い 読むのが遅い。データ入力の規律が要る
クローズした問題の数を目標にする 説明しやすくグラフにしやすい 数のためにクローズすることを招く。小さな問題を報いる
修正された問題の再発の追跡 機能したかの最も近い利用可能な測定値 良好な症状の照合と十分に長い窓が要る
既知のエラーの再利用の追跡 ナレッジが対応者を助けているかを示す 対応者がエントリをリンクすることに依存する。悪用されうる

自分のバックログの中で素早く原因を直すチームも、他のチームが同じ症状に出会ったときに恩恵を受けられるよう、組織全体が見られる場所に原因を記録するべきです。まず、インシデントと問題の間のリンクと、再発の窓に投資してください。この二つが、他のすべての測定値を解釈可能にします。

チームで話し合う問い

1. 先四半期に最もよく修復した三つのインシデントはどれで、その原因を直すことを何が妨げたか? サービスデスクやインシデントのツールから繰り返されるインシデントを列挙し、発生件数で並べます。それぞれについて、障害が何だったかを尋ねます。調査の時間がない、合意した原因がない、機能と競合する修正、別のチームが必要な修正。ファシリテーターは、三つにまたがって繰り返される障害を探してください。それは技術的な修正ではなく、システムの修正を指すからです。

2. インシデントを問題にリンクするとき、誰が、いつ行い、それが正しい問題だとどうやって知るか? 最近のインシデントを一つ、クローズからリンクまでたどります。リンクがインシデントの最中、クローズ時、後の整理のどれで行われるかに注意します。リンクの小さな抽出を、本当の一致かについて一緒にレビューします。リンクをより簡単に、あるいはより確実にする変更を一つ決めます。

3. 診断された原因はその修正をどのくらい待ち、誰が順序を決めるか? 記録された原因のある問題を取り、診断からの時間を見ます。誰がそれらに優先順位を付け、どんな規則を使うかを尋ねます。この議論は、遅れが技術的な難しさではなく、プロダクトバックログの手前のキューであることを示すことがよくあります。問題の修正を機能の仕事とどう比較するかに合意します。

4. 最も古い回避策は何で、もう一年保ったら何を失うか? 最も長く生きている回避策を三つ挙げ、それが手作業の労力、リスク、まだそれを覚えている人々の知識にどれだけかかっているかを挙げます。回避策を知っている人が不在だったらどうなるかを尋ねます。それぞれについて、直す、オーナーとレビュー日付きでリスクを受容する、サービスを廃止するのどれにするかを決めます。

5. 修正された問題が戻ってきたとき、私たちはそれに気づき、どのくらい速く気づくか? 戻ってくる症状がどう気づかれ、誰が分析を再開するかを尋ねます。再発の窓が、関わる失敗の種類に対して十分に長いかを話し合います。ファシリテーターは、グループが窓と照合の規則に合意し、所有するチームが自分の仕事に自分で印を付けないよう、どのチームが照合をレビューするかを決めるのを助けてください。

6. オンコールの人々は私たちの既知のエラーを使っているか、何があれば手を伸ばすか? 対応者に、最後に既知のエラーを検索したのはいつで、何を見つけたかを尋ねます。エントリがどこにあり、どう題され、最初に何をすべきかを述べているかを見ます。エントリを一つ選び、対応者とともに書き直し、次のオンコールの週に試します。

四つの視点

プロダクトとデリバリーのチーム

デリバリーのチームは、恒久的な修正の大半を所有し、機能の仕事の引力を感じます。繰り返される故障のインシデントのコストを修正の労力の隣に見ること、バックログに修正アイテムの明確な場所があることから恩恵を得ます。問題の仕事を割り込みとして扱うのに抵抗し、代わりにキャパシティの目に見える割合を確保するべきです。レトロスペクティブは、パターンに気づき問題を開く自然な場所です(トピック 2.1「フロー指標」を参照)。

サービスと運用のチーム

運用チームは繰り返される症状を最初に見て、ページと手作業でそのコストを負います。問題と既知のエラーのレコードを保持し、パターンのレビューを運営し、リンクが作られているかを確認します。リスクは、原因を取り除くのではなくレコードに労力を費やすことです。クローズコードを小さく保ち、既知のエラーを対応者が最初に目にするものにし、証拠を添えて修正を所有するチームに渡すべきです。

リーダーシップとガバナンス

リーダーは、信頼性の作業が機能に勝つかを決め、何が記録されるかのインセンティブを決めます。件数を尋ねる前に、コホート別の再発と最も古い未解決の問題を求め、リスクの受容を名前付きのオーナーとレビュー日の必要な判断として扱うべきです。再発なしに減少するバックログを報告することは、クローズを報います。ガバナンスは、チームのランキング表ではなく、傾向と判断を見るべきです(トピック 4.6「技術的負債と既知のエラー」を参照)。

顧客とユーザー

ユーザーは、問題管理を一つのことで判断します。同じことが繰り返しうまくいかなくならないか。問題レコードを目にすることはなく、いくつクローズされたかは気にしません。契約が許すところでは、既知の問題、回避策、修正が期待される日付を顧客に伝え、修正が届いたら報告します。発表されて実行された修正は、静かな修正よりも多くの信頼を築きます。

実践:サービスマネジメントの例

地域の病院のIT部門が、病棟と外来クリニックが使う臨床スケジューリングアプリケーションを支えています。プロダクトチームがアプリケーションを構築、運用し、インフラチームがプラットフォームを運用し、サービスデスクが電話を受けます。この例の数字はすべて例示です。

四半期ごとのレビューで、部門長は問題のダッシュボードが優れて見えることに気づきます。31件が開かれたのに対し、46件がクローズされ、最も古い未解決の問題は140日です。病棟のマネージャーは依然として、シフトの交代時にスケジューリング画面が固まると不満を言っています。サービスオーナーは、まだダッシュボードにない、インシデントと問題のリンク率と修正後の再発率を求めます。

データは違う物語を語ります。クローズコードの構成は、46件のクローズのうち22件が「再現不可」または「重複」だったことを示します。優先度の高いインシデントのリンク率は38パーセントです。固まるインシデントは四つの区分で記録されていたため、パターンは見えていませんでした。30件のインシデントの抽出を手でリンクし直すと、そのうち17件が一つの原因、つまり朝のシフトにまで長引いた夜間ジョブが保持するデータベースのロックを指していました。前の四半期に修正された問題の再発は27パーセントで、誰もが予想したより高い値でした。

チームは三つの決定を下します。第一に、原因と症状の分類に「スケジューリングの固まり」の項目を加え、インシデントのクローズ時に、問題または「見つからず」のリンクを必須の手順にします。第二に、夜間ジョブの問題をインフラのバックログからプロダクトチームのボードに、オーナーと目標日付きで移し、回避策(ジョブの後の予定された再起動)を既知のエラーとして記録し、サービスデスクとテストします。第三に、ダッシュボードのクローズ数を三つの数字で置き換えます。90日後に持続した修正の割合、記録された原因から修正までの時間の中央値と85パーセンタイル、判断付きの最も古い未解決の問題。

8週間後、ジョブの変更によってロックが取り除かれます。固まりの区分のインシデントは月約9件から2件に減り、サービスデスクが今は再起動のエントリを見つけるため、残る症状についての既知のエラーの再利用は71パーセントに上がります。チームが捉えた悪用のリスクは、自分たち自身の以前の習慣にありました。営業時間外にインシデントが起きたときに、レコードを「再現不可」としてクローズすることです。クローズコードの構成、毎四半期のクローズされたレコードの抽出、再発のコホートが、今は防護柵として働きます。誰も順位付けされず、レビューはアナリストではなく、サービスと判断を列挙します。

アジャイル、AI、自動化、アナリティクス

アジャイル

問題の仕事を通常のバックログと改善の対話に織り込み、恒久的な修正が新しい仕事と公然と競合するようにします。注意点は、問題を素早くクローズする目標が、回避策でのクローズにつながることです。

AI

AIは、インシデントをクラスタリングし、根本原因を提案し、問題レコードを起案でき、原因を取り除かずに問題の件数とリンク率を上げえます。リンク率を修正後の再発率と組にし、どの原因がAIによって提案され、人によって確認されたかに印を付けてください。注意点は、AIが提案した原因がもっともらしく誤っていることがあるため、クローズする前に検証することです。

自動化

シグナルが一致するところでインシデントを問題に自動でリンクし、誤ったリンクについてその照合を測ります。注意点は、インシデントが止まったときに問題を自動クローズすると、静かになっただけの原因を隠すことです。

アナリティクス

恒久的な修正までの時間を分布として、また修正後の再発率を示します。これが情報を与える判断は、どの原因にキャパシティを与えるかです。注意点は、再発には長い窓が必要なので、どのくらい監視したかを述べることです。

業種別の視点

スタートアップ。 別個の問題プロセスがあることはまれです。チームは原因を直接直し、リスクは、なぜかを誰も覚えていないことです。繰り返されるインシデントとその原因の1ページの一覧を保ち、修正を課題管理にリンクし、一覧を毎月レビューします。再発と最も古いアイテムの年齢を測り、チームが大きくなるまでは正式なクローズコードを省きます。

中小企業。 一人のIT担当者かマネージドサービスプロバイダーがすべてを運用することがあります。提供者に、問題レコード、その背後のインシデントの区分、「解決済み」の書面の定義を求めます。名前付きのオーナーと日付付きの、上位五つの繰り返される問題の短い一覧は、重いツールに勝ります。ロックインを避けるため、レコードを定期的にエクスポートします。

大企業。 多くのサービスと供給者は、共有の定義への最大の必要を生みます。原因の分類、クローズコード、再発の窓をチーム間で合意し、サービスごとに問題のオーナーを指名し、サービスとコホート別に報告します。供給者が修正を保持するところでは、契約に照らして供給者の応答を追跡し(トピック 8.4「サプライヤーと契約のメトリクス」を参照)、文書化された経路でエスカレーションします。

政府・公共部門。 監査、変更管理、調達は、原因から修正までの道のりを長くしうるため、修正までの時間の時計は、調査、承認、調達、スケジューリングのどこに遅れがあるかを示すべきです。リスクの受容には、監査に耐える記録されたオーナーとレビュー日が必要です。保持とプライバシーの規則は、特に臨床や市民のデータが現れるところで、インシデントと問題のレコードに適用されます。

ビジネスケース:動機、ROI、TCO

コストには三つの部分があります。第一は調査の時間で、インシデントを分析する技能とアクセスを持つ人々であり、彼らの他の仕事と競合します。第二は修正そのもので、バックログと変更プロセスを通じて提供されます。第三は記録と報告のコストで、インシデントのリンク、分類の維持、パターンのレビューの運営、既知のエラーデータベースの維持です。これらのコストは主に人の時間なので、時間を数えてください。

見返りは、再発しなくなるインシデント、ページと手作業の回避策の労力の減少、対応者が既知のエラーを見つけるためのインシデント対応の短縮、エンジニアへのエスカレーションの減少として現れます。普遍的な数字は当てはまらないので、自分たちで見積もってください。繰り返されるインシデントについて、年間の発生回数に、平均の対応労力と、発生ごとの事業への影響の見積もりを掛け、それを修正の労力と比較します。見積もりをサービスオーナーとレビューし、見積もりとして述べ、再発の窓が何が起きたかを示した後に見直します。問題管理は、インシデントの負荷の大半を生む少数の原因で最もよく元が取れ、パレート図の見方がそれを素早く見つけます。

アンチパターンと落とし穴

  • 目標としてのクローズ。 クローズした問題の数の目標は、些細なレコードと早すぎるクローズを報いる。アウトカムの測定値を先に報告し、クローズコードの構成を示す。
  • 墓場としての問題レコード。 レコードがオーナー、日付、判断なしに開いたままになる。最も古いものの一覧を定期的にレビューし、各アイテムに判断を求める。
  • 「ヒューマンエラー」で止まる。 システムが失敗を許したのはなぜかではなく、誰がシステムに触れたかに名前を付けるだけである。原因は、変更できる条件に名前を付ける場合にのみ受け入れる。
  • 根本原因が確実になるまで何も直さない。 複雑な失敗には単一の原因がないことがある。回避策と最もよく裏付けられた修正を適用し、それから再発を見る。
  • 出口のない回避策。 レビュー日のない回避策は恒久的になる。既知のエラーを作成するときに、オーナーと日付を記録する。
  • 弱いインシデントのリンク。 リンクの欠落や杜撰さが再発を見えなくする。リンクをインシデントのクローズの一部にし、リンクを抽出する。
  • バックログの外の問題の作業。 別のキューにある修正は永遠に待つ。修正アイテムを所有するチームのボードに置き、機能と照らして優先順位を付ける。
  • クローズしたレコードで分析者やチームを比較する。 簡単なサービスを報い、悪用を招く。サービスを自分自身の履歴と比較し、コホートを読む。

成熟度モデル

観点 1 開始 2 発展 3 標準化 4 管理 5 協調
問題の特定とリンク 大きな障害の後にのみ問題が開かれ、インシデントのリンクがない 一部のチームがインシデントをリンクする。区分がチームごとに異なる 共有の分類とクローズコード。リンクはインシデントのクローズ時に作られる リンク率と照合の質を抽出してレビューする パターンがチームと供給者にまたがって検出され、共有の既知のエラーがある
根本原因と既知のエラー 原因が記録されても自由記述 既知のエラーを、一部のチームが異なる場所で保持している 一つの既知のエラーデータベース。原因の二人目のレビュー 根本原因までの時間と既知のエラーの再利用を傾向として追い、それに基づいて行動する 対応者、供給者、顧客が共有のエントリに貢献し、それを使う
修正の提供 誰かに時間があるときに修正される 修正がチーム自身の一覧で追跡される 修正がオーナーと日付のあるバックログのアイテムまたは変更にリンクされる 恒久的な修正までの時間をレビューし、そのためのキャパシティを確保する 修正の優先度がプロダクトと供給者のロードマップと共同で設定される
アウトカムと学習 レコードの件数が報告される 一部のレビューでバックログの年齢が報告される 修正後の再発と回避策のみの割合が定義とともに報告される コホートが防護柵と組になり、資金の判断に使われる 判断に情報を与えなくなれば定義が見直され、改善が日常的である

チェックリスト

  • メトリクス台帳が、問題、既知のエラー、各クローズコードを定義している。
  • インシデントのクローズに、問題、既知のエラー、または「見つからず」へのリンクが含まれている。
  • 定義と例付きの原因と症状の分類がある。
  • すべての問題に、オーナー、引き金、判断の日付がある。
  • 根本原因までの時間と恒久的な修正までの時間が、パーセンタイルで別々に測られている。
  • 各恒久的な修正が、オーナーのあるバックログのアイテムまたは変更にリンクされている。
  • すべての回避策に、オーナーとレビュー日がある。
  • 修正後の再発が、述べた窓とともに、四半期のコホート別に追跡されている。
  • 既知のエラーの再利用が、対応者が仕事をする場で測られている。
  • 最も古い未解決の問題が定期的にレビューされ、各判断が記録されている。
  • クローズされたレコードの抽出を毎四半期読み、クローズコードと原因を確認している。
  • レポートがサービスとチームを記述し、個人に順位を付ける表がない。

AIプロンプト

インシデントの集合から問題の候補を見つける。

以下は、[開始日] から [終了日] までの [サービスまたはチーム] のインシデントのエクスポートです:[id、開始時刻、区分、短い説明、解決メモなどのインシデントの項目を貼り付け]。根底の原因を共有しうるインシデントをグループ化し、各グループの証拠を説明し、グループを発生件数と [影響の測定値。例:ユーザーへの影響の時間] で順位付けしてください。証拠が弱いグループに印を付けてください。原因、件数、ベンチマークの値を捏造しないでください。前提と、確信を高める追加のデータを列挙してください。

問題のクローズコードとレコードをレビューする。

以下は、[サービスまたはチーム] のクローズされた問題レコード [数] 件です:[id、クローズコード、記録された原因、修正の参照、クローズ日を貼り付け]。各レコードについて、本文と一致しないクローズコード、条件ではなく人に名前を付ける原因、リンクのない修正を確認してください。パターンを要約し、レビュー担当者への三つの問いを提案してください。人に順位を付けたり、レコードについての事実を捏造したりしないでください。前提を列挙してください。

再発の測定値を設計する。

[サービスまたはチーム] で、修正された問題が修正されたままかを測りたいと考えています。ツールは [ITSMツール、デプロイのツール]、インシデントの区分は [一覧]、クローズコードは [一覧] です。定義、計算式、時計の開始と停止、症状の照合規則、再発の窓、除外、四半期のコホートを示すグラフのレイアウトを提案してください。それがどう悪用されうるか、各場合の防護柵を提案してください。しきい値を捏造せず、必要なものは私に尋ねてください。前提を列挙してください。

古い問題の判断レビューを準備する。

以下は、[サービスまたはチーム] の [数] 日より古い未解決の問題です:[id、年齢、優先度、オーナー、最後の更新、回避策の状況を貼り付け]。各アイテムが三つの判断のいずれかを受ける、[長さ] 分のレビューの議題を起案してください。日付付きで修正する、名前付きのオーナーとレビュー日付きでリスクを受容する、理由付きでクローズする。各判断のために持参する証拠を提案してください。コストやアウトカムを捏造しないでください。前提と、最初に私が答えるべき問いを列挙してください。

AIスキル

要点

  • 問題管理の測定値は再発である。問題に紐づけられたインシデントが戻ってこなくなるか。
  • 段階を別々に時間測定する。レコードから記録された原因まで、原因から本番で稼働する修正まで。
  • クローズ時にインシデントを問題にリンクし、症状の照合の仕方に合意し、リンクを抽出して確認する。
  • 回避策はオーナーとレビュー日のある段階であり、回避策のみの割合は、どれだけのリスクを抱えているかを示す。
  • 恒久的な修正を所有するチームのバックログに置き、レコードの件数の前にアウトカムの測定値を報告する。
  • サービス、コホート、判断を記述する。クローズした問題で分析者やチームに順位は付けない。

参考文献とさらなる読書

  1. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  2. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  3. Ohno, T., Toyota Production System: Beyond Large-Scale Production, Productivity Press, 1988.
  4. Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
  5. AXELOS (now PeopleCert), ITIL Foundation: ITIL 4 Edition, TSO, 2019.
  6. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  7. Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
  8. Wikipedia, ITIL.
  9. Wikipedia, Known error database.
  10. Wikipedia, Workaround.
  11. Wikipedia, Root cause analysis.
  12. Wikipedia, Five whys.
  13. Wikipedia, Ishikawa diagram.
  14. Wikipedia, Pareto chart.
  15. Wikipedia, Backlog.
  16. Wikipedia, Technical debt.