ポストモーテムと学習のメトリクス
書かれ、保管され、忘れられたレビューは、誰にも何も教えていない。そのため、レビューが行われるか、質が良いか、そのアクションが終わるか、同じ原因が戻らなくなるかを測り、人々が真実を語り続けるよう、実践全体を非難なきものに保つ。
概要と動機
どのサービスも、ときには失敗します。着実に良くなっていくチームと、最悪の週を繰り返すチームを分けるのは、失敗の後の数日に何が起きるかです。ポストモーテム(postmortem)は、インシデントまたはニアミスの書面の記録です。何が起き、どう検出され、どう対処され、何がそれを可能にし、チームが何を変えるか。ITILはこの活動をインシデント後のレビューと呼び、このトピックでは二つの名前を同じ意味で使います。通常のチームの振り返りは、障害ではなく通常の仕事を見る近い親戚です。
このトピックは、その学びのループが機能しているかを教える測定値を扱います。四つの問いを投げます。行われるべきレビューは実際に行われているか。何か本物を見つけるのに十分な質か。生み出されるアクションは終わるか。そして、それでも同じ原因が戻り続けないか。五つ目の問いが、他の下に流れています。人々は、実際に起きたことを述べるのに十分な安全を感じているか。
このトピックは二つの隣接するトピックの間に位置し、それらを繰り返しません。重大インシデントのメトリクス(トピック 3.4「重大インシデントのメトリクス」を参照)は、宣言された重大インシデントについて、レビューのタイムリーさとそのアクションのやり切りを測り、その狭い場面でのその二つの測定値の本拠地です。問題管理のメトリクス(トピック 4.1「問題管理のメトリクス」を参照)は、問題レコード、既知のエラー、恒久的な修正までの時間を所有します。このトピックは、視野をあらゆる重大度のインシデント、ニアミス、チームのレトロスペクティブに広げ、学びそのものの質を所有します。網羅率、深さ、すべての情報源にわたるアクションのクローズ、原因の再発、データを誠実に保つ非難なきシグナルです。
このトピックで使う用語
- ポストモーテムまたはインシデント後のレビュー: サービスが復旧した後の、書面の記録で終わる、インシデントの構造化された非難なき検討。
- ニアミス(Near miss): インシデントや害を引き起こしえたが引き起こさなかった事象。たとえば、テスト環境で捉えられた失敗したデプロイ、ユーザーが気づく数分前に発火したアラート。
- アクション項目(Action item): 名前付きの担当チーム、期日、完了を判断する方法のある、具体的な変更。
- 寄与要因(Contributing factor): インシデントを可能にした、あるいは悪化させた条件。ほとんどのインシデントには複数ある。単一の「根本原因」はしばしば単純化であり、根本原因分析(root cause analysis)は、犯人ではなく条件を探すものとして扱うのが最善。
- 原因クラス(Cause class): 再発を見つけるために使う、短く合意した一覧(たとえば「キャパシティの限界」「構成のずれ」「監視の欠落」「不明確なオーナーシップ」)からの安定したラベル。システムの条件を記述し、人は決して記述しない。
- 非難なき(Blameless): 合理的な人がなぜそのように行動できたかをシステムがどう許したかを問い、誰を罰するかは問わない、レビューの様式。これは実践で、正直な間違いは学びとして扱われ、無謀な行為は別に扱われるジャストカルチャー(just culture)の考え方に結び付いている。
- 情報技術インフラストラクチャライブラリ(ITIL): ITサービスマネジメント(ITSM)の広く使われるフレームワーク。このトピックはITIL 4(2019年)に述べられたとおりのプラクティスを参照し、本書全体は2026年10月時点のものである。ITILを参照。
アジャイルとITILの見方の違い
ITILは構造を提供します。ITIL 4では、インシデント管理がサービスを復旧し、問題管理が原因を見つけて管理することでインシデントの可能性と影響を減らし、継続的改善が学んだことを資金の付いた変更に変えます。レビューは最初の二つと三つ目の間の蝶番です。ITILは、レビューが行われたか、問題レコードが正当化されるところで開かれたか、改善が登録されたかを問う傾向があります。
アジャイルとサイト信頼性エンジニアリング(site reliability engineering、SRE)の伝統は習慣を提供します。レビューは非難なきもので、短く、チームを超えた読み手のために書かれ、広く共有されます。継続的改善の習慣である定期的なチームの振り返りは、次に何を変えるかを問い、小さく頻繁な調整というアジャイル(agile)の好みが、単一の大きな改善プログラムに取って代わります。Googleの『Site Reliability Engineering』は、ポストモーテム文化に一章を割き、レビューのプロセスはその周囲の文化と同じくらいにしか良くならないと論じています。
併せて使うと、二つの見方は強力です。ITILは網羅の規則と、アクションが置かれる場所を与えます。アジャイルとSREの習慣は、誠実さと速さを与えます。併せて測れば、ループが閉じているかを示します。
主要な原則
- 学びが成果物であり、文書ではない。 レビューが成功したのは、システム、プロセス、共有された理解の何かが変わったときである。書類ではなく変化を数える。
- 非難なきは、良いデータの前提条件である。 人々が非難を恐れれば、タイムラインは薄く、寄与要因は整い、同じインシデントが戻る。他の何かを測る前に、率直さを守る。
- 量ではなく、やり切りと再発を測る。 レビューの数はほとんど何も語らない。終わったアクションの割合と、なくなったままの原因の割合は、多くを語る。
- 測定値をチームとシステムのレベルに保つ。 レビューは条件についてのものである。人ごとのレビュー、アクション、エラーを決して数えず、これらの数字を業績の対話に使わない。
- レビューを適切な大きさにする。 すべての出来事が長い文書に値するわけではない。影響と学びの価値で引き金を設定し、小さな出来事には短いレビューをする。
- アクションを誠実に競合させる。 アクション項目は仕事である。他の仕事と同じバックログに属し、それと照らして順位付けされ、記録した理由とともに却下されうる。
- レビューを読む。 数字は問題の場所を教える。人が抽出を読むことで、レビューが本当に良いかが分かる。
メトリクスの定義
以下のメトリクスは、サービスまたはチームのグループの学びのループを記述します。各メトリクスは、何を数え、時計がどこで始まり止まり、何を除くかを述べています。時間の測定値は、平均ではなく、中央値と高いパーセンタイル(たとえば85パーセンタイル)に、最も古い未解決アイテムの年齢を添えて示すべきです(トピック 1.6「サービスメトリクスのための統計リテラシー」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| レビューの網羅率 | 対象となる出来事のうち、完了したレビューを受けたものの割合 | 合意した窓内にレビューが公開された対象の出来事 ÷ その期間にクローズされた対象の出来事。対象の出来事とは、書面の引き金を満たすもの。窓の内側にあり期末にまだ開いている出来事は除く | パーセント | レビューのリポジトリに結合したITSMツールのインシデントのレコード | インシデント管理、問題管理 | 定期的なチームの振り返り、チームのワーキングアグリーメント | 毎月 |
| レビューの質のスコア | 公開されたレビューが短い書面の基準を満たしているか | 抽出のうち、チェックリストの項目を少なくとも [合意した数] 満たすレビュー ÷ 抽出したレビュー。抽出は、毎四半期に無作為に引いた固定数のレビューで、所有するチーム外の誰かが採点する | パーセント | 採点シートを伴う、レビューのリポジトリの四半期ごとの抽出 | 継続的改善、問題管理 | レビューの完了の定義 | 四半期ごと |
| アクションのクローズ率 | レビューのアクションのうち、期日までに完了したものの割合 | 期日までに完了、または(理由付きで)正式に却下されたアクション ÷ その期間に期日が来たアクション。時計はレビューが公開されたときに始まり、所有するチームがアクションを完了と印し、レビュー担当者が確認したときに止まる。「やらない」としてクローズされたアクションは別に数えて報告する | パーセント | レビューに紐づく、チームのバックログまたはITSMの改善台帳 | 継続的改善、問題管理 | チームのバックログ、改善アクション | 毎月 |
| 未解決アクションの年齢 | まだ開いているレビューのアクションの年齢 | 各未解決アクションについて、今日 − そのレビューの公開日。中央値、85パーセンタイル、最も古いものを報告する | 日 | チームのバックログまたは改善台帳 | 継続的改善 | 作業アイテムの年齢、古くなる仕掛かり作業 | 毎月 |
| 原因の再発率 | 同じサービスの以前の出来事と原因クラスが一致する出来事の割合 | その期間の出来事のうち、主な原因クラスが、同じサービスの直近12か月にクローズされたレビューと一致するもの ÷ その期間の、記録された原因クラスのある出来事。原因クラスが記録されていない出来事は除き、別に数える | パーセント | インシデントのレコードに結合した、レビューのリポジトリの原因クラスの欄 | 問題管理、インシデント管理 | 流出した欠陥の分析、レトロスペクティブのテーマ | 四半期ごと |
| ニアミスの報告率 | 人々が報告することを選ぶニアミスと弱いシグナルの量 | その期間に記録されたニアミス ÷ アクティブなサービス。サービスごとの傾向として示し、人ごとには決して示さない。健全なプログラムの早い段階では上がり、その後は横ばいになることを意図している | サービスあたりの件数 | ニアミスのログ、または課題管理のタグ付きの欄 | インシデント管理、リスク管理 | チームの健全性の確認、障害のボード | 毎月 |
| 学びの到達範囲 | レビューが、書いたチームを超えてどこまで届くか | 公開から [合意した日数] 以内に、所有するチーム外(共有のフォーラム、チーム横断のセッション、依存するチームによる文書化された確認)で発表または議論されたレビュー ÷ その期間に公開されたレビュー | パーセント | フォーラムや会議の記録とレビューのリポジトリ | 継続的改善、ナレッジマネジメント | ステークホルダーレビュー、実践コミュニティ | 四半期ごと |
| レトロスペクティブのアクションの持ち越し | チームのレトロスペクティブのアクションのうち、次のレトロスペクティブまでに終わったものの割合 | 次のレトロスペクティブの前に完了したレトロスペクティブのアクション ÷ 前回合意したレトロスペクティブのアクション。理由付きで意図的に落としたアクションは、両方の数から除く | パーセント | チームのバックログに保たれたレトロスペクティブのメモまたはボード | 継続的改善 | 定期的なチームの振り返り | レビュー期間ごと、四半期ごとにレビュー |
| 話しても安全という感覚のパルス | 人々が、非難なしに間違いを説明できると信じているか | 短い匿名の質問集合(たとえば「レビューで、非難を恐れずに間違いを説明できる」)の回答のうち、[合意したレベル] 以上のもの ÷ 受け取った回答。パルスは、匿名性を守れるだけ十分に大きいグループについてのみ報告する | パーセント | 匿名のパルス調査 | 継続的改善、組織変革 | チームの健全性の確認、心理的安全性の確認 | 四半期ごと |
レビューが「公開された」のは、意図した読み手に見えるようになったときであり、下書きとして保存されたときではありません。原因クラスは、短い合意した一覧から、レビューグループがレビュー自体から記録するもので、チケットをクローズした人が記録するものでは決してありません。
推奨事項
何がレビューに値するかを決める
1. 引き金を書き下して公開する。 「すべての重大インシデント、上位二つの重大度のすべてのインシデント、顧客データの損失を伴う出来事、チームが有益と判断するニアミス」のような規則は、議論をなくし、網羅率を測れるようにします。書面の引き金がなければ、レビューは気分と作業負荷に従い、網羅率の数字は意味を持ちません。
2. レビューを出来事に合わせた大きさにする。 小さな出来事は、30分で書ける半ページのレビューでよく、重大インシデントは、完全なタイムラインとファシリテーション付きのセッションに値するかもしれません。軽い経路により、実践を負担にせずに網羅率を高く保てます。
読むことで質を判断する
3. 毎四半期、レビューを抽出して読む。 小さな無作為抽出を引き、所有するチーム外の誰かに、短いチェックリストに照らして各々を読んでもらいます。有用な項目には、判断とそれを下したときに利用できた情報を示すタイムライン、複数の寄与要因、うまくいったことの記述、オーナーと日付のあるアクション、個人ではなくシステムを記述する言葉づかいがあります。基準を満たす割合を報告し、所見を書き手へのコーチングとしてフィードバックします。
4. レビューの技能を教える。 後知恵バイアス(hindsight bias)は、出来事を事後に自明に見せ、著者を「誰かが気づくべきだった」へ押しやります。ファシリテーターに、各瞬間に人々が何を知っていたかを再構成してもらい、なぜなぜ分析(five whys)を、単一の答えへのレシピではなく、問いの促しとして使います。
アクションを終わらせる
5. アクションを本物のバックログに置く。 レビューの文書の中にだけあるアクションは、計画から見えません。所有するチームの追跡システムに作業アイテムを作り、レビューにリンクし、他の仕事と同じようにキャパシティを競わせます。ブロックされたアクションが、ブロックを解ける人々に見えるよう、チームとサービス別にクローズを報告します。
6. 誠実な「やらない」を認め、その理由を記録する。 一部のアクションは、コストが高すぎる、あるいはもはや関連しないことが分かります。理由を述べてそれらをクローズすることは、一年間開いたままにしたり、やらずに完了と印したりするより健全です。却下された割合を報告します。割合が非常に高ければ、レビューのプロセスが誰も資金を出さないアクションを提案していることを示唆するからです。
7. クローズ率に加えて、未解決アクションの年齢を追跡する。 未解決アクションの年齢の85パーセンタイルと最も古い未解決アクションは、何が詰まっているかを示します。最も古いものを、サービスの信頼性をレビューする会議でレビューします。
繰り返しに注意する
8. 原因クラスの短い一覧を保ち、すべてのレビューにタグを付ける。 八つから十五のクラスの一覧で十分です。「その他」のクラスに入る出来事が小さな割合を超えたら、一覧を見直します。タグ付けにより、「これを前に見たことがあるか?」にデータで答えられ、単一のレビューでは見えないパターンを問題管理に供給します(トピック 4.1「問題管理のメトリクス」とトピック 4.6「技術的負債と既知のエラー」を参照)。
9. 再発を、人ではなく、アクションについてのシグナルとして扱う。 原因クラスが戻ってきたら、以前のアクションは終わったか、正しいアクションだったか、クラスが広すぎないかを問います。すべてのアクションがクローズされた後の再発は、アクションが機能しなかったことを意味し、それは有用な知らせです。
誠実さを守る
10. レビューを非難なきものに保ち、それを目に見えるようにする。 レビューは条件と判断を記述し、過失を割り当てないとテンプレートに述べ、リーダーが著者の率直さに感謝するようにします。エイミー・エドモンドソンの職場チームの研究における心理的安全性(psychological safety)は、チームが対人リスクを取ることに安全だという共有された信念です(トピック 9.2「満足度とウェルビーイングのメトリクス」を参照)。
11. ニアミスの報告を報い、最初は増える件数を良い知らせとして読む。 ニアミスを報告し始めたチームは、出来事が常に起きていたため、件数が上がるのを目にします。事前にそう述べ、変更を生んだニアミスの割合を追跡し、チームの同意を得て物語を公開します。
悪用の手口と防護柵
| メトリクス | 悪用のされ方 | 組になる防護柵のメトリクスまたはプラクティス |
|---|---|---|
| レビューの網羅率 | 引き金を狭める、出来事が引き金の外に落ちるよう重大度を下げる、チェックを付けるために一行の「レビュー」を提出する | レビューの質のスコア。インシデントの重大度の件数を顧客が報告する影響と比較する。格下げの監査 |
| レビューの質のスコア | 定型文でチェックリストに合わせて書く、所有するチームが採点する、予測可能な抽出 | 外部の採点者。無作為抽出。毎四半期に二つのレビューを声に出して読む。高得点のレビューのアクションが終わるかを追跡する |
| アクションのクローズ率 | 期日を遠くに設定する、アクションを些細な断片に分割する、検証せずにアクションをクローズする、一覧を片付けるために「やらない」と宣言する | 未解決アクションの年齢。理由付きの却下の割合。変更が機能するというレビュー担当者の確認。原因の再発率 |
| 未解決アクションの年齢 | 年齢をリセットするために、アクションをクローズして再オープンまたは再作成する、アクションを別の「アイデア」の一覧に移す | 新しいアクションを元のレビューにリンクし、最初の日付を保つ。アイデアに移されたアクションの数 |
| 原因の再発率 | 何も一致しないよう、曖昧な、あるいは絶えず変わる原因クラスを記録する、広い「その他」のクラスを使う、繰り返しを別のクラスにリンクする | 「その他」に入る出来事の割合。クラス別にレビューを再読する定期的な作業。クラスの一覧自体のレビュー |
| ニアミスの報告率 | 数字に到達するために報告を求める、些細な出来事を記録する、あるいは逆に、数字を失敗と読んで報告を抑え込む | 変更につながったニアミスの割合。件数に目標を置かない。話しても安全という感覚のパルスからのフィードバック |
| 学びの到達範囲 | 配布リストに名前を加える、出席の少ないセッションで発表する、リンクを閲覧と数える | 出席または実際の議論のメモ。依存するチームに、最後のレビューの後で何を変えたかを尋ねる |
| レトロスペクティブのアクションの持ち越し | 終わらせやすい些細なアクションにだけ合意する、レトロスペクティブを飛ばす、アイテムを完了と印する | チームが判断するアクションの影響。レトロスペクティブの開催率。同じテーマが数週間現れるか |
| 話しても安全という感覚のパルス | 回答者に圧力をかける、自信のある人だけに調査する、低得点のグループを隠す平均を報告する | 回答率と回答者の構成。最小のグループの大きさ。自由記述のコメントを全文読む。レビューの言葉づかいが変わるか |
健全な読みは、重要な出来事のレビューがあり、ほとんどが満たす質の基準があり、アクションが終わるか誠実に却下され、リーダーが名前を挙げられる少数の古いアクションがあり、対処された後に頻度が下がる原因クラスがあり、上がって安定したニアミスの件数がある状態です。パルスは、困難なインシデントが起きたときにも、安定または改善します。整いすぎたパターンは、それ自体が抽出を読むべきしるしです。
トレードオフ:長所と短所
| 手法 | 強み | 弱み |
|---|---|---|
| すべてのインシデントをレビューする | 完全な網羅率。引き金をめぐる議論がない | 重い。レビューが浅くなる。チームがプロセスを疎ましく思う |
| 書面の引き金でレビューする | 影響と学びの価値に労力を集中させる | 引き金の維持が要る。境界事例がすり抜ける |
| 原因クラスのタグ付け | レビュー間のパターンを見つける | クラスは単純化。本当の原因はしばしば複数が一度に絡む |
| 安全についての匿名のパルス | 繊細な問いについての誠実なシグナル | 粗い。小さなチームは特定されうる。調査疲れ |
文章での答えは、ループを短く、数字を少なく保つことです。書面の引き金、小さな質の抽出、一つのアクションの追跡、原因クラスの一覧を持ち、チームが残りを信頼したら、安全のパルスを加えます。ここのどの測定値も、学びが起きたことを証明しません。併せて、そのための条件が存在するかを示します。
チームで話し合う問い
1. 直近五件のインシデントのうちどれがレビューを受け、それによって誰かが何かを変えたか? レビューのフォルダーからではなくインシデントの一覧から始め、欠けたレビューが見えるようにします。各レビューについて、今日、システムやプロセスで何が違うかを尋ねます。答えが「何もない」なら、なぜレビューが開かれ、誰が読んだかを尋ねます。ファシリテーターは、評価せずに答えを記録してください。実践が変化を生んでいるのか書類を生んでいるのかを示すからです。
2. ここで、レビューで真実を語ることを誰かにとって難しくするものは何か? マネージャーの反応、人事評価、顧客のエスカレーション、メールの口調など、具体的な例を求めます。最初は匿名で答えを書くよう人々を招きます。誰が出席するか、誰が読むか、リーダーが声に出して何を言うかなど、変えられる条件を探します。これは、このトピックの他のすべての数字を守る対話です。
3. 最も長く開いているアクション項目はどれで、何がそれを止めているか? 最も古い五つを示します。それぞれについて、アクションはまだ正しいか、キャパシティのあるオーナーがいるか、実行する、再スケジュールする、却下するのどれにすべきかを尋ねます。オーナーではなく、仕事のしくみに焦点を保ちます。セッションが終わる前に、それぞれの判断に合意します。
4. 同じ種類の問題が戻ってきたのはいつで、それは以前の修正について何を語るか? 原因クラスのタグを使って繰り返しを見つけ、以前のレビューとそのアクションを読みます。アクションが終わったか、寄与要因に対処していたか、クラスが広く引かれすぎていなかったかを尋ねます。目標は、説明ではなく、より良いアクションです。
5. 私たちはニアミスを報告するか、誰かが報告するとどうなるか? 最近の例を求め、その後に何が続いたかをたどります。何も続かなかったなら、人々がなぜ再び報告するのかを尋ねます。件数が少ないなら、人々が何を恐れているかを尋ねます。ファシリテーターは、件数が最初は上がることが想定内であると説明し、報告が価値あるものと感じられるよう、次の報告にチームがどう応えるかに合意してください。
6. 数字を一切見られないとして、レビューが良かったとどうやって分かるか? これはチームに、質を自分たちの言葉で説明してもらいます。よくある答えは、「チーム外の誰かが何かを学んだ」「修正が持続した」「著者が恐れていなかった」です。答えを四半期の抽出のチェックリストに変え、二四半期後に見直します。
四つの視点
プロダクトとデリバリーのチーム
デリバリーのチームは、多くのレビューを書き、アクションの大半を担うので、不器用なプロセスのコストを最初に感じます。短いテンプレート、明確な引き金の規則、アクションとチームのバックログのアイテムの間の目に見えるリンクから恩恵を受けます。定期的なチームの振り返りには、インシデントのレビューと同じやり切りの規律が値し、レトロスペクティブのアクションを終えるチームは、より小さな規模で同じ習慣を実践しています。アクションが機能の圧力に押し出されることを防ぎ、そのトレードオフをプロダクトオーナーに公然と持ち込みます(トピック 2.5「デリバリー予測と計画のメトリクス」を参照)。
サービスと運用のチーム
運用チームは証拠(タイムライン、アラート、チャットのログ)を保持し、原因クラスを一貫してタグ付けし、障害になる前に繰り返しに気づくのに最も適しています。長い勤務の終わりに書かれたレビューは薄くなるので、書くための確保された時間が必要です。各レビューを、それが供給する問題レコードにリンクします(トピック 3.3「インシデントの対応時間と解決時間」を参照)。
リーダーシップとガバナンス
リーダーは、その後に何を尋ねるかで、すべてのレビューの調子を決めます。「誰がこれをやったのか?」は誠実なレビューを終わらせ、「何を学び、何を変えるのか?」はそれを招きます。ガバナンスの組織は、信頼性のレビューで、網羅率、質、アクションの年齢、再発を期待し、投資が要るアクションに資金を出し、インシデントやレビューの数でチームを比較してはいけません。
顧客とユーザー
顧客はレビューを目にすることはまれですが、その結果を感じます。戻ってこなくなる同じ故障と、戻ったときの誠実な説明。契約が許すところでは、重要なインシデントの後に平易な言葉の要約を公開します(トピック 3.4「重大インシデントのメトリクス」を参照)。同じ問題についての再問い合わせは、学びが着地していないことを示す顧客側のシグナルです(トピック 6.1「顧客満足度のメトリクス」を参照)。
実践:サービスマネジメントの例
中規模のオンライン小売業者が、顧客向けのストアフロント、決済サービス、社内の在庫プラットフォームを運営しています。五つのプロダクトチームがこれらのサービスを構築、運用し、小さなサービスマネジメントのグループがインシデントと問題のプロセスを保ちます。この例の数字は例示です。
ある四半期に、小売業者には上位二つの重大度のインシデントが41件あります。書面の引き金により、そのすべてがレビューの対象となり、36件のレビューが10営業日以内に公開されるので、レビューの網羅率は約88パーセントです。リーダーシップは満足します。サービスマネジメントのグループは、八つのレビューを無作為に抽出し、別のプロダクト領域のチームに採点を頼み、合意した基準を満たすのは三つだけだと分かります。共通のギャップは、タイムラインが起きたことを列挙するが、人々が各判断を下したときに何を知っていたかを示さないこと、寄与要因の節が単一の原因に名前を付けることです。
同じ抽出から、その四半期に期日が来た74件のアクションのうち、51件が期日までに完了しており、クローズ率は約69パーセントです。最も古い未解決のアクションは、210日前のもので、決済データベースのキャパシティのアラートのしきい値であり、連続六週間延期されていました。原因のタグ付けは、36件のレビューのうち9件に「キャパシティの限界」を示し、そのうち4件が決済サービスのものです。70人の招待のうち58人が答えた匿名のパルスは、オンコールのグループで低く、いくつかのコメントが、上位のマネージャーが名指しの個人について鋭い質問をすると述べています。
チームは三つの決定を下します。第一に、レビューに出席する上位のマネージャーと短いセッションを持ち、規則に合意します。場での質問は条件と判断についてで、人についてのフォローアップはチームリードを通す。第二に、最も古いキャパシティのアクションを、決済チームの次の計画ラウンドの最上位に置き、プロダクトオーナーが機能の仕事と照らして順位付けし、信頼性のレビューで結果を報告します。第三に、レビューのテンプレートにチェックリストの項目を二つ(各判断で人々が何を知っていたか、少なくとも二つの寄与要因)加え、匿名化したレビューを一つ使って書き手のためのコーチングのセッションを行います。
悪用のリスクは翌四半期に現れます。レビューの網羅率は97パーセントに上がりますが、300語未満のレビューの割合が倍になり、いくつかのチームがインシデントを重大度2から引き金のすぐ下の3に格下げしています。質の抽出と重大度の変更の監査が、それを捉えます。グループは、格下げがなぜ起きたかを尋ね、チームがレビューを罰のように感じたことを知り、重大度2の引き金は保ちつつ、小さな出来事に対する長さの期待を緩めます。
アジャイル、AI、自動化、アナリティクス
アジャイル
レビューは、アクションが他の仕事と同じバックログに行く、ステークホルダーとの定期的な習慣として最もよく機能します。注意点は、レビューの数への目標が、学びのないままテンプレートに従って書かれたレビューを生むことです。
AI
AIは、レビューのタイムラインと要約を起案でき、網羅率と速さを上げます。レビューの網羅率を人による質の確認と原因の再発率と組にし、AIが起案した部分にラベルを付けてください。注意点は、AIが不確かさをならしたり、言葉づかいで非難を割り当てたりしうるため、非難なき最終的な記録は人が所有することです。
自動化
タイムラインの取得とアクションのリマインダーを自動化し、いくつのリマインダーがクローズにつながるかを測ります。注意点は、オーナーの合意のない自動の催促はノイズになることです。
アナリティクス
アクションの年齢と再発を、長い窓で、件数とともに追跡します。これが情報を与える判断は、どの学びが実際にシステムを変えているかです。注意点は、再発率は遅く、小さな標本なので、短期の結論は避けることです。
業種別の視点
スタートアップ。 小さなチームは、全員がインシデントに居合わせたため、素早く学べます。リスクは、何も書き留められず、次の採用者とともに教訓が去ることです。1ページのテンプレートを保ち、夜に誰かを起こすものはすべてレビューし、アクションのクローズと繰り返される原因だけを追跡します。創業者が個人についてコメントせずにレビューを読むことで、率直さを守ります。
中小企業。 問題を直した人が、それを理解している唯一の人であることがよくあります。短いテンプレートを使い、最も古い未解決のアクションを毎月レビューします。
大企業。 テンプレート、引き金、原因クラスの一覧を標準化し、チームに深さを調整させます。レビューの検索可能な場所、チーム横断のフォーラム、外部の採点者を提供します。インシデントやレビューの数によるチームのランキング表には注意してください。透明性を罰するからです。
政府・公共部門。 レビューには、法定の義務、監査、情報公開の請求が及ぶことがあり、著者を慎重にさせます。学びのレビューを、監督機関への正式な報告から分け、ブロックされたアクションをその依存関係とともに記録します(トピック 8.5「規制対応・行政向け報告」を参照)。
ビジネスケース:動機、ROI、TCO
この実践のコストは、ほとんどが時間です。著者は各レビューに何時間も費やし、多くの人がセッションに1時間を費やします。四半期ごとの質の抽出は、外部の読み手の数時間を要します。原因のタグ付けとアクションの追跡には少しのツールが要り、それは既存のチケットとバックログのツールのスプレッドシートと一つの欄でよいでしょう。リーダーシップの行動には、より大きく目に見えにくいコストがあります。リーダーが率直なレビューに悪く反応すれば、プログラムは失敗するからです。
見返りは、再発しなくなる原因と、チームが似たものを見たことがあるために短くなるインシデントから来ます。繰り返しのインシデントが減ると、エンジニアリングと運用のキャパシティが解放され、エスカレーションが減り、顧客への中断のコストが下がります。レビューの共有ライブラリは、新しいスタッフの学習曲線を短くし、少数の経験者への依存を下げます。他の組織のパーセンテージを引用しないでください。始める前に、原因の再発、未解決アクションの年齢、再問い合わせについて、自分たちのベースラインを測り、二、三四半期後に比較してください。
正直な限界は、学びは帰属させるのが難しいことです。再発の減少は、より良いレビュー、無関係なアーキテクチャの変更、あるいは運から来たかもしれません。より広い扱いは、トピック 7.7「投資対効果とビジネスケース」を参照してください。
アンチパターンと落とし穴
- レビューの芝居。 レビューは規則を満たすが、誰も読まない。代わりに、レビューを抽出して読み、生んだ変化で判断する。
- 根本原因としての人探し。 レビューが個人のエラーに名前を付けて止まる。代わりに、何がそのエラーを起こりやすくしたかを問い、複数の寄与要因を列挙する。
- アクションの水増し。 レビューが、チームが資金を出せない長い一覧を生む。代わりに、各レビューを順位付けした少数のアクションに限り、残りは理由付きで却下する。
- バックログの外のアクション。 文書にあり、決して計画されない。代わりに、所有するチームの追跡システムに作業アイテムを作り、レビューにリンクする。
- 検証なしのクローズ。 アクションが完了と印され、原因が戻る。代わりに、レビュー担当者が変更が機能することを確認し、原因クラスの再発を見る。
- 件数でチームを比較する。 レビューやニアミスが多いチームは悪く見える。代わりに、多い件数を率直さとして読み、各チームを自分の履歴と比較する。
- 使者を罰する。 リーダーが率直なレビューの後に人を問い詰める。代わりに、リーダーの応答の規範に合意し、困難なインシデントの後にパルスを確認する。
- メトリクスを学びの証明として扱う。 きれいなダッシュボードを、組織が学んでいる証拠と取る。代わりに、レビューの抽出を読み続け、それを書いた人々に尋ね続ける。
成熟度モデル
| 観点 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 協調 |
|---|---|---|---|---|---|
| 引き金と網羅率 | レビューは誰が空いているか、どれだけひどく感じたかに依存する | 一部のチームが重大なインシデントのレビューを開く | 書面の引き金と共通のテンプレート。網羅率を重大度別に数える | 網羅率を傾向として追い、格下げに照らして監査する。軽い経路と完全な経路 | 引き金が顧客や供給者とともに調整され、共同のインシデントでは共有のレビューがある |
| 質と誠実さ | レビューが個人や単一の原因に名前を付ける | 一部のチームが非難なきレビューを書く | チェックリストの基準。非難なき言葉づかいが期待される | 四半期ごとの外部抽出。パルスをレビューする。書き手へのコーチング | レビューが供給者やユーザーと共同で書かれ、チーム横断の読み取りが日常的である |
| アクションと再発 | アクションは文書にあり、終わることはまれ | 一部のチームがアクションを追跡する。クローズはまちまち | オーナー、日付、誠実な却下を伴う、本物のバックログにアクションがある | クローズ、年齢、原因の再発を資金付きの改善とともにレビューする | チームと供給者にまたがるアクションが調整され、パターンの変化に応じて原因クラスが見直される |
| 共有と学び | 教訓はチームにとどまる | レビューがチームのために掲示される | レビューが検索可能で、定期的なフォーラムで共有される | 到達範囲を測り、依存するチームが行った変更を報告する | 学びが設計、オンボーディング、供給者の契約に流れる |
チェックリスト
- 書面の引き金が、どの出来事がレビューを受けるか(学びの価値の高いニアミスを含む)を述べている。
- 小さな出来事のための軽い経路を持つ短いテンプレートがある。
- レビューが、テンプレートとリーダーシップの行動によって、非難なきものである。
- すべてのアクションが、オーナーと日付のある、所有するチームのバックログの作業アイテムである。
- アクションを却下でき、その理由が記録、報告される。
- 原因クラスの短い一覧があり、すべてのレビューにタグが付いている。
- 外部の読み手が、毎四半期、レビューの無作為抽出を採点している。
- 最も古い未解決のアクションが、サービスの信頼性とともにレビューされている。
- 未解決アクションの年齢が、中央値、高いパーセンタイル、最も古いものとして報告されている。
- ニアミスの経路があり、報告の後に何が起きるかをチームが知っている。
- このトピックのどのメトリクスも、人ごとに報告も使用もされていない。
- 話しても安全という感覚のパルスが、匿名性を守るのに十分大きいグループについてのみ行われている。
AIプロンプト
ポストモーテムの下書きの質をレビューする。
これは [サービス] の [インシデントの説明] についてのポストモーテムの下書きです。次の基準に照らして確認してください:[あなたのレビューのチェックリストを貼り付け]。各項目について、下書きが満たすかを述べ、判断を支える行を引用し、条件を記述する代わりに個人に過失を割り当てる言葉づかいを指摘してください。テキストにない事実を加えないでください。前提と、私が示したものから判断できなかったことを列挙してください。
[個人情報を除いた下書きを貼り付け]
過去のレビューから原因クラスを提案する。
以下は、[サービスまたはサービスのグループ] の過去のレビュー [数] 件の要約です。システムの条件を記述し、人は決して記述しない、[最小] から [最大] の短い原因クラスの一覧を提案してください。各クラスについて、一行の定義、それに合うレビュー、あいまいなレビューを示してください。テキストに裏付けのない原因を捏造しないでください。前提と、分類できなかったレビューを列挙してください。
[要約を貼り付け]
未解決のアクション項目を分析して、停滞のパターンを見る。
以下は、[チームまたはサービス] のレビューのアクションのエクスポートです:担当チーム、作成日、期日、状況、一行の説明。未解決のアクションの年齢の中央値、85パーセンタイル、最大値を報告し、最も古いアクションを、停滞のありそうな理由(たとえば不明確なスコープ、別のチームへの依存、キャパシティの欠如、低い価値)でグループ化してください。パターンをチームとサービス別に報告し、人別には決して報告しないでください。データが裏付けない理由を推測しないでください。前提と、役立つ追加の項目を列挙してください。
[個人情報を除いたエクスポートを貼り付け]
AIスキル
- サービスマネジメントメトリクスのスキル:報告しようとしているレビューや学びのメトリクスについて、対応するトピック、定義、組になる防護柵を探すときに使います。
- サービスマネジメントメトリクスのメンテナースキル:改訂した学びのメトリクスが、時計、悪用の手口、防護柵を保っているかを確認するときに使います。
要点
- レビューの価値はそれが変えるものなので、網羅率、質、アクションのクローズ、原因の再発を測り、レビューそのものの抽出を読む。
- 非難なきは誠実なデータの前提条件であり、リーダーは率直なレビューへの応答の仕方でそれを守る。
- アクションを本物のバックログに置き、数を限り、誠実な却下を認め、最も古いものの年齢を見る。
- レビューに原因クラスの短い一覧でタグを付け、繰り返される原因が見えるようにして、問題管理に供給する。
- 増えるニアミスの件数を早い段階では率直さのしるしとして読み、レビューの量で人やチームに順位を付けない。
- ここのすべての数字を防護柵と組にする。学びのループ自体が、悪用されうる目標だからだ。
参考文献とさらなる読書
- Lunney, L., and Lueder, S., "Postmortem Culture: Learning from Failure," in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/postmortem-culture/
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Edmondson, A., "Psychological Safety and Learning Behavior in Work Teams," Administrative Science Quarterly, 44(2), 1999.
- Dekker, S., The Field Guide to Understanding 'Human Error', Ashgate, 2006.
- Reason, J., Human Error, Cambridge University Press, 1990.
- Derby, E., and Larsen, D., Agile Retrospectives: Making Good Teams Great, Pragmatic Bookshelf, 2006.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- AXELOS (now PeopleCert), ITIL Foundation: ITIL 4 Edition, TSO, 2019.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Postmortem documentation.
- Wikipedia, Root cause analysis.
- Wikipedia, Just culture.
- Wikipedia, ITIL.
- Wikipedia, Site reliability engineering.
- Wikipedia, Agile software development.
- Wikipedia, Hindsight bias.
- Wikipedia, Five whys.
- Wikipedia, Psychological safety.