第4部の導入:問題、変更、リリースのメトリクス
問題、変更、リリースのメトリクスは、チームがサービスを変更する方法と失敗から学ぶ方法が、サービスをより速く改善でき、かつより安定して運用できるものにしているかを示す。
稼働中のサービスへのすべての変更は、賭けです。価値をより早く届けるかもしれませんし、ユーザーが頼っているものを壊すかもしれません。第3部は、物事がうまくいかないときに、サポートと復旧の仕事がどれだけうまく機能しているかを測りました(トピック 3.0「第3部の導入:サービスデスク、インシデント、リクエストのメトリクス」を参照)。この部は、同じコインの裏側を見ます。変更がどう環境に入るか、どのくらいの頻度でトラブルを引き起こすか、同じトラブルが戻らないよう組織がどれだけうまく学ぶか。
継続的デリバリーとITILは、この領域に異なる方向から近づきます。アジャイルの実践は、小さな変更での継続的ソフトウェアデリバリーを好み、速いフィードバックを安全のための手段として扱います。問題管理、変更実現、リリース管理などのITILのプラクティスは、安定性を守り、インシデントの原因を見つけて取り除くために存在します。この部のメトリクスにより、両方の見方を同じ証拠に照らして確認できます。頻繁な変更が安全なら、失敗と手戻りの測定値がそれを示します。統制がリスクを減らさずにデリバリーを遅くしているなら、承認とリードタイムの測定値が代わりにそれを示します。
この部全体を通じて二つの注意点があります。速さと安定性は併せて読まなければなりません。一方を改善しながら他方を静かに損なう数字は、悪い取引だからです。時間の測定値も、第1部で述べたとおり、パーセンタイルを伴う分布として読むべきです(トピック 1.6「サービスメトリクスのための統計リテラシー」を参照)。ここのすべてのメトリクスは、チーム、サービス、システムを記述します。個人に順位を付けるものはなく、単独で押し上げる目標にするものもありません(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。
四つの視点が、この部を形作ります。継続的デリバリーは、小さく頻繁な変更を標準にするので、変更とリリースの測定値は、フローと安全を併せて記述します。AI支援の変更とAI生成のリスクスコアには、独自の品質との組が必要です。パイプラインは証拠と承認を自動化するので、自動化はその失敗で測らなければなりません。アナリティクスは変更、インシデント、問題を結び付け、各率の背後にいくつの事例があるかを述べます。
この部のトピック
- 4.1 問題管理のメトリクス:開かれ、クローズされた問題、既知のエラーの再利用、再発、恒久的な修正までの時間。
- 4.2 ポストモーテムと学習のメトリクス:レビューの完了、アクション項目のクローズ、原因の再発、非難なき学習のシグナル。
- 4.3 変更実現のメトリクス:種類別の変更の量、承認のリードタイム、標準変更の割合、承認の自動化。
- 4.4 変更の失敗と手戻り:変更失敗率、緊急変更の割合、ロールバックとホットフィックスの率、失敗の一貫した定義。
- 4.5 リリースとデプロイのメトリクス:デプロイ頻度、リリース頻度、フィーチャーフラグの利用、リリースのリードタイム、デプロイとリリースの分離。
- 4.6 技術的負債と既知のエラー:既知のエラーのバックログ、負債の残高と利子、機能の仕事に対する修正の優先順位付け。
これらのトピックの相互関係
この部は、互いに依存する二つの半分に分かれます。トピック4.1と4.2は学びについてです。インシデントがどう原因にたどられ、レビューがどう完了する修正に変わるか。トピック4.3、4.4、4.5は変更についてです。どう承認され、どのくらいの頻度で失敗し、どうユーザーに届くか。トピック4.6が二つの半分を結びます。学びが明らかにする負債と既知のエラーは、新しい機能とチームの時間を奪い合うのと同じアイテムだからです。
最も重要な組は、速さと失敗の間にあります。トピック4.5(トピック 4.5「リリースとデプロイのメトリクス」を参照)のデプロイ頻度とリリース頻度は、変更がどのくらいの頻度で本番に届くかを記述し、DORAの研究プログラムは、そのようなスループットの測定値を安定性の測定値と組にします(トピック 2.8「DORAメトリクス」を参照)。トピック4.4(トピック 4.4「変更の失敗と手戻り」を参照)が、その安定性の側を供給します。失敗率と手戻り率が横ばいまたは低下しながら、より頻繁にデプロイするチームは改善しています。頻度が上がるのとともにロールバックとホットフィックスが増えるチームは、コストを別の場所に移しています。
変更実現は、その二つの間に位置します。トピック4.3(トピック 4.3「変更実現のメトリクス」を参照)は、統制の側を測ります。承認にどのくらいかかるか、標準として事前承認された変更の量、承認のどれだけが自動化されているか。承認のリードタイムは統制のコストであり、トピック4.4の変更失敗率は、その統制が機能しているかの証拠です。併せて読むと、重い承認のステップが安全を買っているのか、遅れを加えているだけなのか、より軽い自動化された承認が失敗を安定に保っているのかが分かります。
学びのトピックは、他のトピックを守ります。トピック4.1の問題管理(トピック 4.1「問題管理のメトリクス」を参照)は、再発と恒久的な修正までの時間を測ります。これは、第3部のインシデント対応が原因を取り除いているのか、サービスを復旧しているだけなのかの、長期的なテストです。トピック4.2(トピック 4.2「ポストモーテムと学習のメトリクス」を参照)は、レビューが実際に行われ、そのアクションがクローズされることを確認します。フォローアップのない完了したレビューは、何も変えないからです。レビューやクローズした問題を数えることは悪用しやすいので、これらの件数は、偽造しにくい、同じ原因の再発の隣で読むべきです。
最後に、トピック4.6(トピック 4.6「技術的負債と既知のエラー」を参照)は、他の測定値がなぜずれるのかを説明します。対処されていない既知のエラーと蓄積した負債は、失敗の可能性と、その後のすべての変更のコストを上げます。既知のエラーのバックログを変更失敗率の隣で読むと、修正の先送りがいつデリバリーを遅くし始めたかが分かります。
以降の部は、これらの測定値の上に築かれます。第5部のサービスレベル目標とエラーバジェットは、変更のペースを判断できる信頼性の限界を与え、第11部は、恐れを生まずにこれらの測定値を導入する方法を示します。