概要と動機

DORAメトリクスは、ソフトウェアデリバリーのプラクティスがチームや組織の成果とどう関係するかを調べる長期にわたる調査である、DevOps Research and Assessment(DORA)の研究プログラムに由来します。ニコール・フォースグレン、ジェズ・ハンブル、ジーン・キムが、2018年の書籍『Accelerate』で初期の知見を示し、プログラムはGoogle Cloudの下で、年次報告書とともに続いています。この研究は、デリバリーの測定可能などの側面が良い成果を予測するかを問い、デリバリーのパイプラインとインシデントの記録から計算できる、ソフトウェアデリバリーのパフォーマンスの少数の測定値に落ち着きました。

2026年10月時点で、DORAのウェブサイトは、二つのグループに分かれた五つのソフトウェアデリバリーのパフォーマンスのメトリクスを説明しています。三つはスループット(throughput)、つまり変更がどれだけ速く動くかを記述します。変更のリードタイム、デプロイ頻度、失敗したデプロイからの復旧時間です。二つは不安定性(instability)、つまりリリースがどれだけ頻繁にトラブルを起こすかを記述します。変更失敗率とデプロイの手戻り率です。以前の刊行物は、失敗したデプロイからの復旧時間の代わりに「サービス復旧までの時間」を使い、手戻り率を含まない四つのメトリクスを説明していました。定義は年月とともに洗練されてきたので、従っているガイダンスの版と、最後に確認した日付を常に述べてください。

メトリクスを有名にした研究の知見は、速さと安定性がチームをまたいで一緒に動く傾向がある、というものです。頻繁にデプロイし、リードタイムの短いチームは、平均して、より多くの失敗でその代償を払っていませんでした。これは、より速く進むことはより多く壊すことだという古い想定を覆します。これはアンケートとパイプラインのデータにおけるパターンであって法則ではなく、継続的デリバリー(continuous delivery)、小さなバッチ、自動テスト、速いフィードバックのようなプラクティスに投資したチームに当てはまります。メトリクスは、それらの根底にある能力のシグナルです。能力そのものではありません。

以下の用語がこのトピックで繰り返し現れます。

  • デプロイ(deployment)は、ソフトウェアのあるバージョンを、特定の環境に置く行為です。このトピックでは、特に述べない限り本番を意味します。
  • 変更(change)は、ソフトウェアへの一連の修正で、一般には、一緒に出荷される一つ以上のコミットです。ITIL 4では、この言葉はより広い意味を持ち、サービスに影響しうるあらゆる追加、修正、削除を指し、それを統治するITILのプラクティスは変更実現です。
  • 失敗したデプロイ(failed deployment)は、本番でサービスの劣化や障害を引き起こし、ホットフィックス、ロールバック、パッチなどの是正が必要なデプロイです。研究は局所的な定義に委ねているため、チームが正確な規則を書き留めます。
  • ロールバック(rollback)は、本番を、直前の既知の良好なバージョンに戻す行為です。
  • パーセンタイル(percentile)は、観測値の述べられた割合がそれを下回る値です。リードタイムの85パーセンタイルは、変更の85パーセントがそれより短い数字です。

アジャイルとITILの見方は、この地盤で出会います。アジャイルのチームは、これらの数字を、自分たちのエンジニアリングのプラクティスとワーキングアグリーメントへのフィードバックとして見ます。ITILの実践者は、変更実現、リリース管理、デプロイ管理、インシデント管理のアウトカムの証拠として見ます。緊張は通常、統制をめぐるものです。従来の変更諮問委員会は、出荷前に各変更を検査することで失敗を減らそうとします。DORAの研究は、重い外部承認がより良い安定性と関連しておらず、ピアレビュー、自動テスト、小さな変更が関連していることを見いだしました。ITIL 4では、変更実現が、標準、通常、緊急の変更を分け、低リスクの変更を事前承認することを認めることで、これに対応しています(トピック 4.3「変更実現のメトリクス」を参照)。

メトリクスには、研究自身が述べる限界もあり、このトピックの実際的な助言はそれらに基づいています。メトリクスは一つのアプリケーションやサービスのデリバリーのシステムを記述し、改善の対話のためのものであり、出荷される仕事が価値あるものかについては何も語りません。チームは、間違ったものを出荷しながら、優れた数字を出せます。そのため、このトピックは、フロー指標(トピック 2.1「フロー指標」を参照)、サービスの信頼性の測定値(トピック 5.2「SLI、SLO、エラーバジェット」を参照)、アウトカムの測定値(トピック 1.3「アウトプットよりアウトカム:何を測るかを選ぶ」を参照)の上ではなく、その隣に位置付けられます。

最後に、メトリクスはリーダーシップのダッシュボードに現れた瞬間に、グッドハートの法則(Goodhart's law)を招きます。デプロイ頻度は最も水増ししやすく、失敗したデプロイの数は最も隠しやすいものです。したがって、以下のすべての推奨事項は、測定値をそれがどう曲げられうるかの確認と組にしています(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。

主要な原則

  • 記憶ではなくイベントから計算する。 デプロイはパイプラインから、失敗と復旧はインシデントの記録から、リードタイムはパイプラインに結合したバージョン管理から得る(トピック 1.5「データソースと計装」を参照)。
  • 速さと安定性を一つの姿として読む。 失敗が増える速いチームや、四半期ごとにしか出荷しない安定したチームは、どちらの半分だけでは見えないことを教えている。
  • 人ではなく、サービスやアプリケーションを測る。 分析の単位はデリバリーのシステムである。個人は単独でデプロイするのではなく、順位付けはデータを壊す。
  • チームを他のチームではなく、自分自身の過去と比較する。 決済サービス、データ基盤、モバイルアプリでは文脈が大きく異なり、研究自身も、メトリクスをランキング表として使うことを戒めている。
  • 時間には分布を使う。 リードタイムと復旧時間には長い裾があるため、中央値と高いパーセンタイルを報告する(トピック 1.6「サービスメトリクスのための統計リテラシー」を参照)。
  • メトリクスを症状として扱う。 数字が動いたら、バッチの大きさ、テストの自動化、レビューの実践、アーキテクチャなど、その下にある能力に原因を探し、実験を行う。
  • 定義を書き下す。 失敗、デプロイ、「仕事の開始」は判断を要する。選択を記録し、傾向が意味を持つよう安定に保つ。

メトリクスの定義

以下の五つのメトリクスは、2026年10月時点のDORAのガイダンスに従います。計算式は、チームが書き留めるべき時計と除外を述べています。研究が境界を開いたままにしているところには、表が妥当な既定を示し、推奨事項がその選択を説明します。

メトリクス 定義 計算式 単位 データソース ITILプラクティス アジャイルの対応物 頻度
変更のリードタイム コミットされた変更が本番に届くまでの時間 時計は変更の最初のコミット(または、定義に述べられていれば、メインブランチへのマージ)で始まり、本番へのデプロイが成功裏に完了したときに止まる。その期間にデプロイされた変更の中央値と85パーセンタイルを報告する。デプロイされなかった変更は除き、仕掛かり作業として別に報告する 時間または日 デプロイのパイプラインと結合したバージョン管理 デプロイ管理、リリース管理、変更実現 サイクルタイム、本番までのリードタイム 毎週またはリリースごと、毎月レビュー
デプロイ頻度 チームが本番にデプロイする頻度 その期間のアプリケーションの成功した本番デプロイの数 ÷ その期間の日数。失敗またはロールバックされたデプロイは成功の数から除く。テスト環境へのデプロイは除く 1日または1週間あたりのデプロイ数 デプロイのパイプラインのイベントログ デプロイ管理、リリース管理 継続的デリバリー、各インクリメントの終わりでのリリース 毎週
失敗したデプロイからの復旧時間 デプロイが本番の失敗を引き起こしたとき、復旧にかかる時間 時計は失敗が検出または報告されたとき(毎回同じ規則)に始まり、ユーザーにとってサービスが復旧したときに止まる。その期間の失敗したデプロイの中央値と85パーセンタイルを報告する。デプロイが原因でないインシデントは除く 分または時間 デプロイのイベントと監視のアラートに結合したインシデントの記録 インシデント管理、サービス継続管理 復旧までの時間、復旧の作業 失敗ごと、毎月レビュー
変更失敗率 是正が必要な失敗を引き起こした本番デプロイの割合 ホットフィックス、ロールバック、パッチ、インシデント対応が必要だったデプロイの数 ÷ その期間のすべての本番デプロイの数。失敗をそのデプロイに結び付ける規則は書き下され、毎回同じように適用される パーセント インシデント、ロールバック、ホットフィックスのデプロイに結合したデプロイのイベント 変更実現、インシデント管理 完了の定義、流出した欠陥 毎月
デプロイの手戻り率 本番デプロイのうち、ユーザーに見える問題を直すために計画外に行われたものの割合 本番の問題への対応として行われた計画外のデプロイの数 ÷ その期間のすべての本番デプロイの数。たまたま修正を含む計画されたデプロイは除く。「計画外」の規則は書き下される パーセント デプロイの理由でタグ付けされた、インシデントまたは欠陥のレコードに紐づくパイプラインのログ 変更実現、問題管理 計画外の仕事、計画外にリリースされたバグ修正 毎月

表についての二つの注記です。第一に、変更失敗率とデプロイの手戻り率は重なりますが、同じものではありません。チームが気づき、新しいデプロイなしにロールバックした失敗は変更失敗率に数えられますが手戻り率には数えられず、チームが予定した計画された修正は、どちらにも数えられません。第二に、研究はデプロイを単位とし、アプリケーションごとに数えるので、50のサービスを持つプラットフォームには、一組ではなく五十組の数字があります。

推奨事項

定義と時計から始める

1. 各メトリクスをグラフにする前に、1ページの定義を書く。 何がデプロイに当たるか、どの環境が本番か、リードタイムの時計がどこで始まるか、失敗をどうデプロイに結び付けるかを述べます。そのページをメトリクス台帳に置きます(トピック 1.4「メトリクスのガバナンスとオーナーシップ」を参照)。誰かの頭の中にだけある定義は、ツールやチームが最初に変わったときにずれていきます。

2. リードタイムの開始を選び、それを守る。 最も一般的な選択は、変更の最初のコミット、メインブランチへのマージ、チケットの作成です。最初のコミットはデリバリーのシステムを測り、仕事がバックログにあった時間を無視します。チケットの開始は顧客の待ちをより多く測りますが、優先順位付けが混ざります(トピック 2.2「リードタイム、サイクルタイム、フロー効率」を参照)。一つを一貫して使い、すべてのグラフにどれかを述べます。

3. 失敗を、述べた規則で帰属させる。 失敗がデプロイに帰属するのは、たとえば、デプロイ後の述べた窓内にインシデントが開き、その原因分析がその変更を指す場合、あるいはロールバックやホットフィックスがそれにタグ付けされている場合です。人が議論なしに適用できる規則を選び、毎四半期に事例を抽出してレビューし、傾向が見えるほど長く同じ規則を保ちます。

パイプラインから計装する

4. デプロイのイベントを、スプレッドシートではなくパイプラインから取る。 各本番デプロイをタイムスタンプ、バージョン、結果とともに記録するCI/CDシステムは、人手の入力なしに、デプロイ頻度とリードタイムの時計の停止を与えます。手入力の件数は遅く一貫性がなく、トピック 1.5「データソースと計装」で述べた遡及記録の問題を招きます。DORAチームのオープンソースのFour Keysプロジェクトは、これらのイベントの収集の実例の一つですが、同等の自前のパイプラインでも構いません。

5. インシデントの記録をデプロイに結合する。 失敗と復旧の測定値には、二つの情報源、デプロイのログとインシデントのツールが必要です。インシデントの記録に、「デプロイが原因」の欄とデプロイの識別子を加え、解決中に入力し、インシデント後のレビューで確認します(トピック 4.2「ポストモーテムと学習のメトリクス」を参照)。結合がなければ、変更失敗率は推測になります。

6. 各デプロイの理由にタグを付ける。 手戻り率には、計画されたデプロイと計画外の修正を分ける必要があります。「計画された変更」や「本番の問題への修正」のようなパイプラインの実行に付ける簡単なラベルで十分です。圧力の下で考えなくて済むよう、ラベルの一覧は短く保ちます。

数字を誠実に報告する

7. 単一の平均ではなく、分布と件数を報告する。 リードタイムと復旧時間の中央値と85パーセンタイルを、それぞれの背後の観測数とともに示します。デプロイが二つで失敗が一つの週は、変更失敗率が50パーセントになりますが、ほとんど何も意味しないので、パーセンテージの隣に件数を示し、率にはより長い窓を優先します(トピック 1.6「サービスメトリクスのための統計リテラシー」を参照)。

8. スループットと不安定性のグループを並べて示す。 三つのスループットのメトリクスと二つの不安定性のメトリクスを、サービスごとに、少なくとも四半期の傾向とともに一つのビューに置きます。失敗の測定値を隣に置かずにデプロイ頻度を公開してはいけません。リーダーが一つの数字を求めたら、単一のDORAスコアはないと説明し、代わりに二つのグループのビューを提供します。

9. 比較をチーム自身の履歴の中に保つ。 リードタイムの中央値を9日から5日に動かしたチームは、何かを学びました。異なるアーキテクチャ、規制負荷、リリーストレインを持つ別のチームと順位を付けても、ほとんど何も証明せず、両チームに自分の数字を守ることを教えます。ガバナンスのために集約しなければならないときは、ランキング表ではなく、サービス間のばらつきと改善の傾向を示します(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。

数字が記述するシステムを改善する

10. まずバッチの大きさを減らす。 小さな変更は、リードタイムを短縮し、失敗を診断しやすくし、ロールバックのコストを下げます。技法には、フィーチャートグル(feature toggle)、トランクベースの働き方、各インクリメントが単独で出荷できるような仕事の分割があります(トピック 2.7「プルリクエストとコードレビューのメトリクス」を参照)。リードタイムの隣に変更の大きさの中央値を追跡し、バッチが実際に縮んでいるかを見られるようにします。

11. 迅速な検出と迅速な巻き戻しに投資する。 復旧時間は、チームが失敗を数分で見られ、新しいビルドなしに変更をロールバック(roll back)またはオフにできるときに短くなります。カナリアリリース(canary release)、フィーチャートグル、自動ロールバックは、それぞれ失敗から復旧までの間隔を短縮します。デプロイから検出までの時間を別に測ります。遅い検出は復旧時間の数字の中に隠れるからです(トピック 3.3「インシデントの対応時間と解決時間」を参照)。

12. 数字を使って、改善する能力を選ぶ。 弱いメトリクスを一つ選び、なぜ弱いのかを問い、原因に対処する研究の能力一覧のプラクティス、たとえばテストの自動化、疎結合のアーキテクチャ、軽量な変更承認を選びます。その変更を四半期にわたって実行し、傾向を見ます。チームが改善を自分のものにするよう、実験をレトロスペクティブの議題と組みます(トピック 9.5「継続的改善のメトリクス」を参照)。

悪用の手口と防護柵

メトリクス 悪用のされ方 組になる防護柵のメトリクスまたはプラクティス
変更のリードタイム 最初のコミットではなくマージで始めるなど、時計の開始を遅らせる、長期ブランチへ早期にマージする、難しい変更を「コードではない」として除外する、中央値を引き下げるために些細な変更をパイプラインに流す パーセンタイルと仕掛かり作業の年齢。固定された書面の時計の開始。四半期ごとに最も遅い10パーセントの変更の抽出。変更の大きさの分布
デプロイ頻度 一つの変更を多数の些細なデプロイに分割する、変更のないビルドを再デプロイする、ステージングへのデプロイや空の設定変更を数える デプロイごとの変更の大きさ。ユーザーに見える変更を含むデプロイの割合。隣に変更失敗率と手戻り率
失敗したデプロイからの復旧時間 時計を遅く始める、インシデントを早くクローズする、部分的な修正の後に失敗を新しいインシデントとして再分類する、「失敗」の重大度のしきい値を上げる 述べた窓内の同じインシデントの再発。時計の開始を監視のアラートから取る。顧客が報告する影響の継続時間
変更失敗率 インシデントをデプロイに結び付けない、完全な障害を引き起こす失敗だけを数える、失敗が外に出るよう窓を広げる、前方修正して新しい変更と呼ぶ 毎四半期、インシデントの抽出をデプロイのログと照合してレビューする。デプロイとの結び付きが記録されたインシデントの割合を追跡する。デプロイの手戻り率
デプロイの手戻り率 修正を計画された仕事とラベルする、修正をスケジュールされたリリースにまとめる、修正を遅らせて修正のデプロイを避ける 追跡システムからの欠陥と流出した欠陥の件数。未解決の本番欠陥の年齢。デプロイの抽出でのタグの監査

健全な読みでは、リードタイムと復旧時間が低い水準で縮小または安定し、デプロイ頻度が小さな変更とともに安定または上昇し、失敗率と手戻り率が、信頼できるだけの件数をもって、横ばいまたは低下しています。疑わしい読みは、仕事に変化がないのにデプロイ頻度が急に跳ね上がる、失敗率が一か月でゼロに下がる、顧客の苦情が変わらないのに復旧時間が下がる、といったものです。どれも、祝う前に計器を見ることを求めます。

トレードオフ:長所と短所

手法 強み 弱み
サービスごとに五つすべてのDORAメトリクスを使う 研究に基づき、速さと安定性のバランスを取り、客観的なイベントから計算される きれいに結合するパイプラインとインシデントの記録が必要。仕事が価値あるものかについては沈黙している
デプロイ頻度とリードタイムだけを報告する パイプラインから集めやすい 速さだけを報い、安定性の測定値が捉えるまさにその悪用を招く
チームごとのローカルな定義を使う チームのアーキテクチャとリリースのスタイルに合う チームを比較できず、集約が信頼できない
組織全体で一つの定義を使う 一貫した報告。単純なガバナンス バッチウィンドウのあるメインフレームや規制対象のリリースなど、一部のシステムには合わない
公表されたパフォーマンスの帯に対してチームを比較する リーダーに位置の手早い感覚を与える 文脈を無視する。研究は、帯が各チームの目標ではないと警告している
チームの自己改善にメトリクスを使う オーナーシップを築く。誠実なデータを支える 単一のスコアを求めるリーダーには安心感が少ない

中心となる緊張は、比較可能性と誠実さの間にあります。数字がチームを判断するために使われるほど、データは曲がり、それを所有するチームの役に立たなくなります。まず改善を支えるためにメトリクスを使い、不完全な比較可能性を受け入れ、リーダーレベルのビューは傾向とばらつきに留めてください。規制対象の報告が標準的な定義を必要とする場合は、それを文書化し、チームレベルの改善のビューは別に保ちます。

チームで話し合う問い

1. 私たちの五つのDORAの数字のうち、イベントから来るものはどれで、誰かの記憶から来るものはどれか? 各メトリクスを情報源までたどります。人が日付を入力する、あるいは何かが失敗に当たるかを決める箇所を記録します。ファシリテーターは、手作業の手順を、数字をゆがめうる度合いで順位付けし、最初に自動化するものに合意するのを助けてください。

2. 私たちのリードタイムの時計は正確にどこで始まりどこで止まり、全員が合意しているか? 三人に、最後に出荷した変更について、時計の開始と停止を説明してもらいます。答えを比較します。違いは通常、最初のコミット、マージ、チケット、承認のステップの周りに現れます。一つの定義に合意して書き留め、選んだ定義がどんな待ち時間を隠すかを話し合います。

3. 私たちにとって何が失敗したデプロイに当たり、誰が決めるのか? 直近五件の本番インシデントを見ていき、それぞれがデプロイに属するかを尋ねます。意見の不一致が、規則の不明確な箇所を示します。設定変更、ロールバック、手早いパッチで直された失敗がどうなるかを話し合い、それぞれをどう記録するかを決めます。

4. 来四半期にデプロイ頻度が倍になったら、良い知らせと呼ぶ前に何を確認するか? グループに、価値をより多く届けずに数字が上がりうる方法を挙げてもらいます。変更の大きさ、ユーザーに見える変更を含むデプロイの割合、失敗率と手戻り率を見ます。ファシリテーターは、どの確認がすでにダッシュボードにあり、どれを加える必要があるかを記録してください。

5. これらの数字は、チーム外の人々にどう使われているか? 誰がそれをどんな形で見て、それで何をするかを尋ねます。他のチームとの比較、外部から設定された目標、個人の評価での使用に耳を澄ませます。チームが自分たちのデータを信頼できるようになるには、その使われ方の何が変わる必要があるか、誰にその変更を行う立場があるかを話し合います。

6. どの能力が私たちの最も弱い数字を最も改善し、試せる小さな実験は何か? 最も弱いメトリクスを選び、大きなバッチ、遅いレビュー、不安定なテスト、手作業のリリースの手順など、ありそうな原因を話し合います。原因を一つ選び、効果を見る方法を伴う4〜6週間の実験を設計します。結果をレビューする日と、データを持ってくる人に合意します。

四つの視点

プロダクトとデリバリーのチーム

デリバリーのチームは、これらの数字を動かす能力を所有します。小さな変更、自動テスト、速いパイプライン、互いの仕事をレビューする習慣です。メトリクスを自分たちのエンジニアリングのプラクティスの鏡として使い、自分たちの改善目標を設定し、単一の数字を上へ報告する圧力に抵抗するべきです。定義も決めるため、それを誠実に保つ責任を負います(トピック 2.7「プルリクエストとコードレビューのメトリクス」を参照)。

サービスと運用のチーム

運用チームは、失敗と復旧の測定値が依存するインシデントの記録を保持します。インシデントに原因となったデプロイのタグを付け、失敗を素早く検出する監視を提供し、失敗したデプロイごとのレビューに加わることで、デリバリーのチームを助けます。デリバリーの速さが、オンコールの負荷として自分たちが吸収する不安定性で買われていないかに注意し(トピック 5.7「トイルとオンコールのメトリクス」を参照)、復旧時間を減らすロールバックと検出への投資を求めるべきです。

リーダーシップとガバナンス

リーダーは、サービス間の傾向とばらつき、二つのグループのメトリクスを併せたもの、そしてその背後の改善の実験を求めるべきです。「毎日デプロイする」のような数字を固定する目標は避け、個人の評価でのメトリクスの使用も避けます。ガバナンスの組織は、プロセスが変わる中で安定性が安定していたかを示すことで、より軽い変更承認の経路が安全であることの証拠として、あるいはそれを再考する理由として、数字を使えます(トピック 4.4「変更の失敗と手戻り」を参照)。

顧客とユーザー

顧客がデプロイ件数を気にすることはまれです。気にするのは、修正や機能がどれだけ早く届くか、リリースが頼りにしているものをどれだけまれに壊すか、壊したときにサービスがどれだけ速く戻るかです。DORAメトリクスを、これらのアウトカムが起こりそうだという内部の証拠として使い、可用性や満足度などの顧客向けの測定値で補完します(トピック 5.3「可用性のメトリクス」とトピック 6.1「顧客満足度のメトリクス」を参照)。

実践:サービスマネジメントの例

中規模のオンライン小売業者が、プラットフォームチームとサービスデスクが支える、一つのプロダクトチームが所有するチェックアウトサービスを運営しています。以下の数字はすべて例示です。

チームは、週に約二回本番にデプロイし、リードタイム(最初のコミットから本番まで)は中央値で11日、85パーセンタイルで26日です。前四半期には、24回のデプロイのうち6回(25パーセント、例示)に、ロールバックやインシデントが続きました。それらの失敗の復旧時間の中央値は3時間でした。変更諮問委員会は毎週開かれ、チェックアウトサービスへのすべての変更をレビューします。

チームは計画を提案します。大きな変更を分割し、パイプラインに自動チェックを加え、新しい振る舞いをフィーチャートグルの裏に置き、チェックを通過する低リスクの変更を標準変更として事前承認するよう、委員会に求めます。変更マネージャーは慎重なので、チームは五つのメトリクスすべてを毎月報告し、失敗率が二か月連続で上がったら実験を止めることに合意します。

一四半期後、数字(例示)は、月あたり19回のデプロイ、リードタイムの中央値3日と85パーセンタイル8日、変更失敗率8パーセント、復旧時間の中央値40分、手戻り率5パーセントです。チームは満足し、地域のマネージャーが、チェックアウトチームのデプロイ頻度を他のプロダクトチームと比較し、共通の目標を設定することを求めます。

チームリードは、手戻りと失敗の内訳をレビューに持ち込み、悪用のリスクに気づきます。デプロイ頻度は、パイプラインが数える多数の小さな設定のデプロイに助けられていて、変更の大きさの中央値は、実際の仕事よりも速く縮んでいます。さらに悪いことに、先月の二件のインシデントが、パイプラインが「計画」とタグ付けして通常のデプロイとして記録した設定変更で直されており、手戻り率が過小になっていました。それらの二件のインシデントが元のデプロイに結び付けられていなかったため、変更失敗率の一部は良く見えていました。

判断ログに記録された決定は、四つの部分があります。設定のみのデプロイは別に数え、主な数字の隣に示す。デプロイの理由のタグを、毎月10回のデプロイの抽出で監査する。インシデントのツールは、原因が変更であるときデプロイの識別子を必須にする。チームは共通のデプロイ頻度の目標を断り、代わりに、各サービスの傾向と失敗率を示す共有のビューを提案する。変更マネージャーは、標準変更の事前承認を維持し、次の四半期末にレビューすることに合意します。

アジャイル、AI、自動化、アナリティクス

アジャイル

DORAメトリクスは、変更がどれだけ速く安全に本番に届くかを記述し、これは継続的デリバリーの実践的な中核です。よいプラクティスは、ステークホルダーとの定期的なレビューで速さと安定性の測定値を併せて読み、改善を一つ選ぶことです。注意点は、チームが変更を分割することでデプロイ頻度を水増しできることなので、変更の大きさと手戻りを見てください。

AI

AI支援のコーディングは、変更の量を増やしリードタイムを短縮しつつ、手戻りや失敗した変更を増やしうるものです。AI支援の変更とそれ以外の変更を、同じ安定性の測定値で併せて報告し、導入前後で、失敗したデプロイからの復旧時間とデプロイの手戻り率を比較してください。注意点は、AIに関するDORAの研究は発展途上なので、知見を引用する前に、現在公表されているレポートを確認することです。

自動化

何がデプロイで何が失敗に当たるかの明確な規則とともに、五つの測定値すべてを、パイプラインとインシデントのイベントから自動で計算します。パイプライン自体は、その失敗と不安定さで測ります。注意点は、自動化が、メールによる承認のように、パイプラインの外にある手作業の手順を隠しうることなので、実際の経路を一度マップしてください。

アナリティクス

平均だけでなく分布を報告し、チームを他のチームではなく、自分自身の過去と比較します。これが情報を与える判断は、デリバリーのシステムがどこで遅く、あるいは脆いかです。注意点は、チーム横断のランキング表が悪用を促し、数字が、デプロイと失敗のローカルな定義に依存することです。

業種別の視点

スタートアップ。 小さなチームは1日に何度もデプロイすることが多く、インシデントの記録は薄いため、デプロイ頻度とリードタイムは簡単ですが、失敗のデータはまだらです。まず、パイプラインですべてのロールバックとホットフィックスにタグを付け、デプロイの識別子付きの簡単なインシデントログを保つことから始めます。高い頻度が、失敗率を確認せずに安定性は問題ないと思わせてはいけません。

中小企業。 ホスト型のプラットフォームや外部の開発者は、ツールがほとんどないまま、毎月しかデプロイしないことがあります。数か月は数えられるものを手で数え、供給者にデプロイとインシデントの日付を書面で求め、リードタイムと失敗率に焦点を当てます。数字は、帯を追いかけるためではなく、継続的に届ける小さな変更がリスクを減らすかを判断するために使います。

大企業。 多くのチーム、いくつものリリースのスタイル、新旧のシステムの混在が、一貫した定義を難しくします。メトリクスごとに共通の最小限の定義に合意して公表し、チームが述べた理由とともに、より厳しいローカルな定義を加えることを認めます。平均ではなく、サービスごとのばらつきと傾向を示して集約し、チームレベルの詳細は、所有するチームとその支援グループにのみ見えるようにします。

政府・公共部門。 リリースのウィンドウ、監査の規則、調達の契約が、可能なことを形作り、一部のシステムは供給者が運用しています。メトリクスを計算できるよう、契約にデリバリーとインシデントのデータの権利を含めます。近代化プログラムが失敗率を上げずにリードタイムを短縮していることの証拠として数字を使い、結果が選別されないよう、すべてのメトリクスを併せて報告します(トピック 8.5「規制対応・行政向け報告」を参照)。

ビジネスケース:動機、ROI、TCO

動機は、本番を安定に保ちながら、アイデアからその使用までの時間を短縮することです。プログラムのコストには三つの部分があります。計装(パイプラインのイベント、デプロイのタグ、インシデントの結合)、レビューのルーチン(毎月の傾向の確認と、四半期ごとの失敗と手戻りの事例の抽出)、そして数字が指し示す改善の作業、たとえばテストの自動化や速いパイプラインです。最初の二つは控えめです。三つ目に本当の費用があり、それは測定ではなくエンジニアリングの能力に費やされます。

見返りは、数字が容易にする判断から生まれます。チームは変更委員会に小さな変更が安全であることを示して、承認のステップを廃止できます。プラットフォームのグループは、どのサービスのパイプラインが遅く、ロールバックが貧弱かを見て、投資先を決められます。運用チームは、より良い検出ツールのためにデータから主張できます。見返りは、コミットから本番までの時間、修正が必要なリリースの割合、リリースあたりのオンコールの負荷など、変更の前後で自分で観察できるパターンで説明してください。文脈が異なるため、他の組織のベンチマークの数字を期待される見返りとして引用するのは避けます。総保有コストは人の時間が支配的なので、メトリクスの集合を小さく保ち、収集を自動化してください(トピック 7.7「投資対効果とビジネスケース」を参照)。

アンチパターンと落とし穴

  • メトリクスを個人の成績表として扱う。 研究の基盤を壊し、データを腐らせる。サービスとチームのレベルでのみ報告する。
  • 「毎日デプロイする」や「リードタイム1日未満」のような目標を設定する。 目標がゴールに取って代わる。改善の方向と実験を設定し、数字はシグナルとして保つ。
  • チームを互いに、あるいは公表された帯と順位付ける。 文脈が異なり、悪用が続く。チームを自分の傾向と比較し、帯はゆるやかな方向づけとしてのみ使う。
  • 安定性なしに速さを報告する。 組が要点である。スループットと不安定性のグループを常に併せて示す。
  • 定義をずらす。 失敗、デプロイ、リードタイムの開始は、ツールとともに静かに変わる。定義へのすべての変更を理由とともに記録し、グラフに印を付ける。
  • 何でもデプロイとして数える。 設定のプッシュ、テスト環境へのリリース、同じビルドの再デプロイは、数を水増しする。本番デプロイを定義し、他の種類は別に示す。
  • 何が出荷されるかを無視する。 強い数字が、重要でない仕事を隠しうる。フローとアウトカムの測定値の隣で読む(トピック 2.9「運用作業と計画外作業」を参照)。
  • 能力ではなくメトリクスを追いかける。 リードタイムが最も確実に下がるのは、バッチが縮みテストが速くなるときである。プラクティスを改善し、数字をそれに従わせる。

成熟度モデル

観点 1 開始 2 発展 3 標準化 4 管理 5 協調
定義と時計 各人がデプロイと失敗を異なって定義する 少数のチームが定義を文書化している メトリクス台帳に、時計と除外を含む、メトリクスごとの書面の定義が一つある 定義の変更を記録してグラフに印し、毎四半期に抽出を確認する 判断に情報を与えなくなった定義を、供給者やガバナンスと共同で見直す
データの取得 チケットから手作業で件数を集める 一部のサービスにパイプラインのデータがあり、インシデントは手作業で紐づけられる デプロイ、理由、インシデントとの結び付きが、ほとんどのサービスで自動的に取得される データ品質(結び付きの率、タグの監査)を測り、傾向として追う イベントがチームと供給者の間で、合意したインターフェースを通じて共有される
数字の利用 単一のスコアとして上へ報告される チームが時折、自分たちのグラフを見る スループットと不安定性のグループを、所有するチームが毎月併せてレビューする 傾向が、防護柵付きで、予算の付いた改善の実験につながる ばらつきと傾向が、組織全体のプラットフォームへの投資と変更方針に情報を与える
悪用への防護柵 なし 非公式な認識 各メトリクスに組になる防護柵が列挙されている 防護柵と抽出をレビューし、悪用の事例を記録する チームとツールの変化に応じて、防護柵を継続的に調整する

チェックリスト

  • 五つのメトリクスが、時計、除外、従っているDORAのガイダンスの日付と版とともに、書面で定義されている。
  • 本番デプロイが、パイプラインによってタイムスタンプ、バージョン、結果とともに記録されている。
  • リードタイムの開始(最初のコミット、マージ、その他)が述べられ、一貫して適用されている。
  • インシデントに、原因となったデプロイの欄があり、解決中に入力されている。
  • 各デプロイに理由のタグがあり、毎月抽出して監査されている。
  • 時間が、件数とともに、中央値と高いパーセンタイルで報告されている。
  • スループットと不安定性のメトリクスが、サービスごとに併せて示されている。
  • 変更の大きさが、デプロイ頻度とリードタイムの隣に追跡されている。
  • 数字が、個人の評価やチームの順位付けに使われていない。
  • 名前付きのオーナーが毎月メトリクスをレビューし、定義へのあらゆる変更を記録している。
  • 最も弱いメトリクスに結び付いた改善の実験が一つ、レビュー日とともに進行している。

AIプロンプト

五つのメトリクスの1ページの定義集を書く。

[サービスまたはアプリケーション名] のDORAのソフトウェアデリバリーのメトリクスを定義しています。ツールは [バージョン管理のホスト、CI/CDシステム、インシデントのツール、ITSMツール] です。リリースのスタイルは [継続的、毎週、毎月、その他] です。変更のリードタイム、デプロイ頻度、失敗したデプロイからの復旧時間、変更失敗率、デプロイの手戻り率について、時計がどこで始まり止まるか、何を数え何を除外するか、データソース、曖昧さのリスクを一つ含む定義を起案してください。ベンチマークの値を捏造したり、私たちのプラクティスが公表されたパフォーマンスの帯に合うと主張したりしないでください。前提と、定義を仕上げるために私が答えるべき問いを列挙してください。

メトリクスの集合の悪用リスクを確認する。

現在のデリバリーのメトリクスの計算方法は次のとおりです:[各メトリクス、データソース、報告方法の説明]。読み手は [チーム、リーダーシップ、ガバナンスの組織] です。各メトリクスについて、実際の改善なしに数字が水増し、隠蔽、歪曲されうるもっともらしい方法を列挙し、それを捉える組になる防護柵のメトリクスまたはプラクティスを提案してください。統計を捏造しないでください。前提と、より正確にするために必要な情報を列挙してください。

デプロイとインシデントのデータのエクスポートを分析する。

[数] 件の本番デプロイと [数] 件のインシデントの小さなエクスポートを、次の項目とともに貼り付けます:[項目の一覧。例:デプロイのid、タイムスタンプ、結果、理由のタグ、インシデントid、開始時刻、解決時刻、デプロイとの結び付き]。復旧時間の中央値と85パーセンタイル、変更失敗率、手戻り率を、それぞれの背後の件数とともに計算してください。結び付きの欠落や疑わしいタイムスタンプのあるレコードに印を付けてください。データを超えて外挿したり、結果を外部のベンチマークと比較したりしないでください。前提と、結論を制限するデータ品質の問題を列挙してください。

改善の実験を計画する。

最も弱いデリバリーのメトリクスは [メトリクス名] で、現在 [報告された値、期間と件数付き] です。チームが議論した可能性のある原因は [一覧] です。制約は [制約。例:規制対象のリリース、共有のテスト環境] です。それぞれ仮説、効果を観察する方法、防護柵のメトリクス、リスクを伴う、4〜6週間の小さな実験を三つ提案してください。期待される改善の数字を捏造しないでください。前提と、開始前に確認すべきことを列挙してください。

AIスキル

要点

  • DORAメトリクスはソフトウェアデリバリーの五つの測定値で、三つがスループット、二つが不安定性であり、一つのサービスについて併せて読むのが最も有用である。
  • 失敗とリードタイムの開始は判断を要するので、書面の定義とともに、パイプラインとインシデントのイベントから計算する。
  • デリバリーのシステムについて学ぶために使い、チームを自分自身の履歴と比較し、人やチームの順位付けには決して使わない。
  • 中央値、高いパーセンタイル、件数を報告し、すべてのメトリクスを、悪用を捉える防護柵と組にする。
  • 小さなバッチ、迅速な検出、容易なロールバックのような根底にある能力を改善し、数字をそれに従わせる。
  • 従っているガイダンスの版と日付を述べる。定義は時間とともに洗練されてきたからだ。

参考文献とさらなる読書

  1. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  2. DORA, DORA's software delivery performance metrics, Google Cloud, https://dora.dev/guides/dora-metrics/
  3. DORA, DORA research program, Google Cloud, https://dora.dev/research/
  4. DORA, Four Keys project, https://github.com/dora-team/fourkeys
  5. Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 2021.
  6. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  7. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  8. Wikipedia, DevOps Research and Assessment.
  9. Wikipedia, Accelerate (book).
  10. Wikipedia, Continuous delivery.
  11. Wikipedia, ITIL.
  12. Wikipedia, Goodhart's law.
  13. Wikipedia, CI/CD.
  14. Wikipedia, Feature toggle.
  15. Wikipedia, Rollback (data management).
  16. Wikipedia, Canary release.