概要と動機

稼働中のサービスへのすべての変更には、状況を悪化させるある程度の可能性があります。実際的な問いは、それがどのくらいの頻度で起きるか、どれだけの計画外の仕事を生むか、チームがどれだけ素早く回復するかです。このトピックは、それらに答える測定値を扱います。失敗する変更の割合、緊急の経路を必要とする割合、ロールバックとホットフィックスの率、悪い変更の後に続く手戻り。また、この主題の最も地味な部分、つまり何が失敗に当たるかに合意することも扱います。

まず用語です。ITIL 4では、変更実現と呼ばれるプラクティスが、サービスに影響しうるもののあらゆる追加、修正、削除を扱います。したがって変更(change)は、コードのデプロイより広く、設定の編集、証明書の更新、ファイアウォールの規則、データベースの移行を含みます。標準変更は事前承認された低リスクのもの、通常変更は評価を経るもの、緊急変更は、通常、サービスの復旧や重大な脆弱性の解消のために、緊急に行われるものです。デプロイ(deployment)は、ソフトウェアのあるバージョンを環境に置く行為で、リリース(release)はある機能をユーザーが利用できるようにします。フィーチャートグル(feature toggle)を使うチームは、リリースせずにコードをデプロイできます(トピック 4.5「リリースとデプロイのメトリクス」を参照)。

変更の失敗(change failure)とは、サービスの劣化につながる、あるいは是正を要する変更です。是正にはいくつかの形があります。ロールバック(rollback)は、システムを以前の状態に戻します。ホットフィックス(hotfix)は、通常のリリースのリズムの外で適用される緊急のパッチです。前方修正は、壊れた変更の上に新しい変更を出荷します。手戻り(rework)は、完了しているはずだったものをやり直す、あるいは修復するのに費やす計画外の労力です。小さな変更が頻繁に本番へ流れる継続的デリバリー(continuous delivery)の環境では、これらの測定値が、速さが安定性を犠牲にしているかについての主な証拠です。

二つの伝統は、同じ出来事を異なって見ます。ITILの見方は変更レコードを中心に組織されています。変更は承認されたか、成功したか、アウトカムは記録されたか。紙の上で成功した変更も、1時間後にインシデントを引き起こすことがあります。アジャイルの見方は、作業アイテムとデプロイを中心に組織されています。チームの完了の定義は保たれたか、変更がまもなく計画外の仕事を生んだか。どちらの見方も、単独では完全ではありません。DORAプログラムの背後の研究は、変更失敗率とデプロイの手戻り率を、スループットの測定値の隣の二つの「不安定性」の測定値として扱います(それらをプログラムの水準で定義するトピック 2.8「DORAメトリクス」を参照)。このトピックは、仕組みをさらに深く扱います。失敗をどう定義するか、インシデントをどう変更に結び付けるか、緊急の仕事をどう数えるか、数字がどう悪用されるか。

最初から警告が当てはまります。これらの測定値は、チーム、サービス、パイプラインを記述します。人は決して記述しません。個々のエンジニアに結び付けた変更失敗率は、人々にリスクのある価値ある仕事を避け、数が良く見えるまで変更を分割し、問題の報告をやめることを教えます(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。「失敗が少ない」ことは、失敗の記録を減らすことで簡単に達成できるため、グッドハートの法則(Goodhart's law)はここで特に強く働きます。

インシデントのタイミングはトピック 3.3「インシデントの対応時間と解決時間」に、最悪のインシデントはトピック 3.4「重大インシデントのメトリクス」に、承認のフローと標準変更の割合はトピック 4.3「変更実現のメトリクス」に、根本原因はトピック 4.1「問題管理のメトリクス」に、書面のレビューはトピック 4.2「ポストモーテムと学習のメトリクス」に属します。

主要な原則

  • 失敗には、書面の定義が一つ要る。 事例ごとに決めるチームは、傾向も比較もできない数字を作り、定義についての議論が仕事についての議論に取って代わる。
  • 失敗は、その変更にたどれなければならない。 インシデント、ロールバック、ホットフィックスと、それを引き起こした変更との間の記録されたリンクがなければ、失敗率は推測である。
  • すべての是正の経路を数える。 ロールバック、ホットフィックス、前方修正、手作業の回避策は、同じ出来事への四つの経路である。その一つだけを数えるメトリクスは、チームに別の経路を選ぶことを報いる。
  • 失敗を速さと復旧の隣で読む。 単独の変更失敗率は、変更を減らすことで改善できるが、それが目標であることはまれである。リードタイム、デプロイ頻度、復旧時間と組にする。
  • 小さな標本には、パーセンテージだけでなく件数が要る。 月に八つの変更で一つの失敗があるチームの失敗率は12.5パーセントで、ほとんど何も語らないので、件数を示し、より長い窓を使う(トピック 1.6「サービスメトリクスのための統計リテラシー」を参照)。
  • 緊急は罪ではなく、シグナルである。 安定して説明される緊急変更の割合は通常のことである。上昇する割合は、通常、上流の品質、計画、検出の問題を指す。

メトリクスの定義

失敗と手戻りの測定値は、変更レコード、デプロイのログ、インシデントのツールの結合に依存します。以下の各定義は、何を数え、何を除き、時計がどこで始まり止まるかを述べています。チームは、定義をメトリクス台帳にコピーし、述べた理由とともに調整するべきです。

メトリクス 定義 計算式 単位 データソース ITILプラクティス アジャイルの対応物 頻度
変更失敗率 本番への変更のうち、サービスの劣化を引き起こす、あるいは是正を要するものの割合 失敗の窓内にロールバック、ホットフィックス、前方修正、紐づけられたインシデントを必要とした変更 ÷ その期間に完了したすべての本番への変更。窓は変更の完了で始まり、固定の日数(たとえば7日)の後に止まる。窓の長さはメトリクス台帳に書く。まだ窓の内側にある変更は別に報告し、窓が閉じるまで率から除く パーセント インシデントのツールとホットフィックスの一覧に結合した変更レコードまたはデプロイのログ 変更実現、インシデント管理 完了の定義、流出した欠陥 毎月。90日のローリング窓
緊急変更の割合 緊急の経路で行われた変更の割合 緊急として記録された変更 ÷ その期間に完了したすべての変更。緊急とは、通常の評価が緊急性のために省略または短縮されたことを意味する。事前承認された標準変更は、両方の数から除く パーセント 変更レコードの種類の欄 変更実現 計画外の仕事と緊急のサービスクラス 毎月
ロールバック率 以前のバージョンに戻された変更の割合 本番に達した後に戻された変更 ÷ その期間のすべての本番への変更。どのユーザーにも届く前に行われたロールバック(たとえば最初の段階で止められたカナリア)は、別に数える パーセント デプロイのログとリリースツール リリース管理、デプロイ管理 パイプラインとリリースの実践 毎月
ホットフィックス率 通常のリリースの流れの外で適用された緊急のパッチである変更の割合 ホットフィックスとしてタグ付けまたはブランチされた変更 ÷ その期間のすべての本番への変更。分母にはホットフィックス自体が含まれる パーセント バージョン管理のブランチまたはタグとデプロイのログ 変更実現、インシデント管理 計画外の仕事、緊急対応 毎月
デプロイの手戻り率 デプロイのうち、以前のデプロイの問題に対する計画外の修正だったものの割合 同じ失敗の窓内で、最近の以前のデプロイの欠陥や失敗を直す本番へのデプロイ ÷ その期間のすべての本番デプロイ。ロードマップからの計画されたフォローアップの仕事は除く パーセント 「修正」のリンクまたはタグを持つデプロイのログと、作業追跡システム 変更実現、継続的改善 手戻り、流出した欠陥、失敗需要 毎月
変更とインシデントのリンク率 解決されたインシデントのうち、変更が原因かどうか、またどの変更かを記録しているものの割合 「変更が原因」の欄(はい/いいえ、はいの場合は変更の識別子)が完了しているインシデント ÷ その期間に解決されたインシデント。時計はインシデントがクローズされたときに止まる パーセント インシデントのツールと変更レコード インシデント管理、変更実現 インシデント後のレビュー、完了の定義 毎月
失敗の定義の一致 変更の抽出が失敗したかについての、二人のレビュー担当者の一致 書面の定義を使って、二人の独立したレビュー担当者が同じ失敗の判断に達した抽出した変更 ÷ 抽出した変更。毎四半期に無作為に引く少なくとも20件の変更の抽出 パーセント メトリクス台帳とともに保つ抽出レビューのシート 継続的改善、測定とレポート レトロスペクティブ 四半期ごと

表についての二つの注記です。失敗率と手戻り率は重なりますが異なります。新しいデプロイなしに戻された失敗は、失敗率に数えられ、手戻り率には数えられません。また、単位は、インシデントではなく、変更またはデプロイです。一つの変更が三つのインシデントを引き起こすことがあり、一つのインシデントが三つの変更から来ることがあるからです。

推奨事項

データを集める前に、失敗の定義を書く

「失敗した」が何を意味するかに合意し、メトリクス台帳に置く。 実用的な定義は、変更が、完了後の述べた窓内に、ロールバックされた、ホットフィックスや前方修正を要した、あるいは述べた重大度以上のインシデントに紐づけられた場合に失敗した、というものです。窓(7日がよくある値で、正しい値はサービスがどれだけ早く問題を示すかに依存する)、インシデントの重大度のしきい値、争いのある場合に誰が決めるかを述べます。障害なしにパフォーマンスを劣化させた変更のような扱いにくい例を含め、少なくとも五つの実例を書き留めます。毎年定義を見直し、規則が動いたときに傾向線を再計算できるよう、変更を理由とともに記録します。

インシデントのレコードで、失敗を変更にリンクする

インシデントのレコードに必須の欄を加える。変更が原因かどうか(はい/いいえ)、はいの場合は変更の識別子。 欄は解決の間に完了され、インシデント後のレビューで確認されるべきです(トピック 4.2「ポストモーテムと学習のメトリクス」を参照)。リンク率を独自のメトリクスとして追跡します。インシデントの半分しかこの欄を持たないなら、失敗率は未知の量だけ真実を過小に示すので、数字の隣にそう述べます。可能なところでは最初の推測を自動化し、たとえばインシデントが始まる前の数時間に影響を受けたサービスで完了した変更を列挙し、人に確認させます。

一つの経路だけでなく、すべての是正の経路を数える

複数のシグナルから一つの失敗を定義する。 ロールバックはデプロイのツールから、ホットフィックスはバージョン管理またはリリースログから、前方修正は「修正」のリンクから、インシデントはインシデントのツールから取り出し、変更ごとに重複を排除します。ロールバックだけを数えるチームは、前方修正に切り替えた日に失敗が消えるのを目にします。ミックスが物語を語るため、各経路を別の内訳としても保ちます。多くのホットフィックスと少ないロールバックは、ロールバックが難しいことを示唆し、それ自体が直す価値のあることです。

緊急変更の割合を、スコアではなく問いとして扱う

緊急変更を、目標ではなくグループとしてレビューする。 毎四半期、そのすべてを読み、理由を分類します。サービスの復旧、脆弱性の解消、遅れて来た事業の要求、計画の手順の見逃し、通常の仕事には遅すぎた承認の経路。最後の二つはシステムの問題で、人々が迂回する必要がないよう、標準の経路を改善して直すべきです(トピック 4.3「変更実現のメトリクス」を参照)。真の緊急事態は起きるので、ゼロの割合は疑わしいものです。着実に上がる割合は、問題レコードに値します(トピック 4.1「問題管理のメトリクス」を参照)。

手戻りを失敗需要として測る

手戻りを、以前の失敗が生む仕事として追跡する。 失敗需要の考え方は、サービスデザインに由来します。最初から正しく行われなかったために存在する需要です。デリバリーの言葉では、唯一の目的が最近の変更を直すことであるデプロイと作業アイテムを数えます。これは、計画された仕事と計画外の仕事の分割に直接結び付きます(トピック 2.9「運用作業と計画外作業」を参照)。手戻りに費やしたキャパシティの割合を、プロダクトオーナーとの対話のきっかけとして使います。抽象的な率を、次に何に取り組むかのトレードオフに変えるからです。

率を、件数、分布、窓とともに報告する

パーセンテージの隣に件数を示し、ローリング窓を使う。 10回デプロイするチームの月次の失敗率はノイズが多いものです。ローリング90日の窓を使い、率の背後にある変更と失敗の数を示し、不確かさのおおよその目安を示します(トピック 1.6「サービスメトリクスのための統計リテラシー」を参照)。復旧については、平均ではなく、失敗から復旧までの時間の中央値と85パーセンタイルを示します。サービスの変更が非常に少ないときは、率の代わりに、実際の失敗の一覧で物語を語ります。

失敗を速さと組にして、改善がどちらにも隠れられないようにする

変更失敗率を、常にリードタイムとデプロイ頻度の隣に表示する。 失敗率が下がると同時にデプロイ頻度が急に下がり、リードタイムが伸びるなら、チームは変更をまとめている可能性があり、それが各変更のリスクを上げます。速さが上がっても失敗率が安定しているなら、システムは変更がうまくなっています。この組は、悪用に対する、またデプロイが少ないほど安全だという心地よい信念に対する、主な防御です(トピック 2.8「DORAメトリクス」を参照)。

数字を使って、変更そのものを改善する

失敗のデータを、エンジニアリングの実験に変える。 失敗した変更の共通の特徴を見ます。大きさ、時間帯、種類、関わった人数、共有コンポーネントに触れたか、テストカバレッジが薄かったか。それから、より小さなバッチ、リスクのある領域の自動回帰テスト(regression testing)、次のリスクのある変更のカナリアリリース(canary release)、デプロイとリリースを分けるフィーチャートグルのような、小さく元に戻せる実験を一つ試します。完全な窓の後に再測定します。狙いはより良い変更であり、改善したメトリクスは単なる証拠です。

非難なきフォーラムで、メトリクスを一緒にレビューする

失敗した変更の月次のレビューを、それを行った人々と開く。 議題は三つです。件数と傾向、研究のために選んだ二、三の失敗した変更、オーナー付きの一つの改善アクション。人々が当時知っていたことを説明できるよう、非難なきレビューの実践を使います。レビューのメモをメトリクスとともに公開します。数字の使われ方のために人々が失敗の報告をためらうなら、他の何かを変える前にそれを直します(トピック 11.3「恐れを生まずにメトリクスを展開する」を参照)。

悪用の手口と防護柵

メトリクス 悪用のされ方 組になる防護柵のメトリクスまたはプラクティス
変更失敗率 失敗の窓を狭める、インシデントを変更にリンクしない、悪い変更を「サービスリクエスト」や「メンテナンス」に分類する、前方修正して新しい変更と呼ぶ、一つの失敗がすべてをカバーするよう多くの編集を一つの変更にまとめる 変更とインシデントのリンク率。インシデントの一覧に照らした四半期ごとの抽出監査。失敗の定義の一致。リードタイムとデプロイ頻度をその隣に
緊急変更の割合 偽のリスク評価で、緊急の仕事を標準の経路に通す、承認を避けるために通常の仕事を緊急として通す、一つの緊急を複数の通常変更に分割する すべての緊急変更の四半期ごとの読み取り。理由を分類してレビューする。標準変更の割合と承認のリードタイム(トピック 4.3「変更実現のメトリクス」を参照)
ロールバック率 ロールバックの記録を避けるために前方修正する、壊れたバージョンを稼働させ続ける、戻すものがないよう変更を本番から遠ざける その隣にホットフィックス率と手戻り率。復旧時間の分布。デプロイのログに照らしたインシデントの抽出
ホットフィックス率 ホットフィックスにタグを付けない、通常のブランチで通す、ホットフィックスを「小さな改善」と呼ぶ デプロイの手戻り率。ブランチとタグの監査。計画外の仕事の割合(トピック 2.9「運用作業と計画外作業」を参照)
デプロイの手戻り率 修正を元のデプロイにリンクしない、修正を「計画済み」とラベルする、修正を新機能とまとめる 是正のデプロイに必須の「修正」のリンク。計画済みとラベルされたデプロイの抽出レビュー。その隣に変更失敗率
変更とインシデントのリンク率 確認せずに欄を「いいえ」で完了する、欄を既定で「いいえ」にさせる、割合を上げるためにインシデントを一括でクローズする インシデント後のレビューで「いいえ」の答えを抽出して確認する。既定値なし。抽出に対するレビュー担当者のコメント
失敗の定義の一致 抽出に簡単な例を選ぶ、測定される人自身がレビュー担当者になる、全員が合意するよう定義を緩める チーム外の人が引く無作為抽出。意図的に境界事例を含める。意見の相違を公開し、定義を直す

健全な読みは、このようなものです。失敗率はチームが理解し説明できる範囲にあり、リンク率は失敗率を信頼できるほど高く、緊急変更は少なく説明され、ロールバックとホットフィックスは短くリハーサルされています。失敗は素早く報告され、非難なしに議論されます。低いリンク率、下がるデプロイ頻度、増えるバッチの大きさを伴う不自然に低い失敗率は、成功ではなく警告です。急な改善は、祝う前に、まず計器を確認する促しとして扱ってください(トピック 1.5「データソースと計装」を参照)。

トレードオフ:長所と短所

手法 強み 弱み
失敗の厳格で自動化された定義 一貫して、繰り返しが安く、傾向を追いやすい 微妙な劣化を見逃す。無害なロールバックを失敗として数えうる
各変更の判断に基づくレビュー 文脈と重大度をとらえる 遅く、主観的で、圧力とずれに弱い
長い失敗の窓(数週間) 遅れて現れる失敗をとらえる 原因と結果がぼやける。最近の変更はまだ報告できない
すべての是正の経路を数える 経路を切り替えても悪用しにくい 複数のデータソースの慎重な結合が要る

自動化された定義を土台とし、人による抽出レビューを加え、他の何かを作る前に、変更とインシデントの間の結合を改善してください。

チームで話し合う問い

1. ここで何が失敗した変更に当たり、私たちのうち二人が同じ変更について意見が分かれることはあるか? 最近の変更を五つ取り、各自に失敗したかを投票してもらいます。票と理由を比較します。意見の相違は、書面の定義が薄い箇所を示します。障害のないパフォーマンスの低下のような扱いにくい事例の規則に合意し、例とともに書き留めます。

2. どのインシデントが変更によって引き起こされたかを、どうやって知るか? 現在、リンクがどう記録され、誰が入力するかを尋ねます。最近のインシデントを十件レビューし、変更が紐づいているものがいくつで、いくつ紐づいているべきかを見ます。欄が任意か、既定が「いいえ」か、誰が確認するかを話し合います。ファシリテーターは、既定値のない必須の欄のような、レコードへの具体的な改善を目指してください。

3. 私たちはどの是正の経路を使っていて、そのすべてが数えられているか? ロールバック、ホットフィックス、前方修正、手作業の回避策、フィーチャートグルのオフを列挙します。それぞれについて、出来事がどこに記録され、失敗率に供給されるかを尋ねます。痕跡を残さない経路に注意します。チームが好む経路こそが、メトリクスに見えないものであることを、議論はしばしば明らかにします。

4. 最後の緊急変更はいつで、避けられたか? 直近の三、四件を見ていきます。それぞれを何が緊急にし、何が前から分かっていたか、より良い標準の経路がどんなものだったかを尋ねます。真の緊急事態を、遅れた発見や遅い承認から分けます。緊急の繰り返される理由を取り除く、通常の経路への修正を一つ決めます。

5. 私たちの週のどれだけが最近の変更を直すことに費やされているか? 記憶ではなく追跡システムを使って、直近四週間に手戻りに費やしたキャパシティの割合を見積もります。見積もりを追跡システムと比較します。その数字が計画された仕事にどれだけかかっているか、プロダクトオーナーがそれをどう使うかを話し合います。失敗のパターンを一つ、それを減らす実験を一つ選びます。

6. 来四半期に失敗率が半分になったら、私たちはそれを信じるか? 見出しを想像し、他に何が真でなければならないかを尋ねます。リンク率が安定、デプロイ頻度が一定、復旧が素早い、「メンテナンス」の新しい区分がない。これらの確認のうち、チームがすでに行っているものと欠けているものを話し合います。急な改善が祝われる前にどう調査されるかに合意します。

四つの視点

プロダクトとデリバリーのチーム

デリバリーのチームは変更を所有するので、失敗の定義と修正を所有します。仕事から始めます。レビューで失敗した変更を見て、共通の特徴を見つけ、より小さなバッチ、より良いテスト、トグルを試します。手戻りをボードの一部として追跡し、計画外の修正が計画された仕事の隣に見えるようにします。数字はチーム自身の学びのために保ち、個人レベルのデータの共有には抵抗します。メトリクスがリーダーに示されるなら、チームはその中のあらゆる変更を説明できるべきです。

サービスと運用のチーム

運用チームは、変更の結果をインシデントのキューに見て、インシデントと変更の間のリンクを維持するのに最も適しています。必須の欄を加え、解決のステップで確認し、結果を非難なしにデリバリーのチームにフィードバックできます。運用はまた緊急の経路を所有し、その使用をレビューするべきです。復旧の経路についての情報を共有し、デリバリーのチームとともにロールバックをリハーサルします。失敗のコストを削減する最良の方法は、変更を元に戻せるものにする共有の習慣だからです(トピック 3.3「インシデントの対応時間と解決時間」を参照)。

リーダーシップとガバナンス

リーダーは、サービス別の傾向、二種類の不安定性の測定値と速さを併せたもの、その背後の改善の実験を求めるべきです。「失敗率5パーセント未満」のような固定の目標は、再定義を招くので避け、個人の評価での数字の使用も避けます。ガバナンスの組織は、統制が緩められる間も失敗と復旧が安定していたかを確認することで、より軽い承認の経路が安全かの証拠としてデータを使えます。緊急変更の上昇傾向は、オンコールのエンジニアを責めるのではなく、計画と承認の設計を見るシグナルです。

顧客とユーザー

顧客は失敗率を気にしません。気にするのは、更新の後にサービスが壊れるか、どれだけ素早く戻るかです。失敗のデータは、誠実なコミュニケーションを支えます。リスクのある変更の事前の知らせ、変更がトラブルを起こしたときの明確なステータスのメッセージ、学ぶことへの目に見えるコミットメント。ユーザーが重要なタスクでサービスに依存しているところでは、メンテナンスのウィンドウとロールバックの期待を事前に彼らと合意します(トピック 3.4「重大インシデントのメトリクス」を参照)。

実践:サービスマネジメントの例

地域のヘルスケア事業者のIT部門が、患者のスケジューリングサービスを運営しています。七人のプロダクトチームが週に数回変更をリリースし、五人の運用チームがインシデントと変更のプロセスを担当しています。この例の数字はすべて例示です。

一四半期にわたり、月次レポートは変更失敗率4パーセントを示し、前の四半期の11パーセントから下がっています。最高情報責任者は満足します。プラットフォームのリードは納得していません。オンコールのチームが、夜は良くなっていないと言うからです。彼女は、チームにメトリクス台帳の抽出監査を実施するよう頼みます。

監査では、30件の変更を無作為に取り、二人のレビュー担当者が書面の定義を適用します。30件の判断のうち24件で一致し、失敗の定義の一致は80パーセント(例示)です。次に、抽出をインシデントの一覧と比較します。その四半期に解決された22件のインシデントのうち、「変更が原因」の欄を持つのは9件だけで、リンク率は41パーセントです。他の13件を手で読むと、レビュー担当者は、変更の1日以内に始まったものを5件見つけます。修正された件数により、失敗率は約9パーセントに上がり、監査は数字が良く見えた理由を見つけます。修正を「メンテナンス」というラベルでデプロイする新しい習慣で、レポートはそれを分母と分子の両方から除外していたのです。

悪用のリスクはそのラベルで、誰も計画していませんでした。チームは、失敗が懸念されていると言われ、「メンテナンス」は対話を避けられたのです。チームは三つの決定を下します。「変更が原因」の欄は既定値なしの必須となり、インシデント後のレビューで確認されます。「メンテナンス」のラベルは廃止され、是正のデプロイは直す変更へのリンクを持たなければならず、それが手戻り率に供給されます。失敗の定義は、障害を起こさなかったクエリの遅さのリグレッションを含む六つの実例とともに書き直されます。

次の四半期は、再計算された失敗率8パーセントとリンク率90パーセント(例示)を示します。リーダーシップのレポートは今、リードタイムの隣に、件数、リンク率、手戻り率を示し、最高情報責任者は単一のパーセンテージを引用するのをやめます。

アジャイル、AI、自動化、アナリティクス

アジャイル

頻繁な小さな変更は、失敗を安く、追跡しやすくし、チームはステークホルダーと定期的にそれらをレビューします。注意点は、失敗が罰せられるなら、人々はそれを申告しなくなることです。

AI

AI支援の変更は、速く見えながら量と手戻りを上げうるものです。AI支援の仕事の失敗した変更と手戻りを、他の仕事と同じ定義で報告し、データに印を付けます。注意点は、AI支援の仕事とそれ以外を比較するには、変更の種類が異なりうるため、注意が必要なことです。

自動化

変更、デプロイ、インシデントを識別子で自動でリンクし、リンク率を測ります。自動ロールバックは、成功と副作用で測ります。注意点は、壊れたリンクが、失敗率を実際より良く見せることです。

アナリティクス

失敗の定義を一度述べ、リンクを手で抽出します。これが情報を与える判断は、変更の実践をどこで強化する必要があるかです。注意点は、少数の変更に対する率は大きく振れるため、件数を示すことです。

業種別の視点

スタートアップ。 変更は小さく頻繁で、チームはすべての失敗を暗記していることがよくあります。定義を一段落に保ち、デプロイのツールでロールバックとホットフィックスにタグを付け、毎週のレトロスペクティブで失敗をレビューします。20件の変更の失敗率はノイズが多いため、失敗の一覧を主な証拠にします。リスクは非公式さです。書面の定義がなければ、率は数える人によって動きます。

中小企業。 同じ人々がデプロイ、運用、サポートを行うので、手戻りは計画された仕事と直接競合します。すでに使っているツールに失敗を記録し、インシデントのレコードに必須の欄を加え、緊急変更を毎四半期レビューします。数字を改善するためだけに重い承認を課すのは避けます。共有のロールバックのチェックリストは、変更委員会よりも価値があります。

大企業。 多くのチーム、供給者、ツールは、多くの定義を意味します。チーム間で失敗の定義とリンクの欄を標準化し、メトリクスのカタログに公開し、集約する前にサービスごとに率を計算します。抽出した監査を使って乖離を見つけ、各供給者の変更レコードを、独自の質を持つもう一つの情報源として扱います(トピック 1.5「データソースと計装」を参照)。集約がチームのランキング表にならないよう注意します。

政府・公共部門。 変更レコードは監査と説明責任に役立ち、ロールバックは法令、調達、共有のプラットフォームによって制約されることがあります。正式な記録を保ち、その一部として失敗のリンクを加えます。重要なサービスでの単一の失敗が不釣り合いな注目を集めうるため、件数と文脈とともに、監督機関に数字を慎重に説明します。データを使って、失敗と復旧が安定していた証拠とともに、低リスクの変更に対するより軽い経路を正当化します。

ビジネスケース:動機、ROI、TCO

動機は、失敗した変更のコストです。インシデントの仕事、手戻り、遅れるロードマップのアイテム、ユーザーの信頼の喪失。多くの組織は、労力のどれだけが最近の変更の修復に向かっているかを言えず、手戻りの測定値が最初の誠実な答えを与えます。間接的な便益もあります。変更が安全であることを示せるチームは、より軽い承認を擁護でき、それがリードタイムを短縮します。DORAの研究は、重い外部承認と弱いデリバリーのパフォーマンスの間の関連を報告しており(トピック 4.3「変更実現のメトリクス」を参照)、失敗のデータは、チームがその主張を自分自身の履歴に照らして試す手段です。

土台があれば、収集のコストは控えめです。インシデントのレコードの必須の欄、タグ付けされた是正のデプロイ、三つのデータソースの結合、月次のレビュー。より大きなコストは注意です。誰かが定義を所有し、監査を行い、所見に基づいて行動しなければならないからです。定義とリンクが手作業で機能する前にツールを買うのは避けてください。

見返りは、繰り返される失敗の減少、より短い復旧、計画外の仕事の減少、ガバナンスとのより良い対話として現れます。パーセンテージを約束してはいけません。代わりに、自分たちのベースラインを見積もります。一四半期に変更に紐づく手戻りとインシデント対応に費やした時間を数え、通常の社内の単価で値付けし、改善の後に比較します。前提を述べ、結果を単一の数字ではなく範囲として報告します。プログラムのコストと、重要なサービスでの一回の深刻な失敗のコストと比較してください。

アンチパターンと落とし穴

  • 失敗率に目標を設定する。 再定義と隠れた失敗を招く。代わりに、すべてのレビューを完了し、すべての是正アクションをクローズするといった学びの目標を設定し、傾向のために率を見る。
  • 失敗でチームや人に順位を付ける。 報告を壊し、リスクのある価値ある仕事を引き受けるチームを罰する。チームを自分の過去と比較し、文脈を話し合う。
  • インシデントだけを失敗として数える。 早く捉えられてロールバックされた失敗は消える。すべての是正の経路を含め、インシデントは複数のシグナルの一つとして使う。
  • 緊急変更を悪いものとして扱う。 圧力が、偽装された緊急変更を生む。理由についてレビューし、通常の経路を直す。
  • インシデントのリンクを既定で「いいえ」にする。 既定値は、見栄えは良いが誤った数字を生む。欄を必須にし、抽出を確認する。
  • 件数なしで率を報告する。 小さな標本は大きく振れる。件数とローリング窓を示す。

成熟度モデル

観点 1 開始 2 発展 3 標準化 4 管理 5 協調
失敗の定義 尋ねられた人によって事例ごとに決められる 一部のチームが定義を書く。チームによって異なる 実例と述べた窓を伴う、書面の定義が一つある 定義を抽出した監査で試し、一致を測る 判断に情報を与えなくなれば、定義が供給者や顧客とともに見直される
変更とインシデントのリンク リンクは人が覚えている、あるいはない 任意の欄を一部のチームが使う 既定値のない必須の欄で、インシデント後のレビューで確認される リンク率を傾向として追ってレビューし、ギャップに対応する リンクが、合意したインターフェースを通じてチームと供給者の間で共有される
是正と緊急対応の扱い ロールバックとホットフィックスが場当たり的で記録されない 一部のチームでロールバックとホットフィックスにタグが付く すべての是正の経路が記録され、緊急のテストが書き下されている 緊急変更を毎四半期レビューし、ロールバックをリハーサルする 復旧の経路がサービスに設計され、チーム間で共同でテストされる
改善での利用 数字がフォローアップなしにレポートで引用される 重大なインシデントの後に失敗が議論される 失敗した変更の月次の非難なきレビューがアクション付きで行われる 失敗と手戻りが速さと組になり、実験が計画され資金が付く 改善が日常的でチーム間で共有され、学びが公開される

チェックリスト

  • 述べた窓と少なくとも五つの実例を伴う、変更の失敗の書面の定義がある。
  • 数える単位(変更、デプロイ、リリース)がメトリクス台帳に挙げられている。
  • インシデントのレコードに、既定値のない必須の「変更が原因」の欄がある。
  • ロールバック、ホットフィックス、前方修正が、デプロイまたはバージョン管理のツールでタグ付けされている。
  • 是正のデプロイが、直す変更へのリンクを持つ。
  • 緊急変更に短い書面のテストがあり、すべての緊急変更が定めた日数内にレビューされる。
  • 率が、裸のパーセンテージではなく、件数とローリング窓とともに示されている。
  • 変更失敗率が、常にリードタイム、デプロイ頻度、復旧時間の隣に表示されている。
  • 四半期ごとの抽出監査が、失敗の判断とインシデントのリンクを確認している。
  • 失敗した変更の非難なき月次レビューが、各アクションにオーナーを付けて行われている。
  • このトピックのどのメトリクスも、個人の順位付けやレビューに使われていない。

AIプロンプト

変更の失敗の書面の定義を起案する。

私たちは [チームの規模] 人で [サービスまたはプロダクトの種類] を運営し、[頻度。例:週に数回] リリースしています。ツールは [変更のツール、デプロイのツール、インシデントのツール] です。単位(変更、デプロイ、リリース)、失敗の窓、数える是正の経路(ロールバック、ホットフィックス、前方修正、紐づけられたインシデント)、除外を述べる、「失敗した変更」の1ページの定義を起案してください。境界事例を含む [数] 個の実例を含めてください。ベンチマークの値やしきい値を捏造せず、必要なものは私に尋ねてください。前提を列挙してください。

変更とインシデントのリンクを設計する。

これは私たちのインシデントのレコードのテンプレートです:[項目]。これは私たちの変更レコードのテンプレートです:[項目]。必須の欄、許される値、誰が入力するか、レビューがどう確認するかを含め、どの変更がどのインシデントを引き起こしたかを記録する方法を提案してください。[利用できるデータ。例:デプロイの時刻とサービス名] から、候補の変更を自動で提案する方法を提案してください。私たちのツールの設定を推測しないでください。前提と、私が答えるべき問いを列挙してください。

失敗した変更の一覧のパターンを分析する。

以下は [期間] の失敗した変更 [数] 件で、項目は [項目の一覧。例:大きさ、種類、曜日と時刻、サービス、是正の経路、復旧までの時間] です。パターンとありうる寄与要因を見つけ、失敗を減らす、小さく元に戻せる実験を最大 [数] 件提案してください。分析はチームとサービスのレベルに保ち、個人に順位を付けないでください。統計やベンチマークの値を捏造しないでください。標本の大きさを踏まえて各パターンの確信度を述べ、前提を列挙してください。

失敗のダッシュボードを悪用のリスクについて確認する。

私たちのダッシュボードは [メトリクスの一覧。例:変更失敗率、緊急の割合、ロールバック率、ホットフィックス率、手戻り率] を、次の定義で示しています:[定義]。各メトリクスについて、サービスが改善せずに数字が改善しうるもっともらしい方法と、それぞれの防護柵を列挙してください。[チームの規模] 人のチームが毎四半期に実施できる二つの監査の確認を提案してください。ベンチマークの値やコンプライアンスの主張を捏造しないでください。前提を列挙してください。

AIスキル

要点

  • 変更失敗率は、その定義と同じ程度にしか良くないので、窓、実例、名前付きの単位を伴う定義を書く。
  • すべての失敗を、インシデントのレコードの必須の欄でその変更にリンクし、リンク率を測る。
  • チームが経路を切り替えてメトリクスを回避できないよう、ロールバック、ホットフィックス、前方修正、紐づけられたインシデントを併せて数える。
  • 緊急変更の割合と手戻りを、スコアではなく、計画と通常の経路についてのシグナルとして読む。
  • 失敗を常に速さと復旧の隣に、件数とローリング窓とともに示し、人には順位を付けない。

参考文献とさらなる読書

  1. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  2. DORA, DORA's software delivery performance metrics, Google Cloud, https://dora.dev/guides/dora-metrics/
  3. Humble, J., and Farley, D., Continuous Delivery: Reliable Software Releases through Build, Test, and Deployment Automation, Addison-Wesley, 2010.
  4. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  5. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  6. Wikipedia, ITIL.
  7. Wikipedia, Feature toggle.
  8. Wikipedia, Rollback (data management).
  9. Wikipedia, Hotfix.
  10. Wikipedia, Rework.
  11. Wikipedia, Continuous delivery.
  12. Wikipedia, Goodhart's law.
  13. Wikipedia, Regression testing.
  14. Wikipedia, Canary release.