変更実現のメトリクス
変更実現のメトリクスは、組織が有益な変更を安全かつ素早く流せているかを示す。そのため、変更がどう分類されるか、判断までどのくらい待つか、その判断のどれだけをパイプラインが自動で行うかを測り、すべての速さの測定値をリスクの見方と組にする。
概要と動機
すべてのサービスは変わります。チームは機能を加え、ライブラリにパッチを当て、証明書を更新し、データベースのサイズを変え、古いコンポーネントを廃止します。ITIL 4のフレームワークでは、これを統治するプラクティスは変更実現と呼ばれ、その述べられた目的は、リスクが適切に評価され、変更が承認され、変更のスケジュールが管理されるようにして、成功するサービスとプロダクトの変更の数を最大化することです。以前のITILの版は、このプラクティスを変更管理(change management)と呼び、多くの組織は今もその名前を使っています。新しい名前は強調点の変化を示します。このプラクティスは、良い変更を妨げるためではなく、可能にするために存在するのです。
ITIL 4の変更(change)は、サービスに直接または間接の影響を及ぼしうるものの追加、修正、削除です。これは、コードのデプロイよりも広い範囲です。設定の編集、インフラの更新、アクセスの変更、供給者の行動、運用者が頼る文書化を含みます。アジャイルのチームは、通常、変更を出荷されるプルリクエストとして見ます。サービス運用のチームは、スケジュール上のエントリとして見ます。どちらの見方も妥当で、このトピックのメトリクスは、同じ出来事を両側から記述するときに最もよく機能します。
ITIL 4は変更の三つの種類を説明しており、このトピックのメトリクスはそれらに依存します。正確な言葉は、フレームワークの所有者の最新の刊行物で確認してください。このトピックは、2026年10月時点で広く文書化されているパターンを要約します。
- 標準変更(standard change)は、低リスクでよく理解されています。文書化された手順に従い、事前承認されているため、個別の承認を必要としません。
- 通常変更(normal change)は、進める前に評価と承認が必要です。評価の深さはリスクと影響に応じて変わります。
- 緊急変更(emergency change)は、サービスの復旧や重大な脆弱性の解消のために、緊急に行う必要があります。迅速な経路をたどり、事後により完全なレビューを受けます。
以下では他の用語も繰り返し現れます。変更権限者(change authority)は、ある種類の変更を承認する権利を持つ人またはグループです。変更諮問委員会(change advisory board、CAB)は、提案された変更をレビューして助言または決定するグループです。承認のリードタイム(approval lead time)は、変更が承認の判断を待つ時間です。パーセンタイル(percentile)は、観測値の述べられた割合がそれを下回る値なので、85パーセンタイルは、変更の85パーセントがそれより短い数字です。
なぜこれをすべて測るのか。変更管理に関する最も強い公表された証拠は、DevOps Research and Assessment(DORA)の研究プログラムから来ています。そのガイダンスは、CABや上級マネージャーの承認のような重い外部承認が、より悪いソフトウェアデリバリーのパフォーマンスと関連しており、より形式的な外部レビューが失敗する変更の割合を下げるという証拠は見つからなかったと報告しています。代わりに、ピアレビュー、自動テスト、小さな変更を推奨し、中央のボードには戦略的な役割を与えます。これらはアンケートデータにおける関連についての記述であって法則ではなく、DORAのページはその主張に効果量を示していないため、自分たち自身のデータを見る強い理由として扱い、特定の統制への評決としては扱わないでください。『サービスマネジメントガイド』の変更実現の資料は、同じ研究を要約しています。
アジャイルとITILの見方は、統制がどこにあるかという問いで出会います。デリバリーのパイプラインでは、評価の多くが継続的に行えます。レビュー担当者がコードを承認し、自動テストが振る舞いを確認し、デプロイのツールが記録を書きます。レビューが記録され、作者が自分の仕事を承認できない場合、これは職務分掌(separation of duties)の意図を満たします。メトリクスは、これが実際に起きているのか、パイプラインが、ほとんどの変更がなお降りてキューで待つ高速道路になっているのかを教えます。
このトピックは、変更のフローと統制の側を扱います。量、種類の構成、待ち時間、自動化。変更が成功するかは扱いません。変更失敗率、緊急の割合、ロールバック、ホットフィックスの測定値はトピック 4.4「変更の失敗と手戻り」に属し、DORAのスループットと不安定性の測定値はトピック 2.8「DORAメトリクス」にあります。デプロイ頻度とリリース頻度はトピック 4.5「リリースとデプロイのメトリクス」にあります。悪い変更のインシデント側は、トピック 3.3「インシデントの対応時間と解決時間」とトピック 3.4「重大インシデントのメトリクス」にあります。
変更のメトリクスは、すぐにグッドハートの法則(Goodhart's law)を招きます。承認時間の目標は速く空疎な承認を招き、標準変更の割合の目標は、リスクのある仕事を日常的なものとして再分類することを招きます(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。
主要な原則
- 統制をリスクに合わせる。 狙いは釣り合いの取れた統制である。低リスクの変更は速い事前承認の経路を取り、高リスクの変更は本物の精査を受ける。すべてに一つのプロセスでは、ほとんどの変更には遅く、危険なものには浅い。
- 仕事だけでなく、待ちを測る。 承認のリードタイムは、完成した変更が本番に届く前に費やす時間をしばしば支配する。承認が求められた時と与えられた時を誰かが記録しない限り、見えない。
- 他の何かを数える前に、種類を数える。 量、速さ、リスクは、標準、通常、緊急の変更の間で大きく異なる。三つにまたがる単一の平均は、あらゆる有用なシグナルを隠す。
- 会議よりも、自動化された記録された証拠を優先する。 ピアレビュー、テストの合格、パイプラインのチェックは、カレンダーの枠なしに記録を生む。承認の判断のどれだけをパイプラインが取得するかを測る。
- 人ではなく、サービスやチームを記述する。 承認者と依頼者はシステムの内側で働いている。承認や却下の件数で個人に順位を付けると、すべてを承認する、あるいは何も承認しないことを人々に教える。
- 速さを安全と組にする。 より速い承認が良い知らせなのは、失敗の姿が安定しているときだけである。これらのメトリクスを、トピック 4.4「変更の失敗と手戻り」の隣で読む。
- 分類の規則を書き下す。 変更が標準、通常、緊急のどれかは、再現できなければならない判断である。基準を記録し、毎四半期に抽出をレビューする。
メトリクスの定義
表は、チームが書き留めるべき時計と除外を述べています。データは、変更またはチケットのツール、バージョン管理とパイプラインのイベント、承認の記録から来ます(トピック 1.5「データソースと計装」を参照)。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| 種類別の変更の量 | 完了した変更の数。標準、通常、緊急に分ける | その期間に実装済みの状態に達した変更レコードの数。承認時点の種類でグループ化。キャンセルまたは取り下げられた変更は除き、別に報告する。サービスごとに報告し、人ごとには報告しない | 種類別の、週または月あたりの変更 | パイプラインのデプロイイベントに結合したITSMツールの変更レコード | 変更実現 | 完了した作業アイテムのスループット、インクリメントごとのリリース内容 | 毎週、毎月レビュー |
| 標準変更の割合 | 完了した変更のうち、事前承認の経路を取ったものの割合 | その期間に完了した標準変更 ÷ その期間に完了したすべての変更。事後に再分類された変更は最終的な種類で数え、再分類を記録する | パーセント | 種類と再分類の履歴を持つ変更レコード | 変更実現 | チームのワーキングアグリーメントと完了の定義でカバーされる日常的な仕事 | 毎月 |
| 承認のリードタイム | 変更が承認の判断を待つ時間 | 時計は、依頼が評価の準備完了として提出されたときに始まり、承認の判断が記録されたときに止まる。依頼者が情報を提供するのを待つ時間は除き、別に示す。その期間の通常変更の中央値と85パーセンタイルを報告する。承認のステップのない標準変更は除く | 時間または営業日 | 変更レコードまたはパイプラインの承認イベントのタイムスタンプ | 変更実現 | ワークフローの待ち時間、レビューの列にある時間 | 毎週、毎月レビュー |
| 自動承認の割合 | 承認の判断のうち、パイプラインの統制または事前承認の方針によって行われ、記録されたものの割合 | 書面の方針に基づき、記録された自動チェックまたは記録されたピアレビューによって承認が与えられた変更 ÷ その期間に完了したすべての変更。委員会やマネージャーによる手作業の承認は、自動ではないものとして数える | パーセント | パイプラインのログ、コードレビューの記録、変更レコード | 変更実現、デプロイ管理 | 自動化された品質ゲート、完了の定義の一部としてのピアレビュー | 毎月 |
| 承認キューの年齢 | 保留中のリクエストが、今どのくらい待っているか | 現在判断を待っている各変更の年齢。提出からスナップショットの瞬間まで測る。最も古いアイテムと、未解決のキューの85パーセンタイルを報告する。完了した承認は除く | 時間または営業日 | 未解決の承認状態を持つ変更レコード | 変更実現 | 作業アイテムの年齢、古くなる仕掛かり作業 | 日次のスナップショット、毎週レビュー |
| 変更レコードの完全性 | 完了した変更のうち、誰が、何を、なぜ、いつ、どのサービスかに答えられるレコードの割合 | 必須項目がすべて入力され、影響を受けるサービスまたは構成アイテムに紐づいた変更 ÷ その期間に完了したすべての変更。必須項目は定義に列挙する。変更が実装された後に作成されたレコードには印を付ける | パーセント | 変更レコード、バージョン管理のリンク、構成データ | 変更実現、サービス構成管理 | コミットからチケット、デプロイまでのトレーサビリティ | 毎月 |
承認のリードタイムは、待ち終えた変更を振り返るもので、詰まったリクエストの山を隠しえます。キューの年齢は、今日待っているものを見るので、より早い警告です。標準変更の割合は、最大化すべきスコアではありません。成熟したパイプラインを通じて設定を変えるチームは高い割合になり、レガシーの基幹システムのチームは、妥当に低い割合になりえます。
推奨事項
基本を確立する
1. 他の何かを測る前に、種類別に変更を数える。 完了した変更を、標準、通常、緊急に分けて、サービスごと、月ごとの一つのビューを作ります。多くの組織は、この時点で、チケット、パイプラインのデプロイ、非公式な修正が別々に数えられているため、誰も合計に合意できないことを発見します。これらの情報源を突合することが、プログラムの最初の成果です(トピック 1.5「データソースと計装」を参照)。
2. 分類の規則を書き、抽出して確認する。 何が変更を標準にするかを述べます。文書化された手順、既知のリスク、実績。何が変更を通常または緊急に押し上げるかも述べます。毎四半期、約二十件の変更の無作為抽出をレビューし、それぞれが規則どおりに分類されていたかを尋ねます。誤分類は、このトピックの他のすべての数字への主な脅威です。
3. 承認の時計を書面で定義する。 時計は依頼が準備完了として提出されたときに始まり、判断が記録されたときに止まると述べ、依頼者が質問に答えるのを待つなどの除外に名前を付けます。これがなければ、あるチームはチケットの作成から、別のチームは委員会の会議から測り、時間をかけても数字を比較できません。
待ちを短縮する
4. 承認のリードタイムを分布として報告する。 平均は、重要なパターン、つまり非常に長く待つ少数の変更を隠します。中央値と85パーセンタイル、最も遅い少数の事例を、人の名前ではなく変更の名前で示します(トピック 1.6「サービスメトリクスのための統計リテラシー」を参照)。85パーセンタイルが中央値の何倍もあるなら、原因は通常、会議のサイクルか、過負荷の一人の承認者で、修正は構造的なものです。
5. 履歴だけでなく、キューを見る。 承認キューの年齢を、フローの測定値をレビューするのと同じ場で、毎週レビューします。最も古い待機アイテムは、委員会が過負荷であること、休暇が署名を止めていること、依頼者が静かにフォローアップをやめたことの、最良の早期警告です。キューのビューは、古くなる仕事を見る習慣にも合います(トピック 2.1「フロー指標」を参照)。
6. 情報を待つことと、判断を待つことを分ける。 依頼が詳細を求めて依頼者に戻されるときは、承認の時計を止め、別の時計を始めます。承認者は依頼者が引き起こした遅れで責められ、依頼者はキューの遅れで責められます。二つの時計は、双方に正確な姿と、より良い依頼テンプレートのような具体的な改善を与えます。
統制をパイプラインに移す
7. 繰り返し可能な低リスクの変更の種類を、標準変更に変える。 量のビューで最も一般的な通常変更、たとえば日常的なライブラリの更新やスケーリングの操作を選びます。手順とチェックを書き、リスクを変更権限者と合意し、事前承認します。そのうえで、標準変更の割合と通常変更の承認のリードタイムを併せて見ます。割合は上がり、キューは短くなり、失敗は対応して上がらないはずです(トピック 4.4「変更の失敗と手戻り」を参照)。
8. 承認を、仕事が行われる場所に記録する。 ピアレビューをコードレビュー(code review)のツールに取得し、パイプラインがレビュー、テスト結果、デプロイを変更レコードに自動でリンクするようにします。そうすれば、レコードは別のタスクではなく、仕事の副産物になります。自動承認の割合を測り、記録されたレビューがゴム印ではなく実質のあるものかを、抽出して確認します(トピック 2.7「プルリクエストとコードレビューのメトリクス」を参照)。
9. パイプラインを、方針をエンコードする場所として扱う。 「チケットなしの本番への直接アクセスは禁止」「テストが通ること」「作者は自分の変更を承認できない」といった規則は、コードとしてのインフラ(infrastructure as code)の実践のもとで、設定をコードとして保ち、ツールによって強制できます。方針がコードなら、会議の議事録ではなく、規則とその履歴を監査人に示せます。パイプラインを迂回する変更の数を測ります。迂回のたびに、統制に穴が空くからです。
統制を誠実に保つ
10. 緊急変更のために速い経路を保ち、その使われ方をレビューする。 緊急変更には速さが必要なので、通常のキューで遅くしてはいけません。ただし、それぞれを事後にレビューし、量の上方へのずれに注意します。通常の経路より簡単な緊急の経路は、既定になるからです(そのための測定値は、トピック 4.4「変更の失敗と手戻り」にあります)。緊急の量を、同じビューで通常の量の隣に報告します。
11. 予定に従って、レコードの完全性を監査する。 完全なレコードは、対応者が最近何が変わったかを尋ねる、インシデントの最中に役立ちます(トピック 3.3「インシデントの対応時間と解決時間」を参照)。完全性を測り、抽出をレビューし、ギャップを、依頼者の落ち度ではなく、フォームまたは連携の欠陥として扱います。記憶から事後に組み立てられた監査証跡(audit trail)は、弱い証拠です。
12. 少なくとも毎年、変更権限者のモデルをレビューする。 種類とリスクのレベルごとに誰が承認の権利を持つかを決め、見るものすべてを承認する委員会を廃止します。中央の委員会を、戦略的な役割に移します。チーム間の調整、スケジュールの衝突の解消、市場投入までの時間とリスクのトレードオフの決定です。判断と証拠を、メトリクス台帳に記録します(トピック 1.4「メトリクスのガバナンスとオーナーシップ」を参照)。
悪用の手口と防護柵
| メトリクス | 悪用のされ方 | 組になる防護柵のメトリクスまたはプラクティス |
|---|---|---|
| 種類別の変更の量 | 忙しく見せるために一つの変更を多数のレコードに分割する、穏やかに見せるために多数を一つにまとめる、非公式な変更を帳簿の外に置く | 毎月、件数をパイプラインのデプロイイベントと突合する。対応する変更レコードのないデプロイの割合を追跡する |
| 標準変更の割合 | 目標に到達するために、リスクのある仕事を標準として再分類する、何でもカバーする広い標準手順を書く | 分類の四半期ごとの抽出レビュー。種類別の変更失敗率(トピック 4.4「変更の失敗と手戻り」を参照)。再分類のログ |
| 承認のリードタイム | 時計を遅く始める、早く止める、尋ねる必要のなかった質問で一時停止する、読まずに承認する | 中央値の隣に85パーセンタイル。承認の実質についての抽出レビュー。個人ではなく承認者グループ別の変更失敗率 |
| 自動承認の割合 | 常に通る自動チェックを加える、コメントのないピアレビューを保証として数える | 自動およびピア承認の抽出レビュー。自動承認された変更の流出した欠陥と失敗率。迂回の数 |
| 承認キューの年齢 | キューが短く見えるよう古いリクエストをクローズまたは取り下げる、新しいタイムスタンプの新しいリクエストに移す | 取り下げられ再提出されたリクエストの数。最初の提出から測ったリクエストの年齢 |
| 変更レコードの完全性 | 必須項目をプレースホルダーのテキストで埋める、報告を満たすために変更の後でレコードを作る | 実装後に作成されたレコードに印を付ける。自由記述の質の抽出レビュー。コミットへのリンク率 |
健全な読みは、失敗の姿が安定したまま、種類の構成が標準変更へゆっくり移り、承認時間の中央値が85パーセンタイルに近く、残りよりずっと古いアイテムのないキューがあり、迂回の数がゼロ近くに留まる状態です。どれか一つの数字の突然の跳ね上がりには疑いを持ってください。プロセスの変更なしに一か月で承認のリードタイムが半分になるなら、通常、動いたのは仕事ではなく時計です。
トレードオフ:長所と短所
| 手法 | 長所 | 短所 |
|---|---|---|
| 事前承認された標準変更 | 速く、一貫していて、監査が安い。変更権限者を危険な仕事に解放する | 事前の設計が要る。分類がずれうる。広い手順がリスクを隠す |
| パイプラインに記録されたピアレビュー | コードを知る人によるレビュー。記録が自動で生まれる。量に応じてスケールする | 質はレビューの文化に依存する。小さなチームには独立したレビュー担当者がいないことがある。一部の規制当局は別個の承認者を期待する |
| 中央の変更諮問委員会 | チーム横断の可視性。スケジュールの衝突と共有依存のリスクを捉える | すべての変更へのゲートとして使われると遅い。変更のより大きなバッチをより少ない頻度で出すことを促す。キューを生む |
| 見出しのメトリクスとしての承認のリードタイム | 説明しやすい。実際の遅れの源を露わにする | 悪用しやすい。承認者に急がせうる。判断の質については何も語らない |
| 目標としての自動承認の割合 | ツールと記録された証拠への投資を報いる | 弱い自動チェックを報いうる。本当に人の判断を要する変更を除外しうる |
より良い問いは、「委員会か否か」ではなく、通常は「どの変更にどの種類の精査が必要で、どうやってそれを知るか?」です。
チームで話し合う問い
1. 先月私たちは何件の変更を行い、すべての情報源は一致しているか? 各グループに、チケット、パイプラインのデプロイ、非公式なチャネルから、自分たちの件数を出してもらいます。合計を比較します。ギャップは、記録されていない変更についての発見です。ファシリテーターは、どの情報源が記録システムか、誰が他を突合するかに合意してください。
2. 私たちの通常変更のうち、本当に日常的なものはどれで、標準にするには何が要るか? 最も頻繁な五つの通常変更を列挙します。それぞれについて、手順が文書化されているか、リスクが理解されているか、チームに汚れのない実績があるかを尋ねます。議論は、一つか二つの明確な候補を明らかにすることがよくあります。事前承認を安全にするチェックを記録し、標準の手順を誰が承認するかを挙げます。
3. 私たちの承認の時計はどこで始まりどこで止まり、その内側で何が待っているか? 直近三件の通常変更を取り、提出から判断までをたどります。すべての引き継ぎ、会議、情報の要求に注意します。待ちの多くが、質問のやり取りの間のカレンダー上の時間であることに、人々はよく驚きます。時計の書面の定義と、除外するものに合意します。
4. 私たちは承認を信頼しているのか、それとも集めているだけなのか? 最近の承認の抽出を取り、レビューを読みます。数秒以内に、あるいはコメントなしに与えられた承認を探します。目標は、犯人探しではなく、プロセスが実際にどれだけの保証を与えているかを知ることです。レビューを遅くせずに、より実質のあるものにするには何が要るかを話し合います。
5. 私たちの変更委員会は何のためにあり、会議をやめたら何を失うか? 委員会が、他の誰にもできない何を決め、単に何を追認しているかを尋ねます。一部の委員会は、チーム間の調整とスケジュールの衝突の発見という価値ある仕事をします。他は、コードレビューですでに下された判断を言い直しています。どの機能を残す価値があり、どれをパイプラインや軽いフォーラムに移せるかに合意します。
6. 承認時間を半分に減らすとしたら、それが安全だったと知るには何を見る必要があるか? 変更の前に、安全のシグナルに名前を付けます。種類別の変更の失敗率、緊急の割合、最近の変更に紐づくインシデント。一時停止の引き金になるしきい値に合意します。この対話は、速さの目標を停止規則のある実験に変え、誤ったものを最適化することへの最良の防御になります。
四つの視点
プロダクトとデリバリーのチーム
デリバリーのチームは、承認のリードタイムを、完成した変更と稼働中の変更の間の遊休時間として感じます。まとめるとき、分割するとき、新しい標準変更を求めるときを決められるよう、種類別に自分たちの数字を、キューの見方とともに見たいと思います。彼らの最良の貢献は、良い依頼テンプレート、小さな変更、コミットから変更レコードへのきれいなリンクです。
サービスと運用のチーム
運用チームは、変更レコードを使って、最初のインシデントの問いに答えます。最近何が変わったか。完全性、正確なサービスのリンク、信頼できるスケジュールに価値を置きます。また、うまくいかない変更のコストを負うので、分類の規則と緊急変更のレビューに正当な関心があります。最良の動きは、事前承認が運用の知識を反映するよう、標準変更のカタログをデリバリーのチームと共同で所有することです。
リーダーシップとガバナンス
リーダーとガバナンスの組織には、変更が統制されているという保証と、統制が組織を遅くしているかの知識が必要です。これらのメトリクスは両方を与えます。種類の構成、待ち時間、記録された証拠に支えられた承認の割合。ランキング表ではなく、サービス間の傾向とばらつきを求め、失敗の測定値の隣で読みます(トピック 4.4「変更の失敗と手戻り」を参照)。承認をパイプラインに移す自動化に資金を出すことは、通常、委員会に承認者を加えるよりも良い投資です。
顧客とユーザー
顧客が変更のプロセスを目にすることはまれです。彼らが目にするのは、到着する新機能、素早く出荷される修正、リリース後の少ない障害です。遅い承認は、彼らが求めた修正を遅らせ、弱い承認は、彼らが恐れる障害のリスクを生みます。サービスに計画メンテナンスのウィンドウがあるところでは、変更のカレンダーを平易な言葉で公開します。
実践:サービスマネジメントの例
架空の地域の保険会社が、八つのデリバリーチームと、週二回開かれるCABとともに、顧客ポータルを運営しています。以下の数字はすべて例示です。
サービス運用のリーダーが、変更の最初の完全なビューを作ります。その月、ポータルはチケット上で約420件の完了した変更、パイプライン上で610件の本番デプロイを示し、そのギャップはチケットなしで行われた変更だと分かります。チケット付きの420件の変更のうち、18パーセントが標準、76パーセントが通常、6パーセントが緊急(例示)です。通常変更の承認のリードタイムの中央値は2営業日、85パーセンタイルは7営業日(例示)です。キューで最も古いリクエストは12営業日待っています。
チームが長い待ちを見ると、二つの原因が見つかります。多くのリクエストが、日常的なものでも次の委員会の会議まで座っており、他は情報不足のため依頼者に何度も戻されています。チームは二つの時計を分け、85パーセンタイルの待ちのおよそ半分が、依頼者を待つ時間であることに気づきます。まず依頼テンプレートを直します。次に、最も一般的な三つの通常変更を選びます。テストが通る依存関係の更新、フィーチャーフラグのツールでの設定のトグル、アプリケーションサーバーのスケーリング。手順を書き、リスクを変更権限者と合意し、承認をパイプラインに記録して、標準変更に変換します。
二か月後、標準の割合は41パーセント(例示)に上がり、通常変更の承認のリードタイムの85パーセンタイルは4営業日(例示)に下がり、種類別の変更失敗率は、対となる測定値で報告されるとおり、横ばいのままです(トピック 4.4「変更の失敗と手戻り」を参照)。委員会は、すべての通常変更のレビューから、高リスクの変更と月次のスケジュールのレビューへ移ります。
悪用のリスクは、四半期の抽出に現れます。あるチームが、データベースのスキーマ移行を標準変更として分類していました。以前の「設定変更」の手順の言葉が緩かったからです。抽出のレビュー担当者は、その移行にロールバック計画がなかったことに気づきます。チームは標準変更の定義を引き締め、スキーマの変更は常に通常とする規則を加え、再分類のログが常設の議題になります。メトリクス台帳に記録された決定は、標準変更の割合を目標ではなく、文脈の測定値として保つことです。
アジャイル、AI、自動化、アナリティクス
アジャイル
変更実現は、低リスクの変更が会議を待たずに流れ、高リスクの変更が適切な精査を受けるとき、継続的デリバリーに資します。分類の規則を、ステークホルダーと定期的にレビューします。注意点は、高い標準変更の割合が、リスクのある変更のラベルの付け替えを意味しうることです。
AI
AIは、変更のリスクを評価し、差分を要約し、変更レコードを起案できます。自動承認の割合を、変更失敗率と、のちに誤りと分かったAIのリスク評価の割合と組にし、高リスクの承認には人が責任を持つようにしてください。注意点は、モデルのリスクスコアが偽の安心を生みうることなので、結果に照らして試してください。
自動化
パイプラインが生み出せる証拠と、よく理解された標準変更の承認を自動化し、自動化を、失敗、ロールバック、証拠なしに行われた承認で測ります。注意点は、自動化が承認すべきでない変更を承認しうることなので、抽出して監査します。
アナリティクス
承認のリードタイムを変更の種類別の分布として示し、失敗率に結び付けます。これが情報を与える判断は、どの変更を事前承認できるかです。注意点は、記録日で追跡された承認が実際のタイミングと合わないことがあるため、タイムスタンプを確認することです。
業種別の視点
スタートアップ。 スタートアップには、通常、正式なプロセスがほとんどなく、パイプラインの自動化が豊富です。変更は記録なしに素早く起き、したがって完全性とコミットからデプロイへのリンクが最も重要です。三つの種類の1ページの定義と、パイプラインに記録されたレビューで、足りることがよくあります。
中小企業。 小さな事業では、変更を書くのとリリースするのを兼ねる人が一人か二人いることが多く、独立したレビューが難しいものです。日常的な仕事のための簡単な標準変更の一覧を使い、顧客データやお金に触れるものにはもう一対の目を求め、変更の簡単なログを保ちます。追跡する価値のある測定値は、種類別の量とレコードの完全性です。安価で、インシデントの際に役立つからです。
大企業。 大企業には、多くのチーム、共有のプラットフォーム、リスクの異なるレガシーのシステムがあります。CABがあることが多く、メトリクスは、そのどの仕事を残すべきかを決める助けになります。主な作業は、一貫した分類、共有の標準変更のカタログ、監査の証拠を記録するパイプラインです。チームの順位付けではなく、サービスとリスクのクラス別に集約します。
政府・公共部門。 公的機関は、承認、職務分掌、記録の保持について法的要件に直面することが多く、調達に駆動されるリリースのウィンドウがあることもあります。メトリクスは、どの統制が義務で、どれがローカルな習慣かを述べるべきです。前者は取り除けず、後者は取り除けるからです。記録されたピアレビューとパイプラインの証拠は、意図を満たせることが多くありますが、それに頼る前に、関連する監査人と確認してください(トピック 8.3「コンプライアンスと監査のメトリクス」を参照)。
ビジネスケース:動機、ROI、TCO
動機は、通常、変更が待つ時間です。完成した仕事が判断を待ってキューに入ると、価値は遅れ、バッチは大きくなり、各バッチはより多くのリスクを抱えます。二つ目の動機は保証です。リーダーと監査人は、変更が統制されていることを知りたく、パイプラインに記録された証拠は、事後の再構成よりも安く、より信頼できます。三つ目はインシデント対応です。完全で正確な変更レコードは、原因の探索を短縮するからです。
変更のツールとパイプラインがすでにタイムスタンプと種類を保存していれば、収集は安く、それらを連携させる必要があれば中程度です。データに基づいて行動することには、より多くのコストがかかります。標準変更の手順を書く、パイプラインのチェックを構築する、承認者と依頼者を訓練する。作業の大半は最初の四半期にあり、その後の抽出とレビューのコストは低く安定すると予想してください。
見返りは、変更あたりの待ち時間の減少、会議の減少、監査の証拠の準備の労力の減少、インシデントの際のより速い診断として現れます。自分たちのデータで見積もってください。承認の待ち時間の削減を、影響を受ける変更の数と、財務のパートナーが受け入れる遅れた1時間あたりのコストに掛けます。他の組織から数字を持ち込んではいけません。DORAの研究は議論の方向を裏付けますが、そのページはコストも見返りも示しておらず、金額の数字は自分たち自身の測定から来なければなりません。
アンチパターンと落とし穴
- 標準変更の割合を目標として扱う。 チームは数字に到達するためにリスクのある仕事を再分類する。文脈として使い、分類を抽出でレビューし、種類別の失敗率を見る。
- 承認の速さだけを測る。 速いゴム印は素晴らしく見えるが、何も届けない。リードタイムを、承認の実質の抽出レビューと失敗の姿と組にする。
- インシデントのたびに承認を加える。 新しいゲートのたびにシステムは遅くなり、しばしばより大きなバッチを促す。まず失敗がなぜ起きたかを見て、テスト、レビュー、パイプラインで原因を直す。
- 承認者や依頼者に順位を付ける。 承認や却下の人ごとの件数は、すべてを承認する、あるいは何も承認しないことを教える。サービスと変更の種類別に報告する。
- 変更の種類をまたいで平均する。 単一の平均は日常的な仕事とリスクのある仕事を混ぜ、両方を隠す。常に種類で分け、85パーセンタイルを示す。
- プロセスの外で行われた変更を無視する。 迂回は本当の量とリスクを隠す。パイプラインのデプロイを変更レコードと突合し、ギャップをシステムの欠陥として扱う。
- 習慣で委員会を保つ。 見るものすべてを承認する委員会は、保証を加えずに遅れを加える。毎年、他の誰にもできない何を決めているかをレビューし、焦点を絞り直す。
- データを集めて決して決めない。 各メトリクスを、名前付きのオーナーとレビューの場に結び付ける(トピック 1.4「メトリクスのガバナンスとオーナーシップ」を参照)。
成熟度モデル
| 観点 | 開始 | 発展 | 標準化 | 管理 | 協調 |
|---|---|---|---|---|---|
| 分類と量 | 種類は非公式で、誰も合計を知らない | 一部のチームが異なる規則で種類別に数える | 一つの書面の分類と一つの記録システム | 種類の構成を傾向として追い、正確さを抽出して確認する | 標準変更のカタログが供給者と共有され、リスクの証拠が変わるにつれて見直される |
| 承認の時計とキュー | 承認の待ちは感じられるが、時間測定されていない | 一部のチームが依頼にタイムスタンプを付ける | 時計の定義が一つあり、中央値とパーセンタイルが示される | キューの年齢を毎週レビューし、遅れが資金付きの修正を導く | 承認のフローが、失敗と顧客のアウトカムに照らして、チームと供給者の間で調整される |
| 承認の自動化 | 承認は会議またはメール | 少数のパイプラインがピアレビューを記録する | 低リスクの変更では、記録されたレビューとチェックが既定である | 自動化の割合を、迂回の数と抽出した品質の確認とともに追跡する | 方針が、リスクの姿が変わるにつれて適応する共有のプラットフォームの統制にエンコードされる |
| 記録と利用 | レコードは薄い、あるいは事後に書かれる | レコードはあるが質が異なる | 必須項目が合意され、サービスにリンクされている | 完全性を監査し、インシデントのレビューで使う | 変更のデータが、組織全体のインシデント、問題、監査のプラクティスに供給される |
チェックリスト
- 三つの変更の種類とその基準が書き下され、合意されている。
- 完了した変更の種類別の単一のビューがあり、パイプラインのデプロイと突合されている。
- 承認の時計に、書面の開始、停止、除外の一覧がある。
- 承認のリードタイムが、中央値と85パーセンタイルで報告されている。
- 承認キューの年齢が見えるようになっており、毎週レビューされている。
- 頻繁な通常変更の少なくとも一つが、文書化された手順とともに標準変更に変換されている。
- ピアレビューとテスト結果が変更レコードに自動でリンクされている。
- 四半期ごとの抽出で、分類と承認の質を確認している。
- パイプラインの迂回が測定され、レビューされている。
- すべてのメトリクスに、メトリクス台帳の名前付きのオーナー、悪用の手口、防護柵がある。
- どのレポートも、個々の承認者や依頼者に順位を付けていない。
AIプロンプト
三つの変更の種類の分類ガイドを起案する。
私は [組織の種類] で働いており、[サービスの一覧] を運用しています。変更のツールは [ツール]、パイプラインは [パイプラインのツール]、規制の状況は [規制、またはなし] です。最も頻繁な十の変更は次のとおりです:[一覧]。それぞれが標準、通常、緊急のどれかを判断するための平易な言葉のガイドを、使った基準と境界事例の例を一つ添えて起案してください。ベンチマークの値を捏造したり、どのプラクティスが監査の要件を満たすと主張したりしないでください。前提と、ガイドを採用する前に私が答えるべき問いを列挙してください。
承認の時間がどこで費やされているかを見つける。
以下は、提出、情報要求、判断のタイムスタンプを持つ変更レコードの抜粋です:[貼り付けたデータまたは説明]。承認のプロセスは [説明] です。変更の種類別に、承認のリードタイムの中央値と85パーセンタイルを計算し、依頼者を待つ時間と判断を待つ時間を分け、最も長い事例について尋ねる三つの問いを提案してください。データにない数字を捏造せず、個々の人に順位を付けないでください。前提と、気づいたデータ品質の問題を列挙してください。
メトリクスの悪用リスクを確認する。
私たちは次の変更実現のメトリクスを報告しています:[定義付きのメトリクスの一覧]。読み手は [チーム、リーダーシップ、ガバナンスの組織] で、メトリクスは [目的] のために使われます。各メトリクスについて、実際の改善なしに水増し、隠蔽、歪曲されうるもっともらしい方法を列挙し、組になる防護柵の測定値またはプラクティスを提案してください。目標やベンチマークの値を提案しないでください。前提と、[サービス名] にとってどの悪用のリスクが最も重要と考えるかを列挙してください。
委員会の承認からパイプラインの承認への移行を計画する。
[変更の種類] の現在の承認の経路は [説明] で、[数] 人の承認者がおり、典型的な待ちは [説明] です。私たちのパイプラインは [チェック、テスト、レビューのツール] を提供しています。低リスクの変更を、記録されたパイプラインに基づく承認へ移す段階的な計画を、保つべき証拠、見るべき安全のシグナル、停止規則を含めて提案してください。計画があらゆる規制や標準を満たすと主張しないでください。前提と、[監査人、セキュリティリード、変更権限者] など、相談すべき人々を列挙してください。
AIスキル
- サービスマネジメントメトリクスのスキル:関連する変更、リリース、インシデントのトピックと、各変更実現のメトリクスの隣に置くべき防護柵を探すときに使います。
- サービスマネジメントメトリクスのメンテナースキル:このトピックの改訂版が、時計、悪用の手口、相互参照を整合させているかを確認するときに使います。
要点
- 変更実現のメトリクスは、変更のフローと統制を測る。種類別の量、承認の待ち、パイプラインが自動で記録する承認の量。
- すべてを変更の種類で分け、待ち時間を中央値と85パーセンタイルで報告し、履歴に加えて実際のキューも見る。
- 日常的な仕事を標準変更に移し、レビューをパイプラインに記録することは、待ちを短縮する最も直接的な方法であり、失敗の測定値の隣で読まなければならない。
- 標準変更の割合と承認の速さは悪用しやすいので、分類と承認の質を抽出して確認し、数字を個人のスコアカードから遠ざける。
- メトリクスを使って、変更委員会が何のためにあるかを決め、より軽い統制を安全にする自動化に資金を出す。
参考文献とさらなる読書
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- DORA (Google Cloud), "Streamlining change approval" and "Software delivery performance metrics," DORA capabilities and guides, https://dora.dev/ (read the pages directly and note the date you consulted them).
- AXELOS (now PeopleCert), ITIL Foundation: ITIL 4 Edition, TSO, 2019.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, ITIL.
- Wikipedia, Change management (ITSM).
- Wikipedia, Separation of duties.
- Wikipedia, Goodhart's law.
- Wikipedia, Code review.
- Wikipedia, Infrastructure as code.
- Wikipedia, Audit trail.