概要と動機

継続的インテグレーション(continuous integration)と継続的デリバリー(continuous delivery)のパイプラインは、自動化されたビルド、テスト、セキュリティの確認、デプロイを通じて、変更を開発者の作業から稼働中のサービスへと運びます。パイプラインが信頼されていれば、かつて変更諮問委員会が日常的な変更について行っていた判断も行えます。ITILは変更を管理する実践を「変更実現」と呼び、その狙いは、有益な変更が安全に素早く起こるようにすることです。確認を実行し、証拠を記録し、低リスクの変更を自動で承認するパイプラインは、その狙いを満たす一つの方法です。

したがって、パイプラインは同時に二つのものです。それは、固有の可用性、速度、失敗を持つ本番のシステムであり、また、何がテストされ、誰がレビューし、何が承認されたかの証拠を持つ統制です。両方を測る必要があります。確認を飛ばす速いパイプラインはリスクです。遅く不安定なパイプラインは、人々にそれを迂回させ、迂回された変更は、パイプラインが提供するはずだったあらゆる統制をすり抜けます。

このトピックは、パイプラインをシステムとして見ることに焦点を当てて、第4部の変更の測定値(トピック 4.3「変更実現のメトリクス」とトピック 4.4「変更の失敗と手戻り」を参照)とリリースの測定値(トピック 4.5「リリースとデプロイのメトリクス」を参照)を補います。パイプラインの内部で何が起きるかを見ることで、DORAの測定値(トピック 2.8「DORAメトリクス」を参照)を補います。また、トピック10.6の一般的な自動化の測定値(トピック 10.6「自動化とオーケストレーションのメトリクス」を参照)にも関連します。

ここで使う用語。パイプラインの実行は、一つの変更に対するパイプラインの一回の実行です。ステージは、ビルドやテストなどのパイプラインのステップです。不安定なテストは、同じコードで通ったり失敗したりするテストです。迂回は、たとえば緊急の手作業のデプロイを通じて、パイプラインを通らずに本番に到達する変更です。コードとしてのポリシーは、「セキュリティスキャンに通らなければデプロイしない」のような規則を、パイプラインが強制するソフトウェアとして書くことを意味します。証拠は、変更が何を経たかの記録された証明です。ITILにおける標準変更は、低リスクでよく理解された、事前承認された種類の変更です。

主要な原則

  • パイプラインはサービスである。 他の本番システムと同様にその信頼性、速度、失敗を測り、オーナーを与える。
  • 迂回を測る。 パイプラインを避ける変更の数は、パイプラインがどれだけ信頼できるかを示す。
  • 証拠を伴って、リスクによって承認を自動化する。 よく理解されたものは事前承認し、そうでないものには人によるレビューを保つ。
  • 証拠はプロダクトである。 パイプラインが記録するものは、慌てることなく監査人の質問に答えるべきである。
  • 速さと安全は一緒に測る。 速度の測定値は、失敗と手戻りと組にする。
  • 人ではなく、システムを記述する。 誰が変更をプッシュしたかのパイプラインのデータは、業績のランキングではない。

メトリクスの定義

メトリクス 定義 計算式 単位 データソース ITILプラクティス アジャイルの対応物 頻度
パイプラインの成功率 パイプラインまたはその環境が原因の失敗なしに終わったパイプラインの実行の割合 通った、または本物のコードの欠陥のみで失敗した実行 ÷ 開始された実行。ユーザーによって取り消された実行は除外し、報告する パーセント パイプラインプラットフォームのログ リリース管理、変更実現 継続的インテグレーションの健全性 毎週
パイプラインの所要時間 変更がパイプラインを通過する時間 デプロイに到達した実行について、(最後のステージが終わる時刻 − 実行が始まる時刻)の中央値と85パーセンタイル 分 パイプラインプラットフォームのログ リリース管理 短いフィードバックループ 毎週
不安定なテストの率 コードの変更なしに再実行で通るテストの失敗の割合 再実行で通る失敗 ÷ テストの失敗 パーセント テスト結果と再実行のログ リリース管理 完了の定義、テストの実践 毎月
自動承認の割合 人による承認のステップなしに、パイプラインのポリシーで承認された変更の割合 ポリシーのみで承認された変更 ÷ デプロイされた変更 パーセント パイプラインと変更の記録 変更実現 自動化された確認を伴うトランクベース開発 毎月
迂回率 パイプラインを通らなかった本番の変更の割合 デプロイの記録とパイプラインの記録の比較で見つかった、パイプラインの外で行われた本番の変更 ÷ すべての本番の変更 パーセント デプロイの記録、構成の監査、パイプラインのログ 変更実現、構成管理 作業合意 毎月
証拠の完全性 パイプラインでデプロイされた変更のうち、記録が必要な証拠を示す割合 必要な証拠の項目(テスト、レビュー、スキャン、承認)がすべてリンクされた変更 ÷ デプロイされた変更 パーセント パイプラインと変更の記録 変更実現、ガバナンス 完了の定義 毎月
ポリシーゲートの失敗率 ポリシーの確認で止められた実行の割合。本物の違反とポリシーのエラーに分ける ポリシーゲートで止められた実行 ÷ 開始された実行。理由は抽出して分類する パーセント パイプラインのログとゲートの記録 変更実現、リスク管理 受け入れ基準 毎月

パイプラインの成功率は、人によって取り消された実行を除いて別に報告し、不安定なテストや環境の障害が原因の失敗を、パイプラインの失敗として数えます。迂回率には、本番で何が動いているかの独立した記録が要るので、パイプラインだけからは計算できません。

推奨事項

パイプラインをサービスとして扱う

1. パイプラインにオーナーと目標を与える。 名前の挙がったチームが、パイプラインの信頼性と速度を所有し、述べられた時間内に終わる実行の割合などのサービスレベル目標を持ちます。オーナーがなければ、人々が信頼しなくなるまで不安定さが増します。

2. 所要時間を分布として測る。 中央値は、人々が待つ遅い実行を隠します。中央値と85パーセンタイルを示し、所要時間をステージに分けて最も長い待ちを見つけます。それはしばしば、共有のランナーのキューや手作業の承認です。

3. 不安定なテストを追跡して直す。 不安定なテストは、人々に緑になるまで再実行するよう教えます。不安定な失敗を数え、それぞれにオーナーを割り当て、日付を付けて直すか隔離します。習慣で人々が再実行するパイプラインは、証拠を生み出していません。

承認を注意深く自動化する

4. 変更をリスクで分類する。 どの種類の変更が標準でポリシーで承認でき、どれに人が要るかを、変更のオーナーと合意します。失敗のデータを使って、分類を定期的にレビューします(トピック 4.4「変更の失敗と手戻り」を参照)。

5. ポリシーをコードとして書いてテストする。 パイプラインが強制する規則はコードであり、他のコードと同様にテストとオーナーが要ります。各実行にどのポリシーのバージョンが適用されたかを記録します。

6. 異例のために人の経路を保つ。 緊急でリスクの高い変更には、証拠をもとに判断できる人が要ります。その経路が機能することをテストし、どれだけ時間がかかるかを測ります。

役に立つ証拠を生み出す

7. どんな証拠が必要かを決める。 監査人やインシデントのレビュー担当者が尋ねる問いから逆算します。何がテストされ、誰がレビューし、何がスキャンされ、誰が承認し、何がデプロイされたか。パイプラインにまさにそれを記録させ、変更にリンクします。

8. 抽出で完全性を測る。 パイプライン自身の数による証拠の完全性は、内容が空でも高くなりえます。証拠が本物で、実行されたものに合っていることを確認するために、記録の抽出を確認します。

9. 証拠を改ざんに強いものにする。 パイプラインの記録を、デプロイする人々が編集できない場所に保存し、自分たちの規則が要求する保持期間だけ保ちます。保持の要件は、自分たちの法律顧問とともに確認します。

迂回とドリフトを見る

10. 本番とパイプラインを比較する。 本番で動いているものを、パイプラインがデプロイしたものと突き合わせます。差異は迂回かドリフトで、それぞれについて、なぜパイプラインが避けられたかを短く、非難せずに見る価値があります。

11. パイプラインを最も簡単な経路にする。 人々は遅く不安定なパイプラインを迂回します。迂回が増えるなら、まず速度と信頼性、そしてパイプラインが満たさない緊急のニーズを見ます。

12. 価値のためにゲートをレビューする。 本物の欠陥を一度も止めず、すべての実行を遅らせるゲートは、削除または再設計の候補です。ポリシーのエラーのために多くの実行を止めるゲートには、ポリシーの修正が要ります。

悪用の手口と防護柵

メトリクス 悪用のされ方 組になる防護柵のメトリクスまたはプラクティス
パイプラインの成功率 インフラの失敗を取り消しとして再分類する、緑になるまで再実行して最後の実行だけを数える すべての試行を数える。変更あたりの再実行を報告する
パイプラインの所要時間 遅いステージを測定の範囲外に動かす、ステージを飛ばす コミットからデプロイ済みまでをエンドツーエンドで測る。実行されたステージを必要なステージと比較する
不安定なテストの率 不安定なテストを削除または黙らせる、失敗を既知としてマークする テスト数とカバレッジの傾向。隔離されたテストを日付付きでレビューする
自動承認の割合 リスクの高い変更を含むよう「標準」のクラスを広げる 自動承認された変更の変更失敗率。承認された変更を抽出する
迂回率 緊急の手作業のデプロイをパイプラインの実行として記録する、本番と突き合わせない 本番の状態をパイプラインの記録と突き合わせる。デプロイを抽出する
証拠の完全性 空のまたは無関係な証拠を添付する、一般的なレポートをリンクする 証拠の内容を抽出する。変更に合っているか確認する
ポリシーゲートの失敗率 失敗を減らすためにポリシーを緩める、本物の違反をポリシーのエラーとして分類する 止められた実行を抽出する。流出した欠陥率と監査の所見

健全な読みは、人々がすべてにそれを使うほど速く安定したパイプライン、各例外が理解された、ゼロに近い迂回率、安定した変更失敗率を伴う自動承認の増える割合、そして抽出したときに耐える証拠です。

トレードオフ:長所と短所

手法 強み 弱み
重いパイプラインの確認 欠陥を早く捕まえる。強い証拠 遅い実行。より多い不安定さ。迂回への圧力
軽いパイプライン 速いフィードバック 弱い証拠。より多くの欠陥が本番に届く
標準変更の自動承認 待ちを取り除く。一貫した判断 クラスが広がるリスク。ポリシーのエラーがスケールする
すべての変更への人による承認 馴染みがある。見える説明責任 待ち。承認が形式的になりうる

散文での結論は、パイプラインを速く信頼されたものに保ち、よく理解されたものだけをポリシーで承認し、迂回を測ることです。人々が避ける重い確認は、何も守りません。

チームで話し合う問い

1. 本番の変更のどれだけの割合がパイプラインを通り、どうやってそれが分かるか? 本番の状態をパイプラインの記録と比較する方法を求めます。チームはしばしば、パイプラインを迂回する緊急の修正、設定の変更、データの変更を見つけます。防御的な答えを予期し、各迂回を情報として扱います。何がパイプラインをより簡単な経路にしたかを尋ねて追跡します。

2. 私たちのテストのうち、通るまで再実行しているのはどれで、誰が所有しているか? 再実行の習慣は、信頼がどこで侵食されたかを示します。一覧を作ってオーナーを割り当てます。それぞれを直すか削除するかを話し合います。対話は、少数のテストがノイズの大半を生んでいることをしばしば示します。

3. 今日、どの変更を自動で承認していて、どれをそうすべきか? 変更の種類と、それぞれの失敗の履歴を列挙します。どれが低リスクで良いテストを持つかを決めます。ある種類の自動承認をやめさせるものは何かを尋ねます。分類のレビューの日付に合意して追跡します。

4. 監査人が先週火曜日のデプロイについて尋ねたら、何を示せるか? 実際の変更を一つたどり、その証拠を引き出します。ギャップと手作業のステップに気づきます。証拠がそのとき記録されたか、後で再構築されたかを尋ねます。閉じるギャップを一つ選んで追跡します。

5. 私たちのパイプラインはどこで時間を使い、誰が待つか? ステージの内訳を見ます。最も長い待ちはしばしばキューか手作業の承認です。待っている人々が他のことをできるか、待ちが遅れたフィードバックとして何を犠牲にしているかを尋ねます。取り除く遅れを一つ選びます。

6. どのゲートが、役に立つものを一度も止めていないか? 過去の四半期のゲートの停止理由を見ます。ポリシーのエラーしかないゲートは修正が要り、何も止めないゲートは冗長かもしれません。それを取り除くとリスクが上がるかを尋ねます。試行に合意します。

四つの視点

プロダクトとデリバリーのチーム

あなたは毎日パイプラインに依存しています。テストを信頼できるものに保ち、変更を小さく保ち、不安定なテストをプロダクトの欠陥として扱います。パイプラインのデータを使って自分自身の遅れを見つけ、個人の業績の対話からは遠ざけます。

サービスと運用のチーム

あなたはパイプラインがリリースするものを引き継ぎます。インシデントに必要な証拠、たとえば何がいつ変わったかと、速いロールバックを求めます。迂回とドリフトを追跡し、なぜかについての対話としてチームに持ち込みます。

リーダーシップとガバナンス

パイプラインを、オーナー、キャパシティ、不安定さを直す時間を持つ本番のサービスとして資金を付けます。迂回率、抽出による証拠の完全性、自動承認の変更失敗率を求めます。デプロイを成功の測定値として数える圧力に抵抗します。

顧客とユーザー

変更が頻繁かつ安全に届くとき恩恵を受け、変更が何かを壊すときに苦しみます。変更がどうテストされ、悪い変更がどれだけ素早く取り消されるかを尋ねます。リリース後の問題についてのあなたの報告は、パイプラインが提供できないフィードバックの一部です。

実践:サービスマネジメントの例

地域病院のIT部門が、臨床のスケジューリングアプリケーションのパイプラインを運用しています。この例の数字は例示です。変更諮問委員会が毎週開かれ、日常的な変更は承認まで平均4日待ちます。チームは、標準的な変更をパイプラインで承認することを提案します。

始める前に、測定します。パイプラインの成功率は82パーセントで、失敗の抽出は、約3分の1が不安定なテストだと示します。85パーセンタイルの所要時間は47分で、共有のビルドランナーに20分のキューがあります。デプロイの記録とパイプラインの記録を比較すると、本番の変更の約12パーセントがパイプラインを迂回しており、そのほとんどは設定の編集と緊急の修正です。

チームは、最も不安定な五つのテストを直し、ビルドランナーを加え、設定の変更がパイプラインを通る経路を作ります。3か月後、迂回は3パーセントに下がります。それからチームは、スケジューリングアプリケーションへの、小さく、テストされ、取り消し可能な変更の標準変更のクラスを、テスト、セキュリティスキャン、ピアレビューのポリシーの確認とともに定義します。自動承認の割合は約40パーセントに達し、それらの変更の承認のリードタイムは数日から数分に下がります。

悪用のリスクが現れます。あるマネージャーが、データベースのスキーマ変更を標準のクラスに加えて、自動承認の割合を上げるよう頼みます。チームはスキーマ変更の変更失敗率を確認し、それが他の変更より高いので、人によるレビュー担当者を伴う状態に保ちます。パイプライン自身の数による証拠の完全性は98パーセントですが、20件の記録の抽出は、四件に別のビルドのテストレポートが添付されていたことを示します。チームはリンクの規則を直します。難しいまま残るもの。緊急の修正の迂回には、なお事後の記録が要り、患者の安全に影響する変更の臨床リスクのレビューは、人の手に残ります。

アジャイル、AI、自動化、アナリティクス

アジャイル

信頼されたパイプラインを通る小さく頻繁な変更は、継続的デリバリーの核であり、パイプライン自身のバックログは、プロダクトと同様にステークホルダーとの定期的なレビューに値します。良い実践は、定期的な改善の対話で、不安定なテストと迂回をレビューすることです。注意点は、デプロイの頻度だけを祝うことは、変更の分割を報いることです。

AI

AIはパイプラインの内部で、コードとテストを書き、変更をレビューし、変更のリスクを評価できます。AI支援の変更をデータにマークし、その失敗と手戻りを他の変更と比較します(トピック 10.2「AI支援作業の測定」を参照)。AIのゲートが判断または推奨するなら、その誤った承認と誤った停止を抽出で測り、リスクの高い変更には人に説明責任を持たせ続けます。注意点は、AIが生成したテストは、重要な振る舞いをテストせずにカバレッジの数字を上げうることです。

自動化

パイプラインは自動化そのものなので、実践は、それをログ、オーナー、緊急用の手作業のフォールバックを持つ本番のサービスとして扱うことです。証拠の収集と、本番とパイプラインの記録の突き合わせを自動化します。注意点は、自動承認はポリシーのエラーの影響を倍増させるため、ポリシーをテストして一時停止の統制を保つことです。

アナリティクス

パイプラインのイベントを使って、時間がどこへ行き、失敗がどこに集まるかを示し、実行をインシデントと手戻りにリンクします。これが情報を与える判断は、速度、信頼性、テストのどこに投資するかです。注意点は、パイプラインのデータはテストの質を示さないため、流出した欠陥と組み合わせ、各率の背後にある実行の数を示すことです(トピック 10.8「アナリティクスとデータ品質のメトリクス」を参照)。

業種別の視点

スタートアップ。 速いテストと本番への自動デプロイを伴う単純なパイプラインで十分かもしれません。所要時間と迂回を測り、テストとレビューの証拠をリポジトリに記録します。

中小企業。 パイプラインは、ホスティングされたサービスや供給者のものかもしれません。何をどこに記録するかを尋ね、何がデプロイされたかを再構築する方法を保ちます。保守しない統制を築くのは避けます。

大企業。 チームにまたがる多くのパイプラインには、共通の証拠の形式と共有のポリシーが要ります。迂回と証拠の完全性の中央の見方を、修正のチームレベルのオーナーシップとともに保ちます。チームのニーズが異なるところで、単一のツールを強制するのは避けます。

政府・公共部門。 職務の分離、監査証跡、保持の規則がパイプラインを形作ります。監査のために証拠を設計し、自動化された判断を含め、法と調達の要件を確認します(トピック 8.3「コンプライアンスと監査のメトリクス」とトピック 8.5「規制対応・行政向け報告」を参照)。

ビジネスケース:動機、ROI、TCO

コストは、パイプラインのプラットフォームとランナー、テストとポリシーを書いて保守する作業、不安定さを直す時間、証拠を保存するコストです。パイプラインと変更の記録がリンクされていれば、測定値そのもののコストはほとんどありません。

見返りは、承認の短い待ち、少ない手作業のステップ、欠陥のより早い検出、必要なときに用意された証拠です。これらは速いデリバリーと監査時の少ない労力として現れますが、誇張しやすいものです。承認のリードタイムや監査の証拠を集める労力など、自分たち自身のベースラインを前後で測り、前提を範囲として述べます(トピック 7.7「投資対効果とビジネスケース」を参照)。リスクの側は、パイプラインをすり抜ける失敗のコストと、すべての変更を止めるパイプラインの停止のコストです。

アンチパターンと落とし穴

  • デプロイを成功として数える。 変更の分割を報いる。失敗と手戻りと組にする。
  • 緑になるまで再実行する。 不安定なテストと弱い証拠を隠す。不安定さを数えて直す。
  • 迂回を無視する。 パイプラインを避ける変更は、それが守れないものである。本番とパイプラインの記録を突き合わせる。
  • 自動化を上げるために標準のクラスを広げる。 割合が上がり、失敗率がそれに続く。失敗のデータでクラスをレビューする。
  • あるが何も語らない証拠。 存在だけでなく内容を抽出する。
  • オーナーのいないパイプライン。 劣化する。チームを指名し、時間を与える。
  • ポリシーのエラーをコードの欠陥として扱う。 人々がゲートを無視するようになる。停止を分類し、ポリシーを直す。
  • 緊急用の手作業の経路がない。 人々が迂回する。速く監査される経路を提供する。

成熟度モデル

観点 開始 発展 標準化 管理 協調
パイプラインの信頼性 その場限りのビルド。説明のつかない頻繁な失敗 パイプラインがある。成功が追跡される オーナー、目標、不安定なテストへの対処 所要時間と失敗がステージ別にレビューされる パイプラインがチーム間でパターンとキャパシティを共有する
承認とポリシー すべての変更に手作業の承認 一部の標準変更が定義される 標準変更のためのコードとしてのポリシー。テスト付き 承認のクラスが失敗のデータでレビューされる リスクベースの承認が、合意した限度内で自動的に適応する
証拠と迂回 事後に再構築される証拠 一部の証拠が記録される 必要な証拠が記録されリンクされる 迂回が突き合わされ、完全性が抽出される 証拠と突き合わせが完全に自動化され、監査される

チェックリスト

  • パイプラインに、名前の挙がったオーナーと、信頼性と速度の目標がある。
  • パイプラインの成功率と所要時間のパーセンタイルが、ステージ別に報告されている。
  • 不安定なテストが数えられ、それぞれにオーナーと修正の日付がある。
  • 標準変更のクラスがリスクの基準とともに定義され、失敗のデータでレビューされている。
  • ポリシーがコード、テスト済み、バージョン管理されており、実行ごとにバージョンが記録されている。
  • 迂回を見つけるために、本番の状態がパイプラインの記録と突き合わされている。
  • デプロイされた各変更について、必要な証拠が定義され記録されている。
  • 証拠の完全性が、内容の抽出によって確認されている。
  • 監査される緊急の経路があり、テストされている。
  • 各メトリクスに、悪用の手口と、その隣に示された防護柵がある。

AIプロンプト

自動承認のために変更をリスクで分類する。

以下は私たちが行う変更の種類と、それぞれの最近の履歴です:[変更の種類を、利用できれば変更と失敗の件数とともに貼り付け]。どの種類が自動承認の候補になりうるか、どれが人によるレビュー担当者を保つべきかを、理由と私が必要とする証拠とともに提案してください。失敗率を捏造しないでください。各提案を、変更のオーナーが決める提案としてマークしてください。前提と、私が集めるべきデータを列挙してください。

パイプラインが記録すべき証拠を定義する。

私たちのパイプラインは [ステージとツールの説明] です。変更の記録は [ツール] に保管されています。あらゆるデプロイの後に、次の問いに答えなければなりません:[監査人やインシデントのレビュー担当者の質問を列挙]。パイプラインが記録してリンクすべき証拠の項目、保存先、それが本物で空でないことの確認方法を提案してください。コンプライアンスの主張や法的要件を述べないでください。前提と、コンプライアンスチームへの問いを列挙してください。

不安定なテストのデータを分析する。

以下は [期間] の失敗したテストと再実行の結果の要約です:[個人情報のないデータを貼り付け]。失敗してから再実行で通るテストを特定し、領域別にグループ化し、直す順序を提案してください。データが支えない原因を推測しないでください。どんな追加データが役立つかを述べてください。前提を列挙してください。

パイプラインのダッシュボードの悪用のリスクをレビューする。

私たちは次のパイプラインの測定値を報告しています:[測定値と定義を貼り付け]。文脈:[チームの規模、ツール、聞き手]。各測定値について、デリバリーや安全を改善せずによく見えうる現実的な方法を列挙し、防護柵を提案し、その防護柵がどう悪用されうるかを述べてください。ベンチマークの値を捏造しないでください。前提を列挙してください。

AIスキル

要点

  • パイプラインは本番のサービスであり統制でもあるので、その信頼性、速度、生み出す証拠を測る。
  • 本番とパイプラインの記録を突き合わせて迂回を測り、パイプラインを最も簡単な経路にする。
  • よく理解された変更だけを、テスト済みのポリシーで自動承認し、残りには人の経路を設ける。
  • 不安定なテストを数えて直す。緑になるまでの再実行は、信頼と証拠を壊すからである。
  • 証拠の内容を抽出する。完全性の件数だけでは、空の記録でも満たせるからである。

参考文献とさらなる読書

  1. Wikipedia, Continuous integration.
  2. Wikipedia, Continuous delivery.
  3. Wikipedia, Software deployment.
  4. Wikipedia, DevOps.
  5. Wikipedia, Test automation.
  6. Wikipedia, ITIL.
  7. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.