リリースとデプロイのメトリクス
コードのデプロイとユーザーへのリリースは、リスクの異なる別の出来事である。そのため、別々に測り、それぞれを書面の規則で数え、単一の件数を祝うのではなく、頻度、リードタイム、バッチの大きさ、フラグの衛生を併せて読む。
概要と動機
多くのチームは、「デプロイ」と「リリース」という言葉を、同じことを意味するかのように使います。そうではなく、その違いがこのトピックで最も有用な考え方です。デプロイ(deployment)は、ソフトウェアのデプロイ(software deployment)の記事に述べられているように、ソフトウェアのあるバージョンを、通常は本番の環境に置く行為です。リリース(release)は、変更が意図したユーザーに利用可能になる瞬間であり、その判断を統治するためにリリース管理(release management)が存在します。二つが一緒に起きるとき、デプロイはリリースであり、一つの数字が両方を記述します。二つが分けられると、チームは頻繁に静かにデプロイし、意図してリリースできます。
この分離が重要なのは、二つの出来事が異なるリスクを持つからです。デプロイは技術的なリスクを持ちます。新しいビルドが起動しない、依存関係を壊す、ロールバックが必要になるかもしれない。リリースは、事業とユーザーのリスクを持ちます。変更が顧客を混乱させる、あるいは合意した日付に着地する必要があるかもしれない。二つの出来事を結合するチームは、両方のリスクを一度に引き受け、それが大きな変更のバッチをまれにリリースするほうへ押しやります。それらを分離するチームは、技術的なリスクを小さな段階で、ユーザーのリスクを管理された段階で引き受けます。
分離の主な道具はフィーチャートグル(feature toggle)で、フィーチャーフラグとも呼ばれます。新しいデプロイなしに、振る舞いをオンまたはオフにする設定上のスイッチです。関連する技法には、最初に変更を一部のトラフィックに公開するカナリアリリース(canary release)と、二つの本番環境を保ち、その間でトラフィックを切り替えるブルーグリーンデプロイ(blue-green deployment)があります。これらはすべて、二つの別個の問いに答えられるようにします。新しいバージョンは安全に動いているか、誰が新しい振る舞いをいつ見るべきか。
以下の用語がこのトピックで繰り返し現れます。
- リリース(release)は、ユーザーに利用可能になるバージョンまたは変更の集合です。
- デプロイ(deployment)は、バージョンを環境に動かすことです。ITIL 4は、これに対するプラクティスとしてデプロイ管理を挙げています。
- ダークローンチ(dark launch)は、新しい振る舞いがユーザーに対してオフにされているデプロイです。
- 段階的なロールアウト(progressive rollout)は、たとえば1パーセント、10パーセント、全員と、段階的に公開を広げるリリースです。
- バッチ(batch)は、一つのデプロイまたはリリースで一緒に出荷される変更の集合です。バッチの大きさは、その中の変更の数、または変更の量です。
- リリースのリードタイム(release lead time)は、述べた開始点から、変更がそのユーザーに利用可能になるまでの経過時間です。いくつもの開始点が広く使われているため、チームはそれを書き留めます。
- パーセンタイル(percentile)は、観測値の述べられた割合がそれを下回る値です。リリースのリードタイムの85パーセンタイルは、リリースの85パーセントがそれより短い数字です。
アジャイルとITILの見方は、ここで出会います。継続的デリバリー(continuous delivery)に従うアジャイルのチームは、すべての変更がいつでもリリース可能であることを望み、リリースを技術的な行為とは別に下す事業の判断として扱います。ITILの実践者は、リリース管理、デプロイ管理、変更実現を、変更の稼働への移行を計画、スケジュール、統制するプラクティスとして見ます。リリース管理が大きなイベントのカレンダーと理解されるとき、二つの見方は衝突します。プラクティスが、統制がパイプラインとフラグに組み込まれた、必要に応じて安全にリリースする能力と理解されるとき、両者は噛み合います。
このトピックは、DORAの研究プログラムの五つのデリバリーパフォーマンスの測定値の定義(トピック 2.8「DORAメトリクス」を参照)、リリース後の失敗と手戻りの測定値(トピック 4.4「変更の失敗と手戻り」を参照)、変更の量と承認(トピック 4.3「変更実現のメトリクス」を参照)を繰り返しません。それらのトピックが開いたままにしているものを加えます。リリースをデプロイと区別してどう数えるか、完成した変更がユーザーに届くまでどのくらい待つか、バッチがどのくらい大きいか、分離を可能にするフラグがきちんと保たれているか。
最後に、リリースとデプロイの件数は、リーダーシップのダッシュボードにとって魅力的な数字であり、グッドハートの法則(Goodhart's law)がすぐに当てはまります(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。デプロイの件数は、変更が些細な断片に分割されると上がります。リリースの件数は、ラベルが変えられると上がります。したがって、以下の各メトリクスには、それが曲げられる方法と、その曲がりを捉える防護柵が付いています。
主要な原則
- デプロイとリリースは二つの出来事である。 アーキテクチャが許す限り別々に測り、それらがまだ一つの出来事であるところでは、そうはっきり述べる。
- 書面の規則で数える。 デプロイが数えられるのは、名前付きの環境が名前付きのバージョンを成功した結果で受け取ったとき。リリースが数えられるのは、意図したユーザーが変更に到達できるとき。規則を一度書き、毎回同じように適用する。
- 人ではなく、サービスを記述する。 件数はサービスとそのチームに属し、個人には決して属さない。
- 仕事だけでなく、待ちを測る。 リリースのリードタイムは、ウィンドウ、承認、判断を待つ何日もの時間を含むことが多い。改善が通常存在するのは、待ちのところである。
- 小さなバッチがてこである。 頻度と大きさは、一つのものの二つの見方である。すべての件数を、各リリースが運んだ変更の量の測定値と組にする。
- フラグは保有コストのある在庫である。 長生きしすぎたフラグは、デッドコードと失敗の源になるので、フラグの網羅率と同じ注意でフラグの年齢を追跡する。
メトリクスの定義
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| デプロイ頻度 | サービスが本番への成功したデプロイを受けるのがどのくらいの頻度か | その期間のサービスの成功した本番デプロイの数 ÷ その期間の日数。テストやステージング環境へのデプロイ、失敗またはロールバックされたデプロイ、変更のないビルドの再デプロイは除く。設定のみのデプロイは別の系列で数える | 1日または1週間あたりのデプロイ | デプロイのパイプラインのイベントログ | デプロイ管理 | 継続的デリバリー、動くインクリメントの出荷 | 毎週 |
| リリース頻度 | ユーザーが到達できる変更を受け取るのがどのくらいの頻度か | その期間のリリースイベントの数 ÷ その期間の日数。リリースイベントとは、変更または変更のグループが意図したユーザーに到達可能になる瞬間(全ユーザーに対してオンにされたフラグ、段階的なロールアウトの最終段階、フラグのない変更のデプロイ)。ダークローンチ、部分的な段階で止まったロールアウト、社内ユーザーにのみ影響するフラグの変更は除く | 週または月あたりのリリース | パイプラインのログとリリースカレンダーに結合したフラグサービスの監査ログ | リリース管理 | 各インクリメントの終わりでのリリース。利用可能になった出荷可能なインクリメント | 毎週、毎月レビュー |
| リリースのリードタイム | 完成した変更が、ユーザーが到達できるようになるまでどのくらい待つか | 時計は変更がメインラインにマージされ自動チェックを通過したとき(チームがそう書く場合は最初のコミット)に始まり、上記で定義したように変更がリリースされたときに止まる。その期間にリリースされた変更の中央値と85パーセンタイルを報告する。まだリリースされていない変更は除き、待機中の仕事の年齢として報告する | 時間または日 | パイプラインとフラグの監査ログに結合したバージョン管理 | リリース管理、デプロイ管理 | 完了から提供までのリードタイム、顧客までのリードタイム | 毎週、毎月レビュー |
| デプロイからリリースまでのギャップ | デプロイされたコードが、ユーザーが到達できるようになるまでどのくらい暗いままか | 時計は変更が本番にデプロイされたときに始まり、リリースされたときに止まる。中央値と85パーセンタイルを報告する。デプロイの瞬間にリリースされた変更はギャップがゼロで、含める。デプロイされ、のちにリリースなしに削除された変更は除き、別に数える | 時間または日 | フラグの監査ログに結合したパイプラインのログ | リリース管理、デプロイ管理 | ダークローンチ、デプロイとリリースの分離 | 毎月 |
| リリースのバッチの大きさ | 一つのリリースでどれだけの変更が一緒に出荷されるか | その期間のリリースごとのマージされた変更(プルリクエストまたは作業アイテム)の数の中央値と85パーセンタイル。変更の単位は書き留める。各変更は、それを到達可能にしたリリースで一度だけ数える | リリースあたりの変更 | リリースイベントに結合したバージョン管理と課題管理 | リリース管理、変更実現 | 小さなバッチ、仕事の垂直スライス | リリースごと、毎月レビュー |
| フィーチャーフラグの網羅率 | フラグの裏でリリースされた、ユーザーに見える変更の割合 | その期間にリリースされた、リリース時にフラグがあった、ユーザーに見える変更 ÷ その期間にリリースされたすべてのユーザーに見える変更。フラグ化できないインフラの変更と欠陥の修正は除く。「ユーザーに見える」の規則は書き留める | パーセント | 課題管理とリリースログに結合したフラグサービス | リリース管理、変更実現 | 段階的なデリバリー、実験駆動の開発 | 毎月 |
| 古くなったフラグの数 | 目的を過ぎて生き延びているフラグの数 | それが守る変更が全ユーザーに達してから、述べた日数を超えてコードまたは設定に残っているリリースフラグの数。恒久的な運用フラグ(キルスイッチ、権限のフラグ)にはタグを付けて除く。年齢の上限はフラグの種類ごとに書き留める | フラグ、およびリリースフラグの年齢の中央値(日) | コード検索に結合したフラグサービスの棚卸し | リリース管理、ナレッジマネジメント | 技術的負債の整理、フラグの削除という完了基準 | 毎月 |
推奨事項
何がデプロイで何がリリースに当たるかを書き下す
どちらかを数える前に、両方の出来事を定義する。 デプロイが数えられるのは、名前付きのバージョンが名前付きの環境に達し、パイプラインが成功を報告したときです。リリースが数えられるのは、意図したユーザーが変更に到達できるときで、フラグ付きの変更では、コードが到着した瞬間ではなく、フラグが彼らに対してオンにされた瞬間です。除外を同じ文で述べます。テスト環境、ロールバック、変更のないビルドの再デプロイ、社内のみの公開。
二つの系列を並べて報告する
デプロイ頻度とリリース頻度を、一つのグラフに示す。 線が一致するところでは、サービスは二つの出来事を結合したままです。デプロイがリリースよりずっと先を行くところでは、チームは分離を始めており、線の間の距離が能力のしるしです。単一の合算した数字はこれを隠し、チームが、ユーザーが決して目にしない高い頻度を主張することを許します。
リリースのリードタイムを、述べた開始からユーザーまで測る
時計の開始を一度選び、それを保つ。 最初のコミットから始めると全行程が見え、メインラインへのマージから始めると、リリースのパイプラインとその承認が切り分けられます。どちらも、グラフに述べられ、静かに変更されないなら許容されます。時計は、デプロイではなくリリースで終えます。そうでなければ、ユーザーが待った時間を測らなくなります。
頻度の隣にバッチの大きさを追跡する
すべての頻度を大きさと組にする。 チームは、独立しては有用でない断片に一つの変更を切り分けることでデプロイの件数を上げられ、実際のフローが同じままで件数が上がります。バッチの大きさの中央値と85パーセンタイルは、断片が本物かを示します。小さなバッチはレビュー、テスト、元に戻すのが容易で、それが頻度が代理している便益です。
段階的なロールアウトの段階をイベントとして扱う
ロールアウトの各段階を、タイムスタンプとともに記録する。 1パーセントから10パーセント、全員へと進むロールアウトは、三つのタイムスタンプを与え、それぞれが止める機会です。段階、公開の割合、次の段階を許したヘルスチェックの結果を取得します。これにより、本当のシグナルのために一時停止されたロールアウトと、停滞したロールアウトを区別できます。
オーナーと有効期限付きのフラグの棚卸しを保つ
すべてのリリースフラグに、作成時に、オーナー、目的、計画された削除日を与える。 フラグサービスまたは単純な台帳でこれらを保持できます。台帳を毎月レビューし、古くなったフラグの数を計算します。全面ロールアウトの後にオンのまま残されたフラグは、なお分岐するデッドコードです。削除を、変更の完了の一部として扱います。
フラグを種類別にタグ付けする
一時的なリリースフラグと恒久的な運用フラグを分ける。 キルスイッチと権限のフラグは設計上恒久的で、リリースフラグは全面ロールアウト後に削除されるべきです。種類を混ぜると、古くなった数がノイズを帯び、インシデントの際に誰かが必要とするスイッチをチームが削除することを招きます。フラグを作成するときに、種類を必須にします。
リリースをインシデントと変更のレコードにリンクする
リリースの識別子をインシデントと変更に記録する。 リリースのイベントは、インシデントのツールからたどれるべきで、先週デプロイされたものでも今朝オンにされたものでも、インシデントの原因をリリースされた変更に結び付けられるようにします。リンクがなければ、不安定性の測定値は、失敗をデプロイの日付に帰属させ、フラグの変更によって起きた失敗を見逃します。本番でのフラグの変更は、ITILの意味での変更であり、標準変更として事前承認されていても、変更実現から見えるべきです(トピック 4.3「変更実現のメトリクス」を参照)。
悪用の手口と防護柵
| メトリクス | 悪用のされ方 | 組になる防護柵のメトリクスまたはプラクティス |
|---|---|---|
| デプロイ頻度 | 一つの変更を些細なデプロイに分割する、変更のないビルドを再デプロイする、ステージングへのデプロイを数える、設定のみのデプロイを主な系列で数える | リリースのバッチの大きさと、ユーザーに見える変更を含むデプロイの割合。別の設定の系列。その隣に変更失敗率 |
| リリース頻度 | デプロイをリリースとラベルし直す、社内スタッフにオンにされたフラグをリリースとして数える、目標を満たすために空の、あるいは見た目だけの変更をリリースする、ロールアウトの各段階を別々のリリースとして数える | リリースの書面の定義。ユーザーに見える変更に照らして確認する、四半期ごとのリリースの抽出。バッチの大きさと顧客向けの変更の件数 |
| リリースのリードタイム | たとえばマージではなく承認で、時計を遅く始める、長く待った変更を「ブロック」として除外する、中央値を下げるために些細な変更を最初にリリースする、デプロイで時計を終える | 85パーセンタイルと、待機中の最も古い変更の年齢。固定の書面の開始。最も遅い10パーセントの変更の四半期ごとのレビュー |
| デプロイからリリースまでのギャップ | リリースを早く記録するために名目上のユーザーに対してフラグをオンにする、長く暗いコードを「リリースではない」と呼んで抽出から外す、長いギャップを避けるためにダークコードを削除する | リリース時の公開の割合(何がリリースされたと数えるかのしきい値)。リリースなしにデプロイされ削除された変更の数。古くなったフラグの数 |
| リリースのバッチの大きさ | 仕事を人為的なプルリクエストに分割する、リリースの数を減らすために無関係な変更を一つにまとめる、バンドルの中の大きな変更だけを数える | 文脈の測定値としての、行またはファイルでの変更の大きさの中央値。無関係なバンドルについてのリリースの抽出のレビュー。大きさの隣に頻度 |
| フィーチャーフラグの網羅率 | 割合を上げるために些細な変更にフラグを加える、安全な変更にだけフラグを付けてリスクのあるものはフラグなしで出荷する、実際にはオフにできないフラグを作る | フラグの抽出に対するフラグオフのテスト結果。古くなったフラグの数。フラグのなかったインシデントの原因 |
| 古くなったフラグの数 | 古くなった数から外れるようリリースフラグを恒久的にタグ付けし直す、コードにフラグを残したままフラグのレコードを削除する、レビューなしに有効期限を延ばす | 台帳に照らした定期的なコード検索。フラグの種類のあらゆる変更のレビュー。最も古いリリースフラグの年齢 |
健全な読みは、フラグを使うサービスで、デプロイがリリースを先行し、ギャップは控えめで、バッチの大きさは小さく安定し、リードタイムの85パーセンタイルが中央値からそれほど離れていない状態です。リスクのある変更ではフラグの網羅率が高く、古くなったフラグの数は低いか減っています。良すぎる読み、たとえば増えるバッチの大きさを伴う高い頻度や、恒久的なフラグの数が膨らむ中での古くなった数のゼロは、祝う前に抽出による監査に値します。
トレードオフ:長所と短所
| 手法 | 強み | 弱み |
|---|---|---|
| 継続的にデプロイし、フラグでリリースする | デプロイあたりの技術的リスクが小さい。リリースのタイミングが事業の選択になる。素早いスイッチオフ | フラグの規律とツールが要る。テストして取り除く必要のあるコードの経路が増える |
| デプロイとリリースを結合する | 説明しやすい。数える出来事が一つ。フラグの負債がない | すべてのリリースが技術的リスクとユーザーのリスクの両方を抱え、大きなバッチをまれにリリースすることを促す |
| 定期的なリリース列車 | サポートや規制当局に予測可能 | 変更は次の列車を待つ。件数は能力ではなくカレンダーを反映する |
| パーセンテージによる段階的なロールアウト | 悪いリリースの影響を限定する。各段階で証拠を生む | 良好なテレメトリとヘルスチェックが要る。しばらく異なるバージョンが並んで動きうる |
| デプロイとリリースの両方を数える | 分離と待ちを示す | フラグの監査ログまたはリリースのレコードをパイプラインに結合する必要がある |
デプロイをリリースから分離できないサービス、たとえばアプリストアの審査を経て配布されるモバイルアプリケーションは、測れるものを測るべきです。リリース頻度、リリースのリードタイム、バッチの大きさに、ストアの審査時間を別の待ちとして報告します。
チームで話し合う問い
1. 私たちは「デプロイ」と「リリース」を同じ出来事に使っているか、それは実際に起きていることに合っているか? 三人に、最後に稼働した変更を説明してもらい、コードが到着した時と、ユーザーが最初に使えた時を記録します。ファシリテーターは、グループが各用語に一文で合意し、既存の各ダッシュボードの数字が二つの出来事のどちらを測っているかを決めるのを助けてください。
2. 完成した変更がリリースを待った最長の時間は何で、なぜか? ユーザーがまだ到達できない、マージされた最も古い変更を取り出します。マージから現在までの経路をたどり、その間のすべての待ちを書き留めます。
3. デプロイの件数が倍になったら、良い知らせと呼ぶ前に何を確認するか? グループに、より多くの価値がユーザーに届かないまま件数が上がりうる方法を挙げてもらいます。バッチの大きさ、ユーザーに見える変更を含むデプロイの割合、失敗と手戻りの数字を見ます。ファシリテーターは、誰かが目標を設定する前に、これらの確認のうちどれがすでにダッシュボードにあり、どれを加える必要があるかを記録してください。
4. 私たちのフラグのうち、削除するのが怖いものはどれで、それは何を教えるか? フラグの台帳を見て、最も古い三つを選びます。それぞれのオーナー、何を守っているか、削除したら何が起きるかを尋ねます。削除への恐れは、通常、欠けているテスト、欠けているオーナー、あるいは欠けている目的の記録を意味します。少なくとも一つについて削除日と、削除を安全にする確認に合意します。
5. 変更がいつリリースされるかを誰が決め、その人は必要な情報を持っているか? リリースが事業の選択であるところでは、それを行う人は、ロールアウトの状態、ヘルスのシグナル、サポートの準備状況を見る必要があります。それらの事実が現在どこにあり、判断者がリリースをどれだけ速く元に戻せるかを尋ねます。
6. 先四半期で最もうまくいかなかったリリースはどれで、どの測定値が私たちに警告できたか? トラブルを起こしたリリースを一つ選び、タイムラインを一緒に読みます。バッチは大きかったか、ギャップは長かったか、ロールアウトに段階があったか、フラグが被害を限定できたかを尋ねます。その結果として、加える測定値を一つ、あるいは引き締めるしきい値を一つ選びます。
四つの視点
プロダクトとデリバリーのチーム
デリバリーのチームは、これらの測定値を使って、パイプラインとフラグが公開の統制を実際に与えているかを見ます。最も有用なビューは、ギャップ、バッチの大きさ、待機中の最も古い変更の年齢です。それぞれが、チームが変えられるものを指すからです。
サービスと運用のチーム
運用とサポートのチームは、本番で何がいつ変わるかを気にします。リリースのイベントとフラグの変更は、理想的にはすべてのインシデントにリリースの識別子とともに、彼らに見えている必要があります。段階的なロールアウトと素早いスイッチオフは、完全な復旧を要するインシデントの数を減らし、測定値は、運用チームが自分たちの仕事をより穏やかにする統制を求める助けになります。
リーダーシップとガバナンス
リーダーは、各サービスの傾向とばらつき、そして単純な問いへの答えを求めるべきです。完成した変更がユーザーに届くのにどのくらいかかり、どれだけ安全か。チーム横断のデプロイ頻度の目標は、分割とラベルの付け替えを招くので、リードタイムの分布や既知の待ちの除去のようなアウトカムの目標を優先します。ガバナンスは、フラグの監査証跡が完全である限り、低リスクのフラグ付きの変更を事前承認することで、リリースの承認の負荷を減らせます(トピック 4.3「変更実現のメトリクス」を参照)。
顧客とユーザー
顧客が目にするのは、デプロイではなくリリースです。修正がすぐに届くこと、新しい振る舞いが不意打ちにならないこと、悪い変更が素早く元に戻せることを気にします。二つの出来事を分離するチームは、顧客に機能への早期アクセスを与え、守れる日付を発表し、残りを失うことなく一つの機能をロールバックできます。これらの測定値を顧客向けのもの(トピック 5.3「可用性のメトリクス」とトピック 6.1「顧客満足度のメトリクス」を参照)と組にします。
実践:サービスマネジメントの例
地域のオンライン小売業者が、一つのプロダクトチームが所有し、プラットフォームチームとサービスデスクが支える商品検索サービスを運営しています。サービスはパイプラインを通じて本番にデプロイされ、6か月前に導入されたフラグサービスがあります。以下の数字はすべて例示です。
直近の四半期に、チームは52回の本番デプロイを行い、週約4回です。リリース頻度は、変更が意図した全ユーザーに到達可能になった瞬間として数えて、同じ四半期で11回、週約1回でした。マージからリリースまでのリリースのリードタイムの中央値は9日で、85パーセンタイルは21日でした。デプロイからリリースまでのギャップの中央値は6日でした。リリースのバッチの大きさの中央値は3変更、85パーセンタイルは14でした。ユーザーに見える変更のフラグの網羅率は58パーセントで、17のリリースフラグが、全面ロールアウトから30日を超えていました。
悪用のリスクはすでに見えています。一部のデプロイは設定のみで、パイプラインはそれぞれをデプロイとして数えていたので、ダッシュボードは今は別の設定の系列を示し、月次のレビューは10回のデプロイを抽出してユーザーに見える変更を確認します。地域のマネージャーがデプロイの件数を見て、別のチームの数字に合わせて上げるようチームに求めます。チームリードは目標に抵抗し、代わりに数字の全体を月次のレビューに持ち込みます。レビューは、ギャップが長いのは、リリースが毎週のマーケティングとサポートの打ち合わせを待つため、17の古くなったフラグのうち四つが誰もテストしていないコードの経路を守っていること、バッチの大きさの85パーセンタイルが、休暇前の凍結の前に無関係な変更をまとめた少数のリリースから来ていることを見いだします。
判断ログに記録された決定には四つの部分があります。サポートとマーケティングは、リリースの判断が毎週の枠を待たないよう、より短い週二回の打ち合わせに参加する。すべてのリリースフラグにオーナーと削除日が与えられ、テストされていない四つの古くなったフラグは次の二週間で削除される。無関係な変更をまとめたリリースは、リリースのレコードに述べた理由を要する。チームは共通のデプロイ目標を断り、代わりに各サービスのリリースのリードタイムの分布とフラグの衛生の共有のビューを提案する。変更マネージャーは、パイプラインのチェックを通過したフラグ付きの変更を標準変更として扱うことに合意し、次の四半期にレビューする。次の四半期(例示)に、リリースのリードタイムの中央値は5日に下がり、古くなったフラグの数は6に下がり、変更失敗率は安定したままなので、実験は続きます。
アジャイル、AI、自動化、アナリティクス
アジャイル
デプロイをリリースから分離することで、チームは小さな変更を継続的に出荷し、ステークホルダーの準備ができたときにリリースできます。フラグの衛生を定期的にレビューします。注意点は、デプロイを数えることが変更の分割を報いることです。
AI
AI支援のコーディングは、デプロイの件数とバッチの大きさを上げえます。頻度を、失敗したデプロイからの復旧と古くなったフラグの数と組にし、AI支援の変更にデータで印を付けてください。注意点は、より多くの手戻りを伴うより多くのデプロイは進歩ではないことです。
自動化
デプロイとリリースをパイプラインのイベントから数え、フラグの整理のリマインダーを自動化します。パイプライン自体は、その失敗率で測ります。注意点は、パイプラインの外で行われる手作業のリリースがデータから消えることです。
アナリティクス
頻度を、リードタイム、バッチの大きさ、デプロイとリリースの間のギャップとともに示します。これが情報を与える判断は、ユーザーへの道のりがどこで遅いかです。注意点は、デプロイの定義がチームによって異なることです。
業種別の視点
スタートアップ。 スタートアップには、しばしば単一のサービスとコード内のフラグライブラリがあり、デプロイとリリースを安く分離できます。有効期限付きのフラグの簡単な台帳を保ち、パーセンタイルを信頼する前に十分な量を待ちます。
中小企業。 小さな事業は、供給者がリリースを管理するパッケージや購入したソフトウェアを運用することがあります。有用な測定値は、供給者のリリースと事業がそれを採用するまでの時間と、メジャーバージョンで一緒に到着する変更のバッチです。その間の待ちが見えるよう、供給者のリリース日と自分たちのデプロイ日を記録します。
大企業。 大企業は、異なるリリースのスタイルを持つ多くのサービス、中央の変更プロセス、共有の環境に直面します。主な仕事は、チームと供給者の間でデプロイとリリースの定義に合意すること、違いを尊重する集約を保つことです。ガバナンスにはばらつきと傾向を使い、フラグ基盤をオーナーのいる共有サービスとして扱います。
政府・公共部門。 リリースは固定された日付、法律、調達のサイクル、保証のゲートに結び付いていることが多く、リリース頻度が正当な理由で低いことがあります。デプロイ頻度とデプロイからリリースまでのギャップは、リスクのどれだけが早期に取られ、どれだけが日付を待つかを示せます。外部のゲートの待ちを、チーム自身のパイプラインの時間とは別に報告します。
ビジネスケース:動機、ROI、TCO
これらの測定値の動機は、変更を完成させてからその価値を届けるまでのリスクと遅れを減らすことです。まれにリリースされる大きなバッチは、出来事あたりのより多くの変更を抱え、失敗の診断が難しく、元に戻すのも難しくなります。デプロイをリリースから分離することで、チームは技術的リスクを早く、少量で取り、ユーザーのリスクを意図して取れるようになります。測定値は、分離が本物か、変更がどこで待っているかを示します。
コストは中程度です。デプロイとリリースのイベントを集めるには、パイプラインのログとフラグの監査ログを、バージョン管理と課題管理に結合する必要があり、これは一度きりの連携とその後の時折の維持です(トピック 1.5「データソースと計装」を参照)。フラグの実践自体には、運用コストがあります。基盤またはライブラリ、台帳、フラグ付きの変更の両方の経路のテスト、期限切れのフラグの整理。主な隠れたコストはフラグの負債で、古くなったフラグの数がそれを見えるようにします。
見返りは、ほとんどのチームが自分のデータで観察できるパターンに従います。より短いリリースのリードタイムは、変更がユーザーを助けるかについてのフィードバックのループをより速くします。より小さなバッチは、診断をより容易に、元に戻すのをより容易にします。より短いデプロイからリリースまでのギャップは、完成した仕事が実現されずに座っている時間を減らします。価値の数字を捏造してはいけません。何週間も暗いままだった変更のチーム自身の例と、自分たち自身の測定値の傾向を使ってください。
アンチパターンと落とし穴
- すべてのチームにデプロイ頻度の目標を設定する。 分割とラベルの付け替えを招く。リードタイムの分布の狭まりのようなアウトカムの目標を設定し、頻度は後からついてくるようにする。
- リリース列車を能力の証明として扱う。 固定のカレンダーは安定した件数を与え、待機中の仕事の年齢を隠す。ユーザーが到達できない、マージされた最も古い変更の年齢を追跡する。
- 設定の変更を主な系列のデプロイとして数える。 数字が水増しされる。別の系列を保ち、主なものの隣に示す。
- フラグを決して削除しない。 コードにデッドブランチとテストされていない組み合わせが溜まる。すべてのリリースフラグにオーナーと削除日を与え、削除を完了の一部として扱う。
- 記録なしに本番でフラグを変更する。 フラグの変更は、本番の振る舞いへの変更である。監査ログに送り、変更実現から見えるようにする。
成熟度モデル
| 観点 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 協調 |
|---|---|---|---|---|---|
| 定義と時計 | 「デプロイ」と「リリース」が互換的に使われ、各人が異なって数える | 少数のチームが自分たちの定義を書き下している | メトリクス台帳に、時計と除外を含むデプロイとリリースの書面の定義が一つある | 定義の変更を記録してグラフに印し、毎四半期に抽出を確認する | 判断に情報を与えなくなった定義が、供給者やガバナンスとともに見直される |
| デプロイとリリースの分離 | すべてのデプロイがリリースである | 一部のチームがリスクのある変更にフラグや段階的なロールアウトを使う | フラグと段階的なロールアウトが標準的な選択肢で、リリースのイベントが記録される | ギャップ、バッチの大きさ、ロールアウトの段階を傾向として追い、レビューする | リリースのタイミングが、関連するサービスについて、チームと供給者の間で調整される |
| データの取得 | チケットとチャットから手作業で件数を集める | 一部のサービスにパイプラインのデータがあり、リリースは手作業で記録される | ほとんどのサービスでデプロイ、リリース、フラグの変更が自動で取得される | データ品質(リンク率、抽出の監査)を測り、傾向として追う | イベントが、合意したインターフェースを通じてチームと供給者の間で共有される |
| フラグの衛生 | 棚卸しなし | 一部のチームに非公式な一覧がある | すべてのリリースフラグについて、オーナー、種類、有効期限を持つ台帳がある | 古くなったフラグの数を傾向として追い、削除を完了の一部として確認する | フラグ基盤が、自動の期限切れのリマインダーとともに共有サービスとして管理される |
| 数字の利用 | 単一の件数として上へ報告される | チームが時折、自分たちのグラフを見る | 失敗と手戻りの数字の隣で、所有するチームが毎月レビューする | 傾向が防護柵付きで、資金の付いた改善に供給される | ばらつきと傾向が、組織全体のプラットフォームへの投資と変更方針に情報を与える |
チェックリスト
- 「デプロイ」と「リリース」が、それぞれの時計のイベントと除外とともに、書面で定義されている。
- 本番へのデプロイが、テスト環境を除いて、パイプラインから自動で取得されている。
- リリースのイベントが、フラグの監査ログ、ロールアウトの段階、またはリリースのレコードから取得されている。
- リリースのリードタイムが、述べた時計の開始を使い、中央値と85パーセンタイルを報告している。
- デプロイからリリースまでのギャップとリリースのバッチの大きさが、頻度の隣に報告されている。
- 設定のみのデプロイが、別の系列に現れる。
- すべてのリリースフラグに、台帳に、オーナー、種類、有効期限がある。
- 古くなったフラグが毎月レビューされ、その削除が完了の一部になっている。
- リリースの識別子が、インシデントと変更のレコードに現れる。
- デプロイとリリースの抽出が、毎四半期、定義に照らして監査されている。
- 最も長い待ちに結び付いた改善の実験が一つ、レビュー日とともに進行している。
AIプロンプト
サービスのデプロイとリリースの定義を起案する。
[サービス名] のリリースとデプロイのメトリクスを定義しています。ツールは [バージョン管理のホスト、CI/CDシステム、フラグサービス、課題管理、ITSMツール] です。リリースのスタイルは [継続的、週次の列車、月次、ストア審査、その他] です。デプロイ頻度、リリース頻度、リリースのリードタイム、デプロイからリリースまでのギャップ、リリースのバッチの大きさ、フィーチャーフラグの網羅率、古くなったフラグの数について、時計がどこで始まり止まるか、何を数え何を除くか、データソース、解決すべきあいまいさを一つ述べた定義を起案してください。ベンチマークの値を捏造したり、私たちのプラクティスが公表されたパフォーマンスの帯に合うと主張したりしないでください。前提と、定義を仕上げるために私が答えるべき問いを列挙してください。
リリースのメトリクスの集合の悪用リスクを確認する。
私たちのリリースとデプロイのメトリクスは次のように計算、報告されています:[各メトリクス、データソース、報告方法の説明]。読み手は [チーム、リーダーシップ、ガバナンスの組織]、目標は(あれば)[目標、またはなし] です。各メトリクスについて、実際の改善なしに数字が水増し、隠蔽、歪曲されうるもっともらしい方法を列挙し、それを捉える組になる防護柵のメトリクスまたはプラクティスを提案してください。統計を捏造しないでください。前提と、より正確にするために必要な情報を列挙してください。
デプロイ、リリース、フラグのエクスポートを分析する。
次の項目を持つ小さなエクスポートを貼り付けます:[項目の一覧。例:デプロイid、デプロイ時刻、結果、変更id、フラグ名、フラグがオンになった時刻、公開の割合、リリース時刻]。[開始日] から [終了日] までの [サービス名] の [数] 件のデプロイと [数] 個のフラグを対象としています。リリースのリードタイムとデプロイからリリースまでのギャップの中央値と85パーセンタイル、バッチの大きさの分布、全面ロールアウトから [年齢の上限] 日を超えたフラグの一覧を、それぞれの背後の件数とともに計算してください。リンクが欠けている、あるいはタイムスタンプが疑わしいレコードに印を付けてください。データを超えて外挿したり、結果を外部のベンチマークと比較したりしないでください。前提と、結論を制限するデータ品質の問題を列挙してください。
フラグの整理とリリースの待ちの実験を計画する。
私たちの最長のリリースの待ちは [待ちの説明。期間と件数付き] で、フラグの台帳には [数] 個のリリースフラグがあり、そのうち [数] 個が有効期限を過ぎています。制約は [制約。例:規制対象のリリース、ストア審査、共有のテスト環境] です。それぞれ仮説、効果を観察する方法、防護柵のメトリクス、リスクを伴う、4〜6週間の小さな実験を三つ提案してください。期待される改善の数字を捏造しないでください。前提と、開始前に確認すべきことを列挙してください。
AIスキル
- サービスマネジメントメトリクスのスキル:関連する変更、リリース、インシデントのトピックと、各リリースのメトリクスの隣に置くべき防護柵を探すときに使います。
- サービスマネジメントメトリクスのメンテナースキル:このトピックの改訂版が、時計、悪用の手口、相互参照を整合させているかを確認するときに使います。
要点
- デプロイはバージョンを環境に置き、リリースは変更をユーザーが到達可能にする。可能な限り、二つを別々に測る。
- リリースのリードタイムは、述べた開始から、リリースで終え、中央値と85パーセンタイルで報告するべきである。
- デプロイからリリースまでのギャップとバッチの大きさは、分離が本物かを示し、分割とラベルの付け替えから頻度を守る。
- フィーチャーフラグは分離を可能にし、コストを伴うので、オーナーと有効期限とともに網羅率と古くなったフラグを追跡する。
- 書面の規則で数え、リリースをインシデントと変更にリンクし、サービスを他のチームではなく、自分自身の履歴と比較する。
参考文献とさらなる読書
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Humble, J., and Farley, D., Continuous Delivery: Reliable Software Releases through Build, Test, and Deployment Automation, Addison-Wesley, 2010.
- DORA, DORA's software delivery performance metrics, Google Cloud, https://dora.dev/guides/dora-metrics/
- Hodgson, P., "Feature Toggles (aka Feature Flags)," martinfowler.com, 2017, https://martinfowler.com/articles/feature-toggles.html
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Software deployment.
- Wikipedia, Release management.
- Wikipedia, Feature toggle.
- Wikipedia, Canary release.
- Wikipedia, Blue-green deployment.
- Wikipedia, Continuous delivery.
- Wikipedia, Goodhart's law.