プルリクエストとコードレビューのメトリクス
レビューは、完成した仕事が最も待たされやすい場所である。そのため、変更が誰かに見られるまでどのくらい座っているか、どれだけ大きいか、どのくらい差し戻されるかを測り、すべての速さの数字を品質のシグナルと組にして、速いことが雑であることを意味しないようにする。
概要と動機
プルリクエスト(pull request)とは、バージョン管理(version control)リポジトリのあるブランチから別のブランチへ、一連の変更をマージする提案であり、それをマージすべきかについての対話を伴います。多くのチームでは、「作者は動くと考えている」と「チームが出荷してよいと同意する」の間の正式なゲートです。この対話はコードレビュー(code review)の一形態です。作者以外の人が変更を読み、質問し、承認するか修正を求めます。プラットフォームによっては同じものをマージリクエストと呼びますが、このトピックでは両方を「プルリクエスト」と呼びます。
レビューを測る価値がある理由は単純です。デリバリーのフローの見方では、作業アイテムは生涯の大半を待って過ごし、レビューは、完全にチームの管理下にある待ちの一つです。共有プラットフォームのボトルネックや外部の依存関係は、他の人々が変わる必要があります。最初に見てもらうのに二日待つプルリクエストは、チーム自身の習慣が変わるだけで済みます。本書のフロー指標(トピック 2.1「フロー指標」とトピック 2.2「リードタイム、サイクルタイム、フロー効率」を参照)は、一般的な語彙を与えます。このトピックは、サイクルの一つの段階を拡大し、独自の計器を与えます。
アジャイルとITILの見方は、ここで有用な形で出会います。アジャイルの観点では、レビューはフィードバックのループであり、教える仕組みです。コードベースの知識を広め、欠陥を早く捉え、チームのワーキングアグリーメントと完了の定義を徹底します。ITILの観点では、同じ活動がいくつものプラクティスを支えます。ITIL 4では、ソフトウェアの開発と管理のプラクティスがソフトウェアの構築と確認の方法を扱い、変更実現が変更の評価と承認の方法を扱い、デプロイ管理が変更が本番環境に届く方法を扱います。多くの組織にとって、ピアレビューされたプルリクエストは、標準変更がリリース前に評価されたことの証拠です。レビューを測定され改善可能な活動として扱うことは、両方の見方に資します。アジャイルのチームはより速いフィードバックを望み、ITILのプラクティスは、変更が確認されたという確かな保証を望みます。
終始念頭に置くべきリスクは、レビューの速さとレビューの質が、簡単に切り離せることです。チームは、見た瞬間にすべてを承認することで、最初のレビューまでの時間を半分にでき、ダッシュボードが勝利を示す一方で、コードベースは悪くなります。グッドハートの法則(Goodhart's law)は、このメトリクスのファミリーに特別な強さで当てはまります(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。数字は集めるのが安く、誰にでも見え、表すはずのものを変えずに動かすのが非常に簡単だからです。以下のすべての推奨事項は、それを念頭に書かれています。
作者(author)がプルリクエストを開き、レビュー担当者(reviewer)がそれを評価します。レビューラウンド(review round)は、「作者がプッシュし、レビュー担当者が応答する」という一回のループです。手戻り(rework)は、レビューコメントの後、またはマージの後に、最初のバージョンが誤っていたものを直すために行う変更です。継続的インテグレーション(continuous integration、CI)は、共有のラインに頻繁に仕事をマージし、各マージを自動で確認する実践です。継続的インテグレーション(continuous integration)を参照してください。
このトピックのすべてのメトリクスは、チームとリポジトリを記述します。レビュー担当者や作者の順位付けは決してしません。個人レベルのレビュー件数は抽出しやすく、使いたくなりますが、そうすると、協働の実践が競争に変わります(トピック 9.1「チームの健全性と開発者体験」を参照)。
主要な原則
- 待ちがレビューを支配する。 ほとんどのチームで、レビュー時間の最大の部分は、レビュー担当者が始めてからの議論ではなく、プルリクエストが読まれずに座っていることである。対話を測る前に、待ちを測る。
- 小さな変更は、より速く、より良くレビューされる。 大きさは、速さと徹底さを同時に改善する数少ないてこの一つである。レビュー担当者が小さな変更なら頭に収められるからだ。
- 精査のない速さは改善ではない。 このトピックのすべての速さのメトリクスには品質の対応物が必要で、組にして読む。
- レビューはチームのキャパシティであり、個人のものではない。 負荷はチームに広がるべきである。集中を示すメトリクスは、チームの設計上の問題を指し示すのであって、称賛や非難を受けるべき人を指すのではない。
- 平均より分布。 レビュー時間は、詰まったプルリクエストの長い裾を持つので、中央値と高いパーセンタイルを報告する(トピック 1.6「サービスメトリクスのための統計リテラシー」を参照)。
- 時計を定義し、そのままにする。 時計がいつ始まり止まるか、どのイベントが一時停止させるか、どの自動化された活動が除外されるかを述べ、データのある場所にそれを書く(トピック 1.5「データソースと計装」を参照)。
- レビューのメトリクスは、仕事を所有するチームに仕える。 チーム自身のレトロスペクティブへの入力であり、他の誰かのためのスコアカードではない。
メトリクスの定義
以下の時計は、バージョン管理のプラットフォームが、オープン、レビュー依頼、コメント、承認、プッシュ、マージのイベント時刻を記録していることを前提とします。ドラフト、ボットが開いたプルリクエスト、マージされずにクローズされたプルリクエストは、行が特に述べない限り除外します。「営業時間」とは、チームが宣言した勤務時間を意味するので、金曜の夕方に開かれたプルリクエストは、週末分の待ちを積み上げません。
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| 最初のレビューまでの時間 | プルリクエストがレビュー可能になってから、人による最初の実質的な応答までの待ち | 時計はプルリクエストがドラフトを離れる、または準備完了で開かれたときに始まり、作者以外の人による最初のレビューコメント、変更依頼、承認で止まる。ボットと作者のコメント、およびラベルの変更だけのものは除く。中央値と85パーセンタイルを営業時間で報告する | 営業時間 | バージョン管理プラットフォームのイベント履歴 | ソフトウェアの開発と管理、変更実現 | レビューの応答性に関するワーキングアグリーメント、仕掛かり作業のフロー | 毎週 |
| レビューのサイクルタイム | レビュー可能になってからマージまでの全時間 | 時計はプルリクエストがレビュー可能になったときに始まり、マージで止まる。マージされずにクローズされたプルリクエストは除き、別に数える。中央値と85パーセンタイルを営業時間で報告する | 営業時間 | バージョン管理プラットフォームのイベント履歴 | デプロイ管理、変更実現 | チームボードのレビュー段階のサイクルタイム | 毎週 |
| プルリクエストの大きさ | プルリクエストにおける変更の量 | 追加された行 + 削除された行。リポジトリの無視規則に挙げられた、生成ファイル、ロックファイル、ベンダーコード、純粋な名前変更は除く。マージされたプルリクエストごとの中央値と85パーセンタイルを報告する | 変更行数 | バージョン管理プラットフォームの差分統計 | ソフトウェアの開発と管理 | 小さなバッチサイズ、ストーリーの分割 | 毎週 |
| レビューラウンド | マージまでの、作者のプッシュとレビュー担当者の応答のループの回数 | マージされたプルリクエストごとの、別個の「変更依頼」またはコメントとプッシュのサイクルの数。最初の提出はラウンドゼロ、自動チェックの失敗は除く。中央値と85パーセンタイルを報告する | 件数 | バージョン管理プラットフォームのレビューとプッシュのイベント | 継続的改善、ソフトウェアの開発と管理 | レビュー段階の手戻りのシグナル、完了の定義 | 毎週 |
| レビュー負荷の集中 | レビューの仕事がチームにどれだけ不均一に広がっているか | ローリング4週間にわたる、チームの完了したレビューのうち、最も忙しい二人のレビュー担当者が扱ったものの割合。自分のプルリクエストのレビューとボットのレビューは除く。チームについて報告し、名前では決して報告しない | パーセント | チームに集約したバージョン管理プラットフォームのレビューイベント | 継続的改善、ナレッジ管理 | 共有されたコードオーナーシップ、集団でのオーナーシップ | 毎月 |
| 滞留したプルリクエストの数 | チームが合意した上限より長く開いているプルリクエスト | まだ開いていてドラフトでない、レビュー可能になってからの年齢がチームの上限を超えるプルリクエストの数。スナップショット時点で数える。ドラフトは除く | 件数 | バージョン管理プラットフォームの未クローズのプルリクエスト一覧 | 変更実現、継続的改善 | 作業アイテムの年齢、WIPの制限 | 毎週 |
| マージ後の修正率 | マージされたプルリクエストのうち、その後まもなく修正の変更が続くものの割合 | マージ後14日以内に、同じ変更に紐づく修正、リバート、ホットフィックスが続いたマージ済みプルリクエストの数 ÷ その期間のマージ済みプルリクエストの数。そうラベル付けされた計画済みのフォローアップの仕事は除く | パーセント | バージョン管理の履歴、紐づく課題、インシデントまたは変更のレコード | 変更実現、インシデント管理 | 品質の作り込み、完了の定義 | 毎月 |
最初のレビューまでの時間は最大のてこであり、多くのチームが最初に始めるべきメトリクスです。レビューのサイクルタイムはそのアウトカムの測定値で、トピック2.2で議論したより長いリードタイムの構成要素です。14日の窓と滞留の上限は例であり、各チームはリリースのリズムに合う値を選んで書き留めます。数字がより広いデリバリーの全体像に入るところでは、DORAのファミリー(トピック 2.8「DORAメトリクス」を参照)と変更失敗の測定値(トピック 4.4「変更の失敗と手戻り」を参照)が引き継ぎます。
推奨事項
仕事より先に待ちを測る
1. 最初のレビューまでの時間から始める。 これは通常レビュー時間の最大の要因であり、改善するのが最も安上がりです。誰も何も入力しなくて済むように、プラットフォームのイベント履歴から計装します。中央値と高いパーセンタイルを報告します。中央値が3時間で95パーセンタイルが4日なら、一部の変更が忘れられているからです。
2. ボットとドラフトを時計から除外し、そう述べる。 自動チェック、依存関係の更新ボット、フォーマットツールは数秒でコメントを作るので、それらを数えると待ちが素晴らしく見えます。ブランチが最初にプッシュされたときではなく、作者が変更を準備完了と印したときに時計を始めます。これらの規則をグラフの隣に公開します。
3. 営業時間を使い、チームのカレンダーを書き留める。 金曜の遅くに開かれたプルリクエストが、週末分の待ちを帯びるべきではありません。タイムゾーンをまたぐチームは、誰の時間を数えるかの規則が必要で、誠実な答えは、ゾーンをまたぐ引き継ぎのコストが見る価値のあるものである、ということがよくあります。選択を述べ、安定に保ちます。
レビューしやすい仕事の形にする
4. プルリクエストを小さく保ち、大きさをチームの習慣として扱う。 大きさの中央値と85パーセンタイルを追跡し、大きなものを個々の失敗としてではなく、一つの集合として見ます。チームは通常、大きな変更が少数の原因から来ることに気づきます。十分に細かく分割されていない仕事、リファクタリングと新しい振る舞いの混在、マージの遅れ。各プルリクエストが一つのことをするように仕事を分割します。これはトランクベース開発(trunk-based development)と頻繁なデプロイの背後にある小さなバッチの原則にも合います。
5. 大きさの厳格な上限を目標として設定しない。 「400行以下」のような制限は、個別には読めない、あるいは単独でマージするとビルドが壊れる人為的な断片への分割を招きます。大きさはレトロスペクティブでの対話のきっかけとして使い、分割のための技法をチームに与えます。たとえばフィーチャートグル、別のプルリクエストでの準備のリファクタリング、フラグの裏でのマージです。
6. レビューの依頼を明示的にする。 レビュー担当者を指名しないプルリクエストは、志願者を待ち、志願者は少ないものです。ワーキングアグリーメントで、誰に頼み、チームにどう通知し、応答にどんな期待があるかを合意します。共有のレビュー当番表や、毎日のレビューの枠は、通常どんなツールの設定よりも待ちを減らします。
負荷と知識を広げる
7. 負荷の集中を、チームレベルのリスクとして見る。 二人が大半のレビューを担っているなら、その二人の空き状況がチームのフローを制限し、不在がそれを止めます。集中の測定値を毎月レビューし、チームの設計を通じて対応します。既定のレビュー担当者を輪番にし、新しいメンバーを経験者と組ませ、一人しかレビューできないコードの領域を書き留めます。個人別のランキング表は公開しません。
8. レビューを知識の共有に使い、その目的を守る。 レビューの長期的な価値には、欠陥の検出に加えて、学習、共有されたオーナーシップ、一貫したスタイルが含まれます。ペアプログラミング(pair programming)やモブプログラミングは、その交換の一部をプロセスの早い段階に移します。ペアがすでに変更に取り組んだ場合は、軽いレビューが妥当です。この選択をワーキングアグリーメントに書いたチームの判断とし、「ペアで作ったので軽くレビューした」が言い訳ではなく、可視な規則になるようにします。
レビュー自体を制御する
9. 自動化が得意なことは自動化に任せる。 フォーマット、リント、基本的なチェックはパイプラインに属し、人の注意が設計、正しさ、リスクに向かうようにします。静的プログラム解析(static program analysis)と自動テストは、些末なレビューラウンドの数を減らします。残るラウンドは、スタイルの不一致ではなく、設計の対話をより多く語るようになります。
10. レビューラウンドを、欠陥の数ではなく明確さについてのシグナルとして読む。 ラウンドが多いのは、要件が不明確だった、作者に文脈がなかった、レビュー担当者が好みの変更を求めた、変更が大きかった、のいずれかを意味しうるものです。すべてのプルリクエストでラウンドがゼロなら、優れた仕事を意味することも、誰も見ていないことを意味することもあります。ラウンドが異常に多い、あるいは異常に少ないプルリクエストを少数抽出し、チームで一緒に読みます。
速さを品質と組にし、時間を見えるようにする
11. レビューの速さの隣に、常に品質の対応物を示す。 マージ後の修正率、最近の変更に紐づくインシデント、リリース後に見つかった欠陥の割合が、自然な相棒です(トピック 4.4「変更の失敗と手戻り」を参照)。レビュー時間が改善する一方で修正率が悪化するなら、チームは保証を速さと引き換えにしており、対応は目標ではなく対話です。両方を同じグラフに示します。
12. レビューをフローの全体像と計画外の仕事に結び付ける。 より速いレビューが役立つのは、次の段階が単に仕事をキューに入れるだけでない場合に限られます(トピック 2.3「仕掛かり作業と待ち行列」を参照)。計画された仕事に割り込む緊急のレビュー依頼には、固有のコストがあります(トピック 2.9「運用作業と計画外作業」を参照)。
悪用の手口と防護柵
| メトリクス | 悪用のされ方 | 組になる防護柵のメトリクスまたはプラクティス |
|---|---|---|
| 最初のレビューまでの時間 | 最初の応答として手早く「良さそうです」や絵文字を投稿する、ボットや親しいレビュー担当者を割り当てる、誰かがあらかじめ見ることに同意してから初めてプルリクエストを準備完了にする | マージ後の修正率。コメントのない承認の抽出。最初の応答が実質的であることをワーキングアグリーメントで求める |
| レビューのサイクルタイム | レビューを待たずにマージする、早く通すために変更を小さな断片に分割する、時計をリセットするためにプルリクエストをクローズして再オープンする | クローズして再オープンされたプルリクエストの数。レビューラウンド。マージ後の修正率。承認を求める保護されたブランチの規則 |
| プルリクエストの大きさ | ファイルを数から除外する、単独では理解できない断片へ一つの変更を分割する、生成コードで大きさを水増しする | 無視規則を四半期ごとにレビューする。分割した断片が単独でビルドされテストを通過することを確認する。最小と最大のものの抽出を読む |
| レビューラウンド | 数を低く保つために最初のパスで承認する、痕跡が残らないよう議論をチャットに移す、作者がラウンドを隠すために多数の修正を一つのコミットにまとめてプッシュする | マージ後の修正率。ラウンドゼロのプルリクエストの抽出。議論をプルリクエストに保つ |
| レビュー負荷の集中 | 数を広げるためにレビューを多数の小さな承認に分割する、時間はあるが知識のない人にレビューを割り当てる | 危険な領域についてレビュー担当者の知識をレビューする。領域別のマージ後の修正率を見る。メトリクスをチームのレベルに保つ |
| 滞留したプルリクエストの数 | 滞留したプルリクエストをマージせずにクローズする、隠すためにドラフトに変換する、滞留の上限を引き上げる | マージされずにクローズされたプルリクエストの数。長期間のドラフトの数。上限を四半期ごとにチームとレビューする |
| マージ後の修正率 | 紐づけなしに新しい作業アイテムの下に修正を記録する、修正の仕事を計画済みのフォローアップとラベルする、修正を窓の外に遅らせてメトリクスを避ける | インシデントと変更失敗のデータと比較する。フォローアップのアイテムの抽出。使われたラベルの監査 |
健全な読みは、穏やかなものです。最初のレビューまでの時間は短く、裾も短いので、何日も待つプルリクエストはありません。大きさは、チームが読みやすいと感じる範囲にあり、チームが説明できる少数の大きな変更があります。レビューラウンドは低いがゼロではなく、負荷の集中は中程度で、滞留の数は小さく、マージ後の修正率は安定しています。一つの数字が急に改善したときは、組になる防護柵が誤った方向に動いていないか、誰かが確認するべきです。
トレードオフ:長所と短所
| 手法 | 強み | 弱み |
|---|---|---|
| 厳格な応答の期待を伴う速いレビュー | 短いフィードバックのループ。作者の文脈の喪失が少ない。仕掛かり作業が低い | 素早く承認する圧力。集中した作業への割り込み |
| 遅く徹底的なレビュー | 設計とリスクを注意深く読む。知識移転が強い | サイクルタイムが長い。大きなバッチが溜まる。作者が移って文脈を失う |
| 小さなプルリクエスト | 読みやすく、戻しやすい。フローがなめらか | 変更あたりのオーバーヘッドが増える。機能を分かりにくい手順に断片化しうる |
| 大きなプルリクエスト | 引き継ぎが少ない。機能全体が一度に見える | レビューが浅くなる。戻しにくい。待ちが長い |
| 名前付きオーナーからの承認の必須化 | 危険な領域に明確な責任がある。変更の承認を支える | ボトルネックと単一障害点を生む |
| 人によるレビューの前の自動チェック | 人を設計とリスクに解放する。一貫している | 誤った自信を生みうる。メンテナンスが要る |
単独で勝つ方針はありません。狙いは、精査を保ちながら待ちを短くすることで、通常の道筋は、より小さな変更、明確なレビューの期待、定型のチェックに対する強力な自動化、良いレビューとは何かについてのチームの合意です。レビューのメトリクスは、レトロスペクティブへの問いとして最も有用で、目標としては最も役に立ちません。
チームで話し合う問い
1. プルリクエストは、その生涯の大半を、待つことに費やしているか、レビューされることに費やしているか? データを見る前にチームに推測してもらい、次に最初のレビューまでの時間と、マージまでの残りの時間の内訳を示します。待ちがどれほど多いかに、ほとんどのグループは驚きます。ファシリテーターは、どの推測が外れたかを記録し、外れた推測のそれぞれが、チームがレビューをどう体験しているかについて何を語るかを尋ねてください。最大の待ちに取り組む変更を一つ決めて終えます。
2. このチームでの良いレビューとはどのようなもので、部外者はどうやってそれを見分けるか? チームが価値を置く振る舞い、たとえば設計について尋ねる、テストを確認する、依頼の理由を説明する、を列挙します。次に、そのうちどれがプルリクエストに目に見える痕跡を残すかを尋ねます。個人を取り締まらずに、実質的な最初の応答と形だけのものをどう見分けるかを話し合います。ワーキングアグリーメントに入れる短い書面の説明に合意します。
3. 私たちにとって、どこからが大きすぎるのか、仕事が本当に大きいときはどうするか? 大きさの分布を見て、最も大きいプルリクエストをいくつか選びます。それぞれがなぜ大きく、分割できなかったかを尋ねます。フィーチャートグル、準備のリファクタリング、フラグの裏でのマージのような技法を話し合います。ファシリテーターは数値の制限を設定することに抵抗し、代わりにチームが1か月試す習慣に合意してください。
4. 最も危険なコードを誰がレビューし、その人が不在のときはどうなるか? コードの領域を、それをうまくレビューできる人々に対応付けます。負荷の集中と、資格のあるレビュー担当者が一人しかいない領域を見ます。ペアリングや担当の輪番で、各領域に二人目のレビュー担当者を育てる方法を話し合います。対話は、誰かの仕事量の順位ではなく、チームのレジリエンスについてのものに保ちます。
5. 明日、レビューの速さが倍になったら、品質について何が真であってほしいか? グループに、マージ後の修正、最近の変更に紐づくインシデント、リバートの数など、見たい品質のシグナルを挙げてもらいます。それらのシグナルが、現在、速さのグラフの隣で見えるかを確認します。速さが精査を犠牲にして買われたことの早期の兆候は何かを話し合います。ダッシュボードにどの対応物を示すかを決めます。
6. どのレビューの数字を、役に立たない形で改善したくなるか? 各メトリクスを見ていき、圧力を受けた人が、何も良くすることなく、それを良く見せるにはどうするかを尋ねます。答えを上の悪用の表と比較し、チーム自身の着想を加えます。狙いは、起きる前にリスクに名前を付けることです。各メトリクスと併せてどの防護柵をレビューするかに合意します。
四つの視点
プロダクトとデリバリーのチーム
デリバリーのチームはレビューのプロセスを所有し、そのメトリクスも所有すべきです。単純な合意で待ちを短くすることから最も多くを得ます。毎日のレビューの枠、明確な依頼のプロセス、小さな変更。レトロスペクティブで数字を使い、仕掛かり作業を低く保ち、一つのグラフを最適化したくなる誘惑に抵抗するべきです。レビューはまた、新しいメンバーがコードベースを学ぶ場でもあるので、その目的を守ってください。
サービスと運用のチーム
運用チームは、インフラのコード、設定、手順書の自動化がプルリクエストを通じて変更される場で、レビューに出会います。彼らにとって、レビューは標準変更が承認され証拠を残される方法の一部であることが多くあります(トピック 4.3「変更実現のメトリクス」を参照)。どの変更に二人目のレビューが必要か、緊急の修正をどれだけ速くレビューするか、緊急の変更を後でどうレビューするかを合意し、急いだ修正も確認されるようにするべきです。危険な変更の薄いレビューは、後でインシデントとして現れます。
リーダーシップとガバナンス
リーダーは、レビューのメトリクスを、生産性のスコアではなく、チームの健全性とフローについてのシグナルとして扱うべきです。速さの数字が報告されるたびに、組になる品質の測定値を求め、慎重なレビューにかかる時間を支援し、リポジトリとリスクが異なるため、生のレビュー時間でチームを比較するのは避けるべきです。ガバナンスの組織は、文書化され抽出されたレビューのプロセスが、承認の件数よりも強いことを受け入れる限り、レビューの証拠を変更の保証の一部として使えます。
顧客とユーザー
顧客はプルリクエストを目にしませんが、その結果を感じます。修正がどれだけ早く届くか、リリースがどれだけの頻度で新しい欠陥をもたらすか。レビューの待ちが短ければ、緊急の修正が早く届き、思慮深いレビューは、障害を彼らから遠ざけます。サービスが公開されたリリースや欠陥の履歴を持つ場合、顧客は、チームが時間とともにリバートや繰り返しの修正を減らしていくことから恩恵を受けます。
実践:サービスマネジメントの例
地域の病院のIT部門が、七人のプロダクトチームが構築し、小さなサイト信頼性のグループが運用する、患者の予約ウェブサービスを運営しています。この例の数字はすべて例示です。
四半期ごとのレビューで、チームは、レビューのサイクルタイムの中央値が営業時間で26時間、85パーセンタイルが71時間(例示)であることを見いだします。サイクルを分けると、最初のレビューまでの時間の中央値が19営業時間で、遅れの大半が待ちであることが分かります。プルリクエストの大きさは、中央値が180行、85パーセンタイルが900行(例示)で、最も忙しい二人のレビュー担当者がレビューの68パーセント(例示)を扱っています。マージ後の修正率は9パーセント(例示)です。
チームは三つの合意をします。毎日30分のレビューの枠を設け、1営業日以内の最初の応答という期待をワーキングアグリーメントに書き、毎週「レビューを優先する」当番を輪番にします。また、部分的な機能も安全にマージできるようフィーチャートグルを使い、大きな仕事を分割する習慣を採用します。大きさの上限や、最初のレビューまでの時間の目標は設定しません。
2か月後、最初のレビューまでの時間の中央値は6営業時間に、レビューのサイクルタイムの85パーセンタイルは34営業時間(例示)に下がります。負荷の集中は52パーセント(例示)に下がり、マージ後の修正率は9パーセントのままです。
チームはそこで悪用のリスクを捉えます。承認の抽出から、予約リマインダーのロジックに触れる変更で、最初の応答の約三分の一が数分以内に届き、「LGTM」とだけ書かれていることが分かります。速さの向上は、一部は本物で、一部はゴム印でした。影響を受けるコードが月次のサイクルで動くため、マージ後の修正率はまだ動いていませんでした。チームは、最初の応答に、質問、変更の特定の部分についてのコメント、または何を確認したかの明示的な注記のいずれかを含めなければならないようワーキングアグリーメントを変更し、コメントのない承認の抽出割合をレビューのグラフに加えます。また、患者向けのリマインダーのロジックへの変更には二人のレビュー担当者が必要で、そのうち一人は運用グループの人であることに合意します。理由を付けた決定は、チームの判断ログに入ります。
アジャイル、AI、自動化、アナリティクス
アジャイル
速く小さなレビューは、継続的デリバリーと持続可能なペースを支えます。実際的な習慣は、最初のレビューまでの時間についてチームの規範に合意し、定期的なチームレビューで滞留したプルリクエストについて話すことです。注意点は、目標として扱われたレビューの速さがゴム印につながることなので、マージ後の修正と組にしてください。
AI
AIが生成した変更は、プルリクエストの量と大きさを増やしえて、AIのレビューツールは最初の目通しを速められます。AI支援の変更について、最初のレビューまでの時間をマージ後の修正率と組にし、レビューの負荷を個人ではなくレビュー担当者の役割ごとに報告します。注意点は、ボットのレビューコメントがレビューとして数えられうることなので、人間のレビューは別に数えてください。
自動化
コードホストからレビューのイベントを自動で取得し、人が判断に時間を使えるよう、人によるレビューの前に自動チェックを実行します。チェック自体は、誤警報と、それをすり抜ける欠陥で測ります。注意点は、重い自動化が、ツールがすべてを捉えたと人が思い込むため、人によるレビューを表面的にしうることです。
アナリティクス
大きさ、最初のレビューまでの時間、レビューラウンドの分布を、チームごとに示し、個人ごとには決して示しません。これが情報を与える判断は、レビューのキャパシティや変更の大きさのどこに注意が必要かです。注意点は、これらの数字がレビューのしくみを記述することであり、人の順位付けに使えば、より小さく、より安全で、より役に立たない変更に向かわせてしまうことです。
業種別の視点
スタートアップ。 小さなチームでは、全員がコードを知っているため、数分でレビューでき、主なリスクは、時間がないときにレビューを飛ばすことです。メトリクスは少数に保ちます。最初のレビューまでの時間と大きさで十分です。小さな変更の習慣は、コードベースとチームが成長してから導入するのはずっと難しいので、早くに確立します。
中小企業。 一人か二人の開発者、あるいは外部の供給者がソフトウェアを保守していることがよくあります。レビューは一人の同僚、あるいは供給者自身のスタッフによるかもしれません。供給者に、どうレビューするか、プルリクエストのデータを共有できるかを尋ね、どの変更が誰によってレビューされたかの簡単な記録を保ちます。小さなチームでは、レビューが間違いに対する主な確認だからです。
大企業。 多くのチーム、リポジトリ、承認規則が、広いばらつきを生みます。プラットフォームのデータが比較可能になるよう、時計と除外の定義を標準化しますが、リスクとコードベースが異なるため、生のレビュー時間でチームの順位を付けてはいけません。監査のために課され、精査を加えずに待ちを加えるレビューの要件に注意し、手動の承認を自動チェックと抽出によるレビューに置き換える機会を探します。
政府・公共部門。 職務分掌、監査証跡、調達の規則は、変更に独立した承認を求めることが多くあります。それらの規則を設計上の入力として扱います。誰が何をいつ承認したかを記録し、それが生む待ちを測ります。供給者がコードを書く場合は、契約でレビューの証拠とデータへのアクセスを規定します(トピック 8.5「規制対応・行政向け報告」を参照)。
ビジネスケース:動機、ROI、TCO
動機は、ピアレビューの便益、つまり欠陥の減少、共有された知識、監査証跡を保ちながら、デリバリーの中で遅く、かつ制御可能な部分を短縮することです。待っているプルリクエストは、完成した仕事をユーザーから引き留め、作者のコンテキストスイッチのコストを増やし、ブランチが古くなるにつれてマージの競合を起こしやすくします。したがって待ちを減らすことは、より速いデリバリー、より少ない手戻り、より少ない苛立ちとして報われます。
バージョン管理のプラットフォームがイベント履歴とAPIを提供していれば、これらのメトリクスを集めるコストは低くなります。主なコストは、時計と除外を定義し、レポートを構築または設定し、数字を定期的にレビューする時間です。より大きなコストは行動面のものです。人々がすぐにレビューするために費やす時間で、他の仕事と競合します。その時間が本当の投資であり、無料として扱わず、予算に計上すべきです。
見返りは、より短いレビューのサイクルタイム、滞留したプルリクエストの減少、安定した、あるいは下がるマージ後の修正率として現れます。結果は出発点とチームに依存するため、特定のパーセンテージの改善を事前に主張するのは避けてください。説得力のあるケースは、他の組織の数字を引用するのではなく、チーム自身の前後の分布を、その品質の対応物とともに比較します。2018年の書籍『Accelerate』は、技術的および文化的なプラクティスをデリバリーのパフォーマンスに結び付ける研究を報告しており、一般的な議論にとって妥当な出典ですが、あなたのチームの数字は、自分たちのデータから来ます。
アンチパターンと落とし穴
- レビュー担当者や作者に順位を付ける。 完了したレビューや変更行数の個人のランキング表は、協働を損なう。チームのレベルで報告し、数字をチームの習慣の調整に使う。
- 品質の対応物なしに最初のレビューまでの時間を目標にする。 その結果はゴム印である。すべての速さのグラフの隣に、マージ後の修正率とコメントのない承認の抽出を示す。
- 大きさの厳格な上限を設定する。 チームは従うために仕事を人為的に分割する。大きさは対話として使い、代わりに分割の技法を教える。
- コメントゼロを成功として扱う。 検討されない承認は、信頼を反映することも、不注意を反映することもある。そのようなプルリクエストを抽出し、一緒に読む。
- ボットの活動をレビューとして数える。 自動コメントが待ちを短く見せる。時計と負荷の測定値からボットを除く。
- タイムゾーンとカレンダーを無視する。 生の時計の時間は、週末や地域をまたぐ待ちを、遅いレビューのように見せる。営業時間を使い、カレンダーに名前を付ける。
- 滞留の一覧を増えるに任せる。 古いプルリクエストはマージの競合を蓄積し、文脈を失う。一覧を毎週レビューし、各アイテムをマージ、手直し、理由付きのクローズのいずれかにする。
成熟度モデル
| 観点 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 協調 |
|---|---|---|---|---|---|
| 定義と時計 | レビュー時間は推測され、または感覚で報告される | 一部のチームが自分たちの規則でプラットフォームから時間をエクスポートする | ボット、ドラフト、カレンダーの除外を伴う、各時計の書面の定義が一つある | 定義を定期的にレビューし、変更を理由とともに記録する | 判断に情報を与えなくなった定義を、チームと供給者の間で揃えて見直す |
| レビューの実践 | 誰かが気づいたときにレビューが行われる | 一部のチームに非公式な規範がある | 依頼、応答の期待、レビューが対象とするものについての書面のワーキングアグリーメントがある | データから規範を調整し、知識の共有とリスクの領域を追跡する | レビューの実践がチームと供給者の間で調整され、定型のチェックは自動化が担う |
| 品質の対応物 | レビューと欠陥の間に結び付きがない | マージ後の修正を時折見る | マージ後の修正率がレビューの速さの隣に示される | 防護柵を定期的にレビューし、抽出した承認を読む | レビューの証拠が、サービス横断で変更の保証とインシデントからの学びに結び付く |
| 改善での利用 | 数字が使われない | 一部のレトロスペクティブで示される | 所有するチームが決まった頻度でレビューする | ギャップが、計画され予算の付いた改善の作業につながる | 改善の着想がチームから共有の実践へ、そしてまた戻って流れる |
チェックリスト
- 最初のレビューまでの時間とレビューのサイクルタイムの時計が、開始、停止、除外とともに書き下されている。
- ボット、ドラフト、マージされずにクローズされたプルリクエストが除外または別に数えられ、規則が見えるようになっている。
- 時間が営業時間で、中央値と高いパーセンタイルで報告されている。
- プルリクエストの大きさが、生成およびベンダーのファイルについて合意した無視一覧とともに測定されている。
- レビューの依頼方法と、最初の応答がどのくらい早く期待されるかについて、チームの書面の合意がある。
- レビュー負荷の集中が、チームのレベルでのみ報告されている。
- マージ後の修正率または他の品質の対応物が、レビューの速さと同じグラフに示されている。
- コメントのない、非常に速い承認の抽出を、毎月読んでいる。
- 滞留したプルリクエストの一覧が毎週レビューされている。
- レビューのデータは、レトロスペクティブで使われ、個人の評価には使われていない。
- 資格のあるレビュー担当者が一人しかいないコードの領域が列挙され、計画がある。
AIプロンプト
レビューのメトリクスの時計の定義を起案する。
[チームまたはリポジトリ] のレビューのメトリクスを定義したいと考えています。プラットフォームは [バージョン管理プラットフォーム] で、ワークフローは [説明:ドラフトのプルリクエスト、必須の承認、マージの規則、使用中のボット] です。最初のレビューまでの時間とレビューのサイクルタイムの正確な定義を起案してください。各時計を開始、停止するイベント、除外するもの(ボット、ドラフト、マージされずにクローズ)、[タイムゾーンと勤務カレンダー] について営業時間をどう扱うか、報告するパーセンタイルを述べてください。ベンチマークの値やツールの機能を捏造しないでください。前提と、定義を仕上げるために私が答えるべき問いを列挙してください。
レビューデータのエクスポートを分析する。
以下は、[チーム] の [期間] にマージされたプルリクエストの匿名化されたエクスポートで、列は [列の一覧。例:準備完了の時刻、最初のレビューの時刻、マージの時刻、変更行数、レビューラウンド、紐づく修正のフラグ] です:[データまたは要約を貼り付け]。各時間の測定値と大きさの中央値と85パーセンタイルを計算し、レビューのサイクルを待ちとレビューに分け、対話に値するパターンを指摘してください。個人の順位付けをせず、外部のベンチマークとも比較しないでください。前提と、気づいたデータ品質の問題を列挙してください。
私たちのレビューのメトリクスの悪用リスクを見つける。
私たちのチームは次のレビューのメトリクスを報告しています:[メトリクスと各々の計算方法の一覧]。私たちにかかっている圧力は [例:リリースの期限、リーダーシップの目標、供給者との契約] です。各メトリクスについて、レビューを改善せずにそれが改善されうるもっともらしい方法、それぞれの早期の兆候、それを捉える組になる防護柵のメトリクスまたはプラクティスを述べてください。統計を捏造しないでください。前提と、リスクを順位付けるために私が知る必要のあることを列挙してください。
レビューのフローについてのレトロスペクティブを準備する。
[チーム] のレビューのフローについての45分のレトロスペクティブの議題を準備してください。入力:最初のレビューまでの時間 [値]、レビューのサイクルタイム [値]、大きさの中央値 [値]、負荷の集中 [値]、マージ後の修正率 [値]。いずれも定義のラベル付き。原因を引き出す問い、チームが [期間] 試せる小さな実験を一つ、実験中に見るべき品質のシグナルを提案してください。原因や目標を捏造しないでください。前提と、私が持参すべきデータを列挙してください。
AIスキル
- サービスマネジメントメトリクスのスキル:関連するフローまたは品質のメトリクスを定義するトピックと、レビューのメトリクスの隣に置くべき防護柵を探すときに使います。
- サービスマネジメントメトリクスのメンテナースキル:このトピックの編集が、テンプレート、悪用の表、相互参照を整合させているかを確認するときに使います。
要点
- レビューの遅れの大半は待ちなので、最初のレビューまでの時間とレビューのサイクルタイムを、営業時間での分布として測る。
- 小さなプルリクエストは、より速く、より注意深くレビューされる。大きさの上限を課すのではなく、分割を教える。
- すべての速さの測定値を、マージ後の修正率のような品質の対応物と組にし、両方を併せて読む。
- レビューの負荷をチームのキャパシティとして扱い、集中をチームのレベルで報告し、人の順位付けには決して使わない。
- レビューのメトリクスはレトロスペクティブへの問いであり、仕事を所有するチームに仕える。
参考文献とさらなる読書
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 2021.
- Google, Code Review Developer Guide, Google Engineering Practices documentation, https://google.github.io/eng-practices/review/
- Bacchelli, A., and Bird, C., "Expectations, Outcomes, and Challenges of Modern Code Review," Proceedings of the 35th International Conference on Software Engineering (ICSE), 2013.
- Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
- Schwaber, K., and Sutherland, J., The Scrum Guide, Scrum.org and Scrum Inc., 2020.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Pull request.
- Wikipedia, Version control.
- Wikipedia, Code review.
- Wikipedia, Goodhart's law.
- Wikipedia, Continuous integration.
- Wikipedia, Trunk-based development.
- Wikipedia, Pair programming.
- Wikipedia, Static program analysis.