AI支援作業の測定
AI支援の仕事を、どれだけ速く現れたかではなく、レビュー、本番、ユーザーの次の接触を経て何が残るかで判断し、それを行う人々がなお学んでいるかを見続ける。
概要と動機
チームが毎日AIツールを使うようになると、中心の問いは「すべきか」から「何を得ているか」へ変わります。前のトピックは基礎を示しました。ベースライン、比較、完全なコスト(トピック 10.1「サービスマネジメントの測定におけるAI」を参照)。このトピックは仕事そのものに入ります。AI支援のコード、チケット、文書、判断が、それが置き換える仕事と同等か、より良いか、より悪いかをどう見分けるか。そしてそれを行う人々に何が起きるか。
AIの支援は、多くの種類の仕事に触れます。ソフトウェアデリバリーでは、ツールがコード、テスト、コミットメッセージ、レビューコメントを提案または生成します。サービス運用では、インシデントを要約し、原因を提案し、返信を起案し、ナレッジ記事を書きます。分析では、レポートとクエリを生み出します。共通する特徴は、もっともらしい最初の版を作ることが安くなることです。コストは他の場所へ移ります。出力を読んで判断すること、間違いを直すこと、生成されたものを保守すること、違いが分かるだけの学びを得ること。
いくつかの効果が測定を厄介にします。
- 出力の件数は誤解を招く。 コード行数(lines of code)は常に生産性の悪い測定値だったが、生成されたコードはそれを悪化させる。より多くのコードは、読み、テストし、保守するものが増えるということである。生成された行数、受け入れられた提案、下書きの件数は、価値についてほとんど語らない。
- レビューがボトルネックになる。 コードレビュー(code review)と他の生成された仕事のレビューには時間がかかり、より大きく頻繁な変更の流れはレビュー担当者を過負荷にしうる。大きなプルリクエスト(pull requests)はよくレビューするのがより難しく、過負荷のレビュー担当者は、理解していないものを承認しやすくなる。前に述べたレビューとフローの測定値は引き続き不可欠である(トピック 2.7「プルリクエストとコードレビューのメトリクス」を参照)。
- 品質の問題は遅れて現れる。 生成されたコードは今日テストに通っても、重複コード(duplicate code)、不明瞭な構造、隠れた欠陥を抱え、技術的負債(technical debt)の一形態である保守コストとして表面化しうる。作成の瞬間に取られた測定値はそれを見逃す。その後に仕事に何が起きるかを見る。
- スキルが変わりうる。 かつて自分で行っていたタスクにツールを頼ることは認知オフローディング(cognitive offloading)の一形態であり、より難しい問題に注意を解放しうるが、根底の理解が薄れれば脱スキル化(deskilling)につながりうる。どちらもありえ、結果はツールがどう使われるかに依存する。これは関わる人々にとっても、ツールが扱えない状況をチームが扱う能力にとっても重要である。
AIの支援が生産性に及ぼす効果についての証拠は、まだ発展途上で、タスク、ユーザーの経験、ツール、環境によって異なります。コーディングのタスクに関する一部の統制された研究は、明確に定義されたタスクでより速い完了を見出し、他の研究や報告は、自分がよく知る複雑なシステムに取り組む経験豊富な人々について、より小さい、あるいはない利得、または追加のコストを見出しました。この本は数字を提供しません。チームにとって責任ある立場は、ベースラインと比較を伴って自分たちの仕事を測り、公表されたどの数字も、特定の文脈での一つの研究として扱うことです。
グッドハートの法則(Goodhart's law)からの防護柵は、ここで特に重要です。利得を示す圧力が強く、簡単な数字が誤解を招くものだからです。以下の測定値は、生み出されたものではなく、残るものを追います(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。
主要な原則
- 残るものを測る。 定着、手戻り、流出した欠陥は、出力よりも多くを語る。
- レビューを見る。 AI支援の仕事の流れは、人々がそれをどれだけよく読めるかによって制限される。
- 同じもの同士を比較する。 支援された仕事と支援されていない仕事は、種類と難しさが似ていなければならない。
- 今だけでなく後も見る。 品質の問題と保守のコストは、作成の数週間から数か月後に現れる。
- 理解をループに保つ。 仕事を出荷する人は、それを説明できなければならない。
- スキルと学びを守る。 ツールなしで人々が何をまだできるかに気づく。
- 集約する。個人を監視しない。 誰がどうAIを使うかのデータは、プロセスを改善するためのもので、人をランク付けするためではない。
メトリクスの定義
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| 定着率 | 述べられた期間の後も、実質的に変わらないままのAI支援の変更の割合 | 30日後に変更または取り消された割合が設定値未満のAI支援の変更 ÷ 30日前にマージされたAI支援の変更 | パーセント | 支援のタグと結合したバージョン管理の履歴。チームのレベルで | リリースとデプロイ管理、変更実現 | 定着する仕事、低い手戻り | 毎月 |
| マージ後の手戻り | 短い期間内にフォローアップの修正を要した変更の割合。支援された変更と比較の変更について | 14日以内に関連付けられたフォローアップの修正がある変更 ÷ マージされた変更。グループごとに | パーセント | バージョン管理、課題追跡、変更の記録 | 変更実現、問題管理 | 流出した欠陥、手戻り | 毎月 |
| レビューの負荷 | 変更あたりのレビュー担当者の労力。支援された変更と比較の変更について | 変更あたりのレビュー時間とレビューのラウンド数の中央値と85パーセンタイル。グループごとに | 時間、ラウンド | レビューツールのタイムスタンプ。チーム別に集約 | リリースとデプロイ管理 | フィードバックと学びとしてのレビュー | 毎月 |
| 流出した欠陥の率 | 変更あたりの本番で見つかった欠陥。支援された変更と比較の変更について | リリース後に見つかり変更に帰属する欠陥 ÷ リリースされた変更。グループごとに | 変更あたりの欠陥 | 変更にリンクした欠陥の追跡システム | インシデント管理、問題管理 | リリースされるものの品質 | 四半期ごと |
| 説明の確認の合格率 | 抽出したAI支援の変更のうち、作成者がレビューでそのアプローチとトレードオフを説明できる割合 | 作成者がレビュー担当者が満足する形で説明した抽出した変更 ÷ 抽出した変更 | パーセント | 抽出したレビューのメモ | ナレッジマネジメント、変更実現 | コードの共有された理解 | 四半期ごと |
| 支援されたサポートの品質 | AI支援のサポート応答の再オープン率とユーザー満足度を、支援なしのものと比較したもの | 再オープンされた支援のチケット ÷ 支援のチケット、および好意的な評価 ÷ 評価。グループごとに | パーセント | ITSMツール、アンケート | サービスデスク、インシデント管理 | サービスの成果の品質 | 毎月 |
| 支援なしの自信の評価 | ツールなしで主要なタスクを行う自信のチームによる評価 | 合意した尺度での平均評価とばらつき。チームごとに | 尺度のポイント | 匿名のチームのパルス | 人材とタレントの管理、ナレッジマネジメント | チームの能力と学び | 四半期ごと |
AIの支援を、ツールのログまたは軽量な慣行によって、チームのレベルで確実にタグ付けし、比較の変更をどう選ぶか、つまりサイズ、領域、リスクが似たものとして、述べます。定着は実質的な変更を測り、しきい値は台帳で設定します。マージ後の手戻りは、述べられた規則によって、フォローアップの修正を元の変更に結び付けます。レビューの負荷は作成者ではなくレビュー担当者の労力であり、測定可能な場合は能動的なレビュー時間のみを含みます。個人レベルのデータは決して報告されません。説明の確認の標本は無作為に選ばれ、確認は人のテストではなく、学びを支える対話です。
推奨事項
作成された後の仕事を追う
1. 時間にわたって支援された仕事に何が起きるかを追跡する。 コードについては、マージ後の数週間にわたって変更を追います。残るか、修正されるか、取り消されるか。サポートについては、返信後のチケットを追います。再オープンされるか、繰り返しの問い合わせが続くか。文書については、使われるか、訂正されるか、無視されるかを確認します。定着と手戻りは、品質の単純で偽造しにくいシグナルです。
2. 類似の支援なしの仕事と比較する。 同じ期間から、サイズ、リスク、領域が類似した比較の仕事を選びます。難しさが重要です。人々は簡単なタスクにAIを使い、それがツールを持ち上げるかもしれず、あるいは難しいタスクに使い、それがツールを罰するかもしれません。タスクがどう支援されるようになるかを述べ、それに応じて調整または注記します。小さく誠実な比較は、大きく交絡した比較に勝ります(トピック 6.5「価値の実現とビジネス成果」を参照)。
3. 下流の測定値を標準の集合に含める。 あらゆる速度の測定値を、変更失敗率、流出した欠陥、すでに使われている安定性の測定値と組にします(トピック 2.8「DORAメトリクス」を参照)。安定性の低下を伴う速度の利得は、運用とユーザーへのコストの移転です。組にして報告します。
レビューを意味のあるものに保つ
4. レビューの負荷とサイズを見る。 支援された仕事と支援なしの仕事について、レビュー時間、レビューのラウンド、変更のサイズを測ります。支援された変更がより大きい、あるいはより多いなら、レビュー担当者は過負荷かもしれません。変更サイズの規範を設定し、一つのレビューに入れられる生成された素材の量を制限します。レビューのキャパシティはシステムのキャパシティの一部です(トピック 2.3「仕掛かり作業と待ち行列」を参照)。
5. 作成者に説明してもらう。 変更の作成者が、それが何をするか、なぜこのアプローチか、トレードオフは何かを説明できることを習慣にします。レビューでの短く支持的な対話で十分です。理解が出力に追い付いているかを見るために、四半期ごとに説明の確認を抽出します。作成者が説明できないところでは、人の落ち度ではなく、立ち止まって学ぶシグナルとして扱います。
6. 自動化バイアスから守る。 レビュー担当者に、支援された仕事を他の仕事と同じくらい批判的に読むよう促します。レビュー担当者をローテーションし、検出を確認するためにテスト用の変更に既知の問題を時々仕込み、独立したレビュー担当者による出力の抽出を続けます。非常に高い受け入れ率と上昇する手戻りは警告です(トピック 10.1「サービスマネジメントの測定におけるAI」を参照)。
品質と保守を見守る
7. コードとシステムの構造を監視する。 支援が多い領域で、重複、複雑さ、テストのカバレッジ、変更の率を追跡します。ソフトウェアテスト(software testing)とコードの健全性のためにすでにある測定値を使い、傾向を見ます。上昇する重複や低下するテストの有効性は、生成されたコードが設計に統合されずに受け入れられていることを示すかもしれません。回帰テスト(regression testing)のカバレッジはセーフティネットであり、変更の量が増えるとき、その強さがより重要になります。
8. 生成されたテストを注意して扱う。 AIは多くのテストを素早く書け、テストは意味のあるものを何も確認せずに通ることがあります。生成されたテストを価値のために抽出し、振る舞いを意図的に壊したときにテストが失敗するかなどの方法でテストの有効性を測ります。書かれたテストの数を品質の測定値として数えてはいけません。
9. 支援されたサポートの品質を見る。 サービスデスクと運用では、支援された応答と支援なしの応答について、再オープン率、繰り返しの問い合わせ、満足度、抽出した返信の正確さを測ります。ユーザーを戻らせる、より速い返信は、全体ではより遅いのです。支援された返信についてのユーザーのコメントを読み、重要なところでは、ユーザーがAIを相手にしていることを知っているかを見ます(トピック 6.1「顧客満足度のメトリクス」を参照)。
人々とスキルを守る
10. 人々がまだ何をできるかに気づく。 ツールなしで主要なタスクを行う自信をチームに尋ね、傾向を追います。時々の支援なしの練習、ペアリング、根底の設計のレビューを使ってスキルを生かし続けます。特に、経験豊富な同僚がそれを判断するのに頼るメンタルモデルを築く前にツールを使うかもしれない、新しいチームメンバーの学びを守ります(トピック 9.4「スキルと学習のメトリクス」を参照)。
11. 人についてのデータを評価の外に置く。 チームのレベルに集約します。どの個人が最もAIを使うかを報告せず、利用、受け入れ率、生成された量を業績評価に使ってはいけません。規則を周知します。何が機能し何が機能しないかの誠実な報告には、信頼が必要です。
12. 定期的に見直す。 ツール、モデル、実践は数か月で変わります。ツールや働き方が変わったときに、比較をやり直します。ツールがここでは役立たなかったことを含め、所見を共有し、もはやその場所に値しない利用を廃止します。
悪用の手口と防護柵
| メトリクス | 悪用のされ方 | 組になる防護柵のメトリクスまたはプラクティス |
|---|---|---|
| 定着率 | 数字を保つために必要な変更を避ける、成功した変更だけを支援されたものとタグ付けする | 作成者の選択ではなくツールのログでタグ付けする。流出した欠陥と手戻りと組にする |
| マージ後の手戻り | 別のチケットや関連付けられていない新しい変更で修正する、期間を超えて修正を遅らせる | 台帳の関連付けの規則。より長い期間を見る。本番の欠陥 |
| レビューの負荷 | 測定された時間を下げる急いだレビュー、コメントなしの承認 | レビューの深さの抽出。流出した欠陥。レビュー担当者のアンケート |
| 流出した欠陥の率 | 欠陥を変更に帰属させない、欠陥を機能強化として再分類する | 帰属の規則。欠陥の分類の独立した抽出 |
| 説明の確認の合格率 | 作成者が確認のためにリハーサルする、寛容なレビュー担当者 | 無作為で予告しない抽出。レビュー担当者のローテーション。設計の理由に焦点を当てる |
| 支援されたサポートの品質 | 簡単なチケットだけを支援する、ユーザーに高く評価するよう指導する | 種類と難しさでチケットを合わせる。回答率と構成。コメントを読む |
| 支援なしの自信の評価 | 精査を避けるために膨らませた評価、より多くのツールを主張するための低い評価 | 匿名性。訓練での観察された実践と比較する。コメントを読む |
健全な読みは、支援なしの仕事と同じくらいの頻度で所定の位置にとどまる支援された仕事、比較に並ぶか勝る手戻りと流出した欠陥、深いままのレビュー、出荷するものを説明できる作成者、戻ってこない支援されたサポート、そして自分たちのスキルに自信を保つチームです。
トレードオフ:長所と短所
| 手法 | 強み | 弱み |
|---|---|---|
| 出力の量を測る | 簡単 | 量を報いる。価値について何も語らない |
| 定着と手戻りを測る | 時間にわたる品質を反映する | 遅れる。記録の関連付けが要る |
| 統制された比較 | 信頼できる | 労力が要る。非現実的かもしれない |
| 観察による比較 | 安価 | タスクの選択に交絡される |
| 義務的な説明の確認 | 理解を維持する | テストのように感じうる。労力を加える |
| 軽い抽出による確認 | 低い負担 | パターンを見逃すかもしれない |
| AIの利用への重い制限 | リスクの統制 | 失われる便益。シャドー利用 |
| 測定を伴うオープンな利用 | 学びと便益 | 信頼と規律が要る |
散文での答えは、明確な規則の範囲内で利用を許し、残るものを測り、理解のために抽出し、レビューのキャパシティとスキルを守り、人についてのデータを評価の外に置くことです。
チームで話し合う問い
1. 先四半期にAIが生み出す助けとなったもののうち、どれだけが変わらずにまだ所定の位置にあり、どうやってそれが分かるか? 比較可能な集合に対する、支援された変更の定着と手戻りを見ます。ファシリテーターは、答えるのがどれだけ難しかったかを記録してください。次の四半期に答えが簡単になるよう、記録のタグ付けと関連付けの方法に合意します。
2. レビューは追い付いているか、追い付かないと何が起きるか? レビューの時間、ラウンド、サイズを見ます。支援された変更についてレビュー担当者にどう感じるかを尋ねます。サイズの制限と負荷を分け合う方法を話し合います。試す規範を一つ合意します。
3. AIの助けで最後に出荷した変更とそのトレードオフを、私たち各自が説明できるか? ペアで試します。説明が簡単だった場所と難しかった場所に気づきます。それがツールの使い方について何を教えるか、理解をどう保つかを話し合います。
4. ツールなしで私たちがまだよくできることは何で、コツを失いつつあるのは何か? 主要なタスクを列挙し、自信を誠実に評価し、支援なしの練習やペアリングを計画します。対話は、人々が自分の仕事で価値を置き、保ちたいものも浮かび上がらせます。
5. AIが私たちを最も助けた場所と最も助けなかった場所はどこで、それらの場所に何が共通しているか? 事例を比較します。明確に定義されたタスク、良いテスト、慣れた領域などの特徴を探します。所見を、ツールをどこで使うかの指針に使います。
6. 最初の印象を信頼しないなら、何を測るか? グループに、ツールについての考えをどちらの方向にであれ変える証拠を挙げてもらいます。答えを、次の比較を定義するのに使います。
四つの視点
プロダクトとデリバリーのチーム
デリバリーのチームは、日々の体験と品質の成果を握っています。支援された仕事にタグを付け、定着と手戻りを見て、レビューを意味のあるものに保ち、自分たちの理解を維持するべきです。生成された変更の量がレビューする能力を超えるときは、声を上げるべきです。
サービスと運用のチーム
運用チームは、要約、診断、返信にAIを使い、すり抜ける品質の問題を引き継ぎます。出力を抽出し、再オープンと繰り返しの問い合わせの率を比較し、本番での行動についての人の責任を明確に保つべきです。AIが人なしに行動してはならない場所を定義するのを助けるべきです。
リーダーシップとガバナンス
リーダーは利得を示す圧力に直面し、利用と出力の測定値に誘惑されるかもしれません。速度の隣に、定着、手戻り、安定性の測定値を主張し、レビューのキャパシティに資金を付け、スキルの開発を守り、人をランク付けすることに抵抗するべきです。ガバナンスは、AIの便益の報告に、比較と注記を期待するべきです。
顧客とユーザー
ユーザーは結果を受け取ります。自分たちのサービスを動かすコード、リクエストへの返信、頼りにする文書。品質が保たれれば恩恵を受け、保たれなければ苦しみます。人に連絡できるべきで、支援されたやり取りについての彼らのフィードバックは、品質の重要な証拠です。
実践:サービスマネジメントの例
欧州の航空会社のデジタルグループには、予約と運航のソフトウェアを構築し運営する六つのプロダクトチームがあります。チームは1年前にAIコーディングアシスタントを使い始め、グループのダッシュボードは、マージされた行の38パーセントがAI生成だと報告します。以下の数字は例示です。
エンジニアリング・エクセレンスの責任者は、そのダッシュボードに不安を感じます。彼女は三つのチームに、ツールのログを通じて、チームのレベルのみで、支援された変更にタグを付け、サイズと領域が類似した比較の変更を選ぶよう頼みます。四半期にわたって、最初のコミットからマージまでの時間の中央値は、支援された変更で、2.0日に対して1.4日と短くなります。支援された変更の30日後の定着率は81パーセントで、比較の変更の90パーセントに対する値であり、支援された変更の12パーセントが14日以内にフォローアップの修正を要し、比較では7パーセントです。レビューの負荷も同じ話を語ります。変更あたりのレビュー時間の中央値は、支援された変更で35パーセント高く、変更サイズの85パーセンタイルは大きくなりました。100変更あたりの流出した欠陥は、支援された変更でわずかに高いものの、標本は小さく、差は通常の変動の範囲内です。支援された変更40件の抽出は、31件で作成者がアプローチとトレードオフをよく説明でき、6件で部分的に、3件でまったく説明できなかったことを示し、それらはほとんど作成者にとって新しいコードの領域でした。サービスデスクでは、支援された返信の再オープン率は7パーセントで、支援なしの6パーセントに対する値、満足度は同程度でした。チームのパルスでは、新しいエンジニアは、ツールなしで中核の機能を実装する自信を5段階中2.6と評価し、グループに3年超いるエンジニアの4.1に対する値でした。
エンジニアリング・エクセレンスの責任者は、結果をチームに持ち帰り、ランク付けはしません。チームは四つの変更に合意します。変更サイズの制限とレビューの当番表が、レビュー担当者を守ります。作成者は、レビューで支援された変更を簡潔に説明します。新しいエンジニアは、中核の機能で経験豊富な人とペアを組み、月次の支援なしの演習がスキルを実践に保ちます。ダッシュボードは生成された行の割合を落とし、定着、手戻り、レビューの負荷、流出した欠陥を、支援されたものを比較に対して示します。3か月後、定着の差は4ポイントに縮まり、フォローアップの修正は8パーセントに下がり、説明の確認が改善します。ある副社長は、生成された行の割合をすべてのチームの目標にするよう求めます。エンジニアリング・エクセレンスの責任者は所見を説明し、成果の追跡を続けることを提案し、利得はあるタスクでは本物で他では違うこと、そしてツールをどこで使うかはチームが決めることを付け加えます。判断は記録されます。
アジャイル、AI、自動化、アナリティクス
アジャイル
持続可能なペースと意欲のある人々には、理解を守ることが含まれるので、AI支援の仕事を定期的な頻度でチームとレビューし、何が残ったかを見ます。注意点は、個人のAI利用を測ることは、チームの実践を監視に変えることです。
AI
AI支援の仕事を、レビューと本番を経て何が残るか、そして人々が出荷するものをなお理解しているかで判断します。定着と手戻りを、説明の確認と支援なしの自信の評価と組にし、データをチームのレベルに保ちます。注意点は、素早い下書きは労力をレビュー担当者に移すため、レビューの負荷も測ることです。
自動化
ツールが許すところでは、AI支援の変更に自動でタグを付け、タグ付けの網羅率を測ります。タグのない仕事は比較を壊すからです。注意点は、自動のタグは削除されたり見逃されたりしうるため、抽出することです。
アナリティクス
AI支援の仕事と他の仕事を、同じ測定値で、件数と不確実性とともに比較します。これが情報を与える判断は、AIの助けが本物な場所と、手戻りを加える場所です。注意点は、二つの仕事のグループは種類が異なるかもしれないため、大まかな比較から因果の主張を避けることです。
業種別の視点
スタートアップ。 小さなチームは支援から大きく得る可能性があり、隠れた負債も素早く蓄積します。早くから定着と手戻りを追跡し、テストを意味のあるものに保ち、システムを保守する人々がそれを理解していることを確かにします。誰も説明できないコードを出荷することに注意します。
中小企業。 支援は小さなチームを伸ばせます。小さな標本で測ります。支援された仕事が後で修正を要する頻度。顧客向けのものすべてについて、バックアップ、テスト、人によるレビューを保ち、オーナーが頼るシステムの理解を守ります。
大企業。 規模は利得と問題の両方を増幅します。タグ付け、レビューの制限、測定値について共有のガイダンスを提供し、ランク付けせずにチーム間を注意深く比較し、レビューとテストのキャパシティに投資します。生成されたコードのセキュリティとライセンスのレビューをパイプラインに含めます(トピック 7.2「ソフトウェア資産とライセンスのメトリクス」を参照)。
政府・公共部門。 公共のシステムは長寿命で、説明責任が厳しく、エラーの結果が大きくなります。追跡可能な人の責任、注意深いテスト、AIがどう使われたかの文書化を要求します。支援された仕事を変更の記録に記録し、公正さとセキュリティへのリスクを評価します(トピック 8.5「規制対応・行政向け報告」を参照)。
ビジネスケース:動機、ROI、TCO
コストは、ツールと利用量の課金、記録にタグを付けて関連付ける労力、レビューと修正の時間、追加のテスト、研修です。比較の調査は時間がかかりますが、拡大または禁止という間違った判断に比べれば安価です。
見返りは、支援が品質を下げずに労力を減らすところでは本物で、労力をレビュー、手戻り、保守に移すところでは失われます。自分たち自身の測定値からケースを築きます。マージされ定着した変更までの時間、比較に対する手戻りと流出した欠陥、レビューの負荷、ユーザーとスタッフの満足度。公表された生産性の数字を自分たちの見積もりとして使うのは避けます。隠れたコストを忘れないこと:低下した理解、スキルの喪失、技術的負債。不確実性について誠実であること(トピック 7.7「投資対効果とビジネスケース」を参照)。
アンチパターンと落とし穴
- 生成された行や受け入れられた提案を数える。 量を報いる。残るものを測る。
- 簡単なタスクの支援された仕事を、難しいタスクの支援なしの仕事と比較する。 結果がツールを持ち上げるか罰する。タスクを合わせる。
- レビューのキャパシティを遅れさせる。 品質が静かに落ちる。変更サイズを制限し、レビュー担当者を守る。
- 下流の測定値を飛ばす。 コストは後で現れる。手戻り、欠陥、安定性を追跡する。
- 生成されたテストを品質として扱う。 何も確認せずに通ることがある。テストをテストする。
- スキルを無視する。 理解は気づかれずに薄れる。支援なしの自信と練習を追跡する。
- 個人を監視する。 恐れを生み、問題を隠す。データをチームのレベルに保つ。
- 短く小さな調査で勝利を宣言する。 ツールと実践が変わるにつれてやり直す。
成熟度モデル
| 観点 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 協調 |
|---|---|---|---|---|---|
| 残るものを測る | 出力の件数 | 品質の非公式な印象 | 支援された仕事にタグを付ける。比較に対して定着と手戻りが追跡される | 下流の欠陥、安定性、レビューの負荷が一緒に管理される | チーム横断の証拠が、支援をどこで使うかを導く。結果が広く共有される |
| レビューと理解 | 以前のままのレビュー | 過負荷への懸念 | 変更サイズの規範。説明の確認が抽出される | レビューのキャパシティが計画される。自動化バイアスが打ち消される | レビューと理解が、すべてのチームがAIとどう働くかに組み込まれる |
| 人とスキル | 考慮されない | 逸話 | 支援なしの自信がパルスで調べられる。一部の練習 | スキル開発が計画される。傾向が管理される | 学びと技が組織全体で守られる。AIの利用がスタッフと共同設計される |
チェックリスト
- AI支援の仕事が、ツールのログまたは軽量な慣行を通じて、チームのレベルでタグ付けされている。
- サイズ、領域、リスクが類似した比較の仕事が定義されている。
- 支援された仕事と比較の仕事について、定着とマージ後の手戻りが追跡されている。
- 流出した欠陥と変更失敗率が、あらゆる速度の測定値の隣に報告されている。
- レビューの時間、ラウンド、変更サイズが監視され、サイズの規範がある。
- 作成者が支援された変更を説明でき、毎四半期に抽出が確認されている。
- 生成されたテストが、価値のために抽出されている。
- 支援されたサポートが、再オープン率、繰り返しの問い合わせ、満足度で比較されている。
- 支援なしの自信がパルスで調べられ、支援なしの練習が計画されている。
- 個人の利用と受け入れのデータが評価に使われていない。
AIプロンプト
支援された変更と支援なしの変更の比較を計画する。
[チームとシステム] について、AI支援の変更と支援なしの変更を比較したい。私たちのデータには次が含まれます:[フィールドの一覧]。作成者の記憶に頼らずに支援された変更にタグを付ける方法、サイズとリスクが類似した比較の変更の選び方、比較する測定値(定着、手戻り、レビューの負荷、欠陥)、期間、所見への注記の仕方を提案してください。期待される結果を述べないでください。前提と妥当性への脅威を列挙してください。
説明の確認を設計する。
[言語と領域] で、抽出したAI支援の変更のための、短く支持的な説明の確認を設計してください。抽出の方法、レビュー担当者が尋ねる質問、良い説明が何を扱うか、結果をチームのレベルでどう記録するか、人を採点せずに所見を学びにどう使うかを含めてください。前提と確認のリスクを列挙してください。
下流の測定値をレビューする。
以下は [期間] の私たちの測定値です:速度 [値]、定着 [値]、手戻り [値]、レビューの負荷 [値]、流出した欠陥 [値]。支援された仕事と比較の仕事について。このパターンが何を示唆し何を示唆しないか、どの差が通常の変動の範囲内か、次に何を確認するかを説明してください。因果を主張しないでください。前提と、私が加えるべきデータを列挙してください。
支援なしの練習を計画する。
AIツールを毎日使うチームが中核のスキルを生かし続けるための軽いプログラムを提案してください:月次の支援なしの演習、新しいメンバーと経験豊富なメンバーのペアリング、設計の議論。圧力を加えずに働く週にどう収めるか、支援なしの自信のパルスでその効果をどう追跡するかを示唆してください。前提とトレードオフを列挙してください。
AIスキル
- サービスマネジメントメトリクスのスキル:AI支援の仕事の測定値の、組になる防護柵を探すときに使います。
- サービスマネジメントメトリクスのメンテナースキル:AI支援の仕事のメトリクスが、残るものを測り、悪用の手口と防護柵を備えているかを確認するときに使います。
要点
- 残るものを測る:定着、手戻り、流出した欠陥、安定性を、比較可能な支援なしの仕事に対して。
- レビューのキャパシティを守り、レビューを深く保つ。それが、支援された仕事が安全に流れる速さを制限するからである。
- 作成者が出荷するものを説明できることを確認し、スキルが育っているか薄れているかに気づく。
- 生成されたテストと出力を、本当の価値のために抽出する。
- 公表された生産性の主張を単一の研究として読み、自分たちの仕事を測る。
- 個人の利用データを評価の外に置く。
参考文献とさらなる読書
- Peng, S., Kalliamvakou, E., Cihon, P., and Demirer, M., "The Impact of AI on Developer Productivity: Evidence from GitHub Copilot," arXiv preprint, 2023.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- DORA, Google Cloud, Accelerate State of DevOps Report (latest edition addressing AI), https://dora.dev/.
- Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Lines of code.
- Wikipedia, Code review.
- Wikipedia, Pull request.
- Wikipedia, Duplicate code.
- Wikipedia, Technical debt.
- Wikipedia, Cognitive offloading.
- Wikipedia, Deskilling.
- Wikipedia, Goodhart's law.
- Wikipedia, Software testing.
- Wikipedia, Regression testing.