サービスマネジメントの測定におけるAI
AIが仕事を変える前に、今日の仕事がどう見えるかを書き下し、それから、AIの各利用を、そのベースラインと、AIなしで行われた比較可能な仕事に照らして測る。主張は大きく、証拠は通常小さいからである。
概要と動機
人工知能は今や、チームがサービスを構築し運営するのに使うツールの多くの中にあります。人工知能(artificial intelligence)(AI)は、人間の知能に関連するタスクを実行する計算システムの能力です。その中で、機械学習(machine learning)のシステムはデータからパターンを学び、しばしば大規模言語モデル(large language models)の上に構築される生成AI(generative AI)のシステムは、プロンプトに応じてテキスト、コード、その他のコンテンツを生み出します。ITサービスマネジメント(ITSM)では、これらの能力は、チケットのトリアージ、インシデントの要約、ナレッジ記事の起案、サービスデスクのための提案される応答、デリバリーのパイプラインでのコードの補完とレビュー、監視での異常検出、ユーザーのための対話型アシスタントに現れます。AIOpsは、IT運用のデータへのAIの適用に、しばしば与えられる名前です。
これらのツールについての主張は大きく、特定の組織の証拠は通常小さいものです。ベンダーは節約された時間を報告します。初期の採用者は熱意を報告します。経営層は、約束された効率の向上を求めます。その間、チームは、出力は確認が必要であること、一部の提案は自信満々に間違っていること、仕事の感じ方が変わったことを報告します。測定は、組織が自分たちの仕事についてこれらのどれが真かを見つける方法です。この本のこの部は、AIを、他のメトリクスの系統と同じ防護柵を伴う、測るべきものとして真剣に扱います。
AIは、測定の問題を四つの形で変えます。
- 量と速度が上がり、品質が見えにくくなる。 AIはチケット、応答、コード、文書を素早く生み出せるので、出力の測定値が上がる。出力が良いかは別の問いである(トピック 10.4「メトリクスのインフレと品質の希薄化」を参照)。
- ベースラインが消える。 AIが日常的に使われると、それなしで仕事がどう見えたかを復元できない。ベースラインは変更の前に取得するか、比較グループが存在しなければならない。
- 人間がループに残り、結果を伴う。 ヒューマン・イン・ザ・ループ(human-in-the-loop)の設計は、結果に責任を持つ人を保つ。機械の出力をレビューする人々は、自動化バイアス(automation bias)として知られるパターンで、それにあまりに安易に従うかもしれず、あるいは節約した以上の時間を確認に費やすかもしれない。
- 出力は流暢で間違っていることがある。 ハルシネーション(hallucination)は、入力や事実に裏付けられない自信に満ちた出力である。測定値には、人が抽出する、正しさの確認を含めなければならない。
アジャイルとITILの働き方は、どちらもこれに対する姿勢を提供します。継続的デリバリー、継続的改善、継続的な進化というアジャイルの狙いは、AIの各利用を小さな実験として扱うことを示唆します。期待される便益を述べ、数人の意欲ある人々と試し、比較し、決める。フィードバックを伴って反復的に進むというITILの指針となる原則は同じ方向を指し、価値への強調は、どれだけのテキストが生み出されるかではなく、ユーザーと事業にとってどの成果が改善するかを問います。意欲のある人々という狙いは、AIが退屈な仕事を軽くして彼らの判断を尊重するときに満たされ、AIがペースを上げる、あるいはそれを使う人々を監視する方法になるときには満たされません。持続可能なペースとは、節約された時間が、静かにより多くの需要に変換されるべきではないということです。
グッドハートの法則(Goodhart's law)からの防護柵は、AIには最も鋭い形で当てはまります。「AIの導入」や「AIが生成したコードの割合」が目標になると、人々は役立たないところでツールを使い、品質が数字の代償を払います(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。
このトピックは基礎を扱います。AIが仕事のどこに入るか、どんなベースラインを取得するか、どの測定値がAIの利用が役立っているかを示すか。次のトピックは、支援された仕事、エージェントとチャットボット、インフレと希薄化、ガバナンスについて、より深く進みます。AIの製品と規則についての事実は素早く変わり、この部の特定のツールや規制についての記述は2026年10月時点のもので、再確認すべきです。
主要な原則
- AIを導入する前にベースラインを取得する。 それがなければ、あらゆる便益の主張は意見である。
- 各利用を、比較を伴う実験として扱う。 同じ期間にわたって、AIなしで行われた類似の仕事と比較する。
- 品質を、人とともに抽出して測る。 流暢な出力は正しい出力ではない。
- 完全なコストを数える。 レビューの時間、手戻り、ライセンス、推論のコストを含める。
- 人々に責任を持たせ、情報を与え続ける。 AIを使う人が結果に責任を負う。
- AIをペースの上昇や監視にしない。 節約された時間は、その時間をどう使うかについての選択である。
- 意欲ある人々と実際の問題から始める。 義務化は価値なしの利用を生む。
メトリクスの定義
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| ベースラインの完全性 | 計画されたAIのユースケースのうち、主な指標について導入前のベースラインが記録されている割合 | 日付のあるベースラインを持つユースケース ÷ 計画されたユースケース | パーセント | ユースケースの台帳 | 継続的改善、測定とレポート | 実験の前のベースライン | 四半期ごと |
| AI利用の網羅 | 対象の作業アイテムまたはタスクのうち、AIが使われた割合。ユースケース別 | AIの支援が使われたアイテム ÷ 対象のアイテム。ツールのログまたはユーザーのタグから、チームのレベルで | パーセント | ツールの利用ログ、タグ | サービスデスク、インシデント管理、リリースとデプロイ管理 | 意欲あるチームによるツールの導入 | 毎月 |
| 提案の受け入れと上書きの率 | AIの提案のうち、そのまま受け入れられた、編集された、拒否された割合 | 各区分の提案 ÷ 提供された提案 | パーセント | チーム別に集約したツールのログ | サービスデスク、ナレッジマネジメント | 機械の提案のレビュー | 毎月 |
| レビューされた出力の正確さ | 抽出したAIの出力のうち、資格のあるレビュー担当者が正しく目的に適うと判断した割合 | 正しいと判断された出力 ÷ 抽出した出力 | パーセント | 抽出したレビューの記録 | 品質保証、ナレッジマネジメント | 出力の完了の定義 | 毎月 |
| ベースラインに対するタスクの時間 | 定義されたタスクをAIで完了する時間を、ベースラインまたは比較グループと比較したもの | AIありのタスク時間の中央値と85パーセンタイル − ベースラインまたは比較の同じ値 | 分または時間 | 時間を測ったタスク、チケットのタイムスタンプ | サービスデスク、インシデント管理 | タスクのサイクルタイム | 四半期ごと |
| AI支援タスクあたりのコスト | レビューと手戻りを含む、タスクあたりのAI支援の仕事の総コスト | (ライセンスと利用のコスト + レビューと手戻りの時間のコスト)÷ AIで完了したタスク | タスクあたりの通貨 | ベンダーの請求書、時間の見積もり、作業追跡システム | サービス財務管理 | 成果あたりのサービス提供コスト | 四半期ごと |
| 比較に対する成果の動き | AI支援の仕事の成果指標の変化を、類似した非支援の仕事と比較したもの | AI支援のグループの指標の変化 − 比較グループの変化 | 指標の単位 | ユースケースごとの成果の測定値(品質、満足度、再オープン率、欠陥) | 継続的改善 | 実験からの学び | 四半期ごと |
各ユースケースを、タスク、ユーザー、成果指標によって定義し、台帳に記録します。AI利用の網羅は記述的な測定値であり、目標ではありません。レビューされた出力の正確さは、出力を作っていない資格のある人が、書面の基準に照らして判断します。タスク時間は、生成に加えて、プロンプト、レビュー、訂正の時間を含みます。タスクあたりのコストは、確認と修正に費やした人の時間を数えます。成果の動きには、事前に選んだ比較と、その期間の他の変更についてのメモが要ります。
推奨事項
AIがどこに属するかを決める
1. タスクと、AIの各利用が対処する問題を列挙する。 ツールではなく、痛みから始めます。繰り返される起案、遅いトリアージ、散らばった知識、長いレビュー、ノイズの多いアラート。各候補の利用について、問題、誰がそれを感じるか、改善すべき成果、リスクを書きます。明確な問題のない利用は飛ばします。これが、ベースラインと測定値がぶら下がる台帳です。
2. 各利用のリスクを分類する。 社内のメモを起案するツールは、本番システムを変更する、顧客に返信する、人についての判断を下すものとは異なるリスクを持ちます。出力が間違っていた場合の害、誰が影響を受けるか、効力を持つ前に人がレビューするかで利用を分類します。リスクの高い利用には、より強い測定値、抽出、ガバナンスが要ります(トピック 10.5「AIガバナンスとリスクのメトリクス」を参照)。
3. 意欲ある人々と、限定されたタスクから始める。 一般的で確認可能なタスクで、志願者とパイロットを行います。志願者は誠実なフィードバックを与え、ツールを自分たちの仕事に適応させます。限定されたタスクは、ベースラインと比較を実行可能にします。最も機微な仕事から始めるのは避けます。
ベースラインを取得し、比較を設定する
4. 最初の利用の前にベースラインを記録する。 各ユースケースについて、指標の現在の状態を取得します。完了までの時間、品質または欠陥率、手戻り、ユーザーの満足度、コスト。通常の変動を見るのに十分な観察を取ります(トピック 1.6「サービスメトリクスのための統計リテラシー」を参照)。ベースラインに日付を付けて保ちます。ロールアウトの後に取られたベースラインは、新しい世界の記録です。
5. 比較を築く。 可能なところでは、パイロットの期間、AIを使わない類似のグループやタスクの集合を保つか、公正な形で週ごとやタスクの種類ごとに利用を交互にします。無作為化は理想的ですが、しばしば非現実的です。他に何が変わったかを平易に述べます。比較がなければ、季節性、人員、学習による改善が、ツールの手柄にされます。
6. 時間を誠実に測る。 最初の下書きまでの時間は、ほとんど適切な測定値ではありません。完成して確認された結果までの時間を測ります。プロンプト、レビュー、訂正を含めます。人々は、生成のステップに基づいて節約された時間を報告することが多く、レビューのステップがその一部または全部を食います。タスクの抽出での時間の調査は、労力に値します。
品質とコストを測る
7. 出力を抽出して資格のある人にレビューしてもらう。 毎月、AI支援の出力の無作為の抽出を引き、資格のある人に書面の基準に照らして判断してもらいます。正確さ、見つかったエラーの種類、傾向を報告します。これが、流暢な間違いが広がることに対する主な保護です。レビュー担当者を作成者から独立に保ち、ローテーションさせます。
8. 受け入れと上書きのパターンを見る。 非常に高い受け入れ率は、人々が確認せずに受け入れる自動化バイアスを示すかもしれません。非常に低い率は、役に立たないツールを示すかもしれません。率をチームとの対話への促しとして使い、彼らの経験でその数字が何を意味するかを尋ねます。受け入れに目標を設定してはいけません。
9. タスクあたりの完全なコストを数える。 ライセンス料、利用量に基づく課金、プロンプト、レビュー、訂正に費やす時間、研修、ガバナンスの労力を含めます。ベースラインのコストと比較します。素早く下書きを作りながら重い訂正を要するツールは、古い方法より高くつくかもしれません。ユーザーに届く間違いのコストを含めます。
人の側面を正しく保つ
10. 人々を監視とペースの上昇から守る。 AIの利用データをチームのレベルで集約し、個人を評価するために使ってはいけません。利用を業績の測定値として使ってはいけません。節約された時間が自動的に追加の作業負荷にならないことを事前に合意し、その時間を、品質、学び、改善、他の仕事の何に使うかをチームと決めます。一定のペースは設計の目標です(トピック 9.2「満足度とウェルビーイングのメトリクス」を参照)。
11. 使う人々に尋ねる。 短いパルスと対話が、数字が見逃すものを明らかにします。ツールがどこで助け、どこで苛立たせ、どこで仕事を作ることから確認することに移し、仕事の満足を変えるか。スキル、品質、雇用の安定についての懸念を、敬意をもって扱います。
12. 決め、公表し、見直す。 各パイロットの終わりに、拡大、適応、中止を決め、証拠を記録します。帰無や否定的なものを含め、結果を誠実に共有します。ツールは素早く変わるので、判断を見直します。昨年役立たなかった利用が今は役立つかもしれず、その逆もあります。
悪用の手口と防護柵
| メトリクス | 悪用のされ方 | 組になる防護柵のメトリクスまたはプラクティス |
|---|---|---|
| ベースラインの完全性 | 事後にベースラインを記録する、都合の良い指標を使う | 日付印のあるベースライン。ベースラインの方法の独立したレビュー |
| AI利用の網羅 | 利用を義務化する、些細な、あるいは自動の呼び出しを数える | 決して目標にしない。成果の動きと比較する。意味のある利用を数える |
| 提案の受け入れと上書きの率 | 受け入れを報いる、拒否を面倒にする | 目標なし。レビューされた出力の正確さ。ユーザーに経験を尋ねる |
| レビューされた出力の正確さ | 簡単な出力を抽出する、寛容なレビュー担当者 | 独立したレビュー担当者による無作為の抽出。書面の基準。レビュー担当者のローテーション |
| ベースラインに対するタスクの時間 | 生成だけを測る、簡単なタスクを選ぶ | 確認された結果までの時間。タスクを無作為に抽出する。レビューと手戻りを含める |
| AI支援タスクあたりのコスト | レビューの時間やガバナンスのコストを省く | 完全なコストのチェックリスト。時間の調査と比較する |
| 比較に対する成果の動き | 有利なグループや期間を選ぶ、他の変更を無視する | 事前に合意した比較と期間。他の変更の一覧 |
健全な読みは、すべてのパイロットのベースライン、完成した結果までの測定された時間、資格のある人が確認した正確さ、レビューを含むコスト、公正に比較された成果、そしてツールが自分たちの判断に仕えると言うチームです。
トレードオフ:長所と短所
| 手法 | 強み | 弱み |
|---|---|---|
| 志願者でのパイロット | 誠実なフィードバック。低リスク | 志願者は熱心な人々。結果が一般化しないかもしれない |
| 義務的なロールアウト | 素早い網羅 | 価値なしの利用。憤慨。悪用 |
| 統制された比較 | 信頼できる証拠 | 労力。常に可能とは限らない |
| 前後のみ | 単純 | 他の変更に交絡される |
| ベンダーが報告する節約 | 入手しやすい | 楽観的。文脈がない |
| 自分たちで時間を測ったタスク | 自分たちの仕事に根ざす | 時間がかかる。小さな標本 |
| すべての出力の重いレビュー | 安全 | 便益を取り除く |
| 抽出によるレビュー | スケールする | 一部のエラーがすり抜ける |
散文での答えは、ベースラインと比較を伴う小さなパイロットを行い、品質のために出力を抽出し、完全なコストを数え、証拠に基づいて決めることです。ベンダーの数字を、テストすべき仮説として使います。
チームで話し合う問い
1. AIがどこで私たちを助けると期待し、助けたら何が見えるか? 候補の利用と、それぞれについて指標と今日のベースラインを列挙します。ファシリテーターは、具体性を求めてください。どのタスク、どの測定値、どのくらいの変化が重要か。パイロットする利用を一つ選び、ベースラインに合意します。
2. AIの提案を信頼または不信にさせるものは何で、間違っていたとどうやって分かるか? 出力が間違っていた事例と、どう気づかれたかを話し合います。レビューが実際にどう機能するか、圧力がそれを飛ばすことにつながるかを考えます。独立した誰かが実行する抽出の方法に合意します。
3. 節約される時間のどれだけが、確認に費やされるか? ツールありとなしで、プロンプトとレビューを含めて、実際のタスクを一つ時間を測ります。人々が期待することと比較します。対話は、利得がどこにあり、どこにないかをしばしば明らかにします。
4. 節約した時間で何をするべきか? 事前に決めます。選択肢には、品質の仕事、学び、改善、より少ない圧力があります。時間が静かにより多くの需要に吸収されるのをどう防ぐかを話し合います。チームがそれをどう守るかをリーダーと合意します。
5. ここで、AIにしてほしくないことは何で、なぜか? 人の判断、共感、説明責任を要するタスクを列挙します。ユーザーとスキルへのリスクを話し合います。ファシリテーターは、境界をガバナンスへの入力として記録してください。
6. いつやめるべきかをどうやって知るか? パイロットや利用を終わらせる証拠を定義します。誰がいつ決めるかに合意します。出口の基準のないパイロットは、恒久的な備品になります。
四つの視点
プロダクトとデリバリーのチーム
デリバリーのチームは、コード、テスト、レビュー、文書にAIを使います。レビューされた動く結果までの時間を測り、品質と欠陥を見て、人によるレビューを意味のあるものに保つべきです。生成された行数や受け入れを数える測定値に抵抗し、欠陥や安定性のような成果の測定値を主張するべきです。
サービスと運用のチーム
運用とサービスデスクのチームは、トリアージ、要約、提案、監視にAIを使います。処理と解決の質をベースラインと比較し、出力を抽出し、ユーザーと繰り返しの問い合わせへの影響を見るべきです。AIがユーザーの前に置かれる前に、相談を受けるべきです。
リーダーシップとガバナンス
リーダーはAIのプログラムを後援し、利得を示す圧力に直面します。ベースラインと比較を主張し、レビューの仕事に資金を付け、利用の目標を避け、人々を監視とペースの上昇から守るべきです。ガバナンスは、拡大する前にリスクの分類と証拠を要求するべきです。
顧客とユーザー
ユーザーは、答え、提案、自動化された行動でAIに出会います。正しく理解できる助けと、人に連絡する能力を望みます。適切なところでは、AIとやり取りしていることを伝えられるべきで、彼らのフィードバックは、それが役立つかの重要な証拠です(トピック 6.1「顧客満足度のメトリクス」を参照)。
実践:サービスマネジメントの例
中規模の保険会社の技術グループが、4,000人のスタッフ向けの社内サービスデスクと、いくつかのプロダクトチームを運営しています。リーダーシップはAIアシスタントのライセンスを購入し、3か月後に節約された時間のレポートを求めます。以下の数字は例示です。
サービスマネジメントの責任者は、ベースラインを主張します。サービスデスクの最も一般的なタスクである、アクセスとパスワードのリクエストへの返信の起案について、彼女は最近の120件のチケットの時間を測ります。処理時間の中央値は11分、85パーセンタイルは24分、再オープン率は6パーセント、アンケートの満足度スコアは安定しています。彼女はアシスタントをパイロットする二つのチームを選び、比較として類似した二つのチームを保ちます。パイロットのチームは志願者です。
8週間後、パイロットのチームの処理時間の中央値は8分、85パーセンタイルは19分で、比較のチームの11分と23分に対する値です。ツールのログは、エージェントが提案を書かれたまま受け入れるのは52パーセント、編集するのは38パーセント、拒否するのは10パーセントであることを示します。パイロットに入っていない上級エージェントがレビューする、80件の返信の月次の無作為の抽出は、91パーセントが完全に正しく、エラーはアシスタントが古い手順を与えた、まれにしか使われない手順に集中していることを見つけます。パイロットのチームの再オープン率は7パーセントにわずかに上がり、通常の変動の範囲内です。ライセンスとレビューの時間を数えると、チケットあたりのコストは控えめに下がります。アンケートは、エージェントが下書きに感謝し、長い応答の追加の確認を嫌うことを示します。二人のエージェントは、1時間あたりより多くのチケットを処理する圧力を感じると言います。
サービスマネジメントの責任者は、中央値で約4分の1の時間の節約を報告し、注意点を述べます。二つのチーム、8週間、志願者、そして見守る必要のある再オープン率。彼女はリーダーと、節約された時間がナレッジベースと複雑な事例に向かい、チケットの目標が上がらないことに合意します。古い手順はナレッジベースで修正されます。上級マネージャーは、全社の義務的な利用と80パーセントの受け入れという目標を求めます。彼女は目標を断り、受け入れの目標は確認しないことを報いると説明し、同じ測定値でパイロットをさらに二つのチームに広げることを提案します。判断は記録されます。
アジャイル、AI、自動化、アナリティクス
アジャイル
AIを小さなステップで、ステークホルダーとともに、各ステップにベースラインと比較を伴って導入し、定期的な改善の対話で結果をレビューします。注意点は、AIをあらゆる場所に一度にロールアウトすると、比較グループがなくなることです。
AI
このトピック全体がAIについてなので、規則は単純です。今日の仕事のあるがままを記録し、各利用をそのベースラインと、AIなしで行われた比較可能な仕事に照らして測り、すべての速度の利得を確認された品質の測定値と組にする。各利用にオーナーを指名し、人が判断する場所を事前に決める。注意点は、ベンダーの数字は他の組織を記述するため、自分たちのデータを使うことです。
自動化
利用、提案、受け入れ、上書きのイベントを自動で集め、AIの出力を適用する自動化を、そのエラーと取り消しの率で測ります。注意点は、人々が確認をやめるから受け入れ率が上がりうるため、受け入れられた出力を抽出することです。
アナリティクス
レビューされた抽出からの正確さを標本サイズとともに、比較に対する成果を述べた限界とともに報告します。これが情報を与える判断は、AIの利用を拡大、変更、中止するかです。注意点は、小さなパイロットは結果がノイズを含むため、パイロットから数字を約束するのを避けることです。
業種別の視点
スタートアップ。 ツールは素早く、しばしば非公式に採用されます。主な利用について時間と欠陥の単純なベースラインを取得し、顧客向けのものすべてに人によるレビューを保ち、早期に単一のベンダーに縛られるのを避けます。スタッフが公開ツールを使うときのセキュリティとデータの露出に注意します。
中小企業。 既製のアシスタントは、起案と定型的なタスクに本当の助けを提供しえます。小さな規模で測ります。いくつかの実際のタスクの時間と訂正の率。機密データに注意し、データの使われ方についてのベンダーの条件を確認します。
大企業。 規模は、ガバナンス、調達の基準、共通の測定アプローチを要求します。比較を伴うパイロットを実行し、結果を社内で公表し、ベースラインと方法をチーム間で共有します。利用を成功として報告するプログラムに注意します。
政府・公共部門。 市民に影響する判断は、透明性、公正さ、人によるレビューについての法的義務の対象かもしれません。利用をリスクで分類し、判断でAIがどう使われたかの記録を保ち、それについてオープンにします。調達規則とデータ保護が適用され、一部の法域には特定のAI法があるので、今日の時点で確認すべきです(トピック 8.5「規制対応・行政向け報告」を参照)。
ビジネスケース:動機、ROI、TCO
コストは、ライセンスまたは利用量の課金、連携、研修、ベースラインを取得して比較を実行する時間、出力をレビューして訂正する人の時間、ガバナンスの労力です。コストは利用とともに増えてベンダーの価格とともに変わるので、範囲をモデル化します。
潜在的な見返りは、反復的なタスクで取り戻される時間、より速い起案と検索、知識のより良い網羅、スタッフの退屈な仕事からの解放です。これらはテストすべき可能性であり、計上すべき前提ではありません。自分たち自身のパイロットからケースを築きます。確認された結果までの測定されたタスク時間、レビューされた正確さ、手戻り、タスクあたりの完全なコスト。ベースラインと比較に対して。方法と自分たちの仕事への適合をたどれない限り、ベンダーやアンケートの情報源からの生産性のパーセンテージの引用は避けます。ユーザーに届く間違いのリスクと、ツールを統治するコストを含めます(トピック 7.7「投資対効果とビジネスケース」を参照)。
アンチパターンと落とし穴
- ベースラインなしにAIを導入する。 何が変わったか分からない。最初にそれを取得する。
- 生成の速度を測る。 節約はレビューで消えうる。確認された結果までの時間を測る。
- 導入の目標。 価値なしの利用を生む。網羅を記述的なものとして扱う。
- ベンダーの主張を信頼する。 それらは仮説である。自分たちの仕事でテストする。
- 現実でないレビュー。 自動化バイアスがレビューを形式的な承認に変える。抽出して独立に確認する。
- 節約した時間をより多くの需要に変換する。 信頼と持続可能なペースを損なう。その時間が何のためかを事前に決める。
- 個人の利用を監視する。 恐れを生む。チームのレベルに集約する。
- 終わりのないパイロット。 既定で恒久的になる。出口の基準を設定する。
成熟度モデル
| 観点 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 協調 |
|---|---|---|---|---|---|
| 目的とベースライン | 熱意によってツールが採用される | ユースケースが列挙される | 各利用について、問題、リスクのクラス、ベースライン、指標を持つ台帳 | 拡大する前にベースラインと比較が要求される。結果が公表される | チームとパートナーにまたがる共有のベースラインと方法。証拠が薄れると利用が廃止される |
| 便益の証拠 | 逸話とベンダーの主張 | 非公式な時間の見積もり | 時間を測ったタスク、抽出した正確さ、タスクあたりの完全なコスト | 比較に対する成果の動きが限界とともに報告される | AIがどこで役立つかのポートフォリオの見方。学びが広く共有される |
| 人とペース | 義務化、監視 | 非公式な配慮 | チームレベルのデータのみ。節約された時間が合意によって配分される | 懸念が追跡される。スキルと満足度が測定される | ユーザーとスタッフとのAI利用の共同設計。持続したペースが守られる |
チェックリスト
- AIの各利用に、書面の問題、リスクのクラス、オーナー、出口の基準がある。
- 各パイロットに、最初の利用の前の日付のあるベースラインがある。
- 比較グループまたは比較のタスクが事前に定義されている。
- 時間が、完成した確認された結果まで測られている。
- 出力が毎月抽出され、資格のある独立した人々にレビューされている。
- タスクあたりの完全なコストに、レビューと手戻りが含まれている。
- 利用データがチームのレベルに集約され、個人には使われていない。
- チームが、節約された時間をどうするかに合意している。
- ユーザーがツールの体験について尋ねられている。
- パイロットが、拡大、適応、中止の記録された判断で終わる。
AIプロンプト
ユースケースの項目を起案する。
[チームとサービス] の [タスク] にAIを使うことを検討しています。ユースケースの台帳の項目を起案してください:問題と誰がそれを感じるか、改善すべき成果、リスクの分類とその理由、人によるレビューのステップ、今取得するベースラインの指標、比較のアプローチ、追跡するコストの構成要素、出口の基準、チームへの問い。特定のベンダーの機能を仮定したり、便益を主張したりしないでください。前提を列挙してください。
時間を測るタスクの調査を設計する。
[タスク] に対するAIアシスタントの効果を測る小さな調査を設計してください。タスクをどう選ぶか、ツールありとなしを公正にどう比較するか、何の時間を測るか(プロンプト、レビュー、訂正を含む)、出力の品質をどう判断するか、偏りをどう避けるかを提案してください。[数] 人のチームにとって実用的にしてください。期待される結果を述べないでください。前提と設計の限界を列挙してください。
出力の抽出を計画する。
私たちのAI支援の出力は、月に約 [数] 件で、種類は [一覧] です。月次の無作為の抽出とレビューのプロセスを設計してください:標本サイズと選択方法(精度を誇張せずに、理由を添えて)、誰がレビューするか、書面の基準、エラーの区分、どう報告するか、所見をどう使うか。前提とリスクを列挙してください。
節約した時間で何をするかを決める。
私たちのパイロットは、[チーム] で週に [数] 件のタスクについて、タスクあたり中央値 [値] を節約しました。品質、学び、持続可能なペースを支える時間の使い方の選択肢を、それぞれのトレードオフとリスク、チームとリーダーとその選択を合意する方法とともに示唆してください。節約が続くと仮定しないでください。前提を列挙してください。
AIスキル
- サービスマネジメントメトリクスのスキル:AI関連のメトリクスを報告する前に、組になる防護柵を探すときに使います。
- サービスマネジメントメトリクスのメンテナースキル:AIのメトリクスの項目が、ベースライン、比較、悪用の手口、防護柵を記録しているかを確認するときに使います。
要点
- AIが使われる前に日付のあるベースラインを取得し、AIなしで行われた類似の仕事と比較する。
- 完成して確認された結果までの時間を測り、独立したレビュー担当者と正確さのために出力を抽出する。
- レビューと手戻りを含め、完全なコストを数える。
- 利用と受け入れを記述的なものとして扱い、目標には決してしない。
- 節約された時間をどうするかを事前に決め、持続可能なペースを保つ。
- 利用データをチームのレベルに保ち、すべてのパイロットを記録された判断で終える。
参考文献とさらなる読書
- National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
- ISO/IEC 42001, Information technology: Artificial intelligence: Management system, International Organization for Standardization, 2023.
- Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
- Bender, E. M., Gebru, T., McMillan-Major, A., and Shmitchell, S., "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?" Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, 2021.
- Russell, S., and Norvig, P., Artificial Intelligence: A Modern Approach, 4th ed., Pearson, 2020.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Artificial intelligence.
- Wikipedia, Machine learning.
- Wikipedia, Generative artificial intelligence.
- Wikipedia, Large language model.
- Wikipedia, AIOps.
- Wikipedia, Human-in-the-loop.
- Wikipedia, Automation bias.
- Wikipedia, Hallucination (artificial intelligence).
- Wikipedia, Goodhart's law.