AIエージェントとチャットボットのメトリクス
対話型のアシスタントが助けたのは、ユーザーの問題が解決され、解決されたままであるときだけである。したがって、検証された解決、再問い合わせ、人への引き継ぎの質、誤った行動による害を測り、ボットが人々を助けから遠ざけておくことを決して報いない。
概要と動機
今や多くの組織が、ユーザーとサービスデスクの間に対話型のアシスタントを置き、一部はAIエージェントに行動する能力を与えています。パスワードのリセット、機器の注文、サービスの再起動、設定の変更。チャットボット(chatbot)は会話を行うソフトウェアアプリケーションで、バーチャルアシスタント(virtual assistant)はユーザーに代わってタスクを実行する能力を加えたものです。知的エージェント(intelligent agent)というより広い考え方は、環境を知覚し、目標に向けて行動するシステムです。現代の言語モデルは、これらのシステムを、ルールベースの前身よりはるかに自由な会話ができるものにし、最初の対話型プログラムである1960年代のジョセフ・ワイゼンバウムのELIZAは、単にもっともらしい返信を生み出すだけの機械に、人々がいかに容易に理解を帰属させるかをすでに示していました。
魅力は明白です。ユーザーは、待たずに、どの時間にも助けを得られます。チームは定型的なリクエストに費やす時間が減ります。セルフサービス(self-service)は長くITSMの目標で、解決をより早くより安い地点に移すシフトレフトは、サービスデスクの中核の考え方です(トピック 3.7「セルフサービスと自動化のメトリクス」を参照)。測定の問題は、明白な数字が誤ったものを報いることです。会話を終わらせるボットは、ユーザーが助けられたか諦めたかにかかわらず、それを「封じ込めた」と数えられます。決して人を提示しないボットは、封じ込めを最大化します。自信を持って間違った答えを与えるボットは、数日後の怒った問い合わせとして現れる静かな失敗を生みます。
二種類のシステムには、別々の測定値が要ります。
- 対話型のアシスタントは、質問に答え、ユーザーを導き、情報を集める。そのリスクは、間違った、あるいは役に立たない答えと、ユーザーをループに閉じ込めることである。測定値は、解決、正確さ、人への経路に焦点を当てる。
- 行動するエージェントは、世界の物事を変える。アカウント、システム、チケット、お金。そのリスクは、現実の結果を伴う誤った行動である。測定値は、行動の正しさ、取り消し可能性、権限の境界、監査証跡に焦点を当てる。これらの利用には、より強いガバナンスと、しばしば重大なステップへの人による承認が要る(トピック 10.5「AIガバナンスとリスクのメトリクス」を参照)。
いくつかの設計上の論点が、測るものを形作ります。
- 相手が何であるかについての誠実さ。 多くの法域には、AIシステムとやり取りしているときにそれを人々に伝える義務があるか、それを策定中であり、2026年10月時点でこれらの規則は進化しているので、自分たちに何が適用されるかを確認する。いずれにせよ、それを平易に述べるのが良い実践である。
- 出口。 ユーザーは苦労せずに人に連絡できなければならない。人への経路を隠すボットは、ダークパターン(dark pattern)であり、ユーザーを、選ばないであろう結果へとだます、あるいは閉じ込める設計である。
- アクセシビリティ。 対話型のインターフェースは、支援技術を使う人々、言語能力が限られる人々、別の言語やチャネルを必要とする人々にとって機能しなければならない。
- 自動化された意思決定。 アシスタントの出力が人の権利やアクセスに影響するとき、自動化された意思決定(automated decision-making)の話題とそれをめぐる義務が適用される。そうした判断は、人の手に、あるいは強い保護措置とともに保つ。
グッドハートの法則(Goodhart's law)からの防護柵はここで鮮やかです。封じ込めや偏向が目標なら、それを達成する最も安い方法は、人に連絡しにくくすることです(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。以下の測定値は、解決とユーザーの成果を最初に置きます。
主要な原則
- 測定値は解決であり、封じ込めではない。 終わった会話は、解決された問題ではない。
- 検証し、戻りを確認する。 問い合わせを解決済みと数えるのは、ユーザーが確認するか戻ってこないときだけ。
- 常に人への道を提供する。 経路を簡単に、速く、目に見えるものにし、文脈を持ち越す。
- システムについて誠実である。 それがAIであること、何ができて何ができないかを述べる。
- エージェントができることを制限する。 最小権限を付与し、重大な行動には承認を求め、監査証跡を保つ。
- 答えの質を抽出で測る。 流暢な返信は間違っていることがある。
- ユーザーと、後始末をするスタッフに耳を傾ける。 彼らは、メトリクスが見逃すものを見ている。
メトリクスの定義
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| 検証された解決率 | ボットの会話のうち、ユーザーが問題が解決したと確認した、または述べられた期間内に戻ってこなかった割合 | 確認された解決、または7日以内に再問い合わせのない会話 ÷ 解決可能な意図で始まった会話 | パーセント | 会話のログ、ユーザーの確認、チケットと問い合わせのデータ | サービスデスク、ナレッジマネジメント | ユーザーにとっての動く成果 | 毎週 |
| 再問い合わせ率 | ボットが終えた会話のうち、同じ問題について、どのチャネルであれ問い合わせが続いた割合 | 7日以内に関連する問い合わせが続いた会話 ÷ 引き継ぎなしで終わった会話 | パーセント | チケットと問い合わせの記録と結合した会話のログ | サービスデスク、インシデント管理 | 流出した欠陥 | 毎週 |
| 引き継ぎの文脈の完全性 | 人への引き継ぎのうち、ユーザーに繰り返させずに、その人が必要な情報を得ていた割合 | 受け取るエージェントが完全と判断した抽出した引き継ぎ ÷ 抽出した引き継ぎ | パーセント | 抽出した引き継ぎ、エージェントのフィードバック | サービスデスク、ナレッジマネジメント | 境界を越えた円滑な協働 | 毎月 |
| 人までの時間 | ユーザーが人を求めた、あるいはボットが引き継ぎを決めたときから、人が引き継ぐまでの時間 | 分の中央値と85パーセンタイル | 分 | 会話のログ、キューのデータ | サービスデスク、インシデント管理 | ユーザーが助けを必要とするときの応答性 | 毎週 |
| 答えの正確さ | 抽出したボットの答えのうち、資格のあるレビュー担当者が正しく、完全で、安全だと判断した割合 | 正しいと判断された答え ÷ 抽出した答え | パーセント | 抽出したレビュー | ナレッジマネジメント、品質保証 | 答えの完了の定義 | 毎月 |
| ボットの満足度と労力 | 会話の後の、満足度と容易さのユーザー評価。コメントを伴う | 好意的な評価 ÷ 評価、平均の労力評価 | パーセント、尺度のポイント | 会話後の短いアンケート | サービスデスク、顧客体験 | 動くソフトウェアへのフィードバック | 毎週 |
| エージェントの行動の取り消し率 | AIエージェントが行った行動のうち、訂正、取り消し、またはエスカレーションを要した割合 | 取り消しまたは訂正された行動 ÷ 行われた行動。行動の種類とリスクのクラス別に | パーセント | 行動の監査ログ、変更の記録 | 変更実現、インシデント管理 | 手戻りとロールバック | 毎週 |
ボットが扱う意図を定義し、常に引き継ぐべきものを封じ込めから除外します。検証された解決は、問題が範囲内で、ユーザーが確認したか再問い合わせを示さなかった場合にのみ、会話を数えます。人までの時間は、メニューの終わりではなく、ユーザーのリクエストから始まります。答えの正確さは、ボットを作っていない人が、ナレッジベースとポリシーに照らして判断します。エージェントの行動の取り消しは、行動の種類とリスクのクラスで分け、有害な行動はインシデントとして別に報告されます。
推奨事項
成功を解決として定義する
1. 意図と望む成果を定義する。 アシスタントが扱うべき問題を列挙します。パスワードのリセット、アクセスの状況、使い方の質問などと、それぞれの成果。答えた、完了した、引き継いだ。常に人に行くべき意図を決めます。苦情、苦痛を伴うあらゆるもの、安全、法的権利、お金。すべてを扱おうとするボットは、端でひどく失敗します。
2. 検証された解決と再問い合わせを測る。 終わりにユーザーに問題が解決したかを尋ね、またその後の関連する問い合わせを探します。どちらも単独では十分ではありません。諦めたユーザーは答えず、助けられた一部のユーザーもなお電話をかけます。両方合わせて、真の解決に近似します。再問い合わせ率を、あらゆる封じ込めの数字の主要な防護柵として扱います(トピック 3.1「サービスデスクのメトリクス」を参照)。
3. 封じ込めを目標にするのを避ける。 封じ込めは記述的な数字としてのみ、常に検証された解決、再問い合わせ、満足度の隣で報告します。上昇する封じ込めと上昇する再問い合わせは、ボットが人々を追い返していることを意味します。封じ込めの目標を設定したり、誰かの業績をそれに結び付けたりしてはいけません。
人への経路を簡単で良いものにする
4. ユーザーがどの時点でも人に連絡できるようにする。 人を求める明確で平易な方法を提供し、それを尊重します。人までの時間と、ユーザーが一度より多く求めた会話の割合を測ります。自分たち自身で経路を定期的にテストします。人が利用できないところでは、いつ利用できるかを伝え、折り返しを提供します。
5. 文脈とともに引き継ぐ。 ボットが会話を人に渡すとき、要約、試したこと、ユーザーの言葉、関連するアカウントの詳細を含め、ユーザーが繰り返さなくて済むようにします。受け取るエージェントに引き継ぎが完全だったかを評価してもらい、結果を抽出します。悪い引き継ぎは、人々にボットとサービスの両方への信頼を下げさせます(トピック 9.3「協働と引き継ぎのメトリクス」を参照)。
6. すべてのユーザーのために設計する。 支援技術を使うユーザー、他の言語で書くユーザー、急いでいる、あるいは苦痛の中にいるユーザー、技術に慣れていないユーザーで、アシスタントをテストします。他のチャネルを提供します。安全で合法なところでは、ユーザーグループ別に検証された解決と満足度を測ります。平均は、ボットが最も失敗する人々を隠します。
言うことと行うことの質を確認する
7. 答えを正確さと安全のために抽出する。 毎月、会話の無作為の抽出を引き、資格のある人に答えを判断してもらいます。正しい、完全、安全、不確実性について誠実。エラーを種類別に記録します。古い、捏造された、ポリシー外、誤解された。エラーをナレッジベースと設定にフィードします。機微な話題と、アシスタントを範囲外に押し出そうとする試みのために、的を絞ったテストを加えます。
8. 知識を最新に保つ。 アシスタントは、依拠するコンテンツとツールと同じ程度にしか良くありません。答えのエラーをナレッジ記事に結び付け、使う知識の鮮度を測ります(トピック 3.6「ナレッジマネジメントのメトリクス」を参照)。システムがナレッジベースからの検索を使うところでは、出典を引用していること、出典が正しいことの確認を含めます。
9. ユーザーに誠実である。 最初に、AIと話していること、何ができて何ができないかを述べます。そうでないと示唆する人間の名前や振る舞いを与えてはいけません。不確かなところでは、そう言って人を提案するべきです。開示について適用される法を確認します。
行動するエージェントを統治する
10. 行動をリスクで分類し、それに合わせて権限を設定する。 エージェントが行える各行動について、リスクのクラスを定義します。情報提供、取り消し可能で影響が小さい、重大。必要な最小権限を付与します。重大な行動には人による承認を求めます。理由、ユーザー、結果を伴うすべての行動の監査証跡を保ちます。これらの統制は、前の部の変更とセキュリティの測定値に結び付きます(トピック 8.1「セキュリティインシデントと脆弱性のメトリクス」とトピック 8.2「リスクと統制のメトリクス」を参照)。
11. 行動の正しさと取り消し可能性を測る。 行動の種類別に取り消し率を追跡し、すべての有害な行動を、非難せずにインシデントとしてレビューします。アクセスを与える前に安全な環境でエージェントをテストし、モデルやツールが変わったときに再テストします。新しいモデルのバージョンは振る舞いを変えうるので、統制が要る変更として扱います(トピック 4.3「変更実現のメトリクス」を参照)。
12. 後始末をする人々に耳を傾ける。 サービスデスクのスタッフは、ボットの失敗の結果を見ます。怒ったユーザー、繰り返しの問い合わせ、片付けるべき混乱。ボットが何を間違え、何が事態を難しくするかを定期的に尋ねます。彼らのフィードバックとユーザーのコメントは、どのメトリクスも完全には捉えない証拠で、次の一連の変更を形作るべきです。
悪用の手口と防護柵
| メトリクス | 悪用のされ方 | 組になる防護柵のメトリクスまたはプラクティス |
|---|---|---|
| 検証された解決率 | あらゆる会話の終了を解決済みと数える、誘導的な確認の質問をする | 確認を中立に定義する。再問い合わせ率。会話を抽出する |
| 再問い合わせ率 | 一つのチャネルだけを通じて測る、短い期間 | すべてのチャネルを結合する。確認としてより長い期間を使う。再問い合わせを抽出する |
| 引き継ぎの文脈の完全性 | 要約の代わりに長い記録を渡す、簡単な引き継ぎを抽出する | 受け取るエージェントの評価。無作為の抽出。引き継ぎ後の解決までの時間 |
| 人までの時間 | メニューの後に時計を始める、キューの受領通知を引き継ぎと数える | 時計はリクエストから始まる。引き継ぎとは、人が会話で能動的であること |
| 答えの正確さ | 簡単な会話を抽出する、寛容なレビュー担当者 | 独立したレビュー担当者による無作為の抽出。敵対的なテストケース |
| ボットの満足度と労力 | 完了した会話だけにアンケートする、満足したユーザーだけが届く場所にアンケートを置く | 放棄された会話にもアンケートする。回答率と構成。コメントを読む |
| エージェントの行動の取り消し率 | 取り消しを記録しない、訂正を新しい仕事として再分類する | 改ざんに強い監査ログ。取り消しを行動に結び付ける。インシデントレビュー |
健全な読みは、低い再問い合わせを伴う高い検証された解決、完全な引き継ぎを伴う簡単で速い人への経路、抽出したレビューでの正確な答え、グループ横断で満足したユーザー、そして行動が取り消しを要することがまれで、見えないうちに害を及ぼすことが決してないエージェントです。
トレードオフ:長所と短所
| 手法 | 強み | 弱み |
|---|---|---|
| ルールベースのボット | 予測可能、テストしやすい | 狭い。脆い。台本の外では苛立たしい |
| 言語モデルのアシスタント | 柔軟、流暢 | 自信を持って間違いうる。テストがより難しい |
| 承認された知識からの検索 | 根拠のある答え、訂正しやすい | コンテンツの質に依存する |
| 自由な生成 | 広い網羅 | 捏造のリスクが高い |
| 行動への人による承認 | 安全 | 遅い。レビュー担当者の疲れ |
| 自律的な行動 | 速度 | 間違ったときの影響範囲が大きい |
| 厳格な範囲と早期の引き継ぎ | 安全 | 低い封じ込め |
| 広い範囲 | 高い封じ込め | 端でのエラーが増える |
散文での答えは、狭く、よく理解された意図から始め、承認された知識に答えの根拠を置き、人による助けを簡単にし、測定値が正当化する場合にのみ、範囲と自律性を広げることです。
チームで話し合う問い
1. ユーザーが今すぐ人を望んだら、何ステップかかり、私たちは自分たちで試したか? 経路を一緒にテストします。ステップと待ち時間を数えます。ファシリテーターは、あらゆる障壁を記録してください。経路が短くなるよう変更に合意し、人までの時間を測ります。
2. 私たちのボットが終えた会話のうち、実際に問題を解決したのはどれだけか? 抽出について、再問い合わせと確認を確認します。封じ込めの数字と比較します。ギャップを話し合います。リーダーがどの数字を見るべきかを決めます。
3. 私たちのボットは何を間違え、誰が気づくか? サービスデスクに尋ねます。抽出した会話をレビューします。パターンを探します。古い記事、曖昧な質問、機微な話題。エラーから修正への経路に、オーナーを付けて合意します。
4. エージェントが自分でしてよい行動はどれで、人を要するのはどれか? 行動をリスクのクラスと権限とともに列挙します。それぞれの現実的な最悪の失敗が何かを尋ねます。承認の規則と監査証跡、有害な事例を誰がレビューするかに合意します。
5. ボットは誰を静かに失敗させているか? 急いでいる、苦痛の中にいる、アクセシビリティのニーズがある、言語が限られるユーザーを考えます。安全なところでは、グループ別に解決と満足度を見ます。そうしたユーザーとの一つのテストに合意します。
6. 私たちにボットを止めさせる、あるいは範囲を狭めさせるものは何か? 証拠を定義します。水準を超える再問い合わせ、有害な行動、基準を下回る正確さ。誰が決められるかを決めます。事前に停止の規則があると、行動しやすくなります。
四つの視点
プロダクトとデリバリーのチーム
アシスタントを築くチームは、その品質を所有します。意図を定義し、承認された知識に答えの根拠を置き、敵対的なケースでテストし、統制のもとで変更をリリースし、失敗を読むべきです。ユーザーを閉じ込めることを報いる封じ込めの目標に、押し返すべきです。
サービスと運用のチーム
サービスデスクのスタッフは、アシスタントとともに働き、その失敗を引き継ぎます。引き継ぎを評価し、間違った答えに旗を立て、知識を最新に保ち、求められたときに素早く引き継ぐべきです。アシスタントがユーザーを助けるかの最良の判断者で、彼らの作業負荷とストレスは全体像の一部です。
リーダーシップとガバナンス
リーダーはアシスタントを後援し、節約を望みます。封じ込めの隣に、検証された解決、再問い合わせ、満足度を求め、停止の規則を要求し、人の経路に資金を付け、エージェントのリスクのクラスをレビューするべきです。ガバナンスは、開示、アクセシビリティ、法的義務を確認するべきです。
顧客とユーザー
ユーザーは、わずかな労力と、ごまかしのない助けを望みます。AIと話していることを知り、簡単に人に連絡でき、システムが正当な理由なしに行動しないと信頼できるべきです。彼らの体験、特に失敗の体験は、アシスタントが持つ価値があるかの主要な証拠です。
実践:サービスマネジメントの例
国立大学が、月に約30,000件の問い合わせを扱う学生・スタッフ向けのサービスデスクを運営しています。よくあるリクエスト向けのチャットボットを立ち上げ、ベンダーのダッシュボードは74パーセントの封じ込め率を報告します。以下の数字は例示です。
学生サービスの責任者が確認します。直近1か月のボットが終えた会話のうち、29パーセントに、7日以内にメールか電話での関連する問い合わせが続いていました。ユーザーの確認と再問い合わせがないことを使った検証された解決は、範囲内の意図で49パーセントです。求めてから人に到達するまでの時間の中央値は6分で、85パーセンタイルは22分であり、一部は経路に三つのメニューのステップが要るためです。二人の経験豊富なアドバイザーがレビューした100件の会話の抽出は、88件の答えが正しく、12件に欠陥があることを見つけます。7件は古く、3件は期限についての詳細を捏造し、2件は困難にある学生が関わる機微な事例を誤って扱っていました。受け取るエージェントは、引き継ぎの54パーセントを完全と評価します。ボットへの満足度は、スクリーンリーダーを使う学生と、英語以外の言語で書く学生で、より低いです。サービスデスクのチームは、「チャットボットが助けられなかった」で始まる多くの問い合わせを報告します。
学生サービスの責任者は、チームとともに変更を行います。福祉、苦情、授業料についての紛争といった機微な意図は、直接人に回され、ボットはそう伝えます。「人と話す」の選択肢がすべての画面に現れ、人までの時間が追跡され、人員のいる時間には数分以内に応答するという目標があります。引き継ぎには、自動の要約とユーザー自身の言葉が含まれます。ナレッジベースのオーナーは古い記事を直し、月次の抽出のレビューが彼らに情報を与えます。アシスタントは承認されたコンテンツからの回答に限定され、知らないときはそう言うことを求められます。二つ目のパイロットは、本人確認の後にエージェントがパスワードをリセットできるようにし、すべての行動がログに記録され、時間制限内に取り消し可能で、取り消し率が追跡されます。ダッシュボードは、封じ込めを、検証された解決、再問い合わせ率、正確さ、人までの時間、グループ別の満足度に置き換えます。
3か月後、検証された解決は範囲内の意図で66パーセントに達し、再問い合わせ率は14パーセントに下がり、人までの時間の中央値は2分に下がり、完全な引き継ぎの割合は86パーセントに上がり、抽出した答えの正確さは95パーセントに上がり、抽出に誤って扱われた機微な事例はありません。パスワードのパイロットでのエージェントの行動の取り消し率は1.2パーセントです。学長室は、85パーセントの封じ込めの目標を求めます。学生サービスの責任者は、より高い封じ込めの目標は人への経路を隠すことを報いると説明し、検証された解決と再問い合わせを測定値とし、次に何を広げるかをレビューすることを提案します。判断は記録されます。
アジャイル、AI、自動化、アナリティクス
アジャイル
ユーザーと引き継ぐ人々からのフィードバックを得て、小さなステップでアシスタントを改善し、失敗をステークホルダーと定期的にレビューします。注意点は、封じ込めを報いることは、ボットに人々を助けから遠ざけておくよう教えることです。
AI
対話型のアシスタントが助けたのは、問題が解決され、解決されたままであるときだけなので、検証された解決、再問い合わせ、引き継ぎの質、エージェントの行動の取り消しを測ります。人の役割を定義します。誰が行動を承認するか、ボットがいつ引き渡さなければならないか、人がどう上書きするか。注意点は、心地よい会話も、タスクに失敗しうることです。
自動化
すべての会話とエージェントの行動を、権限とロールバックの方法とともにログに記録し、自動化を誤った行動で測ります。注意点は、広い権限を持つエージェントは速度で害を及ぼしうるため、範囲を制限してログをレビューすることです。
アナリティクス
ユーザーの確認または再問い合わせのない期間によって検証された解決を、件数とともに報告し、会話の抽出を読みます。これが情報を与える判断は、アシスタントがどこで拡大して安全かです。注意点は、ボットの会話の満足度スコアは、終えたユーザーに偏ることです。
業種別の視点
スタートアップ。 アシスタントは低コストでサポートを網羅でき、一つの悪い答えが顧客を失わせうる。範囲を狭く保ち、自分たちのドキュメントに答えの根拠を置き、人の選択肢を明白にし、すべてのエスカレーションを読みます。エージェントがアカウントや支払いに作用するのを許すことには注意します。
中小企業。 ウェブサイト上の既製のアシスタントは、よくある質問を扱えます。顧客としてテストし、電話番号やメールが見つけやすいことを確かにし、毎週会話をレビューします。ベンダーがデータをどうするかを確認します。
大企業。 規模は節約とリスクを提供します。リスクのクラス、承認、監査のためのガバナンスのプロセスを運用し、意図とユーザーグループ別に測り、すべてのチャネルで人に連絡できることを確かにします。サポート、セキュリティ、法務、アクセシビリティにまたがって調整します。
政府・公共部門。 市民には代わりの提供者がないかもしれず、アクセシビリティ、言語アクセス、公正な扱いの義務が強く適用されます。人に連絡できるようにし、保護措置なしに権利についての自動化された判断を避け、アシスタントがどう使われるかを公表し、開示と行政法の義務を確認します(トピック 8.5「規制対応・行政向け報告」を参照)。
ビジネスケース:動機、ROI、TCO
コストは、ライセンスまたは利用量の課金、連携、コンテンツの準備、継続的な抽出とレビュー、ナレッジベースの保守、テスト、ガバナンスです。良い人の経路もお金がかかります。人員を配置しなければならないからです。
潜在的な見返りは、単純な問題での待ちの短縮、反復的な問い合わせからの解放、時間外の網羅です。リスクの側には、再問い合わせ、失われた信頼、間違った答えや行動による害、法的な露出が含まれます。自分たち自身の数字からケースを築きます。検証された解決と再問い合わせ、引き継ぎを含む解決された問い合わせあたりのコスト、ボットの失敗の修正に費やされたスタッフの時間、グループ別の満足度。ベンダーの封じ込めや偏向の主張を自分たちの見積もりとして使うのは避けます。人の経路とガバナンスのコストを数えます(トピック 7.7「投資対効果とビジネスケース」を参照)。
アンチパターンと落とし穴
- 封じ込めを目標にする。 人々を助けから遠ざけておくことを報いる。検証された解決と再問い合わせを報告する。
- 隠れた、あるいは遅い人への経路。 ダークパターンで、ユーザーは気づく。短くしてテストする。
- 文脈なしの引き継ぎ。 ユーザーは繰り返し、信頼が落ちる。要約を渡す。
- ボットに機微な事例を扱わせる。 福祉、苦情、権利には人が要る。直接回す。
- 監査や承認のない自律的な行動。 一つのエラーがスケールしうる。分類し、制限し、ログを取る。
- ベンダーのダッシュボードが示すものだけを測る。 見栄えを良くする。自分たちのデータを結合する。
- ボットが失敗させるグループを無視する。 平均が隠す。安全なところでテストし、セグメント化する。
- 停止の規則がない。 失敗するボットが稼働し続ける。それを狭める、あるいは止める証拠を定義する。
成熟度モデル
| 観点 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 協調 |
|---|---|---|---|---|---|
| 成果 | 封じ込めが報告される | 満足度がアンケートされる | 意図ごとに検証された解決と再問い合わせが追跡される | ユーザーグループ別にセグメント化。停止の規則が定義される。正確さが月次で抽出される | アシスタント、スタッフ、知識が、共有の証拠を使って一緒に改善される |
| 人への経路 | 見つけにくい | 選択肢が利用できる | 短い経路。人までの時間が追跡される。引き継ぎが文脈を運ぶ | 引き継ぎの質が評価され改善される。人員配置が需要に合わせられる | ボットとスタッフが、ユーザーの選択を尊重しつつ、チャネルを越えて円滑に協働する |
| 行動するエージェント | その場限りの自動化 | 台本化された行動 | リスクで分類された行動、最小権限、承認と監査 | 取り消し率と害がレビューされる。変更が統制される | エージェントの振る舞いが、独立した保証を伴って、組織と供給者にまたがって統治される |
チェックリスト
- アシスタントの意図が、常に人に行かなければならないものとともに列挙されている。
- 封じ込めの隣に、検証された解決と再問い合わせ率が報告されている。
- すべての画面に、見える短い人への経路があり、人までの時間が測られている。
- 引き継ぎに要約とユーザーの言葉が含まれ、受け取るエージェントに評価されている。
- 答えが毎月、資格のある独立したレビュー担当者によって抽出されている。
- ユーザーがAIと話していること、それが何をできるかを伝えられている。
- アクセシビリティと他言語のテストが、実際のユーザーで行われている。
- エージェントの行動が、リスクで分類され、最小権限で許可され、監査ログに記録されている。
- 取り消し率と有害な行動が、非難せずにレビューされている。
- 停止の規則が、アシスタントをいつ狭める、あるいは止めるかを定義している。
AIプロンプト
意図と引き継ぎの規則を定義する。
私たちは [組織の種類] のサービスデスクを運営しています。最も一般的な問い合わせの理由は次のとおりです:[件数付きの一覧]。チャットボットが完全に扱うべき意図、助けるだけでその後引き継ぐべき意図、常に人に行かなければならない意図を、理由とともに提案してください。引き渡す引き継ぎ情報を含めてください。統計を捏造しないでください。前提と、機微な事例のリスクを列挙してください。
封じ込めの主張を確認する。
私たちのチャットボットのダッシュボードは、封じ込めが [値] であることを示します。また、7日以内の再問い合わせ [値]、アンケートの結果 [値]、会話の抽出 [説明] もあります。検証された解決が何でありうるか、私たちのデータからどう計算するか、封じ込めと解決のギャップが何を示唆するか、次に何を確認するかを説明してください。データが支えられない原因を主張しないでください。前提を列挙してください。
エージェントの行動のリスク分類を設計する。
AIエージェントは次の行動をとるかもしれません:[一覧]。それぞれについて、リスクのクラス(情報提供、取り消し可能で影響が小さい、重大)、必要とすべき権限、人が承認しなければならないか、何を記録するか、どう取り消すか、有効にする前に実行するテストを提案してください。特定のツールを仮定しないでください。前提と、セキュリティと法務の意見が要る判断を列挙してください。
ボットの会話のレビューを計画する。
ボットの会話の月次レビューを設計してください:標本サイズと選択(放棄された一部と、不十分なサービスのリスクがあるユーザーグループの一部を含む)、レビュー担当者の資格、正しさ、安全、不確実性についての誠実さの短い評価基準、エラーとその原因をどう記録して修正するか、ユーザーを特定せずにどう報告するか。前提とプライバシーの注意を列挙してください。
AIスキル
- サービスマネジメントメトリクスのスキル:チャットボットまたはAIエージェントのメトリクスの、組になる防護柵を探すときに使います。
- サービスマネジメントメトリクスのメンテナースキル:チャットボットのメトリクスの項目が、解決を測り、悪用の手口と防護柵を備えているかを確認するときに使います。
要点
- 検証された解決と再問い合わせを測り、封じ込めは記述的な数字としてのみ扱う。
- 人への経路を短く目に見えるものにし、文脈とともに引き継ぐ。
- 答えを正確さと安全のために抽出し、アシスタントが使う知識を最新に保つ。
- ユーザーがAIと話していることに誠実であり、最も失敗されやすいユーザーでテストする。
- 行動するエージェントについては、リスクを分類し、権限を制限し、重大な行動に承認を求め、監査証跡を保つ。
- 停止の規則を事前に定義する。
参考文献とさらなる読書
- Weizenbaum, J., "ELIZA: A computer program for the study of natural language communication between man and machine," Communications of the ACM, 9(1), 1966.
- National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
- European Parliament and Council, Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act), 2024.
- Dixon, M., Toman, N., and DeLisi, R., The Effortless Experience, Portfolio/Penguin, 2013.
- Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Chatbot.
- Wikipedia, Virtual assistant.
- Wikipedia, Intelligent agent.
- Wikipedia, Self-service.
- Wikipedia, Dark pattern.
- Wikipedia, Automated decision-making.
- Wikipedia, Goodhart's law.