概要と動機

メトリクスが機能するのは、生み出すのが難しいものを反映しているからです。解決されたチケットは労力を反映します。書かれた文書は知識を反映します。追加されたテストは注意を反映します。ツールが目に見える出力をほぼ無料にすると、出力と労力の結び付きが壊れます。数字は上がり続け、意味は流れ出ます。これがメトリクスのインフレで、その相棒が品質の希薄化です。生み出されたもののうち有用な割合が下がり、有用な部分が見つけにくくなります。

これは新しい問題ではありません。グッドハートの法則(Goodhart's law)とその親戚のキャンベルの法則(Campbell's law)は、統制のために使われる測定値がどう腐敗するかを記述します。虚栄のメトリクス(vanity metric)は、印象的に見えて、仕事の健全性について何も語りません。AIが変えるのは、出力を生成できる速度と規模、そしてそれとともに、これらの古い失敗が起きうる速度と規模です。かつて手作業で件数を膨らませたチームは、今や数分でそれができ、しばしば意図せずにそうします。

サービスとデリバリーの仕事では、いくつかのパターンが繰り返されます。

  • 量のインフレ。 AIはより多くのチケット、返信、コメント、テストケース、文書、コードを下書きする。これらの件数が上がる。それらを読み、レビューし、保守しなければならない人々の作業負荷も上がる。
  • 速度のインフレ。 最初の下書きまでの時間は急激に下がり、完成して確認された結果までの時間は、下がり方が小さいか、まったく下がらない。前者を報告するダッシュボードは、見栄えの良い話を語る。
  • ノイズ。 より多くのコンテンツが注意を奪い合う。情報過多(information overload)は、人が提示された情報の量を処理できない状態で、ナレッジベース、チケットのキュー、アラートの流れの信号対雑音比(signal-to-noise ratio)が下がる。アラート疲れ(alert fatigue)はその運用上の形である(トピック 5.5「監視とアラート品質のメトリクス」を参照)。
  • 低品質の生成コンテンツ。 ほとんどレビューなしに大量に作られたコンテンツは、時にAIスロップ(AI slop)と呼ばれ、もっともらしく薄い。そうした記事を種にしたナレッジベースは信頼性が下がり、ユーザーはそれを信用しなくなる。
  • 検証のコスト。 主張を確認する労力は、それを行う労力よりはるかに大きいことが多く、これは時にブランドリーニの法則(Brandolini's law)と呼ばれるパターンである。生成が安いと、検証がボトルネックになる。
  • 消費を増やす効率。 ジェヴォンズのパラドックス(Jevons paradox)は、効率の向上が資源の利用を減らさず増やす場合を記述する。レポートの下書きが安くなれば、より多くのレポートが求められる。ツールが節約した時間は、より価値の低いより多くの仕事に消費されるかもしれない。
  • フィードバックループ。 生成されたコンテンツが次の生成に供給されると、エラーが複利で増える。研究文献は、自分自身の出力で訓練されたモデルでのモデル崩壊(model collapse)を記述する。アシスタントが、アシスタントが要約した記事からアシスタントが書いたチケットを要約するとき、組織の内部で同様のループが起こりうる。
  • 漂流するベースライン。 AIのためにデータの分布が変わると、傾向としきい値は以前の意味を持たなくなる。これは、機械学習におけるコンセプトドリフト(concept drift)に似ており、入力と成果の関係が時間とともに変わる。チケットの量の上昇は、より多くの問題ではなく、チケットを作りやすくなったことを反映しているかもしれない。

アジャイルの狙いはここで重要です。継続的デリバリー、継続的改善、持続可能なペースは、すべてシグナルが明確であることに依存します。意欲のある人々に、機械が生成したノイズをかき分けること、あるいは持続不可能なペースで出力の山を検証することを求めるべきではありません。継続的に関与するステークホルダーも最良の防御です。レポートがもう役立たなくなったとき、彼らが教えてくれます。

このトピックは、インフレと希薄化に気づくための測定値と、それらを露わにする組を示します。基礎と支援された仕事の測定値の上に築かれます(トピック 10.1「サービスマネジメントの測定におけるAI」とトピック 10.2「AI支援作業の測定」を参照)。

主要な原則

  • 量や速度のメトリクスすべてを、有用性の確認と組にする。 出力が有用かを人が判断する。
  • 完成して検証された結果まで測る。 最初の下書きの速度は罠である。
  • 検証の負担を見る。 静かに増え、節約された時間を消費する。
  • シグナルを守る。 ナレッジベース、キュー、アラートを、信頼できる程度にきれいに保つ。
  • フィードバックループを断つ。 レビューなしに、生成されたコンテンツが生成に供給されるのを許さない。
  • データが変わったらベースラインをやり直す。 技術の転換をまたぐ傾向には注意が要る。
  • より少なく、より良い出力を好む。 注意が制限される資源のとき、少ない方が多いことがある。

メトリクスの定義

メトリクス 定義 計算式 単位 データソース ITILプラクティス アジャイルの対応物 頻度
出力対成果の比 出力の量を、それが生み出すはずだった成果に対して見たもの 出力の件数(チケット、記事、変更)÷ 成果の測定値(解決された問題、使われた記事、定着した変更)。同じ期間にわたり、傾向として追跡 比 作業追跡システム、ナレッジベース、成果の測定値 継続的改善、測定とレポート 文書の量より動くソフトウェア 毎月
有用なアイテムの割合 抽出したアイテムのうち、資格のあるレビュー担当者が有用と判断した割合 有用(正しい、関連がある、重複しない)と判断された抽出したアイテム ÷ 抽出したアイテム パーセント 無作為の抽出のレビュー ナレッジマネジメント、品質保証 コンテンツの完了の定義 毎月
検証の負担 出力の単位あたりの、生成された仕事を確認し訂正する人の時間 レビューと訂正の時間 ÷ 出力の単位。傾向として追跡 単位あたりの時間 時間の見積もり、レビューツールのデータ サービス財務管理、継続的改善 制約としてのレビューのキャパシティ 毎月
コンテンツの冗長率 他と重複する、あるいは実質的に重なるナレッジアイテムの割合 レビューまたは照合で重複または重なりとされたアイテム ÷ ナレッジベースのアイテム パーセント ナレッジベースのレビュー、照合レポート ナレッジマネジメント 唯一の真実の情報源 四半期ごと
生成された知識のレビュー済み割合 AI生成のナレッジアイテムのうち、公開前に資格のある人がレビューして承認した割合 承認されたレビューとともに公開された生成アイテム ÷ 公開された生成アイテム パーセント ナレッジベースのメタデータ ナレッジマネジメント、変更実現 リリース前のレビュー 毎月
解決に対する滞留の流入 AIの影響を受けるキューについて、到着する仕事の伸びを、解決された仕事の伸びに対して見たもの (作成されたアイテムの変化)÷(解決されたアイテムの変化)。AI以前のベースラインと比較 比 チケットと追跡システムの履歴 インシデント管理、サービスリクエスト管理 フローの均衡 毎月
メトリクスの漂流の旗 AIが導入された後に、定義や分布が顕著に変わり、レビューされ注記されたメトリクスの数 レビューで旗を立てられたメトリクス ÷ 台帳のメトリクス 件数、パーセント メトリクス台帳のレビュー、分布の確認 測定とレポート 測定についての振り返り 四半期ごと

「有用」を書面の評価基準で定義します。正しい、実際のニーズに関連がある、重複しない、最新である。検証の負担は、再度プロンプトする時間を含め、人が費やした時間を数え、単に待っている時間は除きます。レビュー済みの割合は統制です。レビューされていない生成された知識は別に追跡され、目に見えてラベル付けされたままにされます。メトリクスの漂流の旗は議論であり、罰ではありません。旗は、定義を調整するか、傾向に注記するか、ベースラインをやり直すかを、人が決めたことを意味します。すべての測定値はプロセスとコンテンツを記述し、個人は決してありません。

推奨事項

量を有用性と組にする

1. すべての量のメトリクスに有用性の確認を組み込む。 ダッシュボードの量や速度の測定値それぞれについて、人が判断した有用性の測定値に名前を付けます。作成されたチケットは解決の質と、書かれた記事は記事の利用と正確さと、マージされた変更は定着と手戻りと組にします(トピック 10.2「AI支援作業の測定」を参照)。それらを一緒に示し、乖離するときに話し合います。

2. 定期的に抽出して判断する。 毎月、AIが触れる流れからアイテムの無作為の抽出を引き、資格のある人に書面の評価基準に照らして判断してもらいます。有用な割合と、アイテムが不合格になる理由を記録します。レビュー担当者をローテーションし、作成者から独立に保ちます。抽出は、ゆっくりとした希薄化に対する主な防御です。

3. 出力の前に成果を報告する。 リーダー向けのレポートでは、成果から始めます。解決された問題、満足したユーザー、避けられた欠陥。出力の件数は、文脈としてその後に置きます。出力の件数を取り除いてもレポートが価値あるままなら、うまく方向付けられています。

検証とノイズを統制する

4. 検証の負担を測る。 生成された仕事を確認し訂正するのに費やされた時間を見積もり、出力の単位あたりの傾向として追跡します。出力が増えるとともに上がるなら、正味の利得は生成の数字が示すより小さく、レビュー担当者は過負荷に向かっているかもしれません。負担をタスクあたりのコストに含めます(トピック 10.1「サービスマネジメントの測定におけるAI」を参照)。

5. システムに入るものを制限する。 どの生成されたコンテンツを自動で作成し公開してよく、どれにレビューが要るかを決めます。一つのレビューにおける生成された変更のサイズと数に制限を設けます。量にノーと言うのを簡単にします。より小さく、より明確なアイテムのキューは、ユーザーによりよく仕えます。

6. ナレッジベースをプロダクトとして管理する。 生成されたコンテンツにラベルを付け、公開前にレビューを求め、重複と古いアイテムを廃止し、冗長性と利用を追跡します。ナレッジベースは、ユーザーがそれをどれだけ信頼するかに比例して有用です。誰も使わず、誰も保証できない記事を取り除きます(トピック 3.6「ナレッジマネジメントのメトリクス」を参照)。

7. アラートとチケットの流れをきれいに保つ。 AIがアラートや要約からチケットを作るなら、有用な割合と重複を測ります。積極的にチューニングします。信号対雑音比の低下を、それ自体のインシデントとして扱います。本当のトラブルが来たときの対応を害するからです。

ループを断ち、ベースラインを見る

8. 生成されたコンテンツが、確認なしに自分自身に供給されるのを止める。 アシスタントがナレッジベース、チケットの履歴、過去のレポートに依拠するところでは、それらの情報源の生成された素材がレビューされている、あるいはラベル付けされてそれに応じて重み付けされていることを確かにします。連鎖を抽出します。一つの答えを選び、その情報源を遡ってそれがどこから来たかを見ます。確認されないループはエラーを増幅します。

9. データが変わったらベースラインをやり直す。 AIを導入した後、傾向のグラフに注記し、データの性質が変わったところでは新しいベースラインを始めます。合計だけでなく分布を確認します。チケットの長さ、カテゴリの構成、作成にかかる時間のすべてが変わりうるからです。メトリクスの漂流の旗が、これらの対話を促します(トピック 1.6「サービスメトリクスのための統計リテラシー」を参照)。

10. リバウンドを探す。 タスクが安くなったとき、それへの需要が増えるかを問います。節約された時間が、より価値の低い出力にもっと吸収されないよう、その使い道を事前に決めます。同じ労力で2倍のレポートを作るチームは、より有用でない仕事をしているかもしれません。

人の注意をループに保つ

11. レビュー担当者とユーザーの注意を守る。 レビューのキャパシティと注意は希少です。人々が読まなければならない素材の量を減らし、レビュー担当者に現実的な負荷を与え、何がより難しくなっているかを尋ねます。持続可能なペースには、読んで判断するペースが含まれます(トピック 9.2「満足度とウェルビーイングのメトリクス」を参照)。

12. シグナルが明確かをユーザーとステークホルダーに尋ねる。 出力を使う人々の継続的な関与が最良のテストです。ナレッジベースが使いやすくなったか使いにくくなったか、レポートが必要なことを教えてくれるか、キューが明確に感じられるかを尋ねます。彼らの答えとコメントは、数字の隣で読まれるべきです。

悪用の手口と防護柵

メトリクス 悪用のされ方 組になる防護柵のメトリクスまたはプラクティス
出力対成果の比 量とともに上がる成果の測定値を選ぶ、期間を変える 台帳で成果を固定する。満足度と再オープン率と比較する
有用なアイテムの割合 簡単なアイテムを抽出する、緩い評価基準、作成者に影響されるレビュー担当者 無作為の抽出。書面の評価基準。独立したローテーションするレビュー担当者
検証の負担 レビューの時間を記録しない、確認を下流のチームに移す 下流の手戻りを含める。レビュー担当者に負荷を尋ねる
コンテンツの冗長率 重複を見逃す狭い照合の規則、別個のアイテムを統合する 重複を手作業で抽出する。統合の規則を記録する
生成された知識のレビュー済み割合 読まずにレビューを完了とマークする、一括でレビューする レビューを実質のために抽出する。レビューあたりの時間。公開されたアイテムのエラー率
解決に対する滞留の流入 アイテムの自動クローズ、アイテムの分割 解決の質を確認する。再オープン率。クローズされたアイテムを抽出する
メトリクスの漂流の旗 仕事を避けるために旗を立てない、すべてに旗を立てる 四半期ごとにすべてのメトリクスをレビューする。各旗に判断を求める

健全な読みは、量が増えても安定する、あるいは上がる有用なアイテムの割合、既知で負担できる検証の負担、低い冗長性とレビューされた生成コンテンツを持つナレッジベース、明確なシグナルのキュー、そして成果から始まるリーダーの見方です。

トレードオフ:長所と短所

手法 強み 弱み
出力を数える 簡単、馴染みがある 膨らむ。量を報いる
成果を測る 価値を反映する 遅い。帰属がより難しい
抽出して判断する 希薄化を検出する 熟練したレビュー担当者が要る。労力
自動の品質スコアリング スケールする 別のモデルの意見。同じ盲点を共有しうる
生成されたものをすべてレビューする 安全 便益を取り除く。レビュー担当者が過負荷になる
抽出をレビューする 実用的 一部の悪いアイテムが通る
オープンな生成を許す 速く、広い ノイズ。信頼が侵食される
生成を承認された利用に制限する よりきれいなシグナル 導入が遅い。逃される便益

散文での答えは、成果を測り、人とともに有用性を抽出して判断し、レビューなしに共有の保存先に入るものを制限し、ベースラインを見直すことです。自動スコアリングは補助として使い、判断者としては使いません。

チームで話し合う問い

1. AIを使い始めてから私たちの数字のどれが上がり、それは私たちが仕える人々のために何をしたか? 数字を列挙します。それぞれについて、それが反映するはずの成果を見ます。ファシリテーターは、成果が動かなかったところを記録してください。それらの数字を有用性の確認と組にします。

2. 先月公開または作成したもののうち、一行ずつ弁護して満足できるのはどれだけか? 無作為の抽出を取り、一緒に読みます。有用、薄い、間違い、重複を印付けます。割合と原因を話し合います。共有の保存先に入るものの基準に合意します。

3. 確認はどこで私たちのボトルネックになりつつあるか? レビュー担当者に尋ねます。レビューのキュー、レビューの深さ、今担っている労力を見ます。レビューあたりの生成アイテムのサイズや数の制限と、負担を測る方法に合意します。

4. ここでは、どの生成コンテンツが他の生成コンテンツに供給されているか? 典型的な答えを、その情報源まで遡ります。連鎖はどこで始まったか。人がどこで連鎖を確認する、あるいはコンテンツにラベルを付けるべきかを話し合います。

5. 1年前と比べて、今のナレッジベースについてユーザーは何と言うか? 最近のコメントを読み、利用データを見ます。信頼できる答えを見つけるのが、より簡単になったか難しくなったかを尋ねます。一つの整理と、新しいコンテンツのための一つの規則に合意します。

6. 私たちの傾向のうち、新しいベースラインでやり直すべきものはどれか? 量や、アイテムの作られ方に依存するメトリクスを列挙します。AIが来てからの形の変化を探します。傾向に注記し、どれに新しいベースラインが要るかを決めます。

四つの視点

プロダクトとデリバリーのチーム

デリバリーのチームは量の多くを生成し、保守を担います。より小さく明確な変更を好み、生成された素材をレビューしてラベル付けして保ち、定着と手戻りを見るべきです。生成された量に基づく測定値を拒み、成果の測定値を求めるべきです。

サービスと運用のチーム

運用チームは、希薄化が損なうキュー、アラート、ナレッジベースの中で暮らしています。AIが作るチケットとアラートをチューニングしてシグナルを強く保ち、公開前に生成された知識をレビューし、流れがノイズになったときに報告するべきです。有用性を判断するのに最も適した立場にあります。

リーダーシップとガバナンス

リーダーは、インフレが歪めるダッシュボードを受け取ります。成果を最初に求め、量の隣に有用性の確認を要求し、レビューのキャパシティに資金を付け、一部の測定値にはベースラインのやり直しが要ることを受け入れるべきです。ガバナンスは、共有の保存先の生成されたコンテンツがレビューされラベル付けされていることを確認するべきです。

顧客とユーザー

ユーザーは、答えが間違い、記事が互いに矛盾し、返信が長く空虚なときに、希薄化のコストを負います。短く、正しく、関連のある助けを望みます。受け取るものの質に対する彼らの反応は、シグナルが生き残ったかの直接のテストです。

実践:サービスマネジメントの例

世界的な製薬会社のIT部門が、ナレッジ記事の起案、チケットの要約、週次のステータスレポートの準備のために、AIアシスタントを有効にします。四半期のうちに、ダッシュボードは素晴らしく見えます。以下の数字は例示です。

作成されたナレッジ記事は、月に140件から610件に上がります。チケットには、AIが書いた詳細な要約が付きます。週次レポートは12ページに及びます。サービス品質のマネージャーは、セルフサービスへの満足度が下がり、サービスデスクが「記事が役に立たなかった」という問い合わせを多く報告していることに気づきます。彼女は、二人の経験豊富なエージェントと、新しい記事100件を抽出します。有用と判断されたのは54件だけです。23件が既存の記事と重複し、15件が古いまたは誤った手順を含み、8件が曖昧すぎて行動できません。新しい記事の71パーセントが、人によるレビューなしに公開されていました。ナレッジベースには今や約3,200件の記事があり、コンテンツの冗長率は、1年前の9パーセントに対し、彼女の見積もりで28パーセントです。エージェントは、信頼できる答えを見つけるのに時間がかかると報告します。サービスデスクの記事編集者の検証の負担は、12時間から、週に約40時間に増えました。チケットのAIが書いた要約は、後のAI生成の返信を、誰も書いていないテキストに依拠させ、五つの返信をその情報源まで遡った追跡では、二つが、問題を誤って述べた要約に依拠していました。週次のステータスレポートは、読むと前の週になかったことをほとんど語らず、ステークホルダーは2ページ目より先を読むのをやめています。

彼女は四つの変更を提案し、サービスのリーダーシップチームとナレッジのオーナーが採用します。生成された記事は、公開前に名前の挙がった編集者のレビューが必要で、承認されるまでラベル付けされます。トピックのクラスターあたり生成された記事は一つという制限が重複を防ぎ、一掃が冗長なアイテムを統合または廃止します。レポートのテンプレートは、成果から始まる2ページに削られ、AIは人が編集するセクションの下書きにのみ使われます。チケットの要約は生成されたものとしてマークされ、毎月抽出が確認されます。ダッシュボードは、記事の件数の隣に、有用なアイテムの割合、冗長率、レビュー済みの割合、検証の負担を報告します。

2四半期後、月あたりの作成された記事は190件に下がり、有用なアイテムの割合は91パーセントに上がり、冗長率は11パーセントに下がり、レビュー済みの割合は100パーセントとなり、検証の負担は週に約16時間で安定します。セルフサービスの満足度は回復し、「記事が役に立たなかった」問い合わせは減ります。ステークホルダーは、2ページのレポートを読みます。ある部長は、AIプログラムの価値を示すために、月に1,000件の記事という目標を求めます。サービス品質のマネージャーは、問題は件数そのものだったと説明し、有用性と利用を追跡することを提案します。判断は記録されます。

アジャイル、AI、自動化、アナリティクス

アジャイル

各件数がなお有用性を反映しているかの定期的なレビューは、チームがインフレに早く気づく助けとなり、ステークホルダーは実際に何を使っているかを教えられます。注意点は、インフレに気づいた後に件数を締め付けると、サイクルが再び始まることです。

AI

AIは量と速度を安くするので、量や速度のすべての件数が膨らみます。それぞれを、人が有用と判断したアイテムの割合と検証の負担と組にし、冗長なコンテンツを確認します。注意点は、AIの出力を確認するのに使われるAIは同じ盲点を共有しうるため、人による抽出を保つことです。

自動化

重複、近い重複、古いコンテンツの検出を自動化し、検出を誤検出で測ります。注意点は、自動の整理が、まれだが重要なアイテムを取り除きうることです。

アナリティクス

出力対成果の比と有用なアイテムの割合を、標本サイズとともに報告します。これが情報を与える判断は、どの件数の報告をやめるかです。注意点は、比は成果がどう定義されるかに依存するため、それを述べることです。

業種別の視点

スタートアップ。 生成は安く、レビューの時間は希少です。ドキュメントとチケットを短く保ち、顧客が読むものをレビューし、遠慮なく削除します。小さく正しい記事の集合は、大きく疑わしい集合に勝ります。

中小企業。 レビューするキャパシティはほとんどないので、ツールが生み出すものを制限します。検証済みの少数のガイドとテンプレートを好みます。生成された素材を、確認せずに公開ページに載せることに注意します。

大企業。 規模はノイズを増幅します。オーナー、ラベル、レビューの規則を伴うコンテンツのガバナンスを確立し、ナレッジベース全体で有用性を測り、定期的な整理を行います。評価基準をチーム間で共有し、チームではなく傾向を比較します。

政府・公共部門。 公共のコンテンツは正確でアクセス可能でなければならず、エラーは害を与えうる。生成された公的情報のレビューを要求し、それがどう作られたかの記録を保ち、平易な言葉とアクセシビリティの基準を適用します。保存と記録の規則が、生成された素材に適用されるかもしれません(トピック 8.5「規制対応・行政向け報告」を参照)。

ビジネスケース:動機、ROI、TCO

インフレを防ぐコストは控えめです。抽出のためのレビューの時間、生成されたコンテンツの編集の労力、重複検出のためのツール、傾向のベースラインをやり直す労力。そうしないコストは大きいが拡散しています。セルフサービスを信頼しなくなるユーザー、燃え尽きるレビュー担当者、膨らんだ数字に基づく判断、整理のプロジェクト。

自分たち自身のデータからケースを築きます。時間にわたる有用なアイテムの割合と検証の負担、役に立たないコンテンツが引き起こす問い合わせの量、ナレッジベースの整理のコスト。生成されたコンテンツの質についての公表された数字は、ツール、タスク、方法によって大きく異なるため、使うのは避けます。誤った情報の公開による評判の損害の回避されたコストを含めます(トピック 7.7「投資対効果とビジネスケース」を参照)。

アンチパターンと落とし穴

  • 量を祝う。 ノイズを報いる。成果と有用性を祝う。
  • 最初の下書きの速度を生産性の物語にする。 節約は確認で消えうる。検証された結果までの時間を測る。
  • レビューなしに生成されたコンテンツを公開する。 信頼が静かに侵食される。レビューしてラベルを付ける。
  • 生成されたコンテンツが生成に供給されるのを許す。 エラーが複利で増える。連鎖を確認する。
  • 変えないベースライン。 技術の転換の後は傾向が誤解を招く。注記してやり直す。
  • レビュー担当者を過負荷にする。 レビューが形式的な承認になる。量を制限し、負担を測る。
  • すべてにAIの判断者を使う。 作成者の盲点を共有しうる。人をループに保つ。
  • リバウンドを無視する。 より安い仕事は、より多くの仕事を引き寄せる。節約された時間が何のためかを決める。

成熟度モデル

観点 1 開始 2 発展 3 標準化 4 管理 5 協調
組み合わせと抽出 量が単独で報告される 品質の非公式な印象 すべての量のメトリクスが、抽出した有用性の確認と組になる 有用性、負担、冗長性が、量ではなくレビューの目標で管理される シグナルの質の組織横断の見方。評価基準がパートナーと共有される
コンテンツとループ 生成されたコンテンツが混ざる 一部のラベル付け 生成されたコンテンツが公開前にラベル付けされレビューされる。連鎖が抽出される ループが監視される。保存先がキュレーションされる。重複が予定に沿って廃止される 来歴がツールと供給者にまたがってエンドツーエンドで追跡される
ベースラインと注意 傾向が転換をまたいで読まれる 一部のグラフに注記 データが変わったところでベースラインがリセットされる。リバウンドが考慮される 漂流の旗が四半期ごとにレビューされる。レビュー担当者の負荷が管理される メトリクスの設計が、ステークホルダーとともに、技術の変化に継続的に適応する

チェックリスト

  • 各量または速度のメトリクスに、人が判断する有用性の相棒がある。
  • AIが触れたアイテムの無作為の抽出が、書面の評価基準に照らして毎月レビューされている。
  • 検証の負担が見積もられ、傾向として追跡されている。
  • 生成された知識がラベル付けされ、公開前にレビューされている。
  • ナレッジベースの冗長性が測られ、減らされている。
  • アラートとチケットの流れが、有用な割合と重複について監視されている。
  • 生成された出力からその情報源への連鎖が抽出されている。
  • AIの導入をまたぐ傾向が、注記またはベースラインのやり直しをされている。
  • リーダー向けのレポートが成果から始まる。
  • シグナルがより明確になったか、よりノイズが増えたかを、ユーザーとステークホルダーが尋ねられている。

AIプロンプト

有用性の評価基準を作る。

[組織の種類] で、[ナレッジ記事、チケットの要約、ステータスレポート] が有用かを判断するための、短い評価基準(基準は六つまで)を起案してください。正しさ、実際のニーズへの関連、重複、最新性、明確さを含め、三段階の評価と各段階の例を添えてください。統計を捏造しないでください。前提と、レビュー担当者の一貫性を保つ方法を列挙してください。

シグナルの低下を分析する。

[タスク] にAIを導入してから、次の数字が変わりました:[量、解決、満足度、再オープン率、レビュー担当者の時間を貼り付け]。このパターンが、インフレや希薄化について何を示唆するか、どの変化が作成しやすくなったことによるかもしれないか、次に何を抽出するか、どのメトリクスに新しいベースラインが要るかもしれないかを説明してください。データが支えられない原因を仮定しないでください。前提を列挙してください。

ナレッジベースの整理を計画する。

私たちのナレッジベースには [数] 件の記事があり、そのうち [数] 件が直近の [期間] に生成されました。整理の計画を提案してください:重複と古いアイテムをどう検出するか、利用で優先順位を付ける方法、生成された記事のレビューの方法、再発を防ぐ規則、追跡する測定値。特定のツールを仮定しないでください。前提とリスクを列挙してください。

生成されたコンテンツの連鎖を追跡する。

以下はAIが生成した答えと、それが依拠した情報源です:[貼り付け]。各主張をその情報源まで遡り、情報源が人間の書いたもの、レビューされた生成コンテンツ、レビューされていない生成コンテンツのどれかを印付けてください。エラーが入りえた場所を特定し、確認を示唆してください。テキストを超えた事実を仮定しないでください。前提を列挙してください。

AIスキル

要点

  • AIが出力を安くすると、量と速度のメトリクスが膨らみ、有用な割合が下がりうる。
  • 量や速度のすべての測定値を、抽出し、人が判断した有用性の確認と組にする。
  • 検証された結果までの時間と検証の負担を測る。確認がボトルネックになるからである。
  • 共有の保存先に入る前に、生成されたコンテンツにラベルを付けてレビューし、ループが確認なしに自分自身に供給されるのを防ぐ。
  • 技術の転換の後は傾向のベースラインをやり直し、レポートを成果から始める。
  • 節約された時間が何のためかを事前に決め、レビュー担当者とユーザーの注意を守る。

参考文献とさらなる読書

  1. Shumailov, I., Shumaylov, Z., Zhao, Y., Papernot, N., Anderson, R., and Gal, Y., "AI models collapse when trained on recursively generated data," Nature, 631, 2024.
  2. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  3. Campbell, D. T., "Assessing the impact of planned social change," Evaluation and Program Planning, 2(1), 1979.
  4. Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
  5. Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
  6. National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
  7. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  8. Wikipedia, Goodhart's law.
  9. Wikipedia, Campbell's law.
  10. Wikipedia, Vanity metric.
  11. Wikipedia, Information overload.
  12. Wikipedia, Signal-to-noise ratio.
  13. Wikipedia, Alert fatigue.
  14. Wikipedia, AI slop.
  15. Wikipedia, Brandolini's law.
  16. Wikipedia, Jevons paradox.
  17. Wikipedia, Model collapse.
  18. Wikipedia, Concept drift.