AIガバナンスとリスクのメトリクス
AIの利用には、稼働中のサービスへのあらゆる変更と同じ規律が要る。どこにあるか、誰が所有するか、どれだけリスクがあるか、どうテストされ変更されるか、うまくいかないとき何が起きるかを把握し、人々が実際に行使できる監督を伴うこと。
概要と動機
AIは、多くの入口から組織に入ってきます。チームがコーディングアシスタントを採用する。ベンダーがすでに使われている製品に生成機能を加える。スタッフが公開ツールに文書を貼り付ける。部門がリクエストを採点するモデルを築く。それぞれが固有の便益とリスクを持つAIの利用で、一箇所で見えているものはほとんどありません。ガバナンスは、それらの利用を既知で、説明責任があり、十分に安全なものにする、構造、ポリシー、実践の集合です。リスクのメトリクスは、ガバナンスが機能しているかを教えます。
ITILには構成要素があります。サービスバリューシステムのガバナンス、リスク管理、変更実現、情報セキュリティ管理、供給者管理、継続的改善。アジャイルとDevOpsの働き方は、小さく、統制され、取り消し可能な変更の習慣と、パイプラインでの自動化された確認を提供します。AIのガバナンスは、別の宇宙を必要としません。従来のソフトウェアとは異なる振る舞いをするものに適用された、これらの実践を必要とします。
AIの何が違うのでしょうか。
- 振る舞いが統計的で、コードの変更なしに変わりうる。 モデルは、ベンダーの更新、入力の変化、プロンプトの変更の後に異なる振る舞いをするかもしれない。本番で見るデータは、テストされたデータから漂流しうる。機械学習ではドリフトとして知られる現象である。システムは静かに劣化しうる。
- 出力は完全には予測できない。 テストはあらゆる入力を網羅できないので、評価は証明ではなく、抽出と的を絞ったテストによる。システムは、作り手が予見しなかった形で失敗しうる。
- 害は拡散し、不均等でありうる。 アルゴリズムのバイアス(algorithmic bias)は、一部のグループにとって不公正な結果につながる系統的なエラーである。データ、設計、利用から生じ、全体の正確さの数字には現れないかもしれない。
- 新しい攻撃面が現れる。 プロンプトインジェクション(prompt injection)は、入力データに隠された指示が、言語モデルを意図しない振る舞いへと操作する攻撃である。モデルは、データを明かす、あるいは所有者が意図しなかった行動をとるよう誘導されうる。
- 供給者への依存が深い。 多くのAIの能力は、外部の提供者から来て、どう作られ変更されるかについての可視性が限られる。供給者の測定値がより重要になる(トピック 8.4「サプライヤーと契約のメトリクス」を参照)。
- 規則は現れつつあり、場所によって異なる。 AIに関する法律、規格、ガイダンスは素早く発展している。欧州連合のAI法(Artificial Intelligence Act)は、段階的に適用される義務を伴うリスクベースのアプローチをとり、他の法域は異なる道をとっている。AIマネジメントシステムについてのISO/IEC 42001やNIST AIリスク管理フレームワークのような規格が、構造を提供する。このトピックの特定の規則についての記述は2026年10月時点のもので、再確認すべきであり、義務については法的助言が導くべきである。より広い分野は、責任あるAI(responsible AI)や信頼できるAIとさまざまに記述され、法がAIをどう扱うべきかという問いは、人工知能の規制(regulation of artificial intelligence)の主題である。
ガバナンスは、正反対の二つの形で失敗しえます。チームがそれを避けるほど重くなり、AIの利用がシャドーIT(shadow IT)として地下に潜る。あるいは、実践を反映しないポリシーと台帳による、紙の上の作業になる。アジャイルの狙いは中間の道を示唆します。規則の設定へのステークホルダーの継続的な関与、低リスクの利用への小さく速い承認、害がありうるところへのより深い精査、経験が積まれるにつれた統制の継続的な改善。明確な境界を持ち、その内側で判断を使うことを信頼された意欲ある人々は、問題を報告します。処罰を恐れる人々は報告しません。
グッドハートの法則(Goodhart's law)からの防護柵は、ガバナンスの測定値にも当てはまります。「登録されたAIの利用の割合」が目標になると、台帳は誰も読まない項目で埋まり、実際の利用は見えないままになります(トピック 1.2「グッドハートの法則とメトリクスの心理学」を参照)。
このトピックは、第8部のリスク、コンプライアンス、セキュリティのトピックと、この部の前のトピックの上に築かれます。
主要な原則
- AIがどこで使われているかを知る。 製品に組み込まれたものとスタッフが自分で採用するものを含む、利用の台帳が基礎である。
- 精査をリスクに合わせる。 低リスクの利用には軽く、重大なものにはより深く。
- モデルとプロンプトの変更を変更として扱う。 テスト、リスクに比例した承認、ロールバックする能力が要る。
- 使用の前と最中に評価する。 現実的なケースでテストし、本番でもテストし続ける。
- 意味のある人による監督を保つ。 人が、理解し、疑問を呈し、上書きでき、そのための時間と権限を持たなければならない。
- 非難せずにインシデントから学ぶ。 AIの失敗は新しく、報告が組織の学び方である。
- 安全な事例の承認を速くする。 遅いガバナンスは、利用を見えないところへ追いやる。
メトリクスの定義
| メトリクス | 定義 | 計算式 | 単位 | データソース | ITILプラクティス | アジャイルの対応物 | 頻度 |
|---|---|---|---|---|---|---|---|
| AI利用の台帳の網羅 | 独立した手段で見つかったAIの利用のうち、オーナーとリスクのクラスとともに台帳にある割合 | オーナーとリスクのクラスとともに台帳にある利用 ÷ 独立したディスカバリー(調達、経費、ID、ネットワーク、スタッフの報告)で見つかった利用 | パーセント | 台帳、調達と経費のデータ、IDのログ、アンケート | ガバナンス、IT資産管理、リスク管理 | 見える仕事と明確なオーナーシップ | 四半期ごと |
| リスク評価の最新性 | 中・高リスクの利用のうち、要求される周期内にリスク評価がある割合 | 周期内に評価された利用 ÷ 中・高リスクの利用 | パーセント | リスク評価 | リスク管理、情報セキュリティ管理 | リスクについての定期的な振り返り | 四半期ごと |
| 変更統制の網羅 | 本番のモデル、プロンプト、ツール、データソースへの変更のうち、必要なテストとともに変更統制を通った割合 | 変更の記録、テスト、リスクに比例した承認がある変更 ÷ 検出された変更 | パーセント | バージョン履歴やベンダーのリリースノートと比較した変更の記録 | 変更実現、リリースとデプロイ管理 | 小さく、統制され、取り消し可能な変更 | 毎月 |
| 評価の最新性 | 本番の利用のうち、現在の評価(正確さ、安全、関連するところでは公正さ)があり、結果が許容範囲内にある割合 | 周期内に評価があり結果が許容できる利用 ÷ 範囲内の本番の利用 | パーセント | 評価の記録 | 品質保証、リスク管理 | 振る舞いの完了の定義 | 四半期ごと |
| 人による監督の証拠率 | 抽出した重大な出力や判断のうち、記録された実質的な人によるレビューがある割合 | 結果を変えうる文書化されたレビューのある抽出したアイテム ÷ 抽出したアイテム | パーセント | 抽出した判断の記録 | リスク管理、ガバナンス | リリース前のレビュー | 毎月 |
| AIインシデント率と封じ込めまでの時間 | AIが関わるインシデント(有害な出力、データの露出、安全でない行動)の利用あたりの件数と、それを封じ込める時間 | 四半期の本番の利用あたりのインシデント、検出から封じ込めまでの時間の中央値と85パーセンタイル | 件数、時間 | AIタグ付きのインシデント記録 | インシデント管理、情報セキュリティ管理 | 非難しない対応と学び | 四半期ごと |
| 供給者のAIデューデリジェンスの最新性 | 重要なサービスのAI機能を提供する供給者のうち、AI固有の評価が最新である割合 | 現在のAI評価がある供給者 ÷ AI機能のある重要な供給者 | パーセント | 供給者の評価 | 供給者管理、リスク管理 | 依存関係の定期的なレビュー | 四半期ごと |
台帳での「AIの利用」を広く定義します。自分たちが築くモデル、購入するサービス、製品内の機能、スタッフが使うツール。リスクのクラスと周期はポリシーで設定されます。台帳の網羅は、台帳自体ではなく、独立したディスカバリーに対して測ります。変更統制の網羅には、変更を検出する方法が要ります。バージョン管理、ベンダーの通知、設定の監視。人による監督の証拠は、ボタンがクリックされたことではなく、レビューが結果を変えられたことを求めます。インシデント率はAIの利用とシステムを記述し、人を評価するためには使いません。
推奨事項
把握し、分類する
1. 尋ねるだけでなく見つけることで台帳を築く。 アンケートとポリシーから始め、それから調達と経費の記録、IDとアクセスのログ、ネットワークとクラウドの課金データ、ベンダーの製品更新に照らして確認します。すでに所有しているツールに組み込まれたAI機能を含めます。驚きを予期します。人々は、承認していないツールを、しばしば正当な理由で使っています。それらを情報として扱います(トピック 7.2「ソフトウェア資産とライセンスのメトリクス」を参照)。
2. 各利用にオーナーとリスクのクラスを割り当てる。 オーナーは、その利用とその結果に説明責任を持つ人です。リスクのクラスは、システムが失敗した場合の害を反映します。誰が影響を受けるか、人についての判断が関わるか、自分で行動するか、どのデータに触れるか、効果がどれだけ取り消し可能か。明確な規則を持つ少数のクラスを使います。NISTのAIリスク管理フレームワーク、ISO/IEC 42001、適用される法などの認められた枠組みに依拠し、自分たちの文脈に適応させます。
3. 承認を比例的にする。 低リスクの利用には、少数の質問による素早いセルフサービスの登録で十分です。重大な利用には、リスク評価、評価の結果、定義された人による監督の設計、承認を求めます。安全な大多数への速い経路は人々をシステムの内側に保ち、危険な少数へのより遅い経路は適切な精査を与えます。
テストし、変更を統制する
4. 使用の前と最中に、現実的なケースで評価する。 実際の入力を反映するテストケースの集合を築きます。難しいものと敵対的なものを含め、出力を書面の基準で採点します。人々が影響を受けうるところでは、安全と公正さの確認を含めます。評価を、予定に沿って、またモデル、プロンプト、データが変わるたびに再実行します。システムを意図的に攻撃して弱点を見つけるグループであるレッドチームは、リスクの高い利用に有用な実践です。支援された仕事の抽出の実践を参照してください(トピック 10.2「AI支援作業の測定」を参照)。
5. モデル、プロンプト、ツールを変更統制のもとに置く。 プロンプトと設定を、コードのようにバージョン管理します。変更にはリスクに比例したテストと承認を求め、記録し、ロールバックする能力を保ちます。通知なしに振る舞いを変えうる、ベンダー主導のモデル更新を追跡し、どう知らされるかを供給者と合意します。モデルのアップグレードを、統制が要る変更として扱います(トピック 4.3「変更実現のメトリクス」を参照)。
6. 本番で監視する。 入力と出力のドリフト、上昇するエラーと上書きの率、異常なパターンを見ます。レビューを引き起こすしきい値を設定します。行動をとるシステムでは、行動のログを監視します。監視は、テストが見逃した問題を見つける方法です。
人による監督を本物に保つ
7. 機能しうる監督を設計する。 速いシステムのすべての出力をレビューする人は追い付けず、理解できないものの承認を求められる人は、監督を提供していません。人が何をするか、どんな情報を持つか、どれだけの時間か、上書きするどんな権限を持つかを定義します。レビューが実質的であることを確認するために、レビューを抽出します。機械の出力を受け入れる傾向である自動化バイアスに警戒します(トピック 10.1「サービスマネジメントの測定におけるAI」を参照)。
8. 監査証跡を保つ。 プライバシーの規則と保持の制限に従って、調査を支える形で、入力、出力、バージョン、判断、行動を記録します。監査証跡(audit trail)は、何が起きたかとなぜかに答えさせます。人についての重大な判断では、どんな説明を与えられるか、どんな不服申し立ての経路があるかを考えます(トピック 8.3「コンプライアンスと監査のメトリクス」を参照)。
9. データを守り、操作に抵抗する。 AIシステムが見られるもの、送り出せるデータを統制します。特に外部のコンテンツを読む、あるいはツールにアクセスできるシステムでは、プロンプトインジェクションとデータ漏えいをテストします。行動するエージェントに使われる最小権限の原則を適用します(トピック 10.3「AIエージェントとチャットボットのメトリクス」とトピック 8.1「セキュリティインシデントと脆弱性のメトリクス」を参照)。設計の時点でプライバシーを考慮し、データ保護の専門家を関与させます。
対応し、学ぶ
10. AIインシデントをインシデントとして扱う。 何が数えられるかを定義します。有害またはバイアスのある出力、データの露出、安全でない行動、ユーザーに届く重大なエラー。AIのタグを付けて通常のインシデントプロセスを使い、非難せずにレビューし、学びを評価と統制にフィードします。スタッフとユーザーが報告しやすくします。封じ込めまでの時間は、どのインシデントとも同様に重要です(トピック 3.4「重大インシデントのメトリクス」を参照)。
11. 供給者のAIを管理する。 供給者に、どんなAI機能を使うか、どうテストされ変更されるか、データがどう扱われるか、インシデントがどう報告されるかを尋ねます。重要なところでは、重大なモデル変更の通知を含め、AI固有の条件を契約に加えます。重要な供給者を周期的に再評価します(トピック 8.4「サプライヤーと契約のメトリクス」を参照)。
12. ガバナンス自体をレビューする。 四半期ごとに、測定値が示すものを確認します。どこで利用が未登録のままだったか、どの承認が遅すぎたか、どの統制が問題を捉えなかったか。ポリシーと経路を調整します。レビューにスタッフとユーザーを関与させます。規則を短く、明確で、最新に保ち、そのコストに値しない統制を廃止します。
悪用の手口と防護柵
| メトリクス | 悪用のされ方 | 組になる防護柵のメトリクスまたはプラクティス |
|---|---|---|
| AI利用の台帳の網羅 | 割合を上げるために些細な利用を登録する、分母を登録されたものに限る | 分母に独立したディスカバリー。質のために台帳の項目を抽出する。未登録の利用への恩赦 |
| リスク評価の最新性 | 常に合格する軽い評価、低リスクの利用を評価する | 評価の深さをレビューする。リスクのクラスが基準に合っているか確認する |
| 変更統制の網羅 | ベンダーの変更を検出しない、事後に変更を記録する | バージョン履歴とベンダーの通知による検出。リリース前にタイムスタンプされた変更の記録 |
| 評価の最新性 | 簡単なケースでの評価、結果を見た後に許容範囲を選ぶ | 独立した当事者がレビューするテストの集合。しきい値を事前に設定する |
| 人による監督の証拠率 | 読まずに承認をクリックする、結果を変えられなかったレビューを文書化する | レビューを実質のために抽出する。既知のエラーを仕込む。レビュー担当者の負荷 |
| AIインシデント率と封じ込めまでの時間 | インシデントを報告しない、定義を狭める | 簡単で非難のない報告。ユーザーの苦情や監査の所見と比較する |
| 供給者のAIデューデリジェンスの最新性 | マーケティングが答えたアンケート、証拠のない評価 | 重要な供給者への証拠の要件。独立した検証 |
健全な読みは、独立したディスカバリーが確認する台帳、リスクに合った評価、統制を通る変更、最新に保たれた評価、本当のエラーを見つける監督、容易に報告され素早く封じ込められるインシデント、そして変更を共有する供給者です。
トレードオフ:長所と短所
| 手法 | 強み | 弱み |
|---|---|---|
| すべてのAIの利用への中央での承認 | 統制、一貫性 | 遅い。利用を地下に追いやる |
| リスク階層を伴うセルフサービスの登録 | 安全な大多数に速い | 良い基準と抜き打ちの確認が要る |
| 公開ツールの禁止 | データの露出を減らす | シャドー利用。失われる便益 |
| ガイダンス付きの承認されたツール | 見えて管理できる利用 | 提供と支援が要る |
| 重い文書化 | 監査の証拠 | 負担。実践を反映しないかもしれない |
| パイプラインでの自動評価 | 継続的で一貫している | 良いテストの集合が要る。新しい失敗を見逃しうる |
| すべての人によるレビュー | 安全 | スケールしない。疲れ |
| リスクベースの抽出 | 実用的 | 一部の失敗がすり抜ける |
散文での答えは、承認されたツールと低リスクの利用への素早い経路を提供し、精査を重大なものに集中させ、評価と監視を自動化し、人による監督を本当に機能しうるところに保つことです。
チームで話し合う問い
1. 今日、どのリストにもないところで、私たちはAIをどこで使っているか? チームに誠実に尋ね、恩赦を提供します。起案、要約、コーディング、分析に使うツールを、製品内のものを含めて見ます。ファシリテーターは、判断せずに利用を記録してください。誰がそれらを登録し、どれをより詳しく見るかに合意します。
2. 最も重大なAIの利用が有害な間違いを犯したら、どうやってそれを知り、何をするか? 検出、封じ込め、コミュニケーション、学びをたどります。監視、オーナーシップ、止める権限のギャップに注意します。一つの改善に合意します。
3. 誰も承認することなく、私たちの下で何が変わりうるか? モデル、プロンプト、データソース、ベンダーの更新を列挙します。それぞれについて、変わったことをどうやって知り、どうテストするかを尋ねます。検出やテストを加える場所に合意します。
4. 私たちのプロセスでAIの出力をレビューする人は、現実的に重大なエラーを捕まえられるか? 量、情報、時間、権限を見ます。仕込んだエラーでテストします。レビューが機能しえないなら、さらにAIを加える前にプロセスを再設計します。
5. 私たちの規則のうち、忙しい同僚が従いやすいと感じるのはどれで、回避するのはどれか? 現在の規則を列挙し、実際のワークフローに照らしてテストします。規則がなぜ回避されるかを話し合います。安全な経路を簡単な経路にする変更に合意します。
6. 私たちの供給者は自社のAIについて何を伝え、私たちは何を尋ねていないか? 最近のアンケートと契約を確認します。AI機能のある重要な供給者と、情報のギャップを特定します。次のレビューの質問に合意します。
四つの視点
プロダクトとデリバリーのチーム
デリバリーのチームは、AI機能を築き、採用し、ガバナンスを摩擦として、あるいは助けとして感じます。早く利用を登録し、現実的なケースでテストし、プロンプトとモデルをバージョン管理に置き、機能する監督を設計するべきです。低リスクの利用への速い承認から恩恵を受けます。
サービスと運用のチーム
運用チームは、AIを本番で運用し、そのインシデントに対応します。ドリフトを監視し、行動のログを保ち、AIインシデントにタグを付け、システムを止める権限と手段を持つべきです。また自分たちもAIを使うので、同じ規則に従うべきです。
リーダーシップとガバナンス
リーダーはリスク選好を設定し、成果に説明責任を負います。台帳、評価、監視に資金を付け、一部のAIの利用が通らないことを受け入れ、利用の独立したディスカバリーを求め、インシデントと封じ込めまでの時間を追跡するべきです。ガバナンスの機関は、規則を短く保ち、定期的にレビューし、スタッフとユーザーに発言権があることを確かにするべきです。
顧客とユーザー
ユーザーは、AIの判断と出力の影響を、しばしば知らずに受けます。自分に影響する事柄にAIが関わっているときにそれを知り、人に連絡し、判断に異議を唱える権利があります。苦情と不服申し立ては、ガバナンスが実際にどう機能しているかについての不可欠な証拠です。
実践:サービスマネジメントの例
地域銀行の技術・運用部門が、スタッフの一人が顧客の詳細を公開ツールに貼り付けた後に、AIポリシーを採用します。コンプライアンスチームは台帳を公表し、あらゆる利用が記載されることを期待します。以下の数字は例示です。
3か月後、台帳には38件のAIの利用が載っています。技術リスクの責任者は、独立した手段で確認します。調達と経費のデータ、AIサービスへのサインインを示すIDのログ、ネットワークのデータ、匿名のスタッフアンケート。ディスカバリーは94件の利用を見つけ、台帳の網羅は40パーセントです。17件は銀行がすでにライセンスしているツール内の機能で、12件はスタッフが使う公開ツールです。登録された38件の利用のうち、リスクのクラスがあるのは14件だけで、最もリスクの高い三つ、不正アラートを採点するモデル、顧客向けのチャットボット、苦情を要約するツールには、直近1年に評価がありません。不正モデルの設定とチャットボットのプロンプトへの変更はチームが直接行っており、直近の四半期の変更の記録は、バージョン履歴で見つかった変更の21パーセントしか網羅していません。モデルが却下した不正アラート60件の抽出は、そのうち52件で人によるレビューが記録されていることを示しますが、既知の見逃し五つを仕込んだ集合は、一人のレビュー担当者しか捕まえず、レビュー担当者はそれぞれ1日に数百件のアラートを扱っているからです。チャットボットが顧客に古い手数料の額を伝えた一つのインシデントは、苦情によって見つかり、止める権限を誰も持っていなかったため、封じ込めに6日かかりました。
技術リスクの責任者は、チームとともにガバナンスを再設計します。五つの質問による短いセルフサービスの登録で、低リスクの利用は数分で台帳に載り、恩赦の期間が、スタッフに使うツールを挙げるよう促します。リスクのクラスは、害、データ、自律性に基づきます。リスクの高い利用には、評価、現実的かつ敵対的なケースに対する評価、定義された監督の設計が要ります。モデル、プロンプト、ツールは、リスクに比例したテストとともに変更統制のもとに置かれ、チャットボットのプロンプトはロールバック付きでバージョン管理されます。不正アラートのプロセスは、レビュー担当者がより少なく、より良く優先順位付けされたアラートを扱うよう再設計され、仕込んだエラーが彼らの検出をテストします。リスクの高い各利用の指名されたオーナーは、それを止める権限を持ち、インシデント対応はAIを網羅します。銀行のクラウドとAIの供給者は、どんなAI機能を使い、変更がどう通知されるかを尋ねられます。
2四半期後、独立したディスカバリーによる台帳の網羅は88パーセントで、リスクの高いすべての利用が周期内に評価されており、変更統制の網羅は84パーセント、レビュー担当者による仕込んだエラーの検出は5件中4件に上がり、AIインシデントの封じ込めまでの時間の中央値は3時間です。スタッフはほとんどのタスクに承認されたツールを使います。ある上級役員は、台帳の網羅100パーセントという目標を求めます。技術リスクの責任者は、独立したディスカバリーに対する網羅、評価の最新性、インシデントへの対応を追跡することを提案し、ディスカバリーのない台帳は100パーセントに達しながらリスクを見逃しうると説明します。判断は記録されます。
アジャイル、AI、自動化、アナリティクス
アジャイル
AIを、一度限りの承認ではなく、軽量で定期的なレビューとテーブルにつくステークホルダーを伴う、稼働中のサービスへの変更として統治します。注意点は、重い承認のゲートが、チームにAIの利用を隠させることです。
AI
オーナー、リスクのクラス、評価の日付、人による監督のポイントとともに、すべてのAIの利用の台帳を保ち、網羅を独立したディスカバリーに対して測ります。監督が行使できることをテストします。注意点は、この本は法的助言を与えず、義務は場所と時間によって異なるため、自分たちの法律顧問とともに確認することです。
自動化
モデル、プロンプト、データの変更の、ディスカバリーと証拠の収集を自動化し、自動化を見逃した変更で測ります。注意点は、自動の評価スイートは、作られたものをテストするので、失敗が現れるにつれて新しいテストを加えることです。
アナリティクス
評価とアセスメントの最新性を、日付と件数とともに報告します。これが情報を与える判断は、監督が薄いのはどこかです。注意点は、AIのインシデント件数は小さく不均一なため、ヒヤリハットの報告と組み合わせることです。
業種別の視点
スタートアップ。 速度が重要で、リスクは主にデータの露出と信頼できない出力です。ツールと利用の短い一覧をオーナーとともに保ち、どのデータをどこで使ってよいかについて少数の明確な規則を設定し、プロンプトをバージョン管理します。顧客の保証への要求が増えるにつれて見直します。
中小企業。 スタッフは公開ツールを使います。承認された選択肢を提供し、データについての一ページの規則を書き、ツールがどう使われるかをレビューします。供給者にAI機能について尋ね、AIが顧客やスタッフについて判断を下す場所の記録を保ちます。
大企業。 規模には運用モデルが要ります。台帳、リスク階層、評価の基準、変更統制、インシデントプロセスを、既存のリスクとセキュリティの機能と統合して。独立したディスカバリーを使い、パイプラインで評価を自動化し、規格に合わせます。チームに速い経路を与えます。
政府・公共部門。 市民に影響する判断は、透明性、公正さ、不服申し立ての義務をもたらし、調達と法の枠組みが何が許されるかを形作ります。必要なところでは、影響の大きい利用の公的記録を維持し、権利への影響を評価し、人を意味のあるかたちでループに保ち、現在の法とガイダンスを確認します(トピック 8.5「規制対応・行政向け報告」を参照)。
ビジネスケース:動機、ROI、TCO
コストには、台帳を築いて維持する労力、ディスカバリーのツールや分析、リスク評価、評価の集合と実行、プロンプトとモデルの変更統制、監視、研修、インシデント対応のキャパシティが含まれます。ガバナンスは、リスクの高い利用に一定の遅れも加えます。これらのコストは利用の数とリスクとともに増え、それが低リスクの承認を軽く保つ理由です。
見返りには、回避された害と露出、監査や規制上のレビューでの少ない驚き、明確な規則による速い安全な導入、顧客とスタッフからの信頼が含まれます。自分たち自身のデータからケースを築きます。台帳の外で見つかった利用の数とそれらが触れるデータ、インシデントとそのコスト、その場限りの承認に費やした時間の前後、監査での所見。たどれる出典と自分たちの文脈への関連性がない限り、AIのインシデントや罰金についての公表された統計の引用は避けます。統治しないことのコストを含めます。それには、重大な法的および評判上の害の可能性が含まれます(トピック 7.7「投資対効果とビジネスケース」を参照)。
アンチパターンと落とし穴
- 誰も確認しない台帳。 網羅は高く見えて、実際の利用を見逃す。独立したディスカバリーを使う。
- 一律の禁止。 利用を地下に追いやる。承認されたツールと速い経路を提供する。
- プロンプトとモデルを誰も所有しない設定として扱う。 振る舞いが気づかれずに変わる。変更統制のもとに置く。
- 一度だけ評価する。 システムは漂流し変化する。予定に沿って、また変更時に再実行する。
- 名ばかりの監督。 レビュー担当者は、見えないものを捕まえられない。仕込んだエラーでテストし、負荷を直す。
- 止める権限がない。 封じ込めに数日かかる。システムを止める力を持つオーナーを指名する。
- 供給者のAIを無視する。 自分たちのリスクには彼らのリスクが含まれる。尋ね、契約し、再評価する。
- 誰も従えない規則。 回避される。短く保ち、安全な経路を簡単にする。
成熟度モデル
| 観点 | 1 開始 | 2 発展 | 3 標準化 | 4 管理 | 5 協調 |
|---|---|---|---|---|---|
| 把握と分類 | AIの利用の見方なし | ポリシーと部分的なリスト | オーナーとリスクのクラスを持つ台帳。網羅に独立したディスカバリーを使う | 網羅、評価の最新性、承認の時間が管理される | 事業部と供給者にまたがる共有の台帳の見方。クラスが規制当局とユーザーとともにレビューされる |
| テストと変更 | その場限り | 一部の利用に対する一部の評価 | 現実的なケースでの評価。プロンプトとモデルが変更統制のもとにある | 継続的な評価とドリフトの監視。網羅が管理される | パイプラインでの自動化されたリスクベースの評価と変更。独立に監査される |
| 監督と学び | 信頼への依存 | レビューが原則としてある | 監督が設計され抽出される。AIインシデントがタグ付けされ、非難せずにレビューされる | 仕込んだエラーのテスト、封じ込めまでの時間、供給者の評価が管理される | 監督、インシデントからの学び、ポリシーが、スタッフ、ユーザー、パートナーとともに共同開発される |
チェックリスト
- 台帳に、オーナーとリスクのクラスとともにAIの利用が載り、独立したディスカバリーに照らして確認されている。
- 低リスクの利用への速い経路と、重大なものへのより深い経路がある。
- リスクの高い利用に、現在のリスク評価と定義された監督の設計がある。
- 現実的かつ敵対的なケースでの評価が最新で、変更時に再実行されている。
- プロンプト、モデル、ツール、データソースがバージョン管理され、変更統制のもとにある。
- 本番の監視が、ドリフト、エラー、上書き、異常な行動を見ている。
- 監督が仕込んだエラーでテストされ、レビュー担当者の負荷が現実的である。
- 監査証跡が、プライバシーと保持の規則の範囲内で調査を支える。
- AIインシデントがタグ付けされ、非難せずにレビューされ、オーナーがシステムを止められる。
- AI機能のある供給者が評価され、重大な変更を通知するよう拘束されている。
AIプロンプト
AIの利用のリスク分類を起案する。
[組織の種類] でのAIの利用について、間違った場合の害、誰が影響を受けるか、人についての判断の関与、行動の自律性、データの機微性、取り消し可能性に基づく、単純なリスク分類(三つか四つのレベル)を提案してください。各レベルについて、例となる利用、要求される承認と証拠、レビューの周期を述べてください。法的な結論を述べないでください。前提と、法務、リスク、セキュリティの専門家に確認する点を列挙してください。
登録フォームを設計する。
新しいAIの利用のための、八つ以内の質問による短いセルフサービスの登録フォームを設計してください。最初のリスクのクラスを自動で割り当て、リスクの高い利用をレビューに回すものです。目的、データ、影響を受けるユーザー、自律性、ベンダー、オーナーを網羅してください。低リスクの事例で素早く保つ方法を説明してください。前提と、誤分類のリスクを列挙してください。
評価の集合を計画する。
私たちは [プロセス] の [タスク] にAIを使っています。評価の集合の設計を手伝ってください:現実的なケースの種類、難しい、および敵対的なケース、正しく安全な出力の書面の基準、人々が影響を受けるところでの公正さの確認、どのくらいの大きさの集合が実用的か、どのくらいの頻度で再実行するか、どの変更が再実行を引き起こすか。集合が十分だと主張しないでください。前提と限界を列挙してください。
AIインシデントをレビューする。
以下はAI関連のインシデントの説明です:[個人データなしで貼り付け]。非難しないレビューを起案してください:時系列、どう検出されたか、寄与要因(データ、プロンプト、モデル、監督、供給者、プロセス)、影響、何が封じ込めたか、オーナー付きのアクション。評価、監視、変更統制への変更を示唆してください。個人に非難を割り当てないでください。前提と未解決の問いを列挙してください。
AIスキル
- サービスマネジメントメトリクスのスキル:AIのガバナンスまたはリスクのメトリクスの、組になる防護柵を探すときに使います。
- サービスマネジメントメトリクスのメンテナースキル:AIガバナンスのメトリクスの項目が、独立した証拠を使い、悪用の手口と防護柵を備えているかを確認するときに使います。
要点
- AIの台帳を独立したディスカバリーで築き、安全な利用への速い経路で精査をリスクに合わせる。
- モデル、プロンプト、ツール、データソースを、テスト、承認、ロールバックが要る変更として扱う。
- 使用の前と最中に、現実的かつ敵対的なケースで評価する。
- 機能しうる人による監督を設計し、仕込んだエラーでテストする。
- AIインシデントを他のインシデントのように、非難せずにレビューして扱い、オーナーにシステムを止める力を与える。
- 供給者にAIについて尋ね、規則を短く、安全な経路を簡単に保つ。
参考文献とさらなる読書
- National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
- ISO/IEC 42001, Information technology: Artificial intelligence: Management system, International Organization for Standardization, 2023.
- ISO/IEC 23894, Information technology: Artificial intelligence: Guidance on risk management, International Organization for Standardization, 2023.
- European Parliament and Council, Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act), 2024.
- Organisation for Economic Co-operation and Development, OECD AI Principles, 2019 (updated 2024).
- Mitchell, M., et al., "Model Cards for Model Reporting," Proceedings of the Conference on Fairness, Accountability, and Transparency, 2019.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Algorithmic bias.
- Wikipedia, Prompt injection.
- Wikipedia, Artificial Intelligence Act.
- Wikipedia, Responsible AI.
- Wikipedia, Regulation of artificial intelligence.
- Wikipedia, Shadow IT.
- Wikipedia, Goodhart's law.
- Wikipedia, Audit trail.