AI 治理与风险度量
对 AI 的使用,需要与对运行中服务的任何变更相同的纪律:知道它在哪里、谁拥有它、它有多大风险、如何被测试和更改,以及出错时会发生什么,并附人们真正能够行使的监督。
概述与动因
AI 通过许多扇门进入组织。一个团队采用编码助手。供应商向已在使用的产品添加生成式功能。一位员工把一份文档粘贴进公共工具。一个部门构建模型来给请求评分。每一项都是对 AI 的一种使用,各有其收益和风险,而很少有哪一项在一处是可见的。治理是使这些使用被知晓、有人负责且足够安全的结构、政策和实践的集合。风险测量值告诉你治理是否奏效。
ITIL 拥有构件:服务价值体系的治理、风险管理、变更赋能、信息安全管理、供应商管理和持续改进。敏捷和 DevOps 的工作方式,提供小而受控、可逆的变更,以及流水线中自动化检查的习惯。AI 治理不需要一个单独的宇宙。它需要把这些实践应用到行为与传统软件不同的东西上。
AI 有什么不同?
- 行为是统计性的,并可以在代码没有变化的情况下改变。 模型在供应商更新、输入变化或提示词变化之后,行为可能不同。它在生产中看到的数据,可能偏离它被测试时的数据,机器学习中把这种现象称为漂移。系统可能悄悄地退化。
- 输出不完全可预测。 测试无法涵盖每一种输入,所以评估通过抽样和有针对性的测试,而不是通过证明。系统可能以其构建者未曾预见的方式失败。
- 危害可能是分散而不平等的。 算法偏见(algorithmic bias)是导致某些群体得到不公平结果的系统性误差。它可能来自数据、设计或使用,并且可能不会显示在总体准确度的数字中。
- 出现新的攻击面。 提示词注入(prompt injection)是一种攻击,其中隐藏在输入数据里的指令,操纵语言模型作出非预期的行为。模型可能被诱使泄露数据,或采取其所有者不希望的行动。
- 对供应商的依赖很深。 许多 AI 能力来自外部提供者,对它们如何构建或变更的可见性有限。供应商测量值更为重要(见主题 8.4,供应商与合同度量)。
- 规则正在形成,并因地而异。 关于 AI 的法律、标准和指南正在迅速发展。欧盟的《人工智能法》(Artificial Intelligence Act)采取基于风险的方法,其义务分阶段适用,而其他司法辖区则走着不同的道路。关于 AI 管理体系的 ISO/IEC 42001 和 NIST AI 风险管理框架之类的标准,提供了结构。本主题中关于具体规则的陈述,截至 2026 年 10 月,应当重新核实,并应由法律意见来指导你的义务。该领域被不同地描述为负责任的 AI(responsible AI)或可信赖的 AI,而法律应当如何对待 AI 这一问题,是人工智能监管(regulation of artificial intelligence)的主题。
治理可能以两种相反的方式失败。它可能重到团队避开它,AI 的使用转入地下,成为影子 IT。或者它可能是一场纸面上的演练,带有不反映实践的政策和登记册。敏捷的目标提示了中间道路:干系人持续参与制定规则,对低风险的使用作小而快速的批准,在可能造成伤害之处进行更深入的审视,并随着经验的增长持续改进控制措施。有清晰的边界、并被信任在边界之内运用判断的有积极性的人,会报告问题。害怕惩罚的人则不会。
古德哈特定律的护栏适用于治理测量值:当“已登记的 AI 使用占比”成为目标时,登记册就会填满没人阅读的条目,而实际的使用仍不可见(见主题 1.2,古德哈特定律与度量的心理学)。
本主题建立在第 8 部分关于风险、合规和安全的主题,以及本部分前面的主题之上。
关键原则
- 知道 AI 用在哪里。 使用的登记册,包括嵌入产品中的使用和员工自己采用的使用,是基础。
- 使审视与风险相匹配。 对低风险的使用较轻,对有重大影响的使用更深。
- 把模型和提示词的变更视为变更。 它们需要测试、与风险相称的批准,以及回退的能力。
- 在使用之前和使用期间评估。 在现实的案例上测试,并在生产中持续测试。
- 保持有意义的人工监督。 人必须能够理解、质疑和覆盖,并有时间和权限去这样做。
- 免责地从事件中学习。 AI 的失败是新的,而报告是组织学习的办法。
- 使对安全情形的批准迅速。 缓慢的治理把使用驱赶到看不见的地方。
度量定义
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| AI 使用登记册覆盖 | 通过独立手段发现的 AI 使用中,在登记册上并有负责人和风险类别的占比 | 登记册上有负责人和风险类别的使用 / 通过独立发现(采购、费用、身份、网络和员工报告)找到的使用 | 百分比 | 登记册、采购和费用数据、身份日志、调查 | 治理;IT 资产管理;风险管理 | 可见的工作和清晰的归属 | 每季度 |
| 风险评估时效 | 在要求的周期内有风险评估的中高风险使用占比 | 在周期内被评估的使用 / 中高风险的使用 | 百分比 | 风险评估 | 风险管理;信息安全管理 | 对风险的定期反思 | 每季度 |
| 变更控制覆盖 | 生产中对模型、提示词、工具和数据来源的变更里,经过带必需测试的变更控制的占比 | 有变更记录、测试和与风险相称的批准的变更 / 检测到的变更 | 百分比 | 与版本历史和供应商发布说明相比较的变更记录 | 变更赋能;发布与部署管理 | 小而受控、可逆的变更 | 每月 |
| 评估时效 | 有当前评估(准确度、安全,以及相关时的公平)且结果在容差之内的生产使用占比 | 在周期内有评估且结果可接受的使用 / 范围内的生产使用 | 百分比 | 评估记录 | 质量保证;风险管理 | 行为的完成定义 | 每季度 |
| 人工监督证据率 | 有记录的、实质性的人工评审的、抽样的有重大影响的输出或决定占比 | 有可能改变结果的文档化评审的抽样项 / 被抽样的项 | 百分比 | 抽样的决定记录 | 风险管理;治理 | 发布之前的评审 | 每月 |
| AI 事件率及遏制时间 | 涉及 AI 的事件(有害的输出、数据暴露、不安全的行动)按使用计,以及遏制它们的时间 | 每个生产使用每季度的事件;从检测到遏制的小时数的中位数和第 85 百分位数 | 事件;小时 | 带 AI 标签的事件记录 | 事件管理;信息安全管理 | 免责的响应和学习 | 每季度 |
| 供应商 AI 尽职调查时效 | 在关键服务中提供 AI 功能的供应商里,其针对 AI 的评估是最新的占比 | 有当前 AI 评估的供应商 / 带有 AI 功能的关键供应商 | 百分比 | 供应商评估 | 供应商管理;风险管理 | 对依赖项的定期评审 | 每季度 |
在登记册中广义地定义“AI 使用”:你构建的模型、你购买的服务、产品内的功能,以及员工使用的工具。风险类别和周期在政策中设定。登记册覆盖对照独立发现来度量,而不是对照登记册本身。变更控制覆盖需要一种检测变更的办法:版本控制、供应商通知、配置监控。人工监督证据要求该评审本可以改变结果,而不是点击了一个按钮。事件率描述的是使用和系统,不用来给人评级。
建议
了解并分类
1. 通过查找而不仅仅是询问来建立登记册。 从调查和政策开始,然后对照采购和费用记录、身份和访问日志、网络和云账单数据,以及供应商的产品更新进行检查。包括你已拥有的工具中嵌入的 AI 功能。预料会有意外:人们使用你没有批准的工具,往往有充分的理由。把它们视为信息(见主题 7.2,软件资产与许可度量)。
2. 为每项使用指定负责人和风险类别。 负责人是对该使用及其结果负责的人。风险类别反映系统失败时的伤害:谁受影响、是否涉及关于人的决定、它是否自行行动、它触及什么数据,以及影响的可逆程度。使用少量类别,规则清晰。借鉴公认的框架,比如 NIST AI 风险管理框架、ISO/IEC 42001 和适用的法律,并使之适应你的背景。
3. 使批准成比例。 对低风险的使用,附几个问题的快速自助登记就足够了。对有重大影响的使用,要求风险评估、评估结果、明确的人工监督设计和签字。为安全的大多数设立的快速路径,使人们留在体系之内,而为危险的少数设立的较慢路径,给予它们适当的审视。
测试并控制变更
4. 在使用之前和使用期间,在现实的案例上评估。 构建一组反映真实输入的测试用例,包括困难的和对抗性的,并对照书面标准给输出评分。凡人们可能受影响之处,包括针对安全和公平的检查。按计划,并在模型、提示词或数据变化时,重新运行评估。红队,即有意攻击系统以找出弱点的小组,是对风险较高的使用有用的做法。参见针对辅助工作的抽样做法(见主题 10.2,度量 AI 辅助的工作)。
5. 把模型、提示词和工具置于变更控制之下。 像对待代码一样对提示词和配置做版本管理。对变更要求与风险相称的测试和批准,记录它们,并保留回退的能力。跟踪由供应商推动的、可能在没有通知的情况下改变行为的模型更新,并与供应商商定你将如何被告知。把模型升级视为需要控制的变更(见主题 4.3,变更赋能度量)。
6. 在生产中监控。 观察输入和输出的漂移、不断上升的错误和覆盖率,以及异常的模式。设定触发评审的阈值。对采取行动的系统,监控行动日志。监控是你发现测试所错过的问题的办法。
使人工监督保持真实
7. 设计能起作用的监督。 评审快速系统每一项输出的人跟不上,而被要求批准其无法理解之物的人,并没有提供监督。定义人做什么、他们拥有什么信息、有多少时间,以及有什么覆盖的权限。抽样评审,以检查它们是否是实质性的。警惕自动化偏差,即接受机器输出的倾向(见主题 10.1,服务管理中的 AI 度量)。
8. 保留审计轨迹。 以支持调查的方式,在隐私规则和保留限制之内,记录输入、输出、版本、决定和行动。审计轨迹(audit trail)使你能回答发生了什么以及为什么。对关于人的、有重大影响的决定,考虑你能给出什么解释,以及存在什么申诉途径(见主题 8.3,合规与审计度量)。
9. 保护数据并抵御操纵。 控制 AI 系统能看到和发出什么数据。测试提示词注入和数据泄露,尤其是对读取外部内容或有权访问工具的系统。应用用于采取行动的代理的最小权限原则(见主题 10.3,AI 代理与聊天机器人度量,以及主题 8.1,安全事件与漏洞度量)。在设计时考虑隐私,并让数据保护专家参与。
响应并学习
10. 把 AI 事件当作事件。 定义什么算数:有害或有偏见的输出、数据暴露、不安全的行动、触达用户的重大错误。使用你正常的事件流程,附 AI 标签,以免责的方式评审,并把经验教训反馈到评估和控制措施中。使员工和用户容易报告。遏制的时间与任何事件一样重要(见主题 3.4,重大事件度量)。
11. 管理供应商的 AI。 问供应商使用了哪些 AI 功能、它们如何被测试和更改、数据如何被处理,以及事件如何被报告。在重要之处向合同添加针对 AI 的条款,包括对重大模型变更的通知。按周期重新评估关键供应商(见主题 8.4,供应商与合同度量)。
12. 评审治理本身。 每个季度,检查测量值显示什么:哪里的使用未被登记、哪些批准太慢、哪些控制措施没有发现问题。调整政策和路径。让员工和用户参与评审。让规则保持简短、清晰、最新,并淘汰物无所值的控制措施。
钻空子途径与护栏
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| AI 使用登记册覆盖 | 登记琐碎的使用以提高百分比;分母仅限于已登记的内容 | 以独立发现作为分母;抽样登记册条目的质量;对未登记的使用给予特赦 |
| 风险评估时效 | 总能通过的轻描淡写的评估;评估低风险的使用 | 评审评估的深度;检查风险类别是否符合标准 |
| 变更控制覆盖 | 不检测供应商的变更;事后记录变更 | 通过版本历史和供应商通知进行检测;变更记录在发布之前就带时间戳 |
| 评估时效 | 在容易的案例上评估;在看到结果之后才选择容差 | 由独立方评审测试集;事先设定阈值 |
| 人工监督证据率 | 不看就点击批准;记录本不可能改变结果的评审 | 抽样检查评审的实质;植入已知的错误;评审者的负荷 |
| AI 事件率及遏制时间 | 不报告事件;收窄定义 | 容易、免责的报告;与用户投诉和审计发现相比较 |
| 供应商 AI 尽职调查时效 | 由市场人员回答的问卷;没有证据的评估 | 对关键供应商的证据要求;独立验证 |
健康的读数是:由独立发现所确认的登记册、与风险相符的评估、经过控制的变更、保持最新的评估、发现真实错误的监督、被轻易报告并迅速遏制的事件,以及分享其变更的供应商。
权衡:利与弊
| 方法 | 优势 | 劣势 |
|---|---|---|
| 对每项 AI 使用的集中批准 | 控制、一致 | 缓慢;把使用驱赶到地下 |
| 附风险层级的自助登记 | 对安全的大多数快速 | 需要良好的标准和抽查 |
| 禁止公共工具 | 减少数据暴露 | 影子使用;失去收益 |
| 附指导的获批工具 | 使用可见且可管理 | 需要提供和支持 |
| 繁重的文档 | 审计的证据 | 负担;可能不反映实践 |
| 流水线中的自动化评估 | 持续、一致 | 需要良好的测试集;可能错过新的失败 |
| 对一切的人工评审 | 安全 | 无法扩展;疲劳 |
| 基于风险的抽样 | 实用 | 有些失败会漏过 |
答案是提供获批的工具和针对低风险使用的快速路径,把审视集中在有重大影响的使用上,自动化评估和监控,并让人工监督保持在它真正能起作用之处。
与团队讨论的问题
1. 我们今天在哪里使用了不在任何清单上的 AI? 诚实地问团队,并提供特赦。查看用于起草、总结、编码和分析的工具,包括产品内部的那些。引导者应当不带评判地记录这些使用。商定由谁来登记它们,以及哪些需要更仔细地查看。
2. 如果我们最有重大影响的 AI 使用犯了有害的错误,我们将如何发现,又会怎么做? 走一遍检测、遏制、沟通和学习。记下监控、归属和关闭它的权限上的缺口。商定一项改进。
3. 在没人批准的情况下,什么可以在我们之下发生改变? 列出模型、提示词、数据来源和供应商更新。对每一项,问我们将如何知道它变了,以及如何测试它。商定在哪里添加检测或测试。
4. 在我们的流程中评审 AI 输出的人,实际上能抓住严重的错误吗? 查看数量、信息、时间和权限。用植入的错误来测试。如果评审无法起作用,就在增加更多 AI 之前重新设计流程。
5. 我们的哪些规则对忙碌的同事来说容易遵循,哪些他们会绕开? 列出当前的规则,并对照真实的工作流来测试它们。讨论规则为何被绕开。商定使安全的路径成为容易的路径的变更。
6. 我们的供应商就其 AI 告诉过我们什么?我们没有问什么? 检查近期的问卷和合同。识别带有 AI 功能的关键供应商以及信息缺口。商定下次评审要问的问题。
四种视角
产品与交付团队
交付团队构建并采用 AI 功能,他们把治理感受为摩擦或帮助。他们应当及早登记使用,在现实的案例上测试,把提示词和模型置于版本控制之下,并设计能起作用的监督。他们受益于对低风险使用的快速批准。
服务与运维团队
运维团队在生产中运行 AI,并响应其事件。他们应当监控漂移,保存行动日志,给 AI 事件打标签,并拥有关闭系统的权限和手段。他们自己也使用 AI,并应当遵守同样的规则。
领导层与治理
领导者设定风险偏好,并对成果负责。他们应当为登记册、评估和监控出资,接受有些 AI 使用无法通过,索要对使用的独立发现,并跟踪事件和遏制时间。治理机构应当让规则保持简短,定期评审它们,并确保员工和用户有发言权。
客户与用户
用户往往在不知情的情况下受到 AI 决定和输出的影响。他们应得到在影响他们的事务中何时涉及 AI 的信息,能联系到真人,并能质疑决定。投诉和申诉是关于治理在实践中如何运作的基本证据。
实践:一个服务管理示例
在一位员工把客户详情粘贴进公共工具之后,一家区域银行的技术与运营部门采纳了 AI 政策。合规团队发布了登记册,并期望列出每一项使用。下面的数字均为示意。
三个月后,登记册列出 38 项 AI 使用。技术风险主管通过独立手段进行检查:采购和费用数据、显示登录 AI 服务的身份日志、网络数据,以及一次匿名的员工调查。发现找到 94 项使用,所以登记册覆盖为 40%。其中十七项是银行已获许可的工具内部的功能,十二项是员工使用的公共工具。在 38 项已登记的使用中,只有 14 项有风险类别,而风险最高的三项,即给欺诈告警评分的模型、面向客户的聊天机器人,以及总结投诉的工具,在过去一年中没有评估。对欺诈模型的配置和聊天机器人的提示词所作的变更,由团队直接作出,上个季度的变更记录,只涵盖在版本历史中发现的变更的 21%。对被模型驳回的 60 条欺诈告警的抽样,显示其中 52 条记录了人工评审,但一组植入的五个已知漏报,只被一位评审者发现了一个,因为评审者每人每天要处理数百条告警。有一起事件,聊天机器人向客户提供了过时的费用金额,由一次投诉发现,并花了六天才被遏制,因为没有人有权限关闭它。
技术风险主管与各团队一起重新设计治理。一份带五个问题的简短自助登记,使低风险的使用在几分钟内进入登记册,一段特赦期鼓励员工列出他们所使用的工具。风险类别依据伤害、数据和自主性。风险较高的使用需要评估、对照现实和对抗性案例的评估,以及明确的监督设计。模型、提示词和工具被置于变更控制之下,附与风险相称的测试,聊天机器人的提示词有版本管理并可回退。欺诈告警流程被重新设计,使评审者处理更少、优先级排序更好的告警,并以植入的错误测试其检测。每项高风险使用的指名负责人拥有关闭它的权限,事件响应涵盖 AI。银行的云和 AI 供应商被问及它们使用了哪些 AI 功能,以及变更如何被通知。
两个季度后,依据独立发现的登记册覆盖为 88%,所有高风险使用都在周期内被评估和评价,变更控制覆盖为 84%,评审者对植入错误的检测升至 5 个中的 4 个,AI 事件的遏制时间中位数为 3 小时。员工在大多数任务上使用获批的工具。一位高管要求设定 100% 登记册覆盖的目标。技术风险主管提议依据独立发现来跟踪覆盖,并跟踪评估时效和事件处理,并解释说,没有发现的登记册可以达到 100% 而仍然错过风险。该决定被记录下来。
敏捷、AI、自动化与分析
敏捷
把 AI 作为对运行中服务的变更来治理,采用轻量、定期的评审,并让干系人在场,而不是一次性的批准。需要注意的是,繁重的批准关口会使团队隐藏 AI 的使用。
AI
为每项 AI 使用保存登记册,附负责人、风险类别、评估日期和人工监督点,并对照独立发现来度量覆盖。测试监督能否被行使。需要注意的是,本书不提供法律建议,义务因地点和时间而异,所以要与你自己的法律顾问核实。
自动化
自动化对模型、提示词和数据变更的发现和证据收集,并就漏掉的变更来度量自动化。需要注意的是,自动化的评估套件只测试它们被构建来测试的东西,所以要随着失败的出现添加新的测试。
分析
连同日期和计数,报告评估的时效。这为之提供依据的决定是监督在哪里薄弱。需要注意的是,AI 的事件计数很小且不均匀,所以要把它们与险情报告结合起来。
行业视角
初创公司。 速度重要,风险主要是数据暴露和不可靠的输出。保存一份带负责人的简短的工具和使用清单,就什么数据可以在哪里使用设定几条清晰的规则,并对提示词做版本管理。随着客户对保证的要求增长而重新审视。
小型企业。 员工会使用公共工具。提供获批的选项,写一份一页纸的数据规则,并评审工具如何被使用。就其 AI 功能问供应商,并记录 AI 在哪里对客户或员工作出决定。
大型企业。 规模需要运营模式:登记册、风险层级、评估标准、变更控制和事件流程,与现有的风险和安全职能相整合。使用独立发现,在流水线中自动化评估,并与标准保持一致。给团队一条快速路径。
政府与公共部门。 影响公民的决定带来透明度、公平和申诉的职责,而采购和法律框架塑造什么是被允许的。在要求时保存高影响使用的公共记录,评估对权利的影响,让人真正处于回路之中,并检查当前的法律和指南(见主题 8.5,受监管与政府报告)。
业务论证:动因、投资回报与总拥有成本
成本包括构建和维护登记册的工作量、发现工具或分析、风险评估、评估集和运行、提示词和模型的变更控制、监控、培训,以及事件响应的容量。治理还给风险较高的使用增加了一些延迟。这些成本随使用的数量和风险而扩大,这就是保持低风险批准轻量的理由。
回报包括避免的伤害和暴露、审计和监管评审中更少的意外、因规则清晰而更快的安全采纳,以及来自客户和员工的信任。依据你自己的数据构建论证:在登记册之外发现的使用数量及其所触及的数据、事件及其成本、前后临时批准所花的时间,以及审计中的发现。避免引用关于 AI 事件或罚款的已发布统计,除非有可追溯的来源以及与你背景的相关性。纳入不治理的成本,其中包括重大的法律和声誉损害的可能性(见主题 7.7,投资回报与业务论证)。
反模式与陷阱
- 没人检查的登记册。 覆盖看起来很高,却错过真实的使用。使用独立发现。
- 一刀切的禁令。 它们把使用驱赶到地下。提供获批的工具和快速路径。
- 把提示词和模型视为没人拥有的配置。 行为在不被注意的情况下改变。把它们置于变更控制之下。
- 只评估一次。 系统会漂移和改变。按计划以及在变化时重新运行。
- 名义上的监督。 评审者无法抓住他们看不到的东西。用植入的错误测试,并修复负荷。
- 没有关闭的权限。 遏制需要数天。指定有权停止系统的负责人。
- 忽略供应商的 AI。 你的风险包括他们的。询问、订立合同并重新评估。
- 没人能遵循的规则。 它们被绕开。保持简短,使安全的路径容易。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 了解与分类 | 对 AI 的使用没有视图 | 政策和部分清单 | 带负责人和风险类别的登记册;使用独立发现度量覆盖 | 管理覆盖、评估时效和批准时间 | 跨业务单元和供应商的共享登记册视图;与监管者和用户一起评审类别 |
| 测试与变更 | 临时 | 对一些使用有一些评估 | 在现实案例上评估;提示词和模型置于变更控制之下 | 持续评估和漂移监控;管理覆盖 | 流水线中自动化、基于风险的评估和变更,独立审计 |
| 监督与学习 | 依赖信任 | 原则上存在评审 | 设计并抽样监督;给 AI 事件打标签并免责评审 | 管理植入错误测试、遏制时间和供应商评估 | 监督、事件学习和政策由员工、用户和合作伙伴共同制定 |
检查清单
- 登记册列出带负责人和风险类别的 AI 使用,并对照独立发现检查。
- 为低风险的使用设有快速路径,为有重大影响的使用设有更深的路径。
- 风险较高的使用有当前的风险评估和明确的监督设计。
- 在现实和对抗性案例上的评估是最新的,并在变化时重新运行。
- 提示词、模型、工具和数据来源有版本管理,并处于变更控制之下。
- 生产监控观察漂移、错误、覆盖和异常的行动。
- 用植入的错误测试监督,评审者的负荷是现实的。
- 审计轨迹在隐私和保留规则之内支持调查。
- AI 事件被标记并免责地评审,负责人可以关闭系统。
- 带有 AI 功能的供应商被评估,并受约束要通知重大变更。
AI 提示词
为 AI 使用起草风险分类。
请为 [组织类型] 中的 AI 使用,依据出错时的伤害、谁受影响、是否涉及关于人的决定、行动的自主性、数据敏感性和可逆性,提出一个简单的风险分类(三或四个级别)。对每个级别,说明示例用途、所需的批准和证据,以及评审周期。不要陈述法律结论。请列出你的假设,以及应与法务、风险和安全专家确认的要点。
设计登记表单。
请为新的 AI 使用设计一份简短的自助登记表单,不超过八个问题,自动指定初始风险类别,并把风险较高的使用路由给评审。涵盖目的、数据、受影响的用户、自主性、供应商和负责人。解释如何使低风险的情形保持快速。请列出你的假设和错误分类的风险。
规划评估集。
我们在 [流程] 中把 AI 用于 [任务]。请帮助设计一套评估集:现实案例的类型、困难的和对抗性的案例、对正确和安全输出的书面标准、在人们可能受影响之处对公平的检查、多大的集合是切实可行的、多久重新运行一次,以及什么变化应当触发重新运行。不要声称某个集合是足够的。请列出你的假设和局限。
评审一起 AI 事件。
这是一起与 AI 相关的事件的描述:[粘贴,不含个人数据]。请起草免责的评审:时间线、如何被检测到、促成因素(数据、提示词、模型、监督、供应商、流程)、影响、什么遏制了它,以及带负责人的行动。建议对评估、监控和变更控制的改变。不要把责任归于个人。请列出你的假设和未解决的问题。
AI 技能
- Service Management Metrics skill:用于查找 AI 治理或风险度量所配对的护栏。
- Service Management Metrics maintainer skill:用于检查 AI 治理度量条目是否使用独立证据,并带有其钻空子途径和护栏。
要点
- 通过独立发现建立 AI 登记册,使审视与风险相匹配,并为安全的使用设立快速路径。
- 把模型、提示词、工具和数据来源视为需要测试、批准和回退的变更。
- 在使用之前和使用期间,在现实和对抗性案例上评估。
- 设计能起作用的人工监督,并用植入的错误测试它。
- 像对待其他事件一样对待 AI 事件,免责评审,并赋予负责人关闭系统的权力。
- 就供应商的 AI 询问他们,保持规则简短,使安全的路径容易。
参考文献与延伸阅读
- National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
- ISO/IEC 42001, Information technology: Artificial intelligence: Management system, International Organization for Standardization, 2023.
- ISO/IEC 23894, Information technology: Artificial intelligence: Guidance on risk management, International Organization for Standardization, 2023.
- European Parliament and Council, Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act), 2024.
- Organisation for Economic Co-operation and Development, OECD AI Principles, 2019 (updated 2024).
- Mitchell, M., et al., "Model Cards for Model Reporting," Proceedings of the Conference on Fairness, Accountability, and Transparency, 2019.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Algorithmic bias.
- Wikipedia, Prompt injection.
- Wikipedia, Artificial Intelligence Act.
- Wikipedia, Responsible AI.
- Wikipedia, Regulation of artificial intelligence.
- Wikipedia, Shadow IT.
- Wikipedia, Goodhart's law.
- Wikipedia, Audit trail.