概述与动因

AI 通过许多扇门进入组织。一个团队采用编码助手。供应商向已在使用的产品添加生成式功能。一位员工把一份文档粘贴进公共工具。一个部门构建模型来给请求评分。每一项都是对 AI 的一种使用,各有其收益和风险,而很少有哪一项在一处是可见的。治理是使这些使用被知晓、有人负责且足够安全的结构、政策和实践的集合。风险测量值告诉你治理是否奏效。

ITIL 拥有构件:服务价值体系的治理、风险管理、变更赋能、信息安全管理、供应商管理和持续改进。敏捷和 DevOps 的工作方式,提供小而受控、可逆的变更,以及流水线中自动化检查的习惯。AI 治理不需要一个单独的宇宙。它需要把这些实践应用到行为与传统软件不同的东西上。

AI 有什么不同?

  • 行为是统计性的,并可以在代码没有变化的情况下改变。 模型在供应商更新、输入变化或提示词变化之后,行为可能不同。它在生产中看到的数据,可能偏离它被测试时的数据,机器学习中把这种现象称为漂移。系统可能悄悄地退化。
  • 输出不完全可预测。 测试无法涵盖每一种输入,所以评估通过抽样和有针对性的测试,而不是通过证明。系统可能以其构建者未曾预见的方式失败。
  • 危害可能是分散而不平等的。 算法偏见(algorithmic bias)是导致某些群体得到不公平结果的系统性误差。它可能来自数据、设计或使用,并且可能不会显示在总体准确度的数字中。
  • 出现新的攻击面。 提示词注入(prompt injection)是一种攻击,其中隐藏在输入数据里的指令,操纵语言模型作出非预期的行为。模型可能被诱使泄露数据,或采取其所有者不希望的行动。
  • 对供应商的依赖很深。 许多 AI 能力来自外部提供者,对它们如何构建或变更的可见性有限。供应商测量值更为重要(见主题 8.4,供应商与合同度量)。
  • 规则正在形成,并因地而异。 关于 AI 的法律、标准和指南正在迅速发展。欧盟的《人工智能法》(Artificial Intelligence Act)采取基于风险的方法,其义务分阶段适用,而其他司法辖区则走着不同的道路。关于 AI 管理体系的 ISO/IEC 42001 和 NIST AI 风险管理框架之类的标准,提供了结构。本主题中关于具体规则的陈述,截至 2026 年 10 月,应当重新核实,并应由法律意见来指导你的义务。该领域被不同地描述为负责任的 AI(responsible AI)或可信赖的 AI,而法律应当如何对待 AI 这一问题,是人工智能监管(regulation of artificial intelligence)的主题。

治理可能以两种相反的方式失败。它可能重到团队避开它,AI 的使用转入地下,成为影子 IT。或者它可能是一场纸面上的演练,带有不反映实践的政策和登记册。敏捷的目标提示了中间道路:干系人持续参与制定规则,对低风险的使用作小而快速的批准,在可能造成伤害之处进行更深入的审视,并随着经验的增长持续改进控制措施。有清晰的边界、并被信任在边界之内运用判断的有积极性的人,会报告问题。害怕惩罚的人则不会。

古德哈特定律的护栏适用于治理测量值:当“已登记的 AI 使用占比”成为目标时,登记册就会填满没人阅读的条目,而实际的使用仍不可见(见主题 1.2,古德哈特定律与度量的心理学)。

本主题建立在第 8 部分关于风险、合规和安全的主题,以及本部分前面的主题之上。

关键原则

  • 知道 AI 用在哪里。 使用的登记册,包括嵌入产品中的使用和员工自己采用的使用,是基础。
  • 使审视与风险相匹配。 对低风险的使用较轻,对有重大影响的使用更深。
  • 把模型和提示词的变更视为变更。 它们需要测试、与风险相称的批准,以及回退的能力。
  • 在使用之前和使用期间评估。 在现实的案例上测试,并在生产中持续测试。
  • 保持有意义的人工监督。 人必须能够理解、质疑和覆盖,并有时间和权限去这样做。
  • 免责地从事件中学习。 AI 的失败是新的,而报告是组织学习的办法。
  • 使对安全情形的批准迅速。 缓慢的治理把使用驱赶到看不见的地方。

度量定义

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏
AI 使用登记册覆盖 通过独立手段发现的 AI 使用中,在登记册上并有负责人和风险类别的占比 登记册上有负责人和风险类别的使用 / 通过独立发现(采购、费用、身份、网络和员工报告)找到的使用 百分比 登记册、采购和费用数据、身份日志、调查 治理;IT 资产管理;风险管理 可见的工作和清晰的归属 每季度
风险评估时效 在要求的周期内有风险评估的中高风险使用占比 在周期内被评估的使用 / 中高风险的使用 百分比 风险评估 风险管理;信息安全管理 对风险的定期反思 每季度
变更控制覆盖 生产中对模型、提示词、工具和数据来源的变更里,经过带必需测试的变更控制的占比 有变更记录、测试和与风险相称的批准的变更 / 检测到的变更 百分比 与版本历史和供应商发布说明相比较的变更记录 变更赋能;发布与部署管理 小而受控、可逆的变更 每月
评估时效 有当前评估(准确度、安全,以及相关时的公平)且结果在容差之内的生产使用占比 在周期内有评估且结果可接受的使用 / 范围内的生产使用 百分比 评估记录 质量保证;风险管理 行为的完成定义 每季度
人工监督证据率 有记录的、实质性的人工评审的、抽样的有重大影响的输出或决定占比 有可能改变结果的文档化评审的抽样项 / 被抽样的项 百分比 抽样的决定记录 风险管理;治理 发布之前的评审 每月
AI 事件率及遏制时间 涉及 AI 的事件(有害的输出、数据暴露、不安全的行动)按使用计,以及遏制它们的时间 每个生产使用每季度的事件;从检测到遏制的小时数的中位数和第 85 百分位数 事件;小时 带 AI 标签的事件记录 事件管理;信息安全管理 免责的响应和学习 每季度
供应商 AI 尽职调查时效 在关键服务中提供 AI 功能的供应商里,其针对 AI 的评估是最新的占比 有当前 AI 评估的供应商 / 带有 AI 功能的关键供应商 百分比 供应商评估 供应商管理;风险管理 对依赖项的定期评审 每季度

在登记册中广义地定义“AI 使用”:你构建的模型、你购买的服务、产品内的功能,以及员工使用的工具。风险类别和周期在政策中设定。登记册覆盖对照独立发现来度量,而不是对照登记册本身。变更控制覆盖需要一种检测变更的办法:版本控制、供应商通知、配置监控。人工监督证据要求该评审本可以改变结果,而不是点击了一个按钮。事件率描述的是使用和系统,不用来给人评级。

建议

了解并分类

1. 通过查找而不仅仅是询问来建立登记册。 从调查和政策开始,然后对照采购和费用记录、身份和访问日志、网络和云账单数据,以及供应商的产品更新进行检查。包括你已拥有的工具中嵌入的 AI 功能。预料会有意外:人们使用你没有批准的工具,往往有充分的理由。把它们视为信息(见主题 7.2,软件资产与许可度量)。

2. 为每项使用指定负责人和风险类别。 负责人是对该使用及其结果负责的人。风险类别反映系统失败时的伤害:谁受影响、是否涉及关于人的决定、它是否自行行动、它触及什么数据,以及影响的可逆程度。使用少量类别,规则清晰。借鉴公认的框架,比如 NIST AI 风险管理框架、ISO/IEC 42001 和适用的法律,并使之适应你的背景。

3. 使批准成比例。 对低风险的使用,附几个问题的快速自助登记就足够了。对有重大影响的使用,要求风险评估、评估结果、明确的人工监督设计和签字。为安全的大多数设立的快速路径,使人们留在体系之内,而为危险的少数设立的较慢路径,给予它们适当的审视。

测试并控制变更

4. 在使用之前和使用期间,在现实的案例上评估。 构建一组反映真实输入的测试用例,包括困难的和对抗性的,并对照书面标准给输出评分。凡人们可能受影响之处,包括针对安全和公平的检查。按计划,并在模型、提示词或数据变化时,重新运行评估。红队,即有意攻击系统以找出弱点的小组,是对风险较高的使用有用的做法。参见针对辅助工作的抽样做法(见主题 10.2,度量 AI 辅助的工作)。

5. 把模型、提示词和工具置于变更控制之下。 像对待代码一样对提示词和配置做版本管理。对变更要求与风险相称的测试和批准,记录它们,并保留回退的能力。跟踪由供应商推动的、可能在没有通知的情况下改变行为的模型更新,并与供应商商定你将如何被告知。把模型升级视为需要控制的变更(见主题 4.3,变更赋能度量)。

6. 在生产中监控。 观察输入和输出的漂移、不断上升的错误和覆盖率,以及异常的模式。设定触发评审的阈值。对采取行动的系统,监控行动日志。监控是你发现测试所错过的问题的办法。

使人工监督保持真实

7. 设计能起作用的监督。 评审快速系统每一项输出的人跟不上,而被要求批准其无法理解之物的人,并没有提供监督。定义人做什么、他们拥有什么信息、有多少时间,以及有什么覆盖的权限。抽样评审,以检查它们是否是实质性的。警惕自动化偏差,即接受机器输出的倾向(见主题 10.1,服务管理中的 AI 度量)。

8. 保留审计轨迹。 以支持调查的方式,在隐私规则和保留限制之内,记录输入、输出、版本、决定和行动。审计轨迹(audit trail)使你能回答发生了什么以及为什么。对关于人的、有重大影响的决定,考虑你能给出什么解释,以及存在什么申诉途径(见主题 8.3,合规与审计度量)。

9. 保护数据并抵御操纵。 控制 AI 系统能看到和发出什么数据。测试提示词注入和数据泄露,尤其是对读取外部内容或有权访问工具的系统。应用用于采取行动的代理的最小权限原则(见主题 10.3,AI 代理与聊天机器人度量,以及主题 8.1,安全事件与漏洞度量)。在设计时考虑隐私,并让数据保护专家参与。

响应并学习

10. 把 AI 事件当作事件。 定义什么算数:有害或有偏见的输出、数据暴露、不安全的行动、触达用户的重大错误。使用你正常的事件流程,附 AI 标签,以免责的方式评审,并把经验教训反馈到评估和控制措施中。使员工和用户容易报告。遏制的时间与任何事件一样重要(见主题 3.4,重大事件度量)。

11. 管理供应商的 AI。 问供应商使用了哪些 AI 功能、它们如何被测试和更改、数据如何被处理,以及事件如何被报告。在重要之处向合同添加针对 AI 的条款,包括对重大模型变更的通知。按周期重新评估关键供应商(见主题 8.4,供应商与合同度量)。

12. 评审治理本身。 每个季度,检查测量值显示什么:哪里的使用未被登记、哪些批准太慢、哪些控制措施没有发现问题。调整政策和路径。让员工和用户参与评审。让规则保持简短、清晰、最新,并淘汰物无所值的控制措施。

钻空子途径与护栏

度量 如何被钻空子 配对的护栏度量或实践
AI 使用登记册覆盖 登记琐碎的使用以提高百分比;分母仅限于已登记的内容 以独立发现作为分母;抽样登记册条目的质量;对未登记的使用给予特赦
风险评估时效 总能通过的轻描淡写的评估;评估低风险的使用 评审评估的深度;检查风险类别是否符合标准
变更控制覆盖 不检测供应商的变更;事后记录变更 通过版本历史和供应商通知进行检测;变更记录在发布之前就带时间戳
评估时效 在容易的案例上评估;在看到结果之后才选择容差 由独立方评审测试集;事先设定阈值
人工监督证据率 不看就点击批准;记录本不可能改变结果的评审 抽样检查评审的实质;植入已知的错误;评审者的负荷
AI 事件率及遏制时间 不报告事件;收窄定义 容易、免责的报告;与用户投诉和审计发现相比较
供应商 AI 尽职调查时效 由市场人员回答的问卷;没有证据的评估 对关键供应商的证据要求;独立验证

健康的读数是:由独立发现所确认的登记册、与风险相符的评估、经过控制的变更、保持最新的评估、发现真实错误的监督、被轻易报告并迅速遏制的事件,以及分享其变更的供应商。

权衡:利与弊

方法 优势 劣势
对每项 AI 使用的集中批准 控制、一致 缓慢;把使用驱赶到地下
附风险层级的自助登记 对安全的大多数快速 需要良好的标准和抽查
禁止公共工具 减少数据暴露 影子使用;失去收益
附指导的获批工具 使用可见且可管理 需要提供和支持
繁重的文档 审计的证据 负担;可能不反映实践
流水线中的自动化评估 持续、一致 需要良好的测试集;可能错过新的失败
对一切的人工评审 安全 无法扩展;疲劳
基于风险的抽样 实用 有些失败会漏过

答案是提供获批的工具和针对低风险使用的快速路径,把审视集中在有重大影响的使用上,自动化评估和监控,并让人工监督保持在它真正能起作用之处。

与团队讨论的问题

1. 我们今天在哪里使用了不在任何清单上的 AI? 诚实地问团队,并提供特赦。查看用于起草、总结、编码和分析的工具,包括产品内部的那些。引导者应当不带评判地记录这些使用。商定由谁来登记它们,以及哪些需要更仔细地查看。

2. 如果我们最有重大影响的 AI 使用犯了有害的错误,我们将如何发现,又会怎么做? 走一遍检测、遏制、沟通和学习。记下监控、归属和关闭它的权限上的缺口。商定一项改进。

3. 在没人批准的情况下,什么可以在我们之下发生改变? 列出模型、提示词、数据来源和供应商更新。对每一项,问我们将如何知道它变了,以及如何测试它。商定在哪里添加检测或测试。

4. 在我们的流程中评审 AI 输出的人,实际上能抓住严重的错误吗? 查看数量、信息、时间和权限。用植入的错误来测试。如果评审无法起作用,就在增加更多 AI 之前重新设计流程。

5. 我们的哪些规则对忙碌的同事来说容易遵循,哪些他们会绕开? 列出当前的规则,并对照真实的工作流来测试它们。讨论规则为何被绕开。商定使安全的路径成为容易的路径的变更。

6. 我们的供应商就其 AI 告诉过我们什么?我们没有问什么? 检查近期的问卷和合同。识别带有 AI 功能的关键供应商以及信息缺口。商定下次评审要问的问题。

四种视角

产品与交付团队

交付团队构建并采用 AI 功能,他们把治理感受为摩擦或帮助。他们应当及早登记使用,在现实的案例上测试,把提示词和模型置于版本控制之下,并设计能起作用的监督。他们受益于对低风险使用的快速批准。

服务与运维团队

运维团队在生产中运行 AI,并响应其事件。他们应当监控漂移,保存行动日志,给 AI 事件打标签,并拥有关闭系统的权限和手段。他们自己也使用 AI,并应当遵守同样的规则。

领导层与治理

领导者设定风险偏好,并对成果负责。他们应当为登记册、评估和监控出资,接受有些 AI 使用无法通过,索要对使用的独立发现,并跟踪事件和遏制时间。治理机构应当让规则保持简短,定期评审它们,并确保员工和用户有发言权。

客户与用户

用户往往在不知情的情况下受到 AI 决定和输出的影响。他们应得到在影响他们的事务中何时涉及 AI 的信息,能联系到真人,并能质疑决定。投诉和申诉是关于治理在实践中如何运作的基本证据。

实践:一个服务管理示例

在一位员工把客户详情粘贴进公共工具之后,一家区域银行的技术与运营部门采纳了 AI 政策。合规团队发布了登记册,并期望列出每一项使用。下面的数字均为示意。

三个月后,登记册列出 38 项 AI 使用。技术风险主管通过独立手段进行检查:采购和费用数据、显示登录 AI 服务的身份日志、网络数据,以及一次匿名的员工调查。发现找到 94 项使用,所以登记册覆盖为 40%。其中十七项是银行已获许可的工具内部的功能,十二项是员工使用的公共工具。在 38 项已登记的使用中,只有 14 项有风险类别,而风险最高的三项,即给欺诈告警评分的模型、面向客户的聊天机器人,以及总结投诉的工具,在过去一年中没有评估。对欺诈模型的配置和聊天机器人的提示词所作的变更,由团队直接作出,上个季度的变更记录,只涵盖在版本历史中发现的变更的 21%。对被模型驳回的 60 条欺诈告警的抽样,显示其中 52 条记录了人工评审,但一组植入的五个已知漏报,只被一位评审者发现了一个,因为评审者每人每天要处理数百条告警。有一起事件,聊天机器人向客户提供了过时的费用金额,由一次投诉发现,并花了六天才被遏制,因为没有人有权限关闭它。

技术风险主管与各团队一起重新设计治理。一份带五个问题的简短自助登记,使低风险的使用在几分钟内进入登记册,一段特赦期鼓励员工列出他们所使用的工具。风险类别依据伤害、数据和自主性。风险较高的使用需要评估、对照现实和对抗性案例的评估,以及明确的监督设计。模型、提示词和工具被置于变更控制之下,附与风险相称的测试,聊天机器人的提示词有版本管理并可回退。欺诈告警流程被重新设计,使评审者处理更少、优先级排序更好的告警,并以植入的错误测试其检测。每项高风险使用的指名负责人拥有关闭它的权限,事件响应涵盖 AI。银行的云和 AI 供应商被问及它们使用了哪些 AI 功能,以及变更如何被通知。

两个季度后,依据独立发现的登记册覆盖为 88%,所有高风险使用都在周期内被评估和评价,变更控制覆盖为 84%,评审者对植入错误的检测升至 5 个中的 4 个,AI 事件的遏制时间中位数为 3 小时。员工在大多数任务上使用获批的工具。一位高管要求设定 100% 登记册覆盖的目标。技术风险主管提议依据独立发现来跟踪覆盖,并跟踪评估时效和事件处理,并解释说,没有发现的登记册可以达到 100% 而仍然错过风险。该决定被记录下来。

敏捷、AI、自动化与分析

敏捷

把 AI 作为对运行中服务的变更来治理,采用轻量、定期的评审,并让干系人在场,而不是一次性的批准。需要注意的是,繁重的批准关口会使团队隐藏 AI 的使用。

AI

为每项 AI 使用保存登记册,附负责人、风险类别、评估日期和人工监督点,并对照独立发现来度量覆盖。测试监督能否被行使。需要注意的是,本书不提供法律建议,义务因地点和时间而异,所以要与你自己的法律顾问核实。

自动化

自动化对模型、提示词和数据变更的发现和证据收集,并就漏掉的变更来度量自动化。需要注意的是,自动化的评估套件只测试它们被构建来测试的东西,所以要随着失败的出现添加新的测试。

分析

连同日期和计数,报告评估的时效。这为之提供依据的决定是监督在哪里薄弱。需要注意的是,AI 的事件计数很小且不均匀,所以要把它们与险情报告结合起来。

行业视角

初创公司。 速度重要,风险主要是数据暴露和不可靠的输出。保存一份带负责人的简短的工具和使用清单,就什么数据可以在哪里使用设定几条清晰的规则,并对提示词做版本管理。随着客户对保证的要求增长而重新审视。

小型企业。 员工会使用公共工具。提供获批的选项,写一份一页纸的数据规则,并评审工具如何被使用。就其 AI 功能问供应商,并记录 AI 在哪里对客户或员工作出决定。

大型企业。 规模需要运营模式:登记册、风险层级、评估标准、变更控制和事件流程,与现有的风险和安全职能相整合。使用独立发现,在流水线中自动化评估,并与标准保持一致。给团队一条快速路径。

政府与公共部门。 影响公民的决定带来透明度、公平和申诉的职责,而采购和法律框架塑造什么是被允许的。在要求时保存高影响使用的公共记录,评估对权利的影响,让人真正处于回路之中,并检查当前的法律和指南(见主题 8.5,受监管与政府报告)。

业务论证:动因、投资回报与总拥有成本

成本包括构建和维护登记册的工作量、发现工具或分析、风险评估、评估集和运行、提示词和模型的变更控制、监控、培训,以及事件响应的容量。治理还给风险较高的使用增加了一些延迟。这些成本随使用的数量和风险而扩大,这就是保持低风险批准轻量的理由。

回报包括避免的伤害和暴露、审计和监管评审中更少的意外、因规则清晰而更快的安全采纳,以及来自客户和员工的信任。依据你自己的数据构建论证:在登记册之外发现的使用数量及其所触及的数据、事件及其成本、前后临时批准所花的时间,以及审计中的发现。避免引用关于 AI 事件或罚款的已发布统计,除非有可追溯的来源以及与你背景的相关性。纳入不治理的成本,其中包括重大的法律和声誉损害的可能性(见主题 7.7,投资回报与业务论证)。

反模式与陷阱

  • 没人检查的登记册。 覆盖看起来很高,却错过真实的使用。使用独立发现。
  • 一刀切的禁令。 它们把使用驱赶到地下。提供获批的工具和快速路径。
  • 把提示词和模型视为没人拥有的配置。 行为在不被注意的情况下改变。把它们置于变更控制之下。
  • 只评估一次。 系统会漂移和改变。按计划以及在变化时重新运行。
  • 名义上的监督。 评审者无法抓住他们看不到的东西。用植入的错误测试,并修复负荷。
  • 没有关闭的权限。 遏制需要数天。指定有权停止系统的负责人。
  • 忽略供应商的 AI。 你的风险包括他们的。询问、订立合同并重新评估。
  • 没人能遵循的规则。 它们被绕开。保持简短,使安全的路径容易。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
了解与分类 对 AI 的使用没有视图 政策和部分清单 带负责人和风险类别的登记册;使用独立发现度量覆盖 管理覆盖、评估时效和批准时间 跨业务单元和供应商的共享登记册视图;与监管者和用户一起评审类别
测试与变更 临时 对一些使用有一些评估 在现实案例上评估;提示词和模型置于变更控制之下 持续评估和漂移监控;管理覆盖 流水线中自动化、基于风险的评估和变更,独立审计
监督与学习 依赖信任 原则上存在评审 设计并抽样监督;给 AI 事件打标签并免责评审 管理植入错误测试、遏制时间和供应商评估 监督、事件学习和政策由员工、用户和合作伙伴共同制定

检查清单

  • 登记册列出带负责人和风险类别的 AI 使用,并对照独立发现检查。
  • 为低风险的使用设有快速路径,为有重大影响的使用设有更深的路径。
  • 风险较高的使用有当前的风险评估和明确的监督设计。
  • 在现实和对抗性案例上的评估是最新的,并在变化时重新运行。
  • 提示词、模型、工具和数据来源有版本管理,并处于变更控制之下。
  • 生产监控观察漂移、错误、覆盖和异常的行动。
  • 用植入的错误测试监督,评审者的负荷是现实的。
  • 审计轨迹在隐私和保留规则之内支持调查。
  • AI 事件被标记并免责地评审,负责人可以关闭系统。
  • 带有 AI 功能的供应商被评估,并受约束要通知重大变更。

AI 提示词

为 AI 使用起草风险分类。

请为 [组织类型] 中的 AI 使用,依据出错时的伤害、谁受影响、是否涉及关于人的决定、行动的自主性、数据敏感性和可逆性,提出一个简单的风险分类(三或四个级别)。对每个级别,说明示例用途、所需的批准和证据,以及评审周期。不要陈述法律结论。请列出你的假设,以及应与法务、风险和安全专家确认的要点。

设计登记表单。

请为新的 AI 使用设计一份简短的自助登记表单,不超过八个问题,自动指定初始风险类别,并把风险较高的使用路由给评审。涵盖目的、数据、受影响的用户、自主性、供应商和负责人。解释如何使低风险的情形保持快速。请列出你的假设和错误分类的风险。

规划评估集。

我们在 [流程] 中把 AI 用于 [任务]。请帮助设计一套评估集:现实案例的类型、困难的和对抗性的案例、对正确和安全输出的书面标准、在人们可能受影响之处对公平的检查、多大的集合是切实可行的、多久重新运行一次,以及什么变化应当触发重新运行。不要声称某个集合是足够的。请列出你的假设和局限。

评审一起 AI 事件。

这是一起与 AI 相关的事件的描述:[粘贴,不含个人数据]。请起草免责的评审:时间线、如何被检测到、促成因素(数据、提示词、模型、监督、供应商、流程)、影响、什么遏制了它,以及带负责人的行动。建议对评估、监控和变更控制的改变。不要把责任归于个人。请列出你的假设和未解决的问题。

AI 技能

要点

  • 通过独立发现建立 AI 登记册,使审视与风险相匹配,并为安全的使用设立快速路径。
  • 把模型、提示词、工具和数据来源视为需要测试、批准和回退的变更。
  • 在使用之前和使用期间,在现实和对抗性案例上评估。
  • 设计能起作用的人工监督,并用植入的错误测试它。
  • 像对待其他事件一样对待 AI 事件,免责评审,并赋予负责人关闭系统的权力。
  • 就供应商的 AI 询问他们,保持规则简短,使安全的路径容易。

参考文献与延伸阅读

  1. National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
  2. ISO/IEC 42001, Information technology: Artificial intelligence: Management system, International Organization for Standardization, 2023.
  3. ISO/IEC 23894, Information technology: Artificial intelligence: Guidance on risk management, International Organization for Standardization, 2023.
  4. European Parliament and Council, Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act), 2024.
  5. Organisation for Economic Co-operation and Development, OECD AI Principles, 2019 (updated 2024).
  6. Mitchell, M., et al., "Model Cards for Model Reporting," Proceedings of the Conference on Fairness, Accountability, and Transparency, 2019.
  7. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  8. Wikipedia, Algorithmic bias.
  9. Wikipedia, Prompt injection.
  10. Wikipedia, Artificial Intelligence Act.
  11. Wikipedia, Responsible AI.
  12. Wikipedia, Regulation of artificial intelligence.
  13. Wikipedia, Shadow IT.
  14. Wikipedia, Goodhart's law.
  15. Wikipedia, Audit trail.