概述与动因

大多数构建和运行 IT 服务的组织都要对某些人负责:监管者、客户、认证机构、保险公司、董事会。监管合规(regulatory compliance)是遵守法律、规则和标准,并证明你这样做了的行为。审计是对证据的系统性检查,以判断这是否属实。在 IT 中,这包括对财务报告控制措施、数据保护义务、安全认证和合同承诺的审计。信息技术审计(information technology audit)检查围绕系统及其所持有数据的控制措施。

合规与持续交付有摩擦的名声。合规在变更之前要求文件、签字和批准,而持续交付偏好持续发布的小变更。当合规被当作末端的一个阶段时,这种摩擦是真实的。当合规被构建到工作流中时,摩擦就减轻了。变更记录、代码评审、自动化测试和访问日志就是证据,而交付流水线每天都在产生它们。持续审计(continuous auditing)使用对控制措施的自动化、近乎实时的检查,而不是定期抽样,它与持续交付的节奏相匹配。审计轨迹(audit trail)是显示谁在何时对哪个系统做了什么的记录,它往往是你所拥有的最强证据。

ITIL 描述了相关的实践:信息安全管理、风险管理,以及服务价值体系的治理,并指向像用于信息安全管理体系的 ISO/IEC 27001 这样的标准。组织通常面对的框架包括财务控制的报告制度,比如美国的《萨班斯—奥克斯利法案》(Sarbanes–Oxley Act),数据保护法律,比如欧盟的《通用数据保护条例》(General Data Protection Regulation),以及 SOC 2 之类的鉴证报告,它们检查与安全及相关标准有关的控制措施。细节因司法辖区、行业和日期而异,本主题描述的是度量实践,而不是法律要求。请与你的合规、法务和审计同事一起弄清什么适用于你。

合规测量值的目的,是了解组织满足其义务的程度,以及这需要多少工作量,使两者都可以改进。风险在于合规变成给审计员的表演。团队可以通过在最后一刻产生文件来通过审计,却仍然运行着有风险的做法。古德哈特定律的护栏适用:当“审计发现”成为目标时,人们会回避审视、收窄范围并协商措辞(见主题 1.2,古德哈特定律与度量的心理学)。

有两条思路有帮助。

  • 合规作为副产品。 如果流水线自动记录评审、测试、批准和部署,那么无论审计是否临近,证据都存在。这也消除了事后重建证据的诱惑。
  • 审计员作为干系人。 敏捷实践重视与干系人的持续协作。审计员和评估者是有合理问题的干系人。让他们参与设计控制措施和证据,在保持其独立性的同时,减少意外和返工。

关键原则

  • 把证据作为工作的副产品来产生。 流水线、工单和日志应当回答大部分审计问题。
  • 把义务映射到控制措施和负责人。 每项义务都有控制措施,每项控制措施都有负责人。
  • 尽早与审计员协作。 在审计之前分享设计和证据的做法,并保持他们的独立性。
  • 修复原因,而不是发现。 在没有消除原因的情况下关闭的发现会卷土重来。
  • 既度量工作量,也度量成果。 合规的成本是图景的一部分。
  • 在重要之处保持职责分离。 评审的独立性是一项自动化可以支持、却无法取代的控制措施。
  • 对缺口保持诚实。 自行报告的弱点,由你发现好过由别人发现。

度量定义

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏
义务覆盖 被映射到一项带有负责人和证据来源的控制措施的适用义务占比 被映射到至少一项带负责人和证据来源的控制措施的义务 / 适用的义务 百分比 义务登记册和控制登记册 治理;信息安全管理;风险管理 完成定义包括控制措施的证据 每季度
证据自动化率 从记录系统自动收集的、范围内控制措施证据占比 自动收集的控制措施证据项 / 所需的证据项 百分比 控制登记册、流水线和系统日志 信息安全管理;变更赋能 流水线自动记录评审、测试和部署 每季度
证据周转时间 提供审计员或评估者所要求的证据的时间 从请求到被接受的证据的天数的中位数和第 85 百分位数 天 审计请求跟踪器 治理;信息安全管理 对干系人问题的响应能力 每次审计
发现关闭时间 按严重程度关闭审计发现的时间 从发现发出到经验证的关闭的天数的中位数和第 85 百分位数 天 发现跟踪器 持续改进;风险管理 修复缺陷的时间 每月
重复发现率 从之前的审计或评审中再次出现的发现占比 在实质上与较早已关闭的发现相匹配的发现 / 期内的发现 百分比 带原因链接的发现跟踪器 持续改进;问题管理 修复之后再次出现的缺陷 每个审计周期
职责分离冲突 违反分离规则的访问或批准组合的计数,以及解决它们的时间 检测到的冲突;解决的天数中位数 计数;天 身份和访问管理工具、变更记录 信息安全管理;变更赋能 对变更的独立评审 每月
审计工作量 组织在准备和支持一个审计周期上所花的人时,按范围单位计 记入审计准备和支持的小时数 / 范围内的控制措施或系统 每单位小时数 时间记录或工作量估计 治理;持续改进 非交付工作的成本 每个审计周期

在登记册中说明范围内的义务和审计范围。关闭时间从发现发出时开始,在审计员或独立验证者确认关闭时停止,而不是在团队说已完成时。重复发现按原因匹配,而不是按措辞匹配,并记录匹配规则。审计工作量是组织的趋势测量值,绝不是个人的测量值。

建议

了解你的义务和控制措施

1. 用通俗语言列出适用的义务。 与法务和合规同事一起,列出约束该服务的法律、标准、合同和政策,以及每一项在成果方面的要求。让清单保持简短而可读。没人能通俗地说清的义务,正是造成审计意外的那些。

2. 把每项义务映射到控制措施、负责人和证据。 对每项义务,指出满足它的控制措施、负责的人,以及显示该控制措施在运行的证据。凡一项控制措施满足多项义务之处,就说明这一点,因为这减少重复的工作。义务覆盖度量这张地图的完整性。未被映射的义务是要弥合或有意识地接受的缺口。

3. 倾向于更少、更强的控制措施。 自动化且经过测试的控制措施,抵得上几项手工的。寻找重叠的控制措施,并淘汰那些不服务于任何义务的。每项控制措施都需要工作量来运行和提供证据(见主题 8.2,风险与控制度量)。

使证据成为副产品

4. 让流水线产生证据。 把每次生产变更与请求、代码评审、测试结果以及(要求时的)批准相联,全都自动记录。显示这些内容的部署记录,无需撰写文件就告诉审计员发生了什么。这依赖敏捷团队已经使用的持续交付实践(见主题 4.5,发布与部署度量)。

5. 在流水线中使用政策检查。 把“没有作者之外的人评审就不能部署”或“没有工单就不能访问生产环境”之类的规则编码为自动化检查。检查既是控制措施,也是其证据。让规则保持可见且带版本,使对它们的更改也被记录。这支持职责分离(segregation of duties),即没有任何单个人应当控制某个敏感流程的所有阶段这一原则。

6. 妥善保存审计轨迹。 以无法被它们所描述的人更改的方式保存访问和变更的日志,保留要求的期限,并使其可搜索。可被它所记录的人编辑的轨迹,是薄弱的证据。与法务同事核实保留规则。

7. 度量有多少证据是自动的。 证据自动化率显示手工收集还留在哪里。按工作量和风险给手工项排序,先把最糟糕的自动化。随着该比率上升,审计工作量和周转时间会下降。

与审计员合作

8. 邀请审计员参与设计。 及早与内部审计和外部评估者分享对控制措施和证据的计划变更,并问什么会使他们满意。独立性意味着他们不设计你的控制措施,并不意味着他们不能告诉你他们将需要什么证据。早期的交流减少返工。内部审计师协会(Institute of Internal Auditors)发布该职业的标准,解释了内部审计(internal audit)的角色。

9. 准备证据索引。 保存一份活的索引,说明每类证据存放在哪里以及如何取回。跟踪证据请求的周转时间,并用延迟找出缺失的自动化。简短、稳定的流程,胜过每次审计前的手忙脚乱。

10. 商定重要性和范围的含义。 问审计员他们如何判断什么重要、什么在范围之内,并记录答案。共同的理解防止日后的争议。不要为避免审视而收窄范围,也不要无故扩大。

修复原因并学习

11. 把每项发现视为问题记录。 找出原因,修复它,并由独立的人验证关闭。把重复的发现与较早的发现相联,并检查为什么第一次修复没有站住脚。高重复发现率指向只处理症状的修复,这与问题管理相联(见主题 4.1,问题管理度量)。

12. 跟踪成本并使其下降。 在各个周期内记录审计工作量。如果工作量高而持平,就找出审计之间的重复、手工的证据收集,以及不服务于任何人的控制措施。连同成果一起报告工作量的趋势。当合规降低了真实的风险时,它就物有所值,而这些测量值帮助你判断。

钻空子途径与护栏

度量 如何被钻空子 配对的护栏度量或实践
义务覆盖 把义务映射到薄弱或无关的控制措施;狭义地定义义务 由第二方评审控制措施的相关性;测试控制措施(见主题 8.2,风险与控制度量)
证据自动化率 把截图或导出算作自动;先自动化低价值的证据 把自动定义为由系统生成且防篡改;按风险排序
证据周转时间 迅速提供部分证据;协商请求的措辞 只统计被接受的证据;跟踪后续请求
发现关闭时间 在没有验证的情况下关闭发现;重新归类严重程度 独立验证;严重程度变更日志
重复发现率 重新措辞发现,使其不匹配;把较早的发现作为不同类型关闭 按原因匹配并记录规则;由内部审计评审
职责分离冲突 把冲突转移到不在范围内的系统;授予从未被记录的临时访问 涵盖所有带敏感流程的系统;评审临时访问
审计工作量 不记录小时数;把工作量转移到其他预算 抽样检查时间记录;与团队调查相比较

健康的读数是:不断上升的证据自动化、更短更稳定的周转、经验证而关闭的发现、较低的重复率,以及随着流程成熟而下降的审计工作量。

权衡:利与弊

方法 优势 劣势
定期的手工证据 审计员熟悉 成本高;事后重建
自动化的持续证据 维护廉价;及时 需要工程工作;审计员需要信任来源
繁重的批准 控制可见 缓慢;使变更成批
自动化的政策检查 一致而快速 规则必须正确且可见
审计员及早参与 更少意外 需要小心以保持独立性
在末端审计 分离清晰 发现来得晚;返工
一项控制措施对应多项义务 高效 单次失败影响多项义务
许多具体的控制措施 映射清晰 重复的工作量

答案是依托流水线和记录系统自动化证据,及早在设计上让审计员参与,同时保持其独立性,并保持一套与义务相映射的精简而强大的控制措施。

与团队讨论的问题

1. 哪个审计问题我们回答得最久?为什么? 挑选上次审计中最慢的证据请求并追溯它。是证据缺失、分散,还是只在某人脑中?讨论什么会使它自动化。引导者应当记录以小时计的成本。

2. 对上个月的任何一次生产变更,我们能展示谁评审了它、运行了哪些测试吗? 随机挑选一项变更并尝试。记下链条在哪里断裂。商定对变更记录或流水线的一项改进,以弥合缺口。

3. 我们在上次审计中承诺了什么?它站得住吗? 评审发现和修复。对每一项,问原因是否已消除,以及谁验证了关闭。寻找重复。商定要更深入检查的一项发现。

4. 如果我们问审计员如何使证据更容易,他们会怎么告诉我们? 规划一场与内部审计或评估者就证据设计展开的交流。问他们信任什么、不信任什么。引导者应当把他们的回答视为信息,并记住独立性规则。

5. 我们运行的哪些控制措施,没有任何义务需要? 列出控制措施以及它们所服务的义务。找出没有明确目的的。讨论淘汰它们,以及证明它们不必要的证据。

6. 在这里,哪里有一个人可以端到端地做某件敏感的事? 想想部署、访问授权和付款。检查工具是否强制执行分离,还是只有政策。在人手很少之处,讨论补偿性控制措施,比如自动评审。

四种视角

产品与交付团队

交付团队通过把工作做好而产生大部分证据。他们应当使变更、评审和测试记录保持相联,使用流水线政策检查,并就那些拖慢工作却没有降低风险的控制措施提出顾虑。他们受益于与审计员就什么证据足够而进行的早期交流。

服务与运维团队

运维团队运行访问管理、日志、备份和事件处理,这是许多审计的核心。他们应当使日志防篡改并被保留,按计划管理访问评审,并保存证据索引。他们承担手工证据的负担,并能指出自动化最有帮助之处。

领导层与治理

领导者对合规负责,往往也对审计结果负责。他们应当为证据的自动化出资,索要覆盖和重复发现率,而不只是发现的计数,并支持审计员的独立性。治理应当期望对缺口作出诚实的报告,并为每个缺口制定计划。

客户与用户

客户和用户把合规作为关于其数据和服务如何被处理的保证来依赖。当鉴证报告清晰、事件按要求被报告、控制措施没有使合法使用超出必要地更困难时,他们受益。关于合规的透明沟通建立信任。

实践:一个服务管理示例

一家中型支付公司运行着一个银行卡处理平台,并每年依据一项安全鉴证框架和一项数据保护制度接受评估。下面的数字均为示意。

审计准备每年占用工程团队约六周。去年的评估以 14 项发现结束,其中 5 项与前一年重复。合规主管梳理了情况。义务覆盖为 83%,17% 的义务没有指名的控制措施负责人。证据自动化率为 22%,变更批准的大部分证据来自手工汇编的工单截图。证据周转时间的中位数为 9 天,第 85 百分位数为 21 天。发现关闭时间的中位数为 74 天,而关闭往往由所属团队在没有验证的情况下标记。

合规主管与交付和运维团队以及内部审计员一起,改变了四件事。流水线中的每次生产变更,现在都与请求、作者之外的人所做的代码评审、测试结果和部署相联,并自动记录在变更记录中。政策检查阻止缺少独立评审的部署,并记录紧急情况下的例外路径。访问评审每季度从身份系统运行,直接显示职责分离冲突。每项发现成为问题记录,由内部审计的独立验证者验证,重复的发现与其前身相联。

在下一次评估中,证据自动化率为 71%,证据周转时间的中位数为 2 天,第 85 百分位数为 5 天,审计准备大约需要两周。义务覆盖为 97%,其余项有文档记录的接受。发现降至 6 项,其中一项重复,关闭时间的中位数为 31 天,并附独立验证。首席执行官要求明年零发现。合规主管提议跟踪重复发现、关闭时间和证据自动化,并解释说,零发现的目标会促使团队隐藏问题或收窄范围,而什么也没发现的评估者可能没有认真查找。该决定被记录下来,董事会同意在下次会议上评审这些测量值。

敏捷、AI、自动化与分析

敏捷

把证据作为工作的副产品来产生,并及早邀请审计员参与交流。需要注意的是,针对审计发现的目标,会阻碍诚实的自行报告。

AI

与 AI 相关的义务在变化,所以要与你的法律顾问一起核实适用于你的法律,并保存 AI 系统清单作为证据。不要请 AI 工具陈述合规声明。需要注意的是,AI 生成的证据摘要,需要有人对照来源加以验证。

自动化

从流水线和工具自动收集证据,并度量证据自动化率和周转时间。需要注意的是,自动化可能产生完整但有误的证据,所以要抽样检查。

分析

连同计数报告重复发现和关闭时间。这为之提供依据的决定是哪里的控制措施反复失败。需要注意的是,审计工作量是成本,而不是目标,减少它不应降低覆盖。

行业视角

初创公司。 义务可能随着大客户或融资轮次突然到来。及早养成习惯:同行评审、变更记录,以及流水线中的访问控制,使被要求时证据已经存在。在业务需要时选择一个框架,并把它映射到你已经在做的事。

小型企业。 合规职责往往由合同和法律规定,资源有限。保存一份简短的义务清单,依赖带有自己的鉴证报告的托管服务,并保存一个简单的证据文件夹。当心购买成本高于其所针对风险的合规工具。

大型企业。 许多义务重叠,所以把一项控制措施映射到多项义务的统一控制框架,能节省大量工作。使用共同的证据来源、共享的发现跟踪器和审计日历,以避免重复的请求。协调内部审计、合规和安全,使团队不会因同一件事被检查三次。

政府与公共部门。 合规职责广泛而公开,包括采购、记录、无障碍和数据保护规则,并由国家机构审计。在要求的期限内记录决定和证据,在可能时使各机构的报告保持一致,并在独立审计与管理层之间保持清晰的界线。义务可能随选举和立法而变化(见主题 8.5,受监管与政府报告)。

业务论证:动因、投资回报与总拥有成本

成本包括控制登记册的工具、证据的流水线集成、身份和日志系统,以及合规人员和团队的时间。自动化证据的初始工作量很大,它取代了经常性的手工工作。

回报是更低的经常性审计工作量、对请求更快的响应、更少的重复发现,以及对控制措施健康状况更诚实的看法。它们还包括认证周期后期避免的意外成本。依据你自己的数字构建论证:前后的审计准备小时数、证据周转时间、发现的数量和年龄,以及任何在商业交易中与审计相关的延迟的成本。避免引用关于合规成本的研究,除非你能追溯其方法和相关性。把该计划的成本和对薄弱控制措施过度自动化的风险纳入。更广泛的财务处理见上一部分的最后一个主题(见主题 7.7,投资回报与业务论证)。

反模式与陷阱

  • 在最后一个月才为审计做准备。 它产生重建的证据和手忙脚乱。在工作发生时就记录证据。
  • 把截图当作证据。 它们是手工的、易于更改的、昂贵的。使用由系统生成的记录。
  • 以零发现为目标。 它奖励狭窄的范围和隐藏的问题。跟踪关闭、重复和覆盖。
  • 靠断言来关闭发现。 同一项发现会回来。独立验证关闭。
  • 把审计员视为对手。 它增加双方的成本。在证据设计上协作,同时保持独立性。
  • 不服务于任何义务的控制措施。 它们耗费工作量并滋生愤世嫉俗。淘汰它们。
  • 自动化糟糕的控制措施。 它在规模上产生薄弱控制措施的证据。先测试控制措施。
  • 手工的职责分离。 它依赖记忆。在工具中强制执行,并评审例外。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
义务与控制措施 少数人知道 义务和控制措施的清单 映射到控制措施、负责人和证据来源 跟踪覆盖;减少重叠;测试控制措施 跨团队、供应商和制度的统一控制框架
证据 审计之前才汇编 标准模板和证据文件夹 流水线和记录系统产生大量证据 管理自动化率、周转时间和工作量 持续保证,审计员直接使用证据
发现与学习 争论发现并靠断言关闭 跟踪发现 把发现视为带独立验证的问题记录 分析重复和关闭时间,并反馈到控制措施的设计中 发现在整个组织以及与合作伙伴之间共享;改进是例行之事

检查清单

  • 适用的义务以通俗语言列出,并带有负责人。
  • 每项义务都被映射到控制措施和证据来源。
  • 生产变更自动带有相联的请求、评审、测试和部署证据。
  • 政策检查在流水线中强制执行评审和职责分离。
  • 审计轨迹防篡改,并在要求的期限内保留。
  • 存在证据索引,并度量请求的周转时间。
  • 在保持独立性的同时,就证据设计征求审计员的意见。
  • 发现被记录为问题记录,并附独立验证而关闭。
  • 重复的发现与其前身相联,并检查原因。
  • 把审计工作量作为趋势来跟踪,并评审重复情况。

AI 提示词

把义务映射到控制措施。

这是在 [行业和司法辖区] 适用于我们服务的义务清单:[以通俗语言粘贴]。这是我们的控制措施清单:[粘贴]。请构建一张表,把每项义务映射到控制措施、显示每项控制措施在运行的证据,以及负责人角色。标出没有控制措施的义务、没有义务的控制措施,以及薄弱的证据。不要给出法律结论。请列出你的假设,以及要问法务和合规的问题。

规划证据自动化。

我们的手工审计证据包括:[列出各项及所花小时数]。我们的记录系统是:[工具清单]。请按工作量和风险给证据项排序,并提出每一项如何能从记录系统自动收集、什么使证据可信(防篡改、完整性),以及要与审计员确认什么。不要假定特定工具的功能。请列出你的假设。

分析重复的发现。

这是最近 [数量] 个审计周期的发现,附原因和修复:[粘贴,已脱敏]。请按根本原因对发现分组,识别重复,并建议较早的修复为什么没有站住脚。提出按原因匹配发现的规则,以及关闭的验证步骤。不要超出所给信息作推测。请列出你的假设。

准备与审计员的早期交流。

请为与内部审计就改变我们为 [控制措施或流程] 产生证据的方式而举行的会议起草议程。包括我们计划改变什么、需要得到回答的问题(可接受的证据、抽样、重要性)、为保持独立性我们不会请他们做什么,以及我们将如何记录结果。使用通俗语言。请列出你的假设和风险。

AI 技能

要点

  • 把证据作为交付的副产品,从流水线和记录系统产生,并度量有多少是自动的。
  • 把每项义务映射到控制措施、负责人和证据来源。
  • 及早邀请审计员参与证据设计,并保护其独立性。
  • 通过消除原因来关闭发现,独立验证关闭,并关注重复发现率。
  • 避免零发现之类的目标,并在成果旁边跟踪工作量。
  • 在工具中强制执行职责分离,并使审计轨迹防篡改。

参考文献与延伸阅读

  1. ISO/IEC 27001, Information security, cybersecurity and privacy protection: Information security management systems: Requirements, International Organization for Standardization.
  2. Institute of Internal Auditors, Global Internal Audit Standards, 2024.
  3. American Institute of Certified Public Accountants, Trust Services Criteria (used in SOC 2 examinations), latest version.
  4. Kim, G., Humble, J., Debois, P., and Willis, J., The DevOps Handbook, IT Revolution, 2016.
  5. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  6. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  7. Wikipedia, Regulatory compliance.
  8. Wikipedia, Information technology audit.
  9. Wikipedia, Continuous auditing.
  10. Wikipedia, Audit trail.
  11. Wikipedia, ISO/IEC 27001.
  12. Wikipedia, Sarbanes–Oxley Act.
  13. Wikipedia, General Data Protection Regulation.
  14. Wikipedia, SOC 2.
  15. Wikipedia, Goodhart's law.
  16. Wikipedia, Segregation of duties.
  17. Wikipedia, Internal audit.