风险与控制度量
风险工作是一场关于什么可能出错、以及我们为此做了什么的持续对话,所以要让登记册保持简短而鲜活,测试重要的控制措施,并怀疑任何让不确定性看起来整齐的数字。
概述与动因
对服务的每一项变更都带有风险,不去动它也是如此。风险管理(risk management)是对风险的识别、评估和优先级排定,随后是协调一致的行动,以降低、接受、转移或规避它们。ITIL 把风险视为贯穿每项实践的一条线索:变更赋能决定一项变更需要多少审视,服务连续性针对中断做规划,信息安全防范威胁。敏捷和 DevOps 的工作方式以不同的方式降低风险。持续交付的小变更,配以快速反馈和回退的能力,使每项变更更不危险,并使问题更早可见。
两种视角在测量值中相遇。持续交付的团队仍然需要了解其主要风险、谁拥有它们,以及它所依赖的控制措施是否有效。坚持繁重审批的风险职能,仍然需要证据表明其控制措施减少了伤害,而不只是拖慢人们。本主题给出两者的测量值,并建立在相邻的安全和审计主题所描述的实践之上(见主题 8.1,安全事件与漏洞度量,以及主题 8.3,合规与审计度量)。
有四个术语反复出现。
- 风险(risk): 一个不确定的事件或状况,如果发生,会影响目标。它有原因、事件和后果,以及通常是估计出来而不是已知的可能性和影响。
- 风险登记册(risk register): 附负责人、评级和应对措施的已识别风险清单。当风险登记册是最新且被阅读的时,它是工作工具,当它不是时,它是合规的制品。
- 控制措施(control): 降低风险的行动或机制,比如评审、自动化测试、批准、职责分离或监控告警。一个组织所依赖的这套控制措施,是它的内部控制(internal control)体系。
- 关键风险指标(key risk indicator,KRI): 在损失发生之前,预示风险水平变化的测量值。关键风险指标在它领先于某个事件、并且有人据此行动时才有用。
风险量化有众所周知的弱点。风险矩阵(risk matrix)把可能性与影响绘制在有彩色单元格的网格上,被广泛使用,也被广泛批评:评级是主观的,不同的风险可能因不同原因落入同一个单元格,而把序数评分相乘的算术没有坚实的基础。有时以黑天鹅理论(black swan theory)来描述的罕见而严重的事件,尤其难以评级。诚实的回应是把矩阵用作交流的辅助手段,展示区间,并以关于控制措施和事件的证据支持它。三道防线的框架,把拥有风险的团队、监督风险的团队和独立保证分开,为角色提供了一种结构,并且当第一道防线,即交付和运维团队,真正拥有其风险时,它的效果最好。
古德哈特定律的护栏以特定的方式适用于风险报告。当红色评级带来审视时,人们就把风险评为琥珀色。当关闭的风险是成功时,人们就在没有处理风险的情况下关闭它们(见主题 1.2,古德哈特定律与度量的心理学)。
关键原则
- 让登记册保持简短而最新。 少数几个有很好负责人并被评审的风险,胜过数百个没有的。
- 让第一道防线拥有其风险。 最接近工作的人最了解它。
- 测试你所依赖的控制措施。 从未被测试过的控制措施是一种希望。
- 倾向于有人据以行动的领先指标。 没有响应计划的指标只是装饰。
- 展示区间和证据,而不是虚假的精确。 评级是估计。
- 通过使变更小而可逆来降低风险。 带快速回退的持续交付是一种控制措施。
- 不带责备地谈论风险。 诚实的报告是整个实践的原材料。
度量定义
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| 风险评审时效 | 在约定间隔内被其负责人评审的未关闭风险占比 | 在间隔内评审过的风险 / 未关闭的风险 | 百分比 | 风险登记册的评审日期 | 风险管理;持续改进 | 在规划和评审交流中评审风险 | 每月 |
| 负责人覆盖 | 有指名的、现任的、并已接受归属的负责人的未关闭风险占比 | 有已确认的现任负责人的风险 / 未关闭的风险 | 百分比 | 与人员目录相连的风险登记册 | 风险管理 | 待办事项列表(backlog)上由团队拥有的风险 | 每月 |
| 控制测试覆盖 | 在要求的周期内,被测试运行情况的关键控制措施占比 | 在周期内被测试的关键控制措施 / 关键控制措施 | 百分比 | 控制登记册和测试记录 | 风险管理;信息安全管理 | 流水线中的自动化检查 | 每季度 |
| 控制有效率 | 被测试的控制措施中,发现按设计运行的占比 | 发现有效的控制措施 / 被测试的控制措施 | 百分比 | 测试结果 | 风险管理;持续改进 | 因正确的原因而通过的自动化测试 | 每季度 |
| KRI 违规响应时间 | 从关键风险指标越过其阈值到有记录的决定的时间 | 从违规到决定的小时数或天数的中位数和第 85 百分位数 | 小时或天 | KRI 监控和决定日志 | 风险管理;监控与事件管理 | 对生产信号的反应 | 每月 |
| 处理计划及时性 | 在其承诺日期之前完成的风险处理占比 | 按日期完成的处理 / 期内到期的处理 | 百分比 | 风险登记册和行动跟踪器 | 风险管理;持续改进 | 已交付的改进行动 | 每季度 |
| 基于风险的变更占比 | 通过基于风险的路径批准、并附有控制措施证据的变更占比 | 通过基于风险的路径并附必需证据而被批准的变更 / 期内的变更 | 百分比 | 变更记录 | 变更赋能;风险管理 | 带自动化检查持续交付的变更 | 每月 |
在登记册中定义评审间隔和关键控制措施清单。只有当测试检查的是运行的证据,而不仅仅是设计时,控制措施才算“已测试”。KRI 时钟在指标越过其阈值时开始,依监控系统所记录,在书面记录的决定时停止,该决定可以是行动、接受,或更改阈值。只有在有记录的关闭决定之后,才把正在被淘汰的风险从分母中排除。
建议
保持风险交流鲜活
1. 保持登记册简短,并以标准形式撰写每项风险。 使用这种形式的句子:“由于 [原因],[事件] 可能发生,导致 [后果]。”把登记册限于会改变某项决定或计划的风险。合并重复项,拆分含糊的,淘汰已经过去的风险。几十个人们讨论的风险,比没人阅读的一千个更有价值。
2. 把每项风险指派给能采取行动的负责人。 负责人是对应对措施有权限的人,通常在交付或运维团队中,而不是风险职能部门。与本人确认归属,并在人们更换角色时评审。负责人覆盖度量这一点,无人负责的风险是一项发现。
3. 在已经发生的交流中评审风险。 在规划、评审和事件评审中提出最重要的风险,而不是另设一场会议。敏捷关于定期反思如何变得更有成效的习惯,是“接下来什么会伤害我们?”这个问题的自然归宿。把结果记录在登记册中。
4. 把评级与证据和区间配对。 对每项重要的风险,记录是什么使你认为它很可能或很严重:事件、险情、测试结果、供应商历史。在可能时给出可能性和影响的区间,并说明你有多不确定。不要把序数评分合并为单一数字并把它当作测量值。如果你使用矩阵,就用它来开启讨论(见主题 1.6,服务度量的统计素养)。
测试控制措施
5. 指出关键控制措施以及每一个的用途。 对每项主要风险,列出你所依赖的少数几个控制措施,以及每一个的失效会是什么样子。列出数百项次要活动的控制登记册,会隐藏重要的那些。包括流水线中的自动化控制措施,比如测试、政策检查和批准关口。
6. 测试运行,而不仅仅是设计。 设计评审问的是,如果被运行,该控制措施是否会起作用。运行测试问的是,它在该期间是否被运行并且有效,通过检查证据样本来回答。依据与风险相匹配的周期规划测试,记录结果,并跟进失败。在可能之处,将证据自动化,使测试持续进行。
7. 把控制措施的失败视为信息。 失败的测试表明控制体系在起作用。记录失败,问为什么,并修复原因。控制有效率应当与跟进一起阅读:迅速被发现并修复的失败,比来自薄弱测试的完美比率更健康。
8. 在有增值之处使用独立保证。 内部审计或独立评审者可以测试第一道防线所拥有、第二道防线所监督的控制措施。独立性防止给自己的工作打分。进行协调,使团队不会因同一件事被三个小组测试。
善用指标和决定
9. 为每项主要风险选择少数几个领先指标。 关键风险指标应当测量起来廉价,与某个原因相联,并与阈值和应对措施配对。例如,最老的关键漏洞的年龄预示安全风险,需要紧急处理的变更占比预示变更风险。定义谁看这个指标,以及他们在阈值处将做什么(见主题 8.1,安全事件与漏洞度量)。
10. 在每次违规时记录决定。 当指标越过阈值时,有人作出决定:行动、接受,或调整阈值。写下决定和理由。这建立起一份历史,显示阈值是否设定得当、响应是否及时。
11. 使基于风险的批准成为变更的默认。 在持续交付的环境中,用基于风险的路径取代一刀切的审批委员会:对低风险的标准变更用自动化检查和同行评审,对少数高风险变更用更全面的评审(见主题 4.3,变更赋能度量)。附上控制措施已运行的证据。这同时降低风险和延迟,因为附自动化证据的小变更,比附一个签名的大变更更安全。
12. 从损失和险情中学习。 在事件和险情之后,更新登记册:风险是否存在、评级是否得当、控制措施是否有效?用答案改进两者。事件与登记册之间的这一闭环,使登记册保持诚实(见主题 4.2,事后复盘与学习度量)。
钻空子途径与护栏
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| 风险评审时效 | 在没有讨论的情况下把风险标为已评审;更改间隔 | 抽样检查评审的实质内容;登记册中固定的间隔 |
| 负责人覆盖 | 在当事人不知情时指派负责人;指名没有权限的资深人员 | 负责人确认;检查负责人是否能对应对措施采取行动 |
| 控制测试覆盖 | 测试容易的控制措施;把设计评审算作运行测试 | 由第二方固定关键控制措施清单;记录测试类型 |
| 控制有效率 | 测试小样本;选择能通过的样本 | 样本方法独立于负责人;记录样本量 |
| KRI 违规响应时间 | 在违规之后更改阈值;记录一个没有内容的决定 | 阈值变更日志;决定内容抽样 |
| 处理计划及时性 | 设定容易的日期;重新定义完成 | 日期在批准时与负责人商定;检查风险评级是否变动 |
| 基于风险的变更占比 | 把变更归类为低风险以避免评审;附上并非由控制措施产生的证据 | 对照规则抽样检查分类;来自流水线的自动化证据 |
健康的读数是:人们会争论的简短登记册、了解其风险的负责人、发现并修复了一些失败的被测试的控制措施、引导真实决定的指标,以及对小变更更少的繁重批准。
权衡:利与弊
| 方法 | 优势 | 劣势 |
|---|---|---|
| 风险矩阵 | 快速、直观、交流的起点 | 主观;虚假的精确;序数算术 |
| 量化的区间 | 对不确定性更诚实 | 需要数据和技能;费力 |
| 繁重的审批委员会 | 控制可见 | 缓慢;鼓励把变更成批处理 |
| 基于风险的自动化检查 | 快速而一致 | 需要工程工作;自动化检查可能有误 |
| 由中央风险职能拥有风险 | 一致 | 远离工作;负责人不投入 |
| 第一道防线拥有 | 有知识和问责 | 质量参差不齐;需要监督 |
| 定期的控制测试 | 对稳定的控制措施有效率 | 错过两次测试之间的漂移 |
| 持续的控制监控 | 证据及时 | 工具的工作量;噪声 |
答案是把所有权放在团队,应用轻量的中央监督和独立测试,在可能之处自动化证据,并把评级用作交流的提示。
与团队讨论的问题
1. 未来一年最可能伤害这项服务的三个风险是什么?各由谁拥有? 请每位成员私下写下三项风险,然后比较。重叠和差异都有信息量。引导者应当记录谁会对每项风险采取行动。商定前三名并确认负责人。
2. 我们最依赖哪项控制措施?我们上一次检查它有效是什么时候? 挑选一项控制措施,比如代码评审规则、备份或批准步骤。追溯上一次检查其运行证据的时间。如果没人知道,就规划一次测试。这场交流显示设计与运行之间的差别。
3. 什么会使我们把评级从琥珀色改为红色?谁会注意到? 讨论指标和阈值。问团队是否曾为避免关注而下调评级,以及是什么压力造成的。商定什么证据能证明变更的合理性,以及如何使说出“红色”成为一件安全的事。
4. 哪些批准拖慢了我们的变更,却没有降低风险? 列出一项典型变更所需要的批准,并对每一个问它针对什么风险,以及它是否曾经阻止过一项变更。提议用自动化检查取代其中一个。商定什么证据会显示该变更是安全的。
5. 当某项控制措施失败时,我们是如何发现的?我们做了什么? 回想一次近期的失败。它是通过测试、事件还是审计员发现的?讨论更强的闭环是什么样子。包括发现它的人是如何被对待的。
6. 我们接受了哪些风险?我们何时评审这一决定? 列出被接受的风险和评审日期。检查每一项都有负责人和理由。没有评审日期的被接受风险,是没人在看的风险。
四种视角
产品与交付团队
交付团队拥有大部分运营风险。他们应当保存一份自己的风险简短清单,在规划和评审中讨论它们,并把控制措施构建到流水线中,使证据是自动的。他们从让低风险变更得以流动的基于风险的变更路径中受益,并且应当诚实地说明什么可能出错。
服务与运维团队
运维团队运行控制措施:备份、监控、访问评审和恢复测试。他们应当保留运行的证据,按固定周期测试控制措施,并及早提出指标违规。他们承担繁重控制措施的代价,应当说出哪些增加的价值很少。
领导层与治理
领导者设定风险偏好,并决定可接受多少摩擦。他们应当索要附负责人和证据的最重要风险的简短清单,欢迎红色评级,为控制测试出资,并支持独立保证。治理应当检查登记册是否反映了事件和险情,并且不应奖励看起来整齐的报告。
客户与用户
用户承受已经发生的风险的后果,而且往往比登记册更早知道它们。他们应当有办法提出顾虑,并在保密的限度内被告知影响他们的风险。他们对事件和变更的体验,是风险评审的证据。
实践:一个服务管理示例
一家全国性能源公用事业公司的数字化团队运行着客户计费、一款移动应用,以及与电网运营的集成。下面的数字均为示意。
该团队的风险登记册有 340 个条目,上次清理是在三年前。风险评审时效为 22%,61 项风险的负责人已经离职。矩阵显示有 85 项红色风险,而没有人阅读报告。新任的服务保证主管提议重置。她与交付团队一起把登记册削减到会改变某项决定的风险,最终为 38 项。她把每一项指派给能采取行动的团队中指名的负责人,他们予以确认。她选择 12 项关键控制措施,并对每一项测试运行情况,而不是评审设计。五项失败:两次备份恢复从未被测试过,一次访问评审被跳过,两项变更批准在没有测试证据的情况下被签署。
团队修复了这些失败,并用基于风险的路径取代标准变更的变更批准委员会。自动化测试和同行评审是控制措施,流水线把证据附到变更记录上。每项主要风险获得一两个带阈值和应对措施的领先指标。对于计费长时间中断的风险,指标是最老的关键漏洞的年龄,以及该季度失败的备份恢复次数。第一个季度显示,负责人确认了全部 38 项风险,评审时效为 91%,控制有效率首次测试时为 12 项中的 7 项,修复之后为 12 项中的 12 项,KRI 违规响应时间的中位数为 2 天。通过基于风险的路径的变更占比为 64%。
首席风险官要求红色风险的数量在一年内减半。服务保证主管提议跟踪处理计划及时性和控制有效率,并解释说,红色风险的计数可以通过重新评级而下降,她宁愿看到诚实的红色评级。该决定被记录下来,下个季度的报告包括每次下调背后的抽样决定。
敏捷、AI、自动化与分析
敏捷
通过与干系人的定期交流,而不是年度评审,使风险登记册保持鲜活。需要注意的是,评分数字会使不确定性看起来整齐。
AI
AI 系统需要在风险登记册中有条目,附负责人、一个人工评审点和评审日期。通过测试来度量 AI 监督的控制有效率。需要注意的是,一项说由人评审输出的政策,在有人测试之前不算控制措施。
自动化
在可以被测试之处自动化控制检查,并就失败和被跳过的检查来度量自动化。需要注意的是,通过的自动化控制措施,可能测试的是错误的东西。
分析
连同样本量一起报告控制测试覆盖和有效率。这为之提供依据的决定是加强哪些控制措施。需要注意的是,小样本和主观评分限制了精度,所以要说明这一点。
行业视角
初创公司。 风险主要在于资金耗尽、失去关键人员和重大中断。保存一份一页纸的前五项清单,每月评审,并测试备份和恢复。从一开始就把控制措施构建到流水线中,因为这比事后补救便宜。
小型企业。 少数几项风险占主导:对关键人员的依赖、单一供应商、勒索软件和数据丢失。保存一份带负责人的简短清单,测试恢复,并使保险和联系方式保持最新。克制繁重的框架,从中借用合适的部分。
大型企业。 规模要求通用的分类法、轻量的登记册工具,以及实践中的三道防线。让第一道防线拥有其风险,保持第二道防线小而作为顾问,并使独立测试有效率。避免在审计、风险和合规之间重复测试。
政府与公共部门。 风险管理往往是带标准框架、审计委员会和公共报告的正式职责。与所要求的框架保持一致,记录风险偏好声明,并保留证据。公共问责使诚实的红色评级更有价值,也更难(见主题 8.5,受监管与政府报告)。
业务论证:动因、投资回报与总拥有成本
成本是负责人评审风险的时间、定义关键控制措施并测试它们的工作量、登记册和指标监控的工具(如果尚不具备),以及独立保证的成本。自动化证据收集需要工程工作量,之后降低经常性成本。
回报是更少的意外、更快更轻的变更批准,以及更可信的保证。经过修剪的登记册和基于风险的变更路径,节省了大型审批机构所耗费的时间。在事件之前发现的失败的控制测试,防止难以定价的损失。依据你自己的数据构建论证:前后每项变更批准所花的时间、通过测试发现的控制失败数量与通过事件或审计员发现的数量,以及某项控制措施本可防止的过往事件的成本。避免引用没有可追溯来源和方法的行业损失统计。
反模式与陷阱
- 永远增长的登记册。 没人阅读它。把它修剪到重要的风险。
- 没有证据的评级。 它们是彩色的意见。附上证据和区间。
- 只是名义上的负责人。 风险落在无法采取行动的人身上。与正确的人确认归属。
- 测试设计却称之为保证。 本可以起作用的控制措施,可能并没有起作用。测试运行。
- 只报告红色风险的计数。 计数通过重新评级而下降。查看处理和控制结果。
- 对每项变更都设审批委员会。 它们拖慢小变更并教会成批处理。使用基于风险的路径。
- 惩罚红色评级。 风险随后被隐藏。奖励早期预警。
- 风险和交付各自为政的文化。 对团队做、而不是与团队一起做的风险工作,产生合规的戏剧。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 登记册与归属 | 冗长、陈旧的清单 | 登记册存在,部分有负责人 | 简短的登记册,附已确认的第一道防线负责人和评审日期 | 在团队交流中评审;附上证据和区间 | 风险在团队和供应商之间共享,有联合负责人 |
| 控制措施 | 被假定有效 | 记录了设计 | 指出关键控制措施;按周期做运行测试 | 跟进失败;在可能之处自动化证据 | 在人的监督和独立保证下的持续控制监控 |
| 决定与变更 | 由委员会批准 | 一些标准变更预先批准 | 附证据的基于风险的路径 | 带阈值和记录的决定的指标;依据结果调整路径 | 风险决定嵌入整个组织和供应链的流水线 |
检查清单
- 登记册简短,风险以原因、事件和后果的形式撰写。
- 每项风险都有能采取行动的、已确认的第一道防线负责人。
- 风险在团队的定期交流中被评审。
- 指出关键控制措施,并按所述周期测试其运行情况。
- 记录、解释并修复控制措施的失败。
- 每项主要风险都有一两个带阈值和应对措施的领先指标。
- 记录指标违规时的决定。
- 存在基于风险的变更路径,并在可能时自动附上证据。
- 被接受的风险有负责人、理由和评审日期。
- 事件和险情更新登记册。
AI 提示词
把风险改写为标准形式。
这是我们风险登记册中的 [数量] 个条目:[粘贴,已去除敏感细节]。请把每一个改写为“由于 [原因],[事件] 可能发生,导致 [后果]。”的形式。标出含糊的、重复的,或实际上是已经发生的问题的条目。建议哪些可以合并或淘汰。不要给它们评级。请列出你的假设,以及应与负责人确认的事项。
设计控制测试。
对于控制措施 [描述,例如针对计费系统的季度访问评审],请设计一次运行测试。包括要检查什么证据、如何无偏地选取样本、什么算通过或失败、如何记录结果,以及如何随时间自动化证据收集。不要假定特定的工具。请列出你的假设,以及测试设计中的风险。
为某项风险提出领先指标。
风险:[以原因、事件、后果的形式描述]。请提出最多三个测量起来廉价、并与原因相联的领先指标,附阈值违规时的建议应对措施,以及每个指标可能误导的方式。不要虚构阈值;描述我们应当如何依据自己的数据校准它们。请列出你的假设。
评审变更批准流程。
我们针对 [变更类型] 的变更批准流程是:[描述步骤、批准人和典型的延迟]。请找出增加延迟却没有降低风险的步骤,提出带自动化检查和证据的、基于风险的替代方案,并说明我们应当度量什么,以了解风险是上升还是下降。不要声称研究结果。请列出你的假设,以及需要领导层参与的决定。
AI 技能
- Service Management Metrics skill:用于查找风险或控制度量所配对的护栏。
- Service Management Metrics maintainer skill:用于检查风险度量条目是否带有其钻空子途径、护栏和证据规则。
要点
- 让风险登记册保持简短,由能采取行动的团队拥有,并在已经存在的交流中评审。
- 测试关键控制措施是否运行,把失败视为有用的信息,并自动化证据。
- 使用少数几个带阈值、应对措施和记录的决定的领先指标。
- 用附自动化证据的、基于风险的变更路径取代一刀切的批准。
- 展示区间和证据,而不是虚假的精确,并用矩阵来开启交流。
- 使给出红色评级成为安全的事,并从损失和险情中学习。
参考文献与延伸阅读
- ISO 31000, Risk management: Guidelines, International Organization for Standardization.
- Committee of Sponsoring Organizations of the Treadway Commission, Enterprise Risk Management: Integrating with Strategy and Performance, 2017.
- Hubbard, D. W., The Failure of Risk Management: Why It's Broken and How to Fix It, 2nd ed., Wiley, 2020.
- Cox, L. A., "What's wrong with risk matrices?" Risk Analysis, 28(2), 2008.
- Taleb, N. N., The Black Swan: The Impact of the Highly Improbable, Random House, 2007.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Risk management.
- Wikipedia, Risk register.
- Wikipedia, Internal control.
- Wikipedia, Key risk indicator.
- Wikipedia, Risk matrix.
- Wikipedia, Black swan theory.
- Wikipedia, Goodhart's law.