概述与动因

对服务的每一项变更都带有风险,不去动它也是如此。风险管理(risk management)是对风险的识别、评估和优先级排定,随后是协调一致的行动,以降低、接受、转移或规避它们。ITIL 把风险视为贯穿每项实践的一条线索:变更赋能决定一项变更需要多少审视,服务连续性针对中断做规划,信息安全防范威胁。敏捷和 DevOps 的工作方式以不同的方式降低风险。持续交付的小变更,配以快速反馈和回退的能力,使每项变更更不危险,并使问题更早可见。

两种视角在测量值中相遇。持续交付的团队仍然需要了解其主要风险、谁拥有它们,以及它所依赖的控制措施是否有效。坚持繁重审批的风险职能,仍然需要证据表明其控制措施减少了伤害,而不只是拖慢人们。本主题给出两者的测量值,并建立在相邻的安全和审计主题所描述的实践之上(见主题 8.1,安全事件与漏洞度量,以及主题 8.3,合规与审计度量)。

有四个术语反复出现。

  • 风险(risk): 一个不确定的事件或状况,如果发生,会影响目标。它有原因、事件和后果,以及通常是估计出来而不是已知的可能性和影响。
  • 风险登记册(risk register): 附负责人、评级和应对措施的已识别风险清单。当风险登记册是最新且被阅读的时,它是工作工具,当它不是时,它是合规的制品。
  • 控制措施(control): 降低风险的行动或机制,比如评审、自动化测试、批准、职责分离或监控告警。一个组织所依赖的这套控制措施,是它的内部控制(internal control)体系。
  • 关键风险指标(key risk indicator,KRI): 在损失发生之前,预示风险水平变化的测量值。关键风险指标在它领先于某个事件、并且有人据此行动时才有用。

风险量化有众所周知的弱点。风险矩阵(risk matrix)把可能性与影响绘制在有彩色单元格的网格上,被广泛使用,也被广泛批评:评级是主观的,不同的风险可能因不同原因落入同一个单元格,而把序数评分相乘的算术没有坚实的基础。有时以黑天鹅理论(black swan theory)来描述的罕见而严重的事件,尤其难以评级。诚实的回应是把矩阵用作交流的辅助手段,展示区间,并以关于控制措施和事件的证据支持它。三道防线的框架,把拥有风险的团队、监督风险的团队和独立保证分开,为角色提供了一种结构,并且当第一道防线,即交付和运维团队,真正拥有其风险时,它的效果最好。

古德哈特定律的护栏以特定的方式适用于风险报告。当红色评级带来审视时,人们就把风险评为琥珀色。当关闭的风险是成功时,人们就在没有处理风险的情况下关闭它们(见主题 1.2,古德哈特定律与度量的心理学)。

关键原则

  • 让登记册保持简短而最新。 少数几个有很好负责人并被评审的风险,胜过数百个没有的。
  • 让第一道防线拥有其风险。 最接近工作的人最了解它。
  • 测试你所依赖的控制措施。 从未被测试过的控制措施是一种希望。
  • 倾向于有人据以行动的领先指标。 没有响应计划的指标只是装饰。
  • 展示区间和证据,而不是虚假的精确。 评级是估计。
  • 通过使变更小而可逆来降低风险。 带快速回退的持续交付是一种控制措施。
  • 不带责备地谈论风险。 诚实的报告是整个实践的原材料。

度量定义

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏
风险评审时效 在约定间隔内被其负责人评审的未关闭风险占比 在间隔内评审过的风险 / 未关闭的风险 百分比 风险登记册的评审日期 风险管理;持续改进 在规划和评审交流中评审风险 每月
负责人覆盖 有指名的、现任的、并已接受归属的负责人的未关闭风险占比 有已确认的现任负责人的风险 / 未关闭的风险 百分比 与人员目录相连的风险登记册 风险管理 待办事项列表(backlog)上由团队拥有的风险 每月
控制测试覆盖 在要求的周期内,被测试运行情况的关键控制措施占比 在周期内被测试的关键控制措施 / 关键控制措施 百分比 控制登记册和测试记录 风险管理;信息安全管理 流水线中的自动化检查 每季度
控制有效率 被测试的控制措施中,发现按设计运行的占比 发现有效的控制措施 / 被测试的控制措施 百分比 测试结果 风险管理;持续改进 因正确的原因而通过的自动化测试 每季度
KRI 违规响应时间 从关键风险指标越过其阈值到有记录的决定的时间 从违规到决定的小时数或天数的中位数和第 85 百分位数 小时或天 KRI 监控和决定日志 风险管理;监控与事件管理 对生产信号的反应 每月
处理计划及时性 在其承诺日期之前完成的风险处理占比 按日期完成的处理 / 期内到期的处理 百分比 风险登记册和行动跟踪器 风险管理;持续改进 已交付的改进行动 每季度
基于风险的变更占比 通过基于风险的路径批准、并附有控制措施证据的变更占比 通过基于风险的路径并附必需证据而被批准的变更 / 期内的变更 百分比 变更记录 变更赋能;风险管理 带自动化检查持续交付的变更 每月

在登记册中定义评审间隔和关键控制措施清单。只有当测试检查的是运行的证据,而不仅仅是设计时,控制措施才算“已测试”。KRI 时钟在指标越过其阈值时开始,依监控系统所记录,在书面记录的决定时停止,该决定可以是行动、接受,或更改阈值。只有在有记录的关闭决定之后,才把正在被淘汰的风险从分母中排除。

建议

保持风险交流鲜活

1. 保持登记册简短,并以标准形式撰写每项风险。 使用这种形式的句子:“由于 [原因],[事件] 可能发生,导致 [后果]。”把登记册限于会改变某项决定或计划的风险。合并重复项,拆分含糊的,淘汰已经过去的风险。几十个人们讨论的风险,比没人阅读的一千个更有价值。

2. 把每项风险指派给能采取行动的负责人。 负责人是对应对措施有权限的人,通常在交付或运维团队中,而不是风险职能部门。与本人确认归属,并在人们更换角色时评审。负责人覆盖度量这一点,无人负责的风险是一项发现。

3. 在已经发生的交流中评审风险。 在规划、评审和事件评审中提出最重要的风险,而不是另设一场会议。敏捷关于定期反思如何变得更有成效的习惯,是“接下来什么会伤害我们?”这个问题的自然归宿。把结果记录在登记册中。

4. 把评级与证据和区间配对。 对每项重要的风险,记录是什么使你认为它很可能或很严重:事件、险情、测试结果、供应商历史。在可能时给出可能性和影响的区间,并说明你有多不确定。不要把序数评分合并为单一数字并把它当作测量值。如果你使用矩阵,就用它来开启讨论(见主题 1.6,服务度量的统计素养)。

测试控制措施

5. 指出关键控制措施以及每一个的用途。 对每项主要风险,列出你所依赖的少数几个控制措施,以及每一个的失效会是什么样子。列出数百项次要活动的控制登记册,会隐藏重要的那些。包括流水线中的自动化控制措施,比如测试、政策检查和批准关口。

6. 测试运行,而不仅仅是设计。 设计评审问的是,如果被运行,该控制措施是否会起作用。运行测试问的是,它在该期间是否被运行并且有效,通过检查证据样本来回答。依据与风险相匹配的周期规划测试,记录结果,并跟进失败。在可能之处,将证据自动化,使测试持续进行。

7. 把控制措施的失败视为信息。 失败的测试表明控制体系在起作用。记录失败,问为什么,并修复原因。控制有效率应当与跟进一起阅读:迅速被发现并修复的失败,比来自薄弱测试的完美比率更健康。

8. 在有增值之处使用独立保证。 内部审计或独立评审者可以测试第一道防线所拥有、第二道防线所监督的控制措施。独立性防止给自己的工作打分。进行协调,使团队不会因同一件事被三个小组测试。

善用指标和决定

9. 为每项主要风险选择少数几个领先指标。 关键风险指标应当测量起来廉价,与某个原因相联,并与阈值和应对措施配对。例如,最老的关键漏洞的年龄预示安全风险,需要紧急处理的变更占比预示变更风险。定义谁看这个指标,以及他们在阈值处将做什么(见主题 8.1,安全事件与漏洞度量)。

10. 在每次违规时记录决定。 当指标越过阈值时,有人作出决定:行动、接受,或调整阈值。写下决定和理由。这建立起一份历史,显示阈值是否设定得当、响应是否及时。

11. 使基于风险的批准成为变更的默认。 在持续交付的环境中,用基于风险的路径取代一刀切的审批委员会:对低风险的标准变更用自动化检查和同行评审,对少数高风险变更用更全面的评审(见主题 4.3,变更赋能度量)。附上控制措施已运行的证据。这同时降低风险和延迟,因为附自动化证据的小变更,比附一个签名的大变更更安全。

12. 从损失和险情中学习。 在事件和险情之后,更新登记册:风险是否存在、评级是否得当、控制措施是否有效?用答案改进两者。事件与登记册之间的这一闭环,使登记册保持诚实(见主题 4.2,事后复盘与学习度量)。

钻空子途径与护栏

度量 如何被钻空子 配对的护栏度量或实践
风险评审时效 在没有讨论的情况下把风险标为已评审;更改间隔 抽样检查评审的实质内容;登记册中固定的间隔
负责人覆盖 在当事人不知情时指派负责人;指名没有权限的资深人员 负责人确认;检查负责人是否能对应对措施采取行动
控制测试覆盖 测试容易的控制措施;把设计评审算作运行测试 由第二方固定关键控制措施清单;记录测试类型
控制有效率 测试小样本;选择能通过的样本 样本方法独立于负责人;记录样本量
KRI 违规响应时间 在违规之后更改阈值;记录一个没有内容的决定 阈值变更日志;决定内容抽样
处理计划及时性 设定容易的日期;重新定义完成 日期在批准时与负责人商定;检查风险评级是否变动
基于风险的变更占比 把变更归类为低风险以避免评审;附上并非由控制措施产生的证据 对照规则抽样检查分类;来自流水线的自动化证据

健康的读数是:人们会争论的简短登记册、了解其风险的负责人、发现并修复了一些失败的被测试的控制措施、引导真实决定的指标,以及对小变更更少的繁重批准。

权衡:利与弊

方法 优势 劣势
风险矩阵 快速、直观、交流的起点 主观;虚假的精确;序数算术
量化的区间 对不确定性更诚实 需要数据和技能;费力
繁重的审批委员会 控制可见 缓慢;鼓励把变更成批处理
基于风险的自动化检查 快速而一致 需要工程工作;自动化检查可能有误
由中央风险职能拥有风险 一致 远离工作;负责人不投入
第一道防线拥有 有知识和问责 质量参差不齐;需要监督
定期的控制测试 对稳定的控制措施有效率 错过两次测试之间的漂移
持续的控制监控 证据及时 工具的工作量;噪声

答案是把所有权放在团队,应用轻量的中央监督和独立测试,在可能之处自动化证据,并把评级用作交流的提示。

与团队讨论的问题

1. 未来一年最可能伤害这项服务的三个风险是什么?各由谁拥有? 请每位成员私下写下三项风险,然后比较。重叠和差异都有信息量。引导者应当记录谁会对每项风险采取行动。商定前三名并确认负责人。

2. 我们最依赖哪项控制措施?我们上一次检查它有效是什么时候? 挑选一项控制措施,比如代码评审规则、备份或批准步骤。追溯上一次检查其运行证据的时间。如果没人知道,就规划一次测试。这场交流显示设计与运行之间的差别。

3. 什么会使我们把评级从琥珀色改为红色?谁会注意到? 讨论指标和阈值。问团队是否曾为避免关注而下调评级,以及是什么压力造成的。商定什么证据能证明变更的合理性,以及如何使说出“红色”成为一件安全的事。

4. 哪些批准拖慢了我们的变更,却没有降低风险? 列出一项典型变更所需要的批准,并对每一个问它针对什么风险,以及它是否曾经阻止过一项变更。提议用自动化检查取代其中一个。商定什么证据会显示该变更是安全的。

5. 当某项控制措施失败时,我们是如何发现的?我们做了什么? 回想一次近期的失败。它是通过测试、事件还是审计员发现的?讨论更强的闭环是什么样子。包括发现它的人是如何被对待的。

6. 我们接受了哪些风险?我们何时评审这一决定? 列出被接受的风险和评审日期。检查每一项都有负责人和理由。没有评审日期的被接受风险,是没人在看的风险。

四种视角

产品与交付团队

交付团队拥有大部分运营风险。他们应当保存一份自己的风险简短清单,在规划和评审中讨论它们,并把控制措施构建到流水线中,使证据是自动的。他们从让低风险变更得以流动的基于风险的变更路径中受益,并且应当诚实地说明什么可能出错。

服务与运维团队

运维团队运行控制措施:备份、监控、访问评审和恢复测试。他们应当保留运行的证据,按固定周期测试控制措施,并及早提出指标违规。他们承担繁重控制措施的代价,应当说出哪些增加的价值很少。

领导层与治理

领导者设定风险偏好,并决定可接受多少摩擦。他们应当索要附负责人和证据的最重要风险的简短清单,欢迎红色评级,为控制测试出资,并支持独立保证。治理应当检查登记册是否反映了事件和险情,并且不应奖励看起来整齐的报告。

客户与用户

用户承受已经发生的风险的后果,而且往往比登记册更早知道它们。他们应当有办法提出顾虑,并在保密的限度内被告知影响他们的风险。他们对事件和变更的体验,是风险评审的证据。

实践:一个服务管理示例

一家全国性能源公用事业公司的数字化团队运行着客户计费、一款移动应用,以及与电网运营的集成。下面的数字均为示意。

该团队的风险登记册有 340 个条目,上次清理是在三年前。风险评审时效为 22%,61 项风险的负责人已经离职。矩阵显示有 85 项红色风险,而没有人阅读报告。新任的服务保证主管提议重置。她与交付团队一起把登记册削减到会改变某项决定的风险,最终为 38 项。她把每一项指派给能采取行动的团队中指名的负责人,他们予以确认。她选择 12 项关键控制措施,并对每一项测试运行情况,而不是评审设计。五项失败:两次备份恢复从未被测试过,一次访问评审被跳过,两项变更批准在没有测试证据的情况下被签署。

团队修复了这些失败,并用基于风险的路径取代标准变更的变更批准委员会。自动化测试和同行评审是控制措施,流水线把证据附到变更记录上。每项主要风险获得一两个带阈值和应对措施的领先指标。对于计费长时间中断的风险,指标是最老的关键漏洞的年龄,以及该季度失败的备份恢复次数。第一个季度显示,负责人确认了全部 38 项风险,评审时效为 91%,控制有效率首次测试时为 12 项中的 7 项,修复之后为 12 项中的 12 项,KRI 违规响应时间的中位数为 2 天。通过基于风险的路径的变更占比为 64%。

首席风险官要求红色风险的数量在一年内减半。服务保证主管提议跟踪处理计划及时性和控制有效率,并解释说,红色风险的计数可以通过重新评级而下降,她宁愿看到诚实的红色评级。该决定被记录下来,下个季度的报告包括每次下调背后的抽样决定。

敏捷、AI、自动化与分析

敏捷

通过与干系人的定期交流,而不是年度评审,使风险登记册保持鲜活。需要注意的是,评分数字会使不确定性看起来整齐。

AI

AI 系统需要在风险登记册中有条目,附负责人、一个人工评审点和评审日期。通过测试来度量 AI 监督的控制有效率。需要注意的是,一项说由人评审输出的政策,在有人测试之前不算控制措施。

自动化

在可以被测试之处自动化控制检查,并就失败和被跳过的检查来度量自动化。需要注意的是,通过的自动化控制措施,可能测试的是错误的东西。

分析

连同样本量一起报告控制测试覆盖和有效率。这为之提供依据的决定是加强哪些控制措施。需要注意的是,小样本和主观评分限制了精度,所以要说明这一点。

行业视角

初创公司。 风险主要在于资金耗尽、失去关键人员和重大中断。保存一份一页纸的前五项清单,每月评审,并测试备份和恢复。从一开始就把控制措施构建到流水线中,因为这比事后补救便宜。

小型企业。 少数几项风险占主导:对关键人员的依赖、单一供应商、勒索软件和数据丢失。保存一份带负责人的简短清单,测试恢复,并使保险和联系方式保持最新。克制繁重的框架,从中借用合适的部分。

大型企业。 规模要求通用的分类法、轻量的登记册工具,以及实践中的三道防线。让第一道防线拥有其风险,保持第二道防线小而作为顾问,并使独立测试有效率。避免在审计、风险和合规之间重复测试。

政府与公共部门。 风险管理往往是带标准框架、审计委员会和公共报告的正式职责。与所要求的框架保持一致,记录风险偏好声明,并保留证据。公共问责使诚实的红色评级更有价值,也更难(见主题 8.5,受监管与政府报告)。

业务论证:动因、投资回报与总拥有成本

成本是负责人评审风险的时间、定义关键控制措施并测试它们的工作量、登记册和指标监控的工具(如果尚不具备),以及独立保证的成本。自动化证据收集需要工程工作量,之后降低经常性成本。

回报是更少的意外、更快更轻的变更批准,以及更可信的保证。经过修剪的登记册和基于风险的变更路径,节省了大型审批机构所耗费的时间。在事件之前发现的失败的控制测试,防止难以定价的损失。依据你自己的数据构建论证:前后每项变更批准所花的时间、通过测试发现的控制失败数量与通过事件或审计员发现的数量,以及某项控制措施本可防止的过往事件的成本。避免引用没有可追溯来源和方法的行业损失统计。

反模式与陷阱

  • 永远增长的登记册。 没人阅读它。把它修剪到重要的风险。
  • 没有证据的评级。 它们是彩色的意见。附上证据和区间。
  • 只是名义上的负责人。 风险落在无法采取行动的人身上。与正确的人确认归属。
  • 测试设计却称之为保证。 本可以起作用的控制措施,可能并没有起作用。测试运行。
  • 只报告红色风险的计数。 计数通过重新评级而下降。查看处理和控制结果。
  • 对每项变更都设审批委员会。 它们拖慢小变更并教会成批处理。使用基于风险的路径。
  • 惩罚红色评级。 风险随后被隐藏。奖励早期预警。
  • 风险和交付各自为政的文化。 对团队做、而不是与团队一起做的风险工作,产生合规的戏剧。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
登记册与归属 冗长、陈旧的清单 登记册存在,部分有负责人 简短的登记册,附已确认的第一道防线负责人和评审日期 在团队交流中评审;附上证据和区间 风险在团队和供应商之间共享,有联合负责人
控制措施 被假定有效 记录了设计 指出关键控制措施;按周期做运行测试 跟进失败;在可能之处自动化证据 在人的监督和独立保证下的持续控制监控
决定与变更 由委员会批准 一些标准变更预先批准 附证据的基于风险的路径 带阈值和记录的决定的指标;依据结果调整路径 风险决定嵌入整个组织和供应链的流水线

检查清单

  • 登记册简短,风险以原因、事件和后果的形式撰写。
  • 每项风险都有能采取行动的、已确认的第一道防线负责人。
  • 风险在团队的定期交流中被评审。
  • 指出关键控制措施,并按所述周期测试其运行情况。
  • 记录、解释并修复控制措施的失败。
  • 每项主要风险都有一两个带阈值和应对措施的领先指标。
  • 记录指标违规时的决定。
  • 存在基于风险的变更路径,并在可能时自动附上证据。
  • 被接受的风险有负责人、理由和评审日期。
  • 事件和险情更新登记册。

AI 提示词

把风险改写为标准形式。

这是我们风险登记册中的 [数量] 个条目:[粘贴,已去除敏感细节]。请把每一个改写为“由于 [原因],[事件] 可能发生,导致 [后果]。”的形式。标出含糊的、重复的,或实际上是已经发生的问题的条目。建议哪些可以合并或淘汰。不要给它们评级。请列出你的假设,以及应与负责人确认的事项。

设计控制测试。

对于控制措施 [描述,例如针对计费系统的季度访问评审],请设计一次运行测试。包括要检查什么证据、如何无偏地选取样本、什么算通过或失败、如何记录结果,以及如何随时间自动化证据收集。不要假定特定的工具。请列出你的假设,以及测试设计中的风险。

为某项风险提出领先指标。

风险:[以原因、事件、后果的形式描述]。请提出最多三个测量起来廉价、并与原因相联的领先指标,附阈值违规时的建议应对措施,以及每个指标可能误导的方式。不要虚构阈值;描述我们应当如何依据自己的数据校准它们。请列出你的假设。

评审变更批准流程。

我们针对 [变更类型] 的变更批准流程是:[描述步骤、批准人和典型的延迟]。请找出增加延迟却没有降低风险的步骤,提出带自动化检查和证据的、基于风险的替代方案,并说明我们应当度量什么,以了解风险是上升还是下降。不要声称研究结果。请列出你的假设,以及需要领导层参与的决定。

AI 技能

要点

  • 让风险登记册保持简短,由能采取行动的团队拥有,并在已经存在的交流中评审。
  • 测试关键控制措施是否运行,把失败视为有用的信息,并自动化证据。
  • 使用少数几个带阈值、应对措施和记录的决定的领先指标。
  • 用附自动化证据的、基于风险的变更路径取代一刀切的批准。
  • 展示区间和证据,而不是虚假的精确,并用矩阵来开启交流。
  • 使给出红色评级成为安全的事,并从损失和险情中学习。

参考文献与延伸阅读

  1. ISO 31000, Risk management: Guidelines, International Organization for Standardization.
  2. Committee of Sponsoring Organizations of the Treadway Commission, Enterprise Risk Management: Integrating with Strategy and Performance, 2017.
  3. Hubbard, D. W., The Failure of Risk Management: Why It's Broken and How to Fix It, 2nd ed., Wiley, 2020.
  4. Cox, L. A., "What's wrong with risk matrices?" Risk Analysis, 28(2), 2008.
  5. Taleb, N. N., The Black Swan: The Impact of the Highly Improbable, Random House, 2007.
  6. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  7. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  8. Wikipedia, Risk management.
  9. Wikipedia, Risk register.
  10. Wikipedia, Internal control.
  11. Wikipedia, Key risk indicator.
  12. Wikipedia, Risk matrix.
  13. Wikipedia, Black swan theory.
  14. Wikipedia, Goodhart's law.