安全事件与漏洞度量
安全是持续交付和运行服务的一部分,所以要度量人们暴露多久、你遏制出错之事有多快,以及同事们愿意举手报告的程度,并且绝不把一次失误变成责备的理由。
概述与动因
每项服务都带有弱点,其中一些会被用来对付它。漏洞(vulnerability)是软件、硬件、配置或流程中的弱点,可被利用来损害系统的机密性、完整性或可用性。安全事件是这种损害发生或受到可信威胁的事件。这一领域的测量值试图回答两个问题。我们暴露到什么程度,以及我们发现、修复问题并从中恢复有多快?
敏捷和 DevOps 的传统把安全视为持续交付的一种属性,而不是其末端的一道关卡。DevSecOps通过把安全检查构建到流水线中,并在开发、安全和运维之间共担责任,扩展了 DevOps 的理念。ITIL 通过其信息安全管理实践,贡献了政策、基于风险的思维,以及与事件、变更和资产管理的联系。两者在日常工作中相遇:依赖项更新作为普通变更到来,漏洞发现成为带负责人的待办事项列表(backlog)项,事件以与其他任何事件相同的免责评审来处理(见主题 4.2,事后复盘与学习度量)。
安全测量值易受特定的扭曲。
- 统计发现数奖励不去查看。 扫描较少的团队发现较少。漏洞的原始计数可能因为扫描器失去了访问权限而下降,而不是因为任何东西得到了改善。
- 严重程度评分是输入,不是真理。 通用漏洞评分系统(Common Vulnerability Scoring System)(CVSS)对抽象的漏洞给出严重程度评分,而通用漏洞披露(Common Vulnerabilities and Exposures)(CVE)等登记机构给它们标识符。一个漏洞对你是否重要,取决于它在你的环境中是否可达、是否有利用代码正在使用,以及受影响资产的价值。单独使用原始的严重程度评分,会把精力送到错误的地方。
- 责备压制报告。 如果人们因点击链接或报告自己造成的事件而受到惩罚,报告就会停止,暴露在无人看见的情况下增长。心理安全是一种安全控制措施。
- 时间测量值隐藏尾部。 打补丁时间的中位数可能看起来很健康,而少数关键系统却暴露了数月。
本主题给出主要的测量值,附其定义、钻空子途径和护栏。它建立在前一部分的资产和配置记录之上,因为你无法为找不到的东西打补丁或扫描(见主题 7.1,IT 资产管理度量,以及主题 7.4,配置与 CMDB 质量度量)。一点告诫:这是一本度量指南,而不是安全手册。与合格的安全专业人员一起选择控制措施,并遵循适用于你的标准和法律义务,比如 ISO/IEC 27001 和国家机构的指南。
古德哈特定律的护栏对安全尤其适用。当度量变成目标时,人们会重新归类发现、把资产排除在扫描之外,并在没有修复原因的情况下关闭工单(见主题 1.2,古德哈特定律与度量的心理学)。
关键原则
- 既度量暴露时间,也度量计数。 一个弱点保持开放多久,比发现了多少个更重要。
- 依据语境排定优先级。 结合严重程度、可利用性、可达性和资产价值。
- 先检查覆盖。 来自漏掉一半环境的扫描的干净报告,是虚假的安慰。
- 把安全构建到流水线中。 使安全的选择成为容易的默认,并给出快速反馈。
- 跨学科协作。 安全、开发和运维共同拥有成果。
- 使报告安全。 对失误的免责处理,使信号持续流动。
- 汇总人的行为数据。 报告群体的模式,绝不点名或给个人排名。
度量定义
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| 暴露窗口 | 已知漏洞在范围内资产上保持开放的时间,按优先级段 | 从已知该漏洞适用于该资产之日起,到修复或被接受的缓解措施得到验证之日止的天数的中位数和第 85 百分位数 | 天 | 漏洞扫描器、工单系统、变更记录 | 信息安全管理;问题管理 | 待办事项列表中修复缺陷的时间 | 每周 |
| 补丁合规 | 满足其类别补丁政策窗口的范围内资产占比 | 在政策窗口内打了补丁的资产 / 期内需要补丁的范围内资产 | 百分比 | 终端和服务器管理工具、资产登记册 | 信息安全管理;发布与部署管理 | 在流水线中保持依赖项最新 | 每周 |
| 逾期的关键发现 | 超过其政策截止日期的关键级别发现的数量和年龄 | 超过截止日期的关键发现数;最老的一项的年龄 | 计数;天 | 漏洞管理系统 | 信息安全管理;风险管理 | 超过约定限度的安全缺陷 | 每周 |
| 扫描覆盖 | 在要求的间隔内被评估的范围内资产占比 | 在上一个间隔内成功扫描的资产 / 范围内的资产 | 百分比 | 与资产登记册相连的扫描器报告 | 信息安全管理;IT 资产管理 | 每次构建都运行的流水线检查 | 每周 |
| 遏制时间 | 从检测到已确认的安全事件到遏制的时间 | 从检测到遏制的小时数的中位数和第 85 百分位数 | 小时 | 事件记录 | 事件管理;信息安全管理 | 故障之后恢复服务的时间 | 每起事件,每月评审 |
| 风险例外的年龄 | 被接受风险的例外的年龄,以及超过其评审日期的占比 | 自批准以来的天数;超过评审日期的例外 / 未关闭的例外 | 天;百分比 | 例外登记册 | 风险管理;信息安全管理 | 技术债评审 | 每月 |
| 安全报告率 | 员工报告的可疑事件相对于已确认的安全事件的占比,作为报告文化的指标 | 期内员工的报告 / 期内已确认的可疑事件,附群体层面的趋势 | 比率 | 安全邮箱、事件记录 | 信息安全管理;事件管理 | 公开提出障碍 | 每月 |
在登记册中说明优先级段和政策窗口。暴露窗口从已知该漏洞适用于该资产时开始,即披露与已知该资产运行受影响组件的时间中较晚的一个,并在得到验证的修复,或有文档记录的、有时限的缓解措施时停止。遏制时间从检测时开始,而不是从没人读过的第一个告警开始。只在评审之后,才排除测试发现和误报。安全报告率描述群体和趋势,绝不描述个人。
建议
了解你的环境和你的暴露
1. 从资产和依赖记录开始。 扫描、打补丁和归属都取决于知道什么存在。把每项发现与资产、负责人和服务相联,并对照登记册度量扫描覆盖。凡覆盖较低之处,先修复它,再阅读发现。未被扫描的资产是未知数,比已知的弱点更糟。
2. 先减少攻击面(attack surface)。 移除不需要的东西:未使用的服务、开放的端口、旧账户、被遗忘的环境。你淘汰的每一样东西,都是你不必再打补丁的。把面向互联网的服务计数和休眠账户计数作为简单的指标来跟踪,并与负责人一起评审。
3. 把你的软件供应链包括在内。 现代服务依赖许多组件。软件供应链(software supply chain)包括库、构建工具、容器镜像,以及它们背后的供应商。使用前面所述的软件物料清单,找出有漏洞的组件在哪里被使用(见主题 7.2,软件资产与许可度量),并把依赖项发现与基础设施发现纳入同样的测量值。
排定优先级并修复
4. 依据语境排序,而不仅仅依据严重程度评分。 把 CVSS 严重程度与是否已知有利用代码在使用、有漏洞的组件是否可达,以及资产的重要性结合起来。已知被利用的漏洞的公开清单,有助于判断第一个因素。写下排序规则,评审它们,并在高严重程度的项被降低优先级时记录理由。
5. 按段设定政策窗口,并对照它们报告。 对每个优先级段,商定修复或缓解的目标时间。报告窗口内的占比、暴露的中位数和第 85 百分位数,以及最老的未关闭项。窗口是用于交流的目标,而最老的项值得关注,因为它们显示流程在哪里失败(见主题 1.6,服务度量的统计素养)。
6. 把打补丁视为普通而频繁的变更。 最安全的补丁流程,是经常运行且乏味的那种。小而频繁的更新,比大而罕见的更易于测试和回退,自动化流水线可以持续应用它们。使用变更赋能的方法进行基于风险的批准,并为紧急修复保留一条应急路径(见主题 4.3,变更赋能度量)。
7. 使例外可见且短命。 有时修复是不可能的。记录例外,附理由、补偿性控制措施、负责人和评审日期,并报告例外的年龄。没有评审日期的例外会变成永久的,而永久的例外会变成真正的风险登记册。
响应并学习
8. 演练事件响应。 计算机安全事件管理(computer security incident management)涵盖准备、检测、遏制、根除、恢复和经验教训。用演习排练,记录从检测起算的遏制时间,并以免责的方式评审每起重大事件。安全事件处理的结构,与重大事件处理的结构相似(见主题 3.4,重大事件度量)。
9. 度量遏制,而不仅仅是检测。 检测工具产生告警,价值在于接下来发生什么。跟踪已确认的事件需要多久才被遏制和恢复,以及有多少占比是由你自己的监控发现的,而不是由外人报告的。由内部检测到的事件占比上升,是可见性改善的迹象。
10. 从险情中学习。 被报告并被拦截的钓鱼邮件,或在攻击者之前被同事发现的漏洞,是免费的一课。像对待事件一样记录并评审这些,并感谢报告者。安全报告率是该文化的健康指标,它应当随着信任而上升。
构建文化和流水线
11. 把检查放在开发人员工作的地方。 在构建中运行依赖项和静态分析,在拉取请求中给出反馈,并且只对团队认定为阻断项的问题使构建失败。快速、相关的反馈会得到修复。大量低价值的发现会被忽略。跟踪流水线发现的修复时间,并与团队一起调整规则(见主题 2.7,拉取请求与代码评审度量)。
12. 培训和测试,而不羞辱人。 模拟钓鱼之类的意识演练可以培养技能,但当结果被用来点名或惩处个人时,它们也会损害信任。只报告汇总的结果,聚焦于有多少人报告可疑邮件,并解释目的。如果某项演练使员工感到被骗,就改变它。
钻空子途径与护栏
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| 暴露窗口 | 在没有验证的情况下关闭发现;更改起始日期;重新归类严重程度 | 由修复团队之外的人执行验证步骤;登记册中的起始日期规则;严重程度变更日志 |
| 补丁合规 | 把难以打补丁的资产排除在范围之外;在系统未重启时就把补丁算作已应用 | 记录范围变更;根据资产而不是工单验证已安装的版本 |
| 逾期的关键发现 | 拆分发现或合并发现;降低严重程度 | 按唯一漏洞和资产计数;评审所有严重程度变更 |
| 扫描覆盖 | 扫描范围更窄;把认证失败的扫描算作扫描 | 对照资产登记册的覆盖;扫描质量(已认证、完整) |
| 遏制时间 | 把时钟启动得更晚;过早宣布遏制 | 时钟从第一个检测信号开始;用证据验证遏制 |
| 风险例外的年龄 | 自动续期例外;拆分例外以降低年龄 | 评审附理由的例外续期;对没有新证据的续期设上限 |
| 安全报告率 | 鼓励低价值的报告;为改善其他数字而阻止报告 | 报告的质量;阅读评论;调查人们是否感到报告是安全的 |
健康的读数是:高扫描覆盖、又短又在缩小的暴露尾部、带评审日期的诚实例外、被迅速遏制且更多由内部发现的事件,以及无所畏惧地告诉你可疑事件的员工。
权衡:利与弊
| 方法 | 优势 | 劣势 |
|---|---|---|
| 仅按严重程度评分排定优先级 | 简单、一致 | 忽略语境;把精力送到错误的地方 |
| 基于语境的优先级排定 | 聚焦于真正的风险 | 需要数据和判断 |
| 固定的补丁窗口 | 期望清晰 | 可能迫使有风险的仓促变更 |
| 基于风险的窗口 | 适应情况 | 更难审计 |
| 频繁的自动打补丁 | 变更小、暴露少 | 需要良好的测试和回退 |
| 罕见的大型补丁周期 | 熟悉 | 暴露更久,每次变更的风险更大 |
| 钓鱼模拟 | 培养意识 | 若被误用,会侵蚀信任 |
| 聚焦于报告文化 | 及早暴露问题 | 难以直接度量 |
答案是依据语境排序,以小步、带良好回退地频繁打补丁,记录带截止日期的例外,并把报告文化作为一种控制措施来投资。
与团队讨论的问题
1. 我们的扫描实际上看到我们环境的多少? 把被扫描的资产与资产登记册相比较。问缺了什么以及原因。引导者应当寻找系统性未被扫描的类别,比如容器、远程设备或第三方系统。商定本季度弥合一个缺口。
2. 我们最老的未关闭关键发现是什么?为什么它仍然开放? 看尾部,而不是平均值。追溯最老的几项:谁拥有它们、什么阻碍它们,以及补偿性控制措施是什么。引导者应当问例外是否已记录。商定由谁来解除最老一项的阻碍。
3. 一项安全修复上一次造成中断是什么时候?之后有什么变化? 回想一个例子。原因是仓促的修复,还是缺失的测试?讨论如何使打补丁成为例行且安全的。把答案与变更和发布实践相联。
4. 如果一位同事今天报告了一封可疑邮件,他们会遇到什么? 描述从报告到响应的真实路径,包括报告者如何被感谢。问是否有人因报告或因点击而感到难堪。这场交流关乎信任。商定一项使报告更容易或更安全的小变更。
5. 我们的哪些安全数字可能在我们变得不那么安全的同时上升? 列出这些测量值,想想每一项如何通过收窄范围或重新标注而得到改善。为每一项指定一道护栏。这项练习为下一次评审构建登记册条目。
6. 我们能多快遏制已确认的事件?我们如何知道? 评审最近两起事件,追溯从检测到遏制。记下延迟。问我们做过什么演练。商定在下一次评审之前进行一次。
四种视角
产品与交付团队
交付团队作出大部分修复,也引入许多弱点。他们应当把保持依赖项最新作为正常流程的一部分,把安全发现视为带负责人和日期的待办事项列表项,并使用给出快速、相关反馈的流水线检查。他们需要清晰的优先事项和采取行动的时间,并且应当能自由地提出顾虑。
服务与运维团队
运维团队运行扫描器、应用补丁并响应事件。他们应当使资产链接保持最新,诚实地报告覆盖,并处理带截止日期的例外。他们还需要受保护的时间来演练事件响应,以及在发生失误时免责的文化。
领导层与治理
领导者设定风险偏好,并决定安全是作为持续的活动还是作为项目来出资。他们应当索要暴露窗口和最老的未关闭项,而不是总数,保护报告文化,并接受当可见性改善时数字会上升。治理应当要求为例外和事件学习提供证据。
客户与用户
用户既是受益者,也是一道防线。他们想要保护其数据的服务,也想要清晰、公平的指导。当事件影响他们时,应当迅速告知,当他们报告问题时应受到尊重,并且应当提供不会使其工作超出必要地更困难的安全措施(见主题 6.4,用户与员工体验)。
实践:一个服务管理示例
一家区域信用合作社运行着网上银行、移动应用和网点系统,有一个小型工程团队和一项外包的安全运营服务。下面的数字均为示意。
董事会要求一份安全仪表盘。安全分析师的第一稿显示有 4,200 个未关闭的漏洞,且在下降,补丁合规为 96%。工程主管询问扫描覆盖。把扫描器的输出与资产登记册相连,分析师发现,31% 的服务器和几乎所有容器在过去 30 天内未被扫描,因为扫描器在一次迁移之后失去了凭据。在被扫描的资产中,关键漏洞的暴露窗口中位数为 9 天,第 85 百分位数为 41 天。最老的关键发现已有 212 天,位于一个遗留系统上,其例外已在四个月前过期。96% 的补丁合规,只依据补丁工具所报告的资产计算。
团队与工程和运维一起作出四项变更。扫描覆盖成为仪表盘的第一行,目标是达到对登记册的完整覆盖,扫描认证被修复并受到监控。优先级排定在严重程度评分之外加入利用状态和资产重要性,使 4,200 项发现缩减为约 60 项现在重要的简短清单。依赖项更新作为频繁的小变更进入流水线,附自动化测试。例外获得负责人、补偿性控制措施和评审日期,过期的那一项由风险委员会评审。安全分析师还改变了模拟钓鱼结果的报告方式:只显示群体层面的报告率,分析师亲自感谢报告的同事。
两个月后,扫描覆盖为 97%,关键项的第 85 百分位数暴露窗口为 14 天,最老的关键发现是一个已缓解的例外,距其评审还有 60 天。一位网点员工在几分钟内报告了一封可疑的付款请求邮件,该事件在两小时内被遏制。董事会要求到年底把未关闭漏洞数减半。工程主管建议改为报告暴露窗口和逾期的关键发现,并解释说,计数可以通过少扫描而下降。该决定被记录下来,董事会同意在下次会议上评审新的测量值。
敏捷、AI、自动化与分析
敏捷
把安全视为持续交付的一部分,修复通过与其他变更相同的流水线和评审流动。需要注意的是,针对漏洞计数的目标会鼓励重新归类。
AI
AI 带来提示注入和数据泄露之类的新风险,而 AI 工具可以帮助对发现分诊。跟踪涉及 AI 系统的事件,以及由人确认的 AI 分诊发现的占比。需要注意的是,驳回真实发现的 AI 会给出虚假的保证。
自动化
在安全的情况下自动化扫描和打补丁,并度量扫描覆盖和失败的补丁。需要注意的是,自动打补丁可能破坏服务,所以要使用分阶段推出和回退。
分析
连同计数,按严重程度把暴露窗口作为分布来报告。这为之提供依据的决定是先在哪里削减暴露。需要注意的是,漏洞评分是输入,而不是结果,所以要把它们与可利用性和资产重要性结合起来。
行业视角
初创公司。 通常没有专门的安全团队,所以把基础构建到流水线中:依赖项更新、密钥扫描、多因素认证和最小权限。针对一份简短的关键系统清单跟踪暴露窗口,并制定简单的事件计划。克制在了解你的环境之前购买大型工具集的冲动。
小型企业。 外包服务和云工具承载了大部分风险。保存清单,到处开启多因素认证,使系统自动保持更新,并知道在事件中该给谁打电话。度量补丁合规和恢复备份的时间。避免羞辱报告失误的员工。
大型企业。 规模需要跨众多团队和工具的一致数据。集中定义优先级段和窗口,让团队拥有自己的发现,按业务服务报告暴露,并定期进行演习。与供应商的安全团队协调,并测试交接。
政府与公共部门。 行业往往面临针对特定漏洞的、带截止日期的强制性指令、正式的事件报告职责和审计要求。把这些视为设计输入:跟踪对指令截止日期的合规,保留证据,并在要求时报告事件,同时保护个人隐私(见主题 8.5,受监管与政府报告)。
业务论证:动因、投资回报与总拥有成本
成本是可能已经拥有的扫描和监控工具、维护资产链接的时间、修复发现和更新依赖项的工程时间、事件响应的准备和演习,以及培训。流水线检查需要设置时间和一些构建时间。外包监控有服务费用。
回报是事件更低的可能性和更低的影响、更短的暴露,以及更少仓促的紧急变更。这些收益是真实的,也难以量化,因为没有发生的事件不留记录。避免引用行业平均的数据泄露成本或事件频率,除非你能追溯来源及其相关性。依据你自己的数据构建论证:暴露窗口的趋势、由延迟打补丁引起的紧急变更数量、自动化所消除的手工打补丁工作所花的时间,以及你过往事件的成本,包括员工时间和客户影响。如关于业务论证的前面主题所建议的,以具体情景来描述风险降低(见主题 7.7,投资回报与业务论证)。
反模式与陷阱
- 报告漏洞的计数。 当扫描漏掉东西时,计数会下降。报告暴露窗口、逾期项和覆盖。
- 仅按严重程度评分排定优先级。 它忽略可达性和利用。加入语境。
- 把扫描当作真相。 对照资产登记册检查覆盖和扫描质量。
- 永久的例外。 它们变成隐藏的风险。给每个例外一名负责人和一个评审日期。
- 因失误而羞辱人。 报告会停止。使用免责评审并汇总结果。
- 把安全作为末端的关卡。 它拖慢交付并招致变通办法。把检查构建到流水线中。
- 大爆炸式的补丁周期。 它们既有风险又缓慢。以小变更频繁地打补丁。
- 忽略供应商。 他们的弱点就是你的。跟踪供应商的安全义务和事件。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 可见性 | 偶尔扫描一些系统 | 定期扫描主要系统 | 对照资产登记册跟踪扫描覆盖;发现与负责人相联 | 管理并分析覆盖、暴露窗口和例外的趋势 | 跨团队和供应商的共享视图,包括依赖项 |
| 优先级与修复 | 按最响亮的请求修复 | 基于严重程度的清单 | 基于语境的排序;按段的政策窗口;频繁的小补丁 | 评审窗口和尾部;与团队一起调整流水线检查 | 在人的监督下的自动化、基于风险的修复 |
| 响应与文化 | 临时响应;责备 | 基本计划,很少测试 | 经过演练的计划;免责评审;重视报告 | 管理遏制时间和内部检测率;度量报告文化 | 与供应商和客户的联合演习;广泛分享学习 |
检查清单
- 对照资产登记册度量扫描覆盖。
- 发现与资产、负责人和服务相联。
- 优先级段结合严重程度、利用、可达性和资产重要性。
- 商定按段的政策窗口,并报告暴露窗口和最老的未关闭项。
- 每次构建都运行依赖项和流水线检查,附约定的阻断项。
- 打补丁作为频繁、小型、经过测试的变更运行,并有应急路径。
- 例外有负责人、补偿性控制措施和评审日期。
- 演练事件响应,并从检测起度量遏制时间。
- 人的行为数据只以汇总的形式报告,并感谢报告。
- 跟踪供应商的安全义务和事件。
AI 提示词
评审漏洞优先级排定规则。
我们目前排定漏洞优先级的规则是:[描述]。我们的数据字段包括:[清单,例如严重程度评分、利用状态、资产重要性、互联网暴露]。请评审该规则的盲区和可能被钻空子的方式,并提出一个带清晰分段和政策窗口的、基于语境的排序。不要把具体数字表述为行业标准。请列出你的假设,以及安全专家应当确认的事项。
检查扫描覆盖。
这是我们按类别划分的资产登记册摘要,以及我们的扫描器在上一个 [间隔] 内看到的资产:[粘贴计数或已脱敏的清单]。请找出覆盖较低的类别、缺口可能的原因,以及确认每个原因的最快检查。建议如何报告覆盖,使失败或部分的扫描看起来不像成功。请列出你的假设。
规划桌面推演。
请为 [组织类型] 针对这一场景设计一次 90 分钟的桌面推演:[描述,例如被攻破的供应商凭据]。包括角色、情景注入的时间线、要促使作出的决定、要记录什么(包括检测和遏制的时间),以及免责复盘的问题。不要包含真实的姓名或系统。请列出你的假设,以及要依据我们的背景调整的内容。
为被报告的失误撰写免责的信息。
一位同事报告说他们 [描述,例如点击了钓鱼邮件中的链接]。请起草一份来自安全团队的简短而友善的回复,感谢他们,说明我们将做什么,并询问我们需要的细节。然后起草一份给每周更新的汇总说明,在不点名任何人的情况下分享这一教训。请列出你的假设,以及我应当评审的任何语气选择。
AI 技能
- Service Management Metrics skill:用于查找安全或漏洞度量所配对的护栏。
- Service Management Metrics maintainer skill:用于检查安全度量条目是否带有其钻空子途径、护栏和隐私规则。
要点
- 度量暴露时间、最老的未关闭项和扫描覆盖,而不是发现的原始计数。
- 依据语境排定优先级:严重程度、利用、可达性和资产重要性。
- 以小而经过测试的变更频繁地打补丁,并给每个例外一名负责人和一个评审日期。
- 迅速遏制事件,免责地学习,并跟踪内部检测。
- 把报告文化视为一种控制措施:感谢报告的人,绝不给个人排名。
- 把安全检查构建到流水线中,使安全的选择成为容易的选择。
参考文献与延伸阅读
- National Institute of Standards and Technology, Guide to Enterprise Patch Management Planning: Preventive Maintenance for Technology, NIST Special Publication 800-40 Revision 4, 2022.
- National Institute of Standards and Technology, Computer Security Incident Handling Guide, NIST Special Publication 800-61 (latest revision).
- Forum of Incident Response and Security Teams, Common Vulnerability Scoring System, specification (latest version), https://www.first.org/cvss/.
- Cybersecurity and Infrastructure Security Agency, Known Exploited Vulnerabilities Catalog, https://www.cisa.gov/known-exploited-vulnerabilities-catalog.
- ISO/IEC 27001, Information security, cybersecurity and privacy protection: Information security management systems: Requirements, International Organization for Standardization.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Vulnerability (computing).
- Wikipedia, DevSecOps.
- Wikipedia, Common Vulnerability Scoring System.
- Wikipedia, Common Vulnerabilities and Exposures.
- Wikipedia, Goodhart's law.
- Wikipedia, Attack surface.
- Wikipedia, Software supply chain.
- Wikipedia, Computer security incident management.