受监管与政府报告
强制性报告是需要围绕其设计的固定要求,所以要用你运行服务时所用的同样的记录来构建它,让报告视图与学习视图保持分开,并保护做这项工作的人,使其免受扭曲工作的目标之害。
概述与动因
许多组织必须就其服务作报告,无论它们是否愿意。监管者要求事件通知、可用性数字和控制措施的证据。政府要求机构公布绩效数据、支出和无障碍声明。资助者和监督机构要求对照承诺的成果。合同要求服务报告。在这些情形下,报告不是内部的管理选择。它是带有到期日、定义,有时还带有罚则的义务。
公共部门(public sector)有特殊的特点。对公民和民选机构的问责(accountability)是一项核心职责,通过审计、立法、信息自由法(freedom of information laws)和公布的结果来履行。开放政府(open government)和开放数据(open data)的做法,使信息可供审视和再利用。公共采购(public procurement)规则塑造可以买什么以及如何买,而记录管理(records management)的义务规定信息保存多久。物有所值(value for money)是对公共支出的常见检验,独立机构进行绩效审计(performance audit)来检查它。细节因国家、政府层级和行业而异,本主题描述的是度量实践,而不是法律要求。请与你的法务、合规和记录管理同事一起工作。
受监管的私营部门组织,比如金融、卫生、能源和电信领域的组织,具有其中许多特点。它们面临事件通知义务、弹性报告和监管评审。共同的线索是,交付团队之外的人定义什么必须被报告以及何时报告。
持续交付和 ITIL 实践都有可以贡献之处。敏捷关于与干系人持续协作的目标延伸到监督机构,它们是有合理需求的干系人,而就它们要求什么进行早期交流,可以防止返工。持续交付小而可工作的增量的敏捷习惯适合报告:由记录系统自动产生的报告,比每个季度手工汇编的更准确也更便宜。ITIL 的度量与报告实践及其服务级别管理,为定义什么被度量和分享提供词汇。
报告义务造成三种众所周知的危害。
- 被目标扭曲。 当被报告的数字带有后果时,工作就向数字弯曲。关于公共部门目标的文献,包括 John Seddon 关于公共部门系统思维的著作和 Jerry Muller 对度量迷恋的分析,描述了许多达成目标与服务公众相背离的案例。古德哈特定律的护栏完全适用(见主题 1.2,古德哈特定律与度量的心理学)。
- 两套数字。 一个数字的法定定义,往往与团队内部使用的不同。如果团队依据一个来管理、报告另一个,就没人信任任何一个。让两者都保持可见,对账,并解释差异。
- 报告作为负担。 手工的、重复的、不一致的请求消耗有技能的人。报告越是依赖英雄式的电子表格工作,错误和延迟就越多。
本主题建立在本部分的合规、风险和供应商测量值(见主题 8.2,风险与控制度量,主题 8.3,合规与审计度量,以及主题 8.4,供应商与合同度量)以及第一部分的数据基础(见主题 1.5,数据来源与埋点)之上。
关键原则
- 把义务视为设计输入。 及早列出它们,附定义、到期日和负责人,并围绕它们设计数据收集。
- 从记录系统产生报告。 自动化提取,并使谱系保持可见。
- 把报告视图与学习视图分开。 团队需要不受所报告内容约束的坦率的工作测量值。
- 对账定义。 展示法定数字与团队自己的测量值如何相关。
- 诚实地报告,包括坏消息。 更正和语境建立信任。
- 保护人们免受反常的目标之害。 使用附伙伴测量值的法定目标,并解释其局限。
- 使公布的数据可用。 无障碍、清晰和格式对公众很重要。
度量定义
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| 报告义务覆盖 | 有指名的负责人、说明的定义、数据来源和日历条目的报告义务占比 | 四项都具备的义务 / 范围内的报告义务 | 百分比 | 义务登记册 | 度量与报告;治理 | 与干系人关于信息需求的工作协议 | 每季度 |
| 报告及时性 | 在到期日之前提交的所需报告占比 | 在到期日当天或之前提交的报告 / 期内到期的报告 | 百分比 | 报告日历和提交记录 | 度量与报告 | 兑现对干系人的承诺 | 每月 |
| 重述率 | 之后被更正的已提交报告或数字占比 | 提交之后被更正的报告或数字 / 已提交的报告或数字 | 百分比 | 提交日志和更正日志 | 度量与报告;持续改进 | 逃逸的缺陷 | 每季度 |
| 可追溯性覆盖 | 能够通过有文档的步骤追溯到记录系统的所报告数字占比 | 有到记录系统的有文档谱系的数字 / 所报告的数字 | 百分比 | 谱系文档、报告规格 | 度量与报告;知识管理 | 可复现的构建 | 每季度 |
| 定义一致 | 法定定义与内部定义均有记录并已对账的所报告测量值占比 | 有记录的对账的测量值 / 有法定定义的所报告测量值 | 百分比 | 度量登记册 | 度量与报告;服务级别管理 | 共同的完成定义 | 每季度 |
| 报告工作量 | 产生一份经常性报告所花的人时 | 每个报告周期记录的小时数,附其中手工提取和汇编所占的比例 | 小时 | 时间估计、工作量日志 | 度量与报告;持续改进 | 非交付工作的成本 | 每个报告周期 |
| 已发布的无障碍符合度 | 符合所要求的无障碍标准的已发布报告和数据集占比 | 通过无障碍检查的已发布项 / 已发布的项 | 百分比 | 无障碍测试结果 | 度量与报告;知识管理 | 包容性的完成定义 | 每季度 |
在每项所报告的测量值旁边写下法定定义、来源和到期日。当报告被接收机构接受时,它才是“及时”的(如果记录了接受),而不是在发出时。重述统计对已提交数字的任何更正,无论是自愿的还是被要求的。报告工作量是组织的趋势测量值,绝不是个人的测量值。无障碍符合度依据适用于你的标准来检查,比如《Web Content Accessibility Guidelines》。
建议
把义务视为设计输入
1. 保存一份报告义务登记册。 对每一项,记录要求、法律或合同来源、要报告什么、定义、到期日、接收机构、内部负责人和数据来源。当法律、合同或监管者变化时评审它。及早知道的义务可以被设计进去,而晚发现的则必须手工汇编。
2. 及早让监督机构参与。 问监管者、审计员和资助者,他们将用数据做什么、需要什么。有些会帮助你塑造一个定义,或以你已在产生的形式接受数据。敏捷实践重视与干系人的协作,监督机构就是干系人。保存这些交流的记录,并在重要之处保持独立性。
3. 从一开始就为报告设计数据收集。 构建服务时,包括所需报告将需要的事件和字段:事件时间戳、影响、类别、用户数。事后添加它们代价高昂。只定义一次,并在各团队之间共享该定义,由单一负责人负责该定义(见主题 1.4,度量治理与归属)。
从记录系统产生报告
4. 把从记录到报告的流水线自动化。 通过脚本化的查询从事件、变更和服务系统中提取,应用有文档的转换,并用经评审的模板产生报告。自动化的报告可重复、更快,也比手工报告更易于审计。对查询和模板做版本管理,使过去的报告可以被复现。
5. 记录谱系。 对每个所报告的数字,注明它来自哪里、如何计算,以及由谁检查。可追溯性覆盖度量这做得有多好。审计员或记者问“这个数字从哪里来?”应当在几分钟内得到清晰的回答。
6. 在提交之前,由独立的读者评审。 让产生报告的团队之外的人检查定义、算术和叙述。评审能发现错误和没有依据的说法。记录评审。负责人简短的签字使归属清晰。
7. 公开地更正。 当提交之后发现错误时,迅速更正,解释改变了什么,并注明原因。数据复杂时,接近零的重述率是可疑的。可见而迅速的更正,比任由一个数字留在那里建立更多信任。
让报告与学习保持分开
8. 为团队保持一个工作视图。 团队需要帮助他们改进的测量值,比如百分位数、最老项的年龄和质量伙伴。这些很少与法定数字相同。不要把工作视图限于所报告的内容,也不要仅仅依据所报告的数字来管理。
9. 对账法定定义与内部定义。 凡要求的测量值与团队的不同之处,记录差异并展示两者。例如,监管者的可用性数字可能排除计划内维护,而用户把它体验为停机。在度量登记册和报告说明中展示对账。这防范“两套数字”的问题。
10. 把法定目标与伙伴测量值配对。 如果被强加了目标,就添加能揭示扭曲的测量值:质量、用户体验,以及被遗漏的工作。例如,把首次响应时间的目标与解决和重复联系的测量值配对(见主题 3.1,服务台度量)。在报告中解释该数字应如何阅读。
面向公众发布
11. 使发布的信息可用。 在法律和隐私允许时,以开放的、机器可读的格式发布,附清晰的说明、定义和日期。满足文档和网页的无障碍标准。以人们无法阅读或再利用的方式发布数据,满足了字面而违背了目的。与真实用户一起测试,包括使用辅助技术的用户(见主题 6.4,用户与员工体验)。
12. 在你发布的内容中保护隐私和安全。 汇总并抑制可能识别个人的小数字,避免发布帮助攻击者的细节,并与专家核实披露规则。对依据信息自由法作出的回应,也同样细心。记录关于编辑的决定及其理由。
钻空子途径与护栏
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| 报告义务覆盖 | 狭义地对待义务;在没有商定的情况下列出负责人 | 由合规或内部审计评审登记册;负责人确认 |
| 报告及时性 | 为赶日期提交不完整的报告;把草稿算作提交 | 提交时检查完整性;只统计被接受的报告;重述率 |
| 重述率 | 压制更正;悄悄进行更正 | 由独立读者评审更正日志;低比率与可追溯性一起阅读 |
| 可追溯性覆盖 | 肤浅地记录谱系;只包括简单的数字 | 通过从来源重新执行计算来抽样检查谱系 |
| 定义一致 | 在没有对账的情况下声明定义一致;只在报告中采用法定定义 | 评审对账文档;并排展示两个数字 |
| 报告工作量 | 不记录小时数;把工作转移给其他团队 | 与团队反馈相比较;在估计中包括所有贡献者 |
| 已发布的无障碍符合度 | 运行只发现部分问题的检查器;发布滞后的单独无障碍版本 | 用辅助技术进行手工测试;检查各版本之间是否一致 |
健康的读数是:每项义务都有人负责、报告准时而准确并附可见的更正、数字可追溯到记录系统、法定和内部定义已对账、报告工作量下降,以及公众可以使用的已发布信息。
权衡:利与弊
| 方法 | 优势 | 劣势 |
|---|---|---|
| 手工汇编报告 | 灵活;适用于任何数据 | 缓慢、易出错、依赖个人 |
| 自动化报告 | 可重复、可审计、运行廉价 | 设置工作量;可能固化糟糕的定义 |
| 一切使用同一套测量值 | 简单 | 扭曲工作;法定数字很少符合团队需要 |
| 分开的报告视图与学习视图 | 坦率的学习;诚实的报告 | 需要对账和纪律 |
| 硬性的法定目标 | 问责清晰 | 反常的效果;钻空子 |
| 附伙伴测量值和语境的目标 | 揭示扭曲 | 要解释的更多 |
| 及早与监管者接触 | 更少意外 | 时间;要维持的界线 |
| 只保持一臂之隔的关系 | 独立性清晰 | 反馈晚;返工 |
答案是依托记录系统自动化报告,让团队的工作视图与报告视图保持分开,公开地对账定义,并及早与监督机构接触,同时保持其独立性。
与团队讨论的问题
1. 我们欠哪些报告、欠给谁、何时到期、各由谁拥有? 在房间里汇编清单,并与登记册相比较。缺口常常出现:合同下欠的报告、给资助者的报告,或根据少有人知道的规则所欠的报告。引导者应当记录新的项并指定负责人。
2. 如果某个所报告的数字不被报告,我们会以不同的方式管理哪一个? 挑选一项法定或合同测量值,问如果没人度量它,团队会做什么。答案揭示数字与目的在哪里背离。讨论什么伙伴测量值会显示这种差异。
3. 我们今天能从来源复现上个季度的报告吗? 用一份报告尝试。记下哪些是手工的、没有文档的或丢失的。商定自动化或记录文档的第一步,以及由谁来做。
4. 我们如何处理提交之后发现的错误? 评审流程和最近的一个例子。更正是否迅速而公开?有没有人害怕提出?商定什么使更正成为常态。
5. 使用辅助技术的人阅读我们发布的报告会有什么体验? 一起测试一项已发布的内容,或评审最近的一次无障碍检查。问谁拥有已发布文档的无障碍。商定一项修复和防止再发的流程。
6. 监管者或监督机构实际上用我们的数据做什么? 许多团队并不知道。规划一场交流,去弄清楚,并询问不同的形式是否同样能为它们所用。引导者应当记下独立性的界线。
四种视角
产品与交付团队
交付团队构建报告所依赖的事件和字段,并感受法定目标的压力。他们应当把报告需求纳入完成定义,保持一个坦率的工作视图,并在某个目标扭曲工作时发出信号。与做报告的人的早期交流,有助于防止返工。
服务与运维团队
运维团队产生大部分底层数据,并常常准备报告。他们应当记录谱系,自动化提取,并保存更正日志。他们很适合解释一个数字应如何阅读,并在它误导人时发出警告。
领导层与治理
领导者对所报告内容的准确和诚实负责。他们应当索要可追溯性和对账,抵制把法定数字变成个人目标,保护提出错误的人,并支持与监督机构的接触。治理应当评审义务登记册和重述历史。
客户与用户
公众和客户依赖已发布的信息来使服务承担问责。他们需要能够找到、阅读和再利用的数据,以无障碍的格式,并附对其含义的清晰解释。当事件影响他们时,他们也应得到及时的通知,如规则可能要求的那样。
实践:一个服务管理示例
一家国家机构提供每年数百万人使用的在线许可服务。它必须每月向一个部委报告,发布年度绩效数据,并在固定时间内就重大服务事件通知其监管者。下面的数字均为示意。
一次内部评审发现,该机构欠 31 份不同类型的报告,其中只有 22 份在义务登记册中有指名的负责人和定义,覆盖率为 71%。每月的数字由人工汇编,约需 60 小时,主要是把三个系统中的数据拉到一张电子表格中。可追溯性很差:对于标题数字,即可用性,没人能复现去年的数字。部委对可用性的定义排除计划内维护,而该机构自己的工作视图则把它计入,这解释了为什么用户和部委看到不同的图景。该机构每个月都达成了首次响应时间的目标,而服务台已开始对请求自动确认以达成它,同时解决时间却在上升。两份已发布的报告在用屏幕阅读器检查时未能通过无障碍测试。
该机构的服务绩效主管与部委以及交付和运维团队商定了变更。义务登记册变得完整,附负责人、定义和日期。每月的数字来自对事件和监控系统的脚本化查询,附有文档的转换和经评审的模板,这把工作量削减到约 8 小时。一份对账说明列出法定和内部的可用性定义,并在报告中展示两个数字。首次响应的目标在工作视图中与解决时间和重复联系配对,部委同意查看这些伙伴测量值。该机构还更正了上一个季度的一个可用性数字,解释了原因,并公布了更正。已发布的报告以无障碍的模板产生,并在发布检查清单中增加屏幕阅读器测试。
一年后,义务覆盖为 100%,报告准时,重述率很低且每次更正都有解释,可追溯性涵盖所有标题数字,报告工作量下降了大约 85%。部长办公室要求一个 99.95% 可用性的新目标,由该机构的领导者负责。服务绩效主管解释了法定数字与用户所体验数字之间的差异,并提议带有伙伴测量值和评审日期的目标。该决定被记录下来,部委同意在下一个报告年度之前联合评审该定义。
敏捷、AI、自动化与分析
敏捷
围绕固定的报告要求进行设计,并让报告视图与学习视图保持分开。需要注意的是,报告目标可能扭曲它所描述的工作。
AI
凡 AI 支持受监管流程之处,报告可能需要显示决定是如何作出的以及谁负责。与你的法律顾问核实要求,并保存 AI 使用的记录。需要注意的是,用于申报的 AI 输出需要人工验证。
自动化
用运行服务所用的同样记录构建报告,并自动化在提交之前运行的检查。就重述来度量该流程。需要注意的是,自动化可能把一个错误传播到许多报告中。
分析
连同所使用的定义和数据的日期一起报告。这为之提供依据的决定是什么必须被报告,以及数据来自哪里。需要注意的是,定义因制度而异,所以避免假定某一种是通用的。
行业视角
初创公司。 报告职责可能随第一位企业客户或监管者到来。从一份简短的义务清单开始,用你自己的系统产生报告,并避免构建单独的报告流程。在合同中承诺服务级别时要小心。
小型企业。 义务往往是合同性的,或与单一监管者相联。保存日历,使用模板,并记录数字是如何得出的。小而准确的报告,胜过大而仓促的。
大型企业。 跨区域和制度的许多义务,要求有中央登记册、通用定义和共享的提取工具。当心对同样团队的重复请求。对事件和服务数据使用单一事实来源,并为每种制度提供视图。
政府与公共部门。 这是本主题的主场。为立法、部长的要求、审计、信息自由请求和公众审视做好规划。在法律允许时公开发布数据,满足无障碍职责,在要求的期限内保存记录,并记录决定。克制把法定数字变成个人绩效目标的冲动,并考虑目标对公民和员工的影响。
业务论证:动因、投资回报与总拥有成本
成本是构建和维护义务登记册的工作量、自动化提取和模板的工程、评审时间,以及无障碍测试。与手工汇编相比,自动化把工作量从重复性的工作转移到一次性的构建和轻量的维护。
回报是更少的错误和更正、花在汇编上的员工时间更少、对监督请求更快的响应,以及与监管者和公众之间更大的信任。依据你自己的数据构建论证:前后每份报告的小时数、重述的数量和影响、回答一个监督问题的时间,以及所避免的任何罚则或关键审计发现的成本。避免引用对合规负担的估计,除非你能追溯来源和方法。纳入与监督机构持续接触的成本,并与意外的成本相比较(见主题 7.7,投资回报与业务论证)。
反模式与陷阱
- 只依据法定数字来管理。 它扭曲工作。保持一个附伙伴测量值的工作视图。
- 两套没有对账的数字。 信任崩溃。记录并展示差异。
- 把手工构建的电子表格作为系统。 它们会崩溃并依赖个人。依托记录系统自动化。
- 为赶日期提交不完整的报告。 它以一种失败换取另一种。商定延期,或附清晰的说明提交。
- 悄悄更正。 它们破坏信任。公开更正并解释。
- 由法定数字得出个人目标。 它们奖励钻空子,惩罚诚实的员工。让数字保持在服务层面。
- 无法阅读的出版物。 形式上的合规违背目的。发布可用、无障碍的数据。
- 在发布中忽略隐私。 小数字可能识别个人。汇总并评审披露。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 义务与定义 | 少数人知道 | 部分清单 | 带负责人、定义和日期的登记册;法定和内部定义已对账 | 依据法律变更评审登记册;维护对账 | 与监督机构共同制定定义;在各机构之间共享 |
| 产生与质量 | 手工汇编 | 模板,一些脚本 | 依托记录系统自动化,附谱系和独立评审 | 分析重述;管理工作量和及时性 | 持续产生报告;监督机构直接访问数据 |
| 使用与发布 | 为满足请求而报告 | 应请求发布 | 工作视图与报告视图分开;无障碍、可再利用的发布 | 带目标的伙伴测量值;对出版物的用户测试 | 开放的关联数据,公众参与设计 |
检查清单
- 登记册列出每项报告义务,附负责人、定义、来源、到期日和接收机构。
- 从一开始就把必需的字段和事件构建到服务中。
- 报告由带版本的查询和模板从记录系统产生。
- 每个所报告的数字都有有文档的谱系和指名的检查者。
- 独立的读者在提交之前评审报告。
- 法定和内部定义已对账,并展示两者。
- 更正被记录、解释并迅速公布。
- 法定目标在报告中附有伙伴测量值和语境。
- 已发布的报告和数据集符合适用的无障碍标准并经过隐私评审。
- 日历中有与每个主要监督机构就其需要进行的交流。
AI 提示词
构建义务登记册。
这是我们认为我们所欠的报告、通知和出版物的清单:[以通俗语言粘贴,附来源]。请把它们组织成带有要求、来源、定义、数据来源、到期日、接收机构和负责人角色字段的登记册。标出缺失的信息,以及看起来在各团队之间重复的义务。不要给出法律结论。请列出你的假设,以及要问法务和合规的问题。
对账两个定义。
[测量值] 的法定定义是:[文本]。我们的内部定义是:[文本]。我们的数据字段是:[清单]。请解释差异,描述每一个如何影响数字,建议如何在报告中展示两者,并提出向读者解释差异的简短说明。不要假定没有给出的事实。请列出你的假设。
规划报告自动化。
我们每月使用这些手工步骤和来源产生 [报告]:[附小时数的清单]。请提出从记录系统自动化它的计划,包括有文档的查询、转换步骤、谱系说明、评审,以及过去报告的可复现性。建议保留哪些手工部分及原因。不要假定特定的工具。请列出你的假设和风险。
评审已发布报告的可用性。
这是我们计划发布的报告的文本结构:[粘贴标题和示例表格,不含敏感内容]。请评审它的通俗语言、定义、数字的语境、表格和图表的无障碍,以及小数字带来的隐私风险。建议改进。提醒我用辅助技术测试,并与专家核实披露规则。请列出你的假设。
AI 技能
- Service Management Metrics skill:用于查找法定或受监管报告度量所配对的护栏。
- Service Management Metrics maintainer skill:用于检查报告度量条目是否显示其定义、对账、钻空子途径和护栏。
要点
- 把报告义务视为设计输入,列出负责人、定义和到期日。
- 从记录系统产生报告,附谱系和独立评审。
- 让坦率的工作视图与报告视图保持分开,并公开地对账定义。
- 把法定目标与伙伴测量值配对,绝不把它们变成个人目标。
- 公开而迅速地更正错误。
- 发布公众能够找到、阅读和再利用的信息,并保护隐私。
参考文献与延伸阅读
- Seddon, J., Systems Thinking in the Public Sector, Triarchy Press, 2008.
- Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
- World Wide Web Consortium, Web Content Accessibility Guidelines (WCAG) 2.2, 2023, https://www.w3.org/TR/WCAG22/.
- European Parliament and Council, Directive (EU) 2016/2102 on the accessibility of the websites and mobile applications of public sector bodies, 2016.
- Government Digital Service, Service Standard, United Kingdom, https://www.gov.uk/service-manual/service-standard.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Public sector.
- Wikipedia, Accountability.
- Wikipedia, Freedom of information laws by country.
- Wikipedia, Open government.
- Wikipedia, Open data.
- Wikipedia, Public procurement.
- Wikipedia, Records management.
- Wikipedia, Value for money.
- Wikipedia, Performance audit.
- Wikipedia, Goodhart's law.