概述与动因

许多组织必须就其服务作报告,无论它们是否愿意。监管者要求事件通知、可用性数字和控制措施的证据。政府要求机构公布绩效数据、支出和无障碍声明。资助者和监督机构要求对照承诺的成果。合同要求服务报告。在这些情形下,报告不是内部的管理选择。它是带有到期日、定义,有时还带有罚则的义务。

公共部门(public sector)有特殊的特点。对公民和民选机构的问责(accountability)是一项核心职责,通过审计、立法、信息自由法(freedom of information laws)和公布的结果来履行。开放政府(open government)和开放数据(open data)的做法,使信息可供审视和再利用。公共采购(public procurement)规则塑造可以买什么以及如何买,而记录管理(records management)的义务规定信息保存多久。物有所值(value for money)是对公共支出的常见检验,独立机构进行绩效审计(performance audit)来检查它。细节因国家、政府层级和行业而异,本主题描述的是度量实践,而不是法律要求。请与你的法务、合规和记录管理同事一起工作。

受监管的私营部门组织,比如金融、卫生、能源和电信领域的组织,具有其中许多特点。它们面临事件通知义务、弹性报告和监管评审。共同的线索是,交付团队之外的人定义什么必须被报告以及何时报告。

持续交付和 ITIL 实践都有可以贡献之处。敏捷关于与干系人持续协作的目标延伸到监督机构,它们是有合理需求的干系人,而就它们要求什么进行早期交流,可以防止返工。持续交付小而可工作的增量的敏捷习惯适合报告:由记录系统自动产生的报告,比每个季度手工汇编的更准确也更便宜。ITIL 的度量与报告实践及其服务级别管理,为定义什么被度量和分享提供词汇。

报告义务造成三种众所周知的危害。

  • 被目标扭曲。 当被报告的数字带有后果时,工作就向数字弯曲。关于公共部门目标的文献,包括 John Seddon 关于公共部门系统思维的著作和 Jerry Muller 对度量迷恋的分析,描述了许多达成目标与服务公众相背离的案例。古德哈特定律的护栏完全适用(见主题 1.2,古德哈特定律与度量的心理学)。
  • 两套数字。 一个数字的法定定义,往往与团队内部使用的不同。如果团队依据一个来管理、报告另一个,就没人信任任何一个。让两者都保持可见,对账,并解释差异。
  • 报告作为负担。 手工的、重复的、不一致的请求消耗有技能的人。报告越是依赖英雄式的电子表格工作,错误和延迟就越多。

本主题建立在本部分的合规、风险和供应商测量值(见主题 8.2,风险与控制度量,主题 8.3,合规与审计度量,以及主题 8.4,供应商与合同度量)以及第一部分的数据基础(见主题 1.5,数据来源与埋点)之上。

关键原则

  • 把义务视为设计输入。 及早列出它们,附定义、到期日和负责人,并围绕它们设计数据收集。
  • 从记录系统产生报告。 自动化提取,并使谱系保持可见。
  • 把报告视图与学习视图分开。 团队需要不受所报告内容约束的坦率的工作测量值。
  • 对账定义。 展示法定数字与团队自己的测量值如何相关。
  • 诚实地报告,包括坏消息。 更正和语境建立信任。
  • 保护人们免受反常的目标之害。 使用附伙伴测量值的法定目标,并解释其局限。
  • 使公布的数据可用。 无障碍、清晰和格式对公众很重要。

度量定义

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏
报告义务覆盖 有指名的负责人、说明的定义、数据来源和日历条目的报告义务占比 四项都具备的义务 / 范围内的报告义务 百分比 义务登记册 度量与报告;治理 与干系人关于信息需求的工作协议 每季度
报告及时性 在到期日之前提交的所需报告占比 在到期日当天或之前提交的报告 / 期内到期的报告 百分比 报告日历和提交记录 度量与报告 兑现对干系人的承诺 每月
重述率 之后被更正的已提交报告或数字占比 提交之后被更正的报告或数字 / 已提交的报告或数字 百分比 提交日志和更正日志 度量与报告;持续改进 逃逸的缺陷 每季度
可追溯性覆盖 能够通过有文档的步骤追溯到记录系统的所报告数字占比 有到记录系统的有文档谱系的数字 / 所报告的数字 百分比 谱系文档、报告规格 度量与报告;知识管理 可复现的构建 每季度
定义一致 法定定义与内部定义均有记录并已对账的所报告测量值占比 有记录的对账的测量值 / 有法定定义的所报告测量值 百分比 度量登记册 度量与报告;服务级别管理 共同的完成定义 每季度
报告工作量 产生一份经常性报告所花的人时 每个报告周期记录的小时数,附其中手工提取和汇编所占的比例 小时 时间估计、工作量日志 度量与报告;持续改进 非交付工作的成本 每个报告周期
已发布的无障碍符合度 符合所要求的无障碍标准的已发布报告和数据集占比 通过无障碍检查的已发布项 / 已发布的项 百分比 无障碍测试结果 度量与报告;知识管理 包容性的完成定义 每季度

在每项所报告的测量值旁边写下法定定义、来源和到期日。当报告被接收机构接受时,它才是“及时”的(如果记录了接受),而不是在发出时。重述统计对已提交数字的任何更正,无论是自愿的还是被要求的。报告工作量是组织的趋势测量值,绝不是个人的测量值。无障碍符合度依据适用于你的标准来检查,比如《Web Content Accessibility Guidelines》。

建议

把义务视为设计输入

1. 保存一份报告义务登记册。 对每一项,记录要求、法律或合同来源、要报告什么、定义、到期日、接收机构、内部负责人和数据来源。当法律、合同或监管者变化时评审它。及早知道的义务可以被设计进去,而晚发现的则必须手工汇编。

2. 及早让监督机构参与。 问监管者、审计员和资助者,他们将用数据做什么、需要什么。有些会帮助你塑造一个定义,或以你已在产生的形式接受数据。敏捷实践重视与干系人的协作,监督机构就是干系人。保存这些交流的记录,并在重要之处保持独立性。

3. 从一开始就为报告设计数据收集。 构建服务时,包括所需报告将需要的事件和字段:事件时间戳、影响、类别、用户数。事后添加它们代价高昂。只定义一次,并在各团队之间共享该定义,由单一负责人负责该定义(见主题 1.4,度量治理与归属)。

从记录系统产生报告

4. 把从记录到报告的流水线自动化。 通过脚本化的查询从事件、变更和服务系统中提取,应用有文档的转换,并用经评审的模板产生报告。自动化的报告可重复、更快,也比手工报告更易于审计。对查询和模板做版本管理,使过去的报告可以被复现。

5. 记录谱系。 对每个所报告的数字,注明它来自哪里、如何计算,以及由谁检查。可追溯性覆盖度量这做得有多好。审计员或记者问“这个数字从哪里来?”应当在几分钟内得到清晰的回答。

6. 在提交之前,由独立的读者评审。 让产生报告的团队之外的人检查定义、算术和叙述。评审能发现错误和没有依据的说法。记录评审。负责人简短的签字使归属清晰。

7. 公开地更正。 当提交之后发现错误时,迅速更正,解释改变了什么,并注明原因。数据复杂时,接近零的重述率是可疑的。可见而迅速的更正,比任由一个数字留在那里建立更多信任。

让报告与学习保持分开

8. 为团队保持一个工作视图。 团队需要帮助他们改进的测量值,比如百分位数、最老项的年龄和质量伙伴。这些很少与法定数字相同。不要把工作视图限于所报告的内容,也不要仅仅依据所报告的数字来管理。

9. 对账法定定义与内部定义。 凡要求的测量值与团队的不同之处,记录差异并展示两者。例如,监管者的可用性数字可能排除计划内维护,而用户把它体验为停机。在度量登记册和报告说明中展示对账。这防范“两套数字”的问题。

10. 把法定目标与伙伴测量值配对。 如果被强加了目标,就添加能揭示扭曲的测量值:质量、用户体验,以及被遗漏的工作。例如,把首次响应时间的目标与解决和重复联系的测量值配对(见主题 3.1,服务台度量)。在报告中解释该数字应如何阅读。

面向公众发布

11. 使发布的信息可用。 在法律和隐私允许时,以开放的、机器可读的格式发布,附清晰的说明、定义和日期。满足文档和网页的无障碍标准。以人们无法阅读或再利用的方式发布数据,满足了字面而违背了目的。与真实用户一起测试,包括使用辅助技术的用户(见主题 6.4,用户与员工体验)。

12. 在你发布的内容中保护隐私和安全。 汇总并抑制可能识别个人的小数字,避免发布帮助攻击者的细节,并与专家核实披露规则。对依据信息自由法作出的回应,也同样细心。记录关于编辑的决定及其理由。

钻空子途径与护栏

度量 如何被钻空子 配对的护栏度量或实践
报告义务覆盖 狭义地对待义务;在没有商定的情况下列出负责人 由合规或内部审计评审登记册;负责人确认
报告及时性 为赶日期提交不完整的报告;把草稿算作提交 提交时检查完整性;只统计被接受的报告;重述率
重述率 压制更正;悄悄进行更正 由独立读者评审更正日志;低比率与可追溯性一起阅读
可追溯性覆盖 肤浅地记录谱系;只包括简单的数字 通过从来源重新执行计算来抽样检查谱系
定义一致 在没有对账的情况下声明定义一致;只在报告中采用法定定义 评审对账文档;并排展示两个数字
报告工作量 不记录小时数;把工作转移给其他团队 与团队反馈相比较;在估计中包括所有贡献者
已发布的无障碍符合度 运行只发现部分问题的检查器;发布滞后的单独无障碍版本 用辅助技术进行手工测试;检查各版本之间是否一致

健康的读数是:每项义务都有人负责、报告准时而准确并附可见的更正、数字可追溯到记录系统、法定和内部定义已对账、报告工作量下降,以及公众可以使用的已发布信息。

权衡:利与弊

方法 优势 劣势
手工汇编报告 灵活;适用于任何数据 缓慢、易出错、依赖个人
自动化报告 可重复、可审计、运行廉价 设置工作量;可能固化糟糕的定义
一切使用同一套测量值 简单 扭曲工作;法定数字很少符合团队需要
分开的报告视图与学习视图 坦率的学习;诚实的报告 需要对账和纪律
硬性的法定目标 问责清晰 反常的效果;钻空子
附伙伴测量值和语境的目标 揭示扭曲 要解释的更多
及早与监管者接触 更少意外 时间;要维持的界线
只保持一臂之隔的关系 独立性清晰 反馈晚;返工

答案是依托记录系统自动化报告,让团队的工作视图与报告视图保持分开,公开地对账定义,并及早与监督机构接触,同时保持其独立性。

与团队讨论的问题

1. 我们欠哪些报告、欠给谁、何时到期、各由谁拥有? 在房间里汇编清单,并与登记册相比较。缺口常常出现:合同下欠的报告、给资助者的报告,或根据少有人知道的规则所欠的报告。引导者应当记录新的项并指定负责人。

2. 如果某个所报告的数字不被报告,我们会以不同的方式管理哪一个? 挑选一项法定或合同测量值,问如果没人度量它,团队会做什么。答案揭示数字与目的在哪里背离。讨论什么伙伴测量值会显示这种差异。

3. 我们今天能从来源复现上个季度的报告吗? 用一份报告尝试。记下哪些是手工的、没有文档的或丢失的。商定自动化或记录文档的第一步,以及由谁来做。

4. 我们如何处理提交之后发现的错误? 评审流程和最近的一个例子。更正是否迅速而公开?有没有人害怕提出?商定什么使更正成为常态。

5. 使用辅助技术的人阅读我们发布的报告会有什么体验? 一起测试一项已发布的内容,或评审最近的一次无障碍检查。问谁拥有已发布文档的无障碍。商定一项修复和防止再发的流程。

6. 监管者或监督机构实际上用我们的数据做什么? 许多团队并不知道。规划一场交流,去弄清楚,并询问不同的形式是否同样能为它们所用。引导者应当记下独立性的界线。

四种视角

产品与交付团队

交付团队构建报告所依赖的事件和字段,并感受法定目标的压力。他们应当把报告需求纳入完成定义,保持一个坦率的工作视图,并在某个目标扭曲工作时发出信号。与做报告的人的早期交流,有助于防止返工。

服务与运维团队

运维团队产生大部分底层数据,并常常准备报告。他们应当记录谱系,自动化提取,并保存更正日志。他们很适合解释一个数字应如何阅读,并在它误导人时发出警告。

领导层与治理

领导者对所报告内容的准确和诚实负责。他们应当索要可追溯性和对账,抵制把法定数字变成个人目标,保护提出错误的人,并支持与监督机构的接触。治理应当评审义务登记册和重述历史。

客户与用户

公众和客户依赖已发布的信息来使服务承担问责。他们需要能够找到、阅读和再利用的数据,以无障碍的格式,并附对其含义的清晰解释。当事件影响他们时,他们也应得到及时的通知,如规则可能要求的那样。

实践:一个服务管理示例

一家国家机构提供每年数百万人使用的在线许可服务。它必须每月向一个部委报告,发布年度绩效数据,并在固定时间内就重大服务事件通知其监管者。下面的数字均为示意。

一次内部评审发现,该机构欠 31 份不同类型的报告,其中只有 22 份在义务登记册中有指名的负责人和定义,覆盖率为 71%。每月的数字由人工汇编,约需 60 小时,主要是把三个系统中的数据拉到一张电子表格中。可追溯性很差:对于标题数字,即可用性,没人能复现去年的数字。部委对可用性的定义排除计划内维护,而该机构自己的工作视图则把它计入,这解释了为什么用户和部委看到不同的图景。该机构每个月都达成了首次响应时间的目标,而服务台已开始对请求自动确认以达成它,同时解决时间却在上升。两份已发布的报告在用屏幕阅读器检查时未能通过无障碍测试。

该机构的服务绩效主管与部委以及交付和运维团队商定了变更。义务登记册变得完整,附负责人、定义和日期。每月的数字来自对事件和监控系统的脚本化查询,附有文档的转换和经评审的模板,这把工作量削减到约 8 小时。一份对账说明列出法定和内部的可用性定义,并在报告中展示两个数字。首次响应的目标在工作视图中与解决时间和重复联系配对,部委同意查看这些伙伴测量值。该机构还更正了上一个季度的一个可用性数字,解释了原因,并公布了更正。已发布的报告以无障碍的模板产生,并在发布检查清单中增加屏幕阅读器测试。

一年后,义务覆盖为 100%,报告准时,重述率很低且每次更正都有解释,可追溯性涵盖所有标题数字,报告工作量下降了大约 85%。部长办公室要求一个 99.95% 可用性的新目标,由该机构的领导者负责。服务绩效主管解释了法定数字与用户所体验数字之间的差异,并提议带有伙伴测量值和评审日期的目标。该决定被记录下来,部委同意在下一个报告年度之前联合评审该定义。

敏捷、AI、自动化与分析

敏捷

围绕固定的报告要求进行设计,并让报告视图与学习视图保持分开。需要注意的是,报告目标可能扭曲它所描述的工作。

AI

凡 AI 支持受监管流程之处,报告可能需要显示决定是如何作出的以及谁负责。与你的法律顾问核实要求,并保存 AI 使用的记录。需要注意的是,用于申报的 AI 输出需要人工验证。

自动化

用运行服务所用的同样记录构建报告,并自动化在提交之前运行的检查。就重述来度量该流程。需要注意的是,自动化可能把一个错误传播到许多报告中。

分析

连同所使用的定义和数据的日期一起报告。这为之提供依据的决定是什么必须被报告,以及数据来自哪里。需要注意的是,定义因制度而异,所以避免假定某一种是通用的。

行业视角

初创公司。 报告职责可能随第一位企业客户或监管者到来。从一份简短的义务清单开始,用你自己的系统产生报告,并避免构建单独的报告流程。在合同中承诺服务级别时要小心。

小型企业。 义务往往是合同性的,或与单一监管者相联。保存日历,使用模板,并记录数字是如何得出的。小而准确的报告,胜过大而仓促的。

大型企业。 跨区域和制度的许多义务,要求有中央登记册、通用定义和共享的提取工具。当心对同样团队的重复请求。对事件和服务数据使用单一事实来源,并为每种制度提供视图。

政府与公共部门。 这是本主题的主场。为立法、部长的要求、审计、信息自由请求和公众审视做好规划。在法律允许时公开发布数据,满足无障碍职责,在要求的期限内保存记录,并记录决定。克制把法定数字变成个人绩效目标的冲动,并考虑目标对公民和员工的影响。

业务论证:动因、投资回报与总拥有成本

成本是构建和维护义务登记册的工作量、自动化提取和模板的工程、评审时间,以及无障碍测试。与手工汇编相比,自动化把工作量从重复性的工作转移到一次性的构建和轻量的维护。

回报是更少的错误和更正、花在汇编上的员工时间更少、对监督请求更快的响应,以及与监管者和公众之间更大的信任。依据你自己的数据构建论证:前后每份报告的小时数、重述的数量和影响、回答一个监督问题的时间,以及所避免的任何罚则或关键审计发现的成本。避免引用对合规负担的估计,除非你能追溯来源和方法。纳入与监督机构持续接触的成本,并与意外的成本相比较(见主题 7.7,投资回报与业务论证)。

反模式与陷阱

  • 只依据法定数字来管理。 它扭曲工作。保持一个附伙伴测量值的工作视图。
  • 两套没有对账的数字。 信任崩溃。记录并展示差异。
  • 把手工构建的电子表格作为系统。 它们会崩溃并依赖个人。依托记录系统自动化。
  • 为赶日期提交不完整的报告。 它以一种失败换取另一种。商定延期,或附清晰的说明提交。
  • 悄悄更正。 它们破坏信任。公开更正并解释。
  • 由法定数字得出个人目标。 它们奖励钻空子,惩罚诚实的员工。让数字保持在服务层面。
  • 无法阅读的出版物。 形式上的合规违背目的。发布可用、无障碍的数据。
  • 在发布中忽略隐私。 小数字可能识别个人。汇总并评审披露。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
义务与定义 少数人知道 部分清单 带负责人、定义和日期的登记册;法定和内部定义已对账 依据法律变更评审登记册;维护对账 与监督机构共同制定定义;在各机构之间共享
产生与质量 手工汇编 模板,一些脚本 依托记录系统自动化,附谱系和独立评审 分析重述;管理工作量和及时性 持续产生报告;监督机构直接访问数据
使用与发布 为满足请求而报告 应请求发布 工作视图与报告视图分开;无障碍、可再利用的发布 带目标的伙伴测量值;对出版物的用户测试 开放的关联数据,公众参与设计

检查清单

  • 登记册列出每项报告义务,附负责人、定义、来源、到期日和接收机构。
  • 从一开始就把必需的字段和事件构建到服务中。
  • 报告由带版本的查询和模板从记录系统产生。
  • 每个所报告的数字都有有文档的谱系和指名的检查者。
  • 独立的读者在提交之前评审报告。
  • 法定和内部定义已对账,并展示两者。
  • 更正被记录、解释并迅速公布。
  • 法定目标在报告中附有伙伴测量值和语境。
  • 已发布的报告和数据集符合适用的无障碍标准并经过隐私评审。
  • 日历中有与每个主要监督机构就其需要进行的交流。

AI 提示词

构建义务登记册。

这是我们认为我们所欠的报告、通知和出版物的清单:[以通俗语言粘贴,附来源]。请把它们组织成带有要求、来源、定义、数据来源、到期日、接收机构和负责人角色字段的登记册。标出缺失的信息,以及看起来在各团队之间重复的义务。不要给出法律结论。请列出你的假设,以及要问法务和合规的问题。

对账两个定义。

[测量值] 的法定定义是:[文本]。我们的内部定义是:[文本]。我们的数据字段是:[清单]。请解释差异,描述每一个如何影响数字,建议如何在报告中展示两者,并提出向读者解释差异的简短说明。不要假定没有给出的事实。请列出你的假设。

规划报告自动化。

我们每月使用这些手工步骤和来源产生 [报告]:[附小时数的清单]。请提出从记录系统自动化它的计划,包括有文档的查询、转换步骤、谱系说明、评审,以及过去报告的可复现性。建议保留哪些手工部分及原因。不要假定特定的工具。请列出你的假设和风险。

评审已发布报告的可用性。

这是我们计划发布的报告的文本结构:[粘贴标题和示例表格,不含敏感内容]。请评审它的通俗语言、定义、数字的语境、表格和图表的无障碍,以及小数字带来的隐私风险。建议改进。提醒我用辅助技术测试,并与专家核实披露规则。请列出你的假设。

AI 技能

要点

  • 把报告义务视为设计输入,列出负责人、定义和到期日。
  • 从记录系统产生报告,附谱系和独立评审。
  • 让坦率的工作视图与报告视图保持分开,并公开地对账定义。
  • 把法定目标与伙伴测量值配对,绝不把它们变成个人目标。
  • 公开而迅速地更正错误。
  • 发布公众能够找到、阅读和再利用的信息,并保护隐私。

参考文献与延伸阅读

  1. Seddon, J., Systems Thinking in the Public Sector, Triarchy Press, 2008.
  2. Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
  3. World Wide Web Consortium, Web Content Accessibility Guidelines (WCAG) 2.2, 2023, https://www.w3.org/TR/WCAG22/.
  4. European Parliament and Council, Directive (EU) 2016/2102 on the accessibility of the websites and mobile applications of public sector bodies, 2016.
  5. Government Digital Service, Service Standard, United Kingdom, https://www.gov.uk/service-manual/service-standard.
  6. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  7. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  8. Wikipedia, Public sector.
  9. Wikipedia, Accountability.
  10. Wikipedia, Freedom of information laws by country.
  11. Wikipedia, Open government.
  12. Wikipedia, Open data.
  13. Wikipedia, Public procurement.
  14. Wikipedia, Records management.
  15. Wikipedia, Value for money.
  16. Wikipedia, Performance audit.
  17. Wikipedia, Goodhart's law.