渐进式采纳路线图
从你所在之处开始,在第一个月内为一个团队交付有用的东西,并以小步骤发展计划,每一步都为下一步赢得资格。
概述与动因
大多数关于度量的指导描述的是一种最终状态:完整的测量值集合、干净的数据存储、为每类受众准备的仪表盘、基于证据的文化。很少有组织是按计划到达那里的。当它们到达时,是通过一系列小而有用的步骤,每一步都在下一步开始之前就回本了。本主题以这种精神提供一份路线图:最初 30 天、接下来 60 天,以及再 90 天,合起来大约 180 天。这些时间安排是粗略的形状,而不是承诺。小团队可能走得更快,大型或谨慎的团队则更慢。
其逻辑与本书对服务所推荐的持续交付逻辑相同。及早交付一个薄而可用的切片。把它放到真实用户面前。从他们对它的使用中学习。扩展有帮助的,放弃没有帮助的。在设计上花六个月、然后向惊讶的受众推出完整仪表盘的度量计划,重复了大型发布的老错误:大量的努力、迟到的反馈,以及结果契合度很差的高概率。最小可行产品(minimum viable product),即交付价值并产生学习的最小版本这一理念,既适用于产品,也适用于计划。
敏捷的目标以几种方式塑造路线图。持续的干系人参与意味着最初的几周是与将使用这些数字、并被其度量的人一起度过的,而不是在后台房间里。持续改进意味着计划本身随着计划的学习而被评审和改变,秉承改善(kaizen)的精神,即由每个人参与的小而稳定的改进实践。持续演进意味着没有任何测量值清单是最终的。可持续的节奏意味着路线图只要求团队时间的适度份额,并且计划不增加超过其帮助的报告负担。围绕有积极性的个人来构建,意味着从志愿者以及他们所关心的问题开始。
路线图尊重本部分的其他主题。它假定来自推行主题的信任的基本规则(见主题 11.3,推行度量而不滋生恐惧),它使用仪表盘的原则(见主题 11.1,设计服务度量仪表盘),它在价值被证明之前保持工具很薄(见主题 11.2,工具全景),并用计划的成熟度概况来跟踪进展(见主题 11.4,度量计划的成熟度模型)。
三个理念有助于为早期的工作定锚。第一,从基线开始。几个月现有数据的运行图(run chart)显示了现状,并为之后的变化提供了比较的对象。第二,在开始时检查数据质量(data quality),因为最有价值的早期改进,往往来自修复工作的记录方式,而不是来自任何图表。第三,让结果可见:信息辐射器(information radiator)是无需任何人询问就能一目了然地展示信息的展示,它帮助团队看到自己的数据并开启交谈。最初的步骤通常采取与愿意参与者一起的试点项目(pilot project)的形式,随后在更广泛的组织中以变革管理(change management)的方式,扩散有效的做法(见主题 9.6,组织变革与采纳度量)。
没有哪份路线图适合每个组织。下面的计划是一个起点,由将要执行它的人来调整。
关键原则
- 从你所在之处开始。 使用你已有的数据、工具和习惯。不要等待新平台。
- 与志愿者试点。 一到三个愿意参与的团队,处理他们所关心的问题。
- 在第一个月交付价值。 对团队有帮助的东西,而不是给管理层的报告。
- 一次一个薄切片。 一个来源、一个视图、少数几项测量值,然后扩展。
- 尽早写下承诺。 在分享第一个数字之前,先有一份简短的章程。
- 评审并调整。 在每个阶段结束时,检查什么有帮助、什么造成了伤害,以及要改变什么。
- 停掉一些东西。 随着新的到来,淘汰无人使用的测量值和报告。
- 不要跳过信任。 在工具上快速前进,却把信任丢在后面,会产生扭曲。
度量定义
下面的测量值跟踪采纳本身的进展。它们是给计划团队和赞助者的,并被读作信号,而不是目标。它们避免统计仪表盘或报告的数量,那会奖励活动。
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| 到第一个有用结果的时间 | 从计划开始,到试点团队说帮助其作出变更的第一项测量值之间的经过时间 | 从启动到第一次由团队确认有帮助的使用的天数 | 天 | 计划日志;团队确认 | 持续改进 | 价值的早期而持续的交付 | 一次,然后每个新团队 |
| 积极使用测量值的团队 | 依其自己的说法,在期内的评审中使用了其测量值的受邀团队占比 | 在评审中使用了测量值的团队 / 受邀的团队 | 百分比 | 团队确认;评审笔记 | 组织变革管理 | 持续的干系人参与 | 每月 |
| 可追溯到测量值的改进 | 团队作出的、并附理由地归因于某项测量值所显示之物的变更数量 | 团队报告的、带有与测量值的明确联系的变更计数 | 计数 | 改进登记册 | 持续改进 | 由证据提供依据的试验 | 每季度 |
| 被淘汰的测量值和报告 | 因不再为决定提供依据而被停止的测量值或报告 | 每季度淘汰的计数 | 计数 | 目录变更日志 | 持续改进 | 持续演进 | 每季度 |
| 基线覆盖 | 有至少几个月的已记录基线的约定测量值占比 | 有基线的测量值 / 约定的测量值 | 百分比 | 度量目录 | 服务级别管理;持续改进 | 证据重于意见 | 每季度 |
| 计划工作量占比 | 参与团队花在度量任务上的时间占比 | 用于收集、报告和评审的小时数 / 团队总小时数,按估计 | 百分比 | 团队的时间估计 | 持续改进 | 可持续的节奏 | 每季度 |
| 阶段评审完成 | 与团队一起举行并记录了变更的计划阶段评审占比 | 举行并记录了变更的评审 / 计划的评审 | 百分比 | 计划记录 | 持续改进 | 定期的反思 | 每阶段 |
到第一个有用结果的时间,依据试点团队自己的说法来度量,而不是计划的说法。积极使用测量值的团队,按团队所说的来统计,而不是按登录来统计。可追溯到测量值的改进,是所述联系的计数,而不是目标,因为目标会产生虚构的联系。计划工作量占比应当保持很小,上升是一个警告。
建议
第 1 到 30 天:倾听、商定,并交付一件有用的事
1. 找到赞助者和几位志愿者。 请一位高层领导者赞助计划并签署一份简短的章程。邀请一到三个好奇且受尊敬的团队。解释目的是帮助他们看到自己的工作并改进它,并且数据不会被用来给个人排名或评估个人(见主题 11.3,推行度量而不滋生恐惧)。
2. 提出问题。 与每个试点团队开一个小时的会。问什么拖慢了他们、什么使他们感到意外,以及他们希望知道什么。把问题写下来。从本书中选择三到五项回应这些问题的测量值,每项都附一项配对的护栏(见主题 1.3,结果重于产出:选择度量什么)。
3. 查看你已有的数据。 从记录系统拉取几个月的历史,并绘制运行图。诚实地检查数据质量:缺失的字段、变更了的类别、事后创建的记录。凡成本低之处,就在来源处修复捕获。在这个阶段,简单的电子表格就足够了(见主题 1.5,数据来源与埋点)。
4. 交付一件有用的事。 到第一个月结束时,给每个试点团队一个关于自己数据的小视图,附每项测量值的定义,并举行一次评审的交谈。寻找数据所提示的一项变更,比如移除一个等待的步骤,并帮助团队尝试它。第一个有用的结果,比一个精致的工具更重要。
第 31 到 90 天:学习、扩展,并使之成为常规
5. 与试点团队举行第一次评审。 问什么有帮助、什么令人困惑、什么感觉有风险,以及他们会改变什么。修订测量值、定义和章程。特别要倾听恐惧或钻空子的迹象。分享一个由团队讲述的、关于什么改变了的简短故事。
6. 把薄路径自动化。 凡手工工作繁重之处,就把最重要的一两个馈送自动化,并附新鲜度检查和对来源的对账。把定义保存在朴素、可移植的目录中。除非试验已经表明现有工具无法完成这项工作,否则暂时不要购买平台(见主题 11.2,工具全景)。
7. 建立评审的节奏。 在每个试点团队中举行简短的每月评审,查看趋势、记录决定并记下事件。包括一个说“不采取行动”的机会。再加上与赞助者一起、使用聚合视图和团队评论、对整个计划的季度查看。
8. 邀请下一批。 以试点团队的故事为先导,把这种做法提供给更多的团队。让每个新团队从菜单中选择自己的测量值,附一个小的共同核心。保持节奏可持续:每次几个团队,由试点团队和计划负责人提供支持。
第 91 到 180 天:加强、平衡,并准备交接
9. 设计受众视图。 与受众一起,使用共享的定义和团队的评论,设计仪表盘主题中所描述的服务负责人和领导层视图(见主题 11.1,设计服务度量仪表盘)。让每个视图保持小。淘汰它们所取代的旧报告。
10. 添加平衡和成果。 把试点的测量值扩展为包含质量、可靠性、体验和成本的平衡集合,让成果与活动并列(见主题 6.5,价值实现与业务成果)。在展示每项新测量值之前,先检查它的钻空子途径和护栏。
11. 评估计划。 与每个参与团队一起,运行成熟度模型主题中的自我评估,报告概况和主题,并在限制其他维度的那个维度中选择一两个下一步(见主题 11.4,度量计划的成熟度模型)。既统计你已淘汰的,也统计你已添加的。
12. 决定接下来是什么。 在第 180 天的评审中,与团队和赞助者一起,决定是继续、调整还是停止。写下计划做了什么、花费了多少工作量,以及服务中改变了什么。选择下一阶段:更多团队、更深的工具、与财务或客户测量值的联系,或者巩固。记录决定及其理由。
钻空子途径与护栏
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| 到第一个有用结果的时间 | 宣布琐碎的变更有用;仓促地做一个展示品 | 问团队什么改变了;检查变更是否持续 |
| 积极使用测量值的团队 | 为打钩而举行评审;声称发生过的使用并未发生 | 索要所作的决定;抽样评审笔记;与团队交谈 |
| 可追溯到测量值的改进 | 为达到计数而虚构联系;把无关的变更说成自己的功劳 | 保持描述性;向团队索要推理;对不确定的联系如实对待 |
| 被淘汰的测量值和报告 | 淘汰不便的测量值;淘汰后以新名称重新引入 | 在已淘汰清单中评审趋势不利的情形;要求说明理由 |
| 基线覆盖 | 捏造历史;使用会使之后的结果显得好的期间 | 记录来源和期间;保留原始数据;在变更之前选择基线 |
| 计划工作量占比 | 低估工作量;把工作转移给计数之外的人 | 询问做这项工作的人;与周期后期的加班比较 |
| 阶段评审完成 | 简短、敷衍的评审;记录从未发生的变更 | 检查变更是否已执行;问团队评审是否值得他们花时间 |
健康的读数显示:在头一两个月内的第一个有用结果、因为发现有帮助而使用测量值的团队、少数几项被归因的变更、与新报告并存的已淘汰报告、适度而稳定的工作量占比,以及导致计划真正发生变化的阶段评审。
权衡:利与弊
| 方法 | 优势 | 劣势 |
|---|---|---|
| 与志愿者试点 | 信任;真实的故事 | 开始较慢;选择偏差 |
| 同时向所有团队推行 | 覆盖快 | 抵制;扭曲 |
| 先用电子表格 | 快速;成本低;学习 | 脆弱;手工工作量 |
| 先上平台 | 精致;可扩展 | 成本;问题清晰之前契合度差 |
| 每个团队少量测量值 | 专注;负担低 | 可能错过重要领域 |
| 一次许多测量值 | 广度 | 负担过重;蔓延 |
| 固定的 180 天计划 | 为赞助者提供清晰 | 僵化;忽略所学到的 |
| 改变计划的阶段评审 | 学习;契合 | 对赞助者来说较难预测 |
结论是从志愿者和电子表格开始,随着价值的显现而扩展,给赞助者清晰的形状和评审点,并允许计划改变。
与团队讨论的问题
1. 关于我们的工作,这个月有哪一个问题是我们希望能够回答的? 收集每个人的问题。挑选最重要的、并且能用我们已有的数据回答的那一个。商定有用的答案会是什么样。
2. 我们已经度量了什么?谁在看它? 列出现有的报告及其受众。标出无人使用的。决定淘汰哪些,为新的腾出空间。
3. 什么会使我们愿意尝试一个月? 倾听条件:章程、对测量值的发言权、有限的时间。在开始之前与赞助者商定这些。
4. 最初的数据可能提示什么小的变更? 一起查看几个月的历史。指出一项可能的变更和预期的结果。商定我们将如何判断它是否有帮助。
5. 在不损害工作的前提下,我们能为此付出多少时间? 以每月的小时数估计。商定一个限度,并在第一次阶段评审时评审它。
6. 我们何时应当停止或改变计划? 描述迹象:没有有用的结果、恐惧上升、工作量沉重。商定由谁决定,以及决定将如何记录。
四种视角
产品与交付团队
试点团队承担早期的风险,并提供早期的证明。他们应当索要章程,选择自己的测量值,在自己的评审中使用最初的视图,并诚实地报告什么有帮助、什么没有。当第一个结果移除了真正的障碍时,他们受益。
服务与运维团队
运维团队提供大部分数据,往往也承担最大的负荷。他们应当帮助评估数据质量,指出测量值会在哪里奖励错误的行为,并为值班和事件工作保护时间。他们可持续的节奏,是计划的一项固定约束。
领导层与治理
领导者赞助、签署章程,并保护计划免遭误用。他们应当接受一个适度的开始,索要成果和故事,而不是仪表盘的数量,避免索要排名,并让计划随着学习而改变。他们应当依据得到改进的决定来评判计划。
客户与用户
当计划带来更好的服务时,客户和用户受益。他们可以参与选择体验的测量值,并评审收集了他们的什么。他们应当看到源自其反馈的变化。
实践:一个服务管理示例
一家中型公共交通管理机构,在数字服务、运营技术和服务台有 12 个团队。新任首席信息官想要“六个月内建成度量计划”。早先的一次尝试购买了平台,产生的仪表盘很少有人打开。下面的数字均为示意。
服务改进主管提议一份 180 天的路线图,在第 30、90 和 180 天进行阶段评审。第一周,她会见了首席信息官,后者签署了一页的章程,并邀请了三个志愿团队:服务台、乘客信息团队和基础设施运维团队。在一小时的会议上,每个团队说出了自己的问题。服务台想知道为什么同样的客户问题会回来。乘客信息团队想知道它的变更是否破坏了东西。基础设施团队想知道它有多少时间花在计划外的工作上。
对每个团队,她从本书中选择三到五项测量值,附护栏,并依据此前五个月的数据,在共享的电子表格中构建运行图。数据检查发现,乘客信息团队 27% 的变更记录是在部署之后创建的,并且服务台的类别在该期间中途被重组过。修复录入习惯和映射类别花了两周。到第 27 天,服务台看到 19% 的联系是在一周内的重复联系,集中在两个与令人困惑的时刻表页面相关的类别。该团队与乘客信息团队一起修改了该页面。服务台在第 27 天,把它确认为第一个有用的结果。
在第 30 天的评审中,团队要求更短的定义和更少的图表,其中一个问数据是否会用于其年度评审。章程被澄清为不会。在第 31 到 90 天之间,主管自动化了两个馈送,在每个团队建立了记录决定的每月评审,并凭借试点的故事邀请了另外四个团队。积极使用测量值的团队是 7 个受邀团队中的 7 个。在第 90 天的评审中,团队报告了五项他们归因于其测量值的变更。计划淘汰了三份旧的每周报告。工作量占比估计为团队时间的 3%。在第 91 到 180 天之间,主管与这些受众一起设计了服务负责人和领导层视图,把体验和成本测量值加入平衡的集合,并运行了自我评估:大多数团队在决定中的使用上处于等级 2,在信任与安全上处于 3,所选择的下一步是每个团队都有一份决定日志。第 180 天,首席信息官要求按成熟度对全部 12 个团队排名。主管提供了聚合的概况和主题,解释了章程,这项请求被撤回。赞助者同意在接下来的两个季度里,把计划扩展到其余五个团队,仍然以志愿为基础。
敏捷、AI、自动化与分析
敏捷
在第一个月为一个团队交付有用的东西,并以小步骤成长,每一步都为下一步赢得资格,与所度量的服务秉持同样的持续交付精神。需要注意的是,带日期的固定路线图,可能在学习表明应当改变方向时仍然驱动着计划。
AI
尽早决定 AI 在计划中的位置:用于分析和报告的 AI 助手、对 AI 使用的度量,以及治理。以小而经过评审的步骤加入它们,并由人检查报告中使用的 AI 输出。需要注意的是,过早添加 AI 功能,可能在计划的价值被证明之前就夸大它的产出。
自动化
为最初的几项测量值自动化数据收集,使努力用于解释,并度量计划自己的工作量占比。需要注意的是,一次自动化太多测量值,会造成计划无法承担的维护负荷。
分析
跟踪到第一个有用结果的时间以及可追溯到测量值的改进,并对照它们评审路线图。这为之提供依据的决定是扩展、维持还是停止。需要注意的是,改进很难归因于某项测量值,所以要诚实地描述证据。
行业视角
初创公司。 压缩路线图。在两周内,商定三个问题和两三项测量值,并每周或每两周一起查看。使用你已有的。一个季度后重新审视。等着构建工具的初创公司,将失去查看的习惯。
小型企业。 最初的 30 天可能是一次交谈、一页问题清单、一份电子表格和一项变更。接下来的阶段涉及每月一次的定期查看。主要的风险是,建立它的人成为唯一理解它的人,所以要写下每项测量值的含义。
大型企业。 使用志愿者的批次、一个提供支持而不拥有测量值的小型中央团队、共享的定义,以及与赞助者的阶段评审。抵制单一的全球日期。预料第一阶段要花在修复数据捕获上,并为与安全、隐私以及(若存在的)职工委员会或员工代表的协调做好规划。
政府与公共部门。 与员工代表的协商,以及对监督机构的清晰沟通,是早期工作的一部分。采购周期往往有利于从已拥有的工具开始。让强制要求的报告与改进的测量值保持分开,并为审计记录决定(见主题 8.5,受监管与政府报告)。
业务论证:动因、投资回报与总拥有成本
最初 180 天的成本,主要是人们的时间:计划负责人、少量的分析工作、试点团队时间的一部分,以及赞助者的注意力。在最初的阶段,工具成本可以很低甚至为零。更大的成本,是把早期步骤做错的成本,例如在没有信任的情况下推出测量值。
如果第一步选得好,回报很早就会出现:数据所提示的一项变更、被淘汰的报告、更少关于数字的争议,以及要求更多的团队。依据你自己的记录建立论证:到第一个有用结果的天数、团队归因于测量值的变更、因淘汰报告而节省的小时数,以及花费的工作量。避免在没有可追溯来源、与你的情境也不相关的情况下,引用关于分析回报的外部数字。可信的声称是适度而本地的(见主题 7.7,投资回报与业务论证)。
反模式与陷阱
- 一次性的大爆炸式发布。 几个月的设计,然后是一个意外。及早交付一个薄切片。
- 先上平台。 工具先于问题到来。从你已有的开始。
- 统计仪表盘。 度量了活动,却忽略了价值。跟踪决定和变更。
- 跳过章程。 恐惧填补了空白。在展示第一个数字之前,先写下承诺。
- 一次太多团队。 支持崩溃。以小批次扩散。
- 从不停掉任何东西。 旧报告与新的并存。随着添加而淘汰。
- 对抗证据而捍卫固定的计划。 计划应当随着学习而改变。
- 在第一次失误之后放弃。 早期的尝试是有教益的。评审、调整,再试一次。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 开始与试点 | 没有计划;临时的报告 | 感兴趣的团队独自尝试测量值 | 章程、赞助者,以及带第一个有用结果的志愿试点 | 试点的学习驱动批次计划;跟踪到价值的时间 | 团队在彼此之间扩散这种做法;赞助者和伙伴加入 |
| 扩展与节奏 | 一次性的努力 | 一些定期的评审 | 每月的团队评审和每季度的计划评审 | 管理工作量占比、淘汰和被归因的变更 | 评审跨团队和服务相联;节奏依据需要调整 |
| 学习与调整 | 计划固定或缺失 | 偶尔分享经验教训 | 阶段评审改变计划 | 路线图的步骤与成熟度概况挂钩 | 计划从每个人的贡献中持续改进 |
检查清单
- 在分享第一个数字之前,赞助者已签署一份简短的章程。
- 一到三个志愿团队已用自己的话说明了他们的问题。
- 每项试点测量值都有几个月数据的基线和数据质量检查。
- 每个试点团队都有一个小视图,每项测量值都附定义。
- 在头一两个月内交付第一个有用的结果,并经团队确认。
- 每个试点团队都有评审的节奏并记录决定。
- 随着新视图的取代,淘汰旧报告。
- 估计并保持计划对团队所要求的工作量很小。
- 在第 30、90 和 180 天与团队举行阶段评审,计划因此而改变。
- 与团队和赞助者一起决定下一阶段,并连同理由一起记录。
AI 提示词
起草 180 天的计划。
为在拥有 [数量] 个团队的 [组织类型] 中引入服务度量计划,起草一份 180 天的路线图。在第 30、90 和 180 天设阶段评审。对每个阶段,列出目标、活动、涉及的人、对团队所要求的时间、预期的第一个有用结果,以及风险。从志愿试点团队、章程和现有工具开始。不要承诺成果。请列出你的假设。
选择最初的测量值。
一个试点团队这样描述它的问题:[粘贴]。请建议三到五项开始时使用的测量值,每项附定义、数据来源、最可能的钻空子途径,以及一项配对的护栏。优先选用团队已有的数据。不要虚构数字。请列出你的假设,以及关于数据质量应当检查什么。
进行数据质量检查。
这是我们 [系统] 记录中字段和值的样本描述:[粘贴]。请找出在度量前置时间、变更失败和重复联系时可能的质量问题,比如缺失的字段、变更的类别和事后创建的记录。建议在来源处进行简单的检查和修复。不要猜测你看不到的内容。请列出你的假设。
规划阶段评审。
为第 [30、90 或 180] 天,与试点团队和赞助者一起,规划一次 45 分钟的阶段评审。包括关于什么有帮助、什么感觉有风险、花了多少工作量、要停止什么,以及要在计划中改变什么的问题。包括如何记录决定,以及分享一个关于什么改变了的简短故事。不要给团队排名。请列出你的假设。
AI 技能
- Service Management Metrics skill:用于为试点团队选择带配对护栏的起步测量值。
- Service Management Metrics maintainer skill:用于检查路线图让测量值保持在团队层面,并为所引入的每项测量值带有钻空子途径。
要点
- 从你所在之处开始,借助志愿者、章程,以及你已有的数据和工具。
- 在头一两个月为一个团队交付一个有用的结果。
- 以小批次扩展,并随着新视图的取代而淘汰报告。
- 及早检查数据质量,并在来源处修复捕获。
- 举行改变计划的阶段评审,并保持对团队所要求的工作量很小。
- 与团队和赞助者一起决定下一阶段,并记录理由。
参考文献与延伸阅读
- Ries, E., The Lean Startup, Crown Business, 2011.
- Kotter, J., Leading Change, Harvard Business School Press, 1996.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution Press, 2018.
- Axelos, ITIL 4: Direct, Plan and Improve, 2020.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Minimum viable product.
- Wikipedia, Kaizen.
- Wikipedia, Run chart.
- Wikipedia, Data quality.
- Wikipedia, Information radiator.
- Wikipedia, Pilot project.
- Wikipedia, Change management.