服务采纳与目录度量
没有人选择、找到或完成请求的服务,并没有交付价值,所以要度量人们如何发现并使用你所提供的东西,并让目录像待办事项列表一样诚实。
概述与动因
团队在服务上投入,然后发现人们并不使用它们。新的自助服务门户被电子邮件绕开。一个精心设计的软件访问目录项每年只收到两次请求,而每月却有一百次通过聊天到达。监控服务上线了,而它所面向的团队有一半从未连接到它。采纳是交付缺失的另一半:只有当目标用户开始、持续并完成使用时,服务才有价值。
服务目录(service catalog)(ITIL 自己的拼写是 service catalogue)是组织所提供的服务和可请求项的清单,以其用户能够理解的措辞来描述。服务目录通常有面向客户的视图,列出用户可以请求什么以及如何请求,还有技术视图,记录每项服务如何构建和支持。敏捷团队会认得这一形态:目录是一种反过来的产品待办事项列表(product backlog)。待办事项列表列出你打算构建什么。目录列出你已经提供什么,两者都需要同样的照料:排序、修剪、清晰的措辞,以及来自用户的源源不断的反馈(见主题 2.6,待办事项列表与梳理度量)。
采纳(adoption)是目标用户开始并持续使用某项服务的程度。关于新实践如何传播的研究有着悠久的历史;创新扩散(diffusion of innovations)理论把采纳描述为一个随时间推移的过程,有早期采纳者、大多数人和落后者。对于内部服务,实际的教训是,采纳很少因为一次公告而发生。它发生在服务易于找到、易于使用,并明显优于变通办法的时候。
采纳测量值很容易被变成目标。强制规定某个渠道,会使使用数字看起来很好,而用户却心怀怨恨并构建变通办法。把每个请求都推入目录项,会使目录覆盖上升而完成率下降。古德哈特定律的护栏适用,所以这里的每项测量值都与一项检查配对,检查上升的是真正的价值,而不仅仅是使用(见主题 1.2,古德哈特定律与度量的心理学)。
本主题涵盖四件事:人们是否使用服务(采纳)、他们能否找到并完成他们来做的事(目录与请求流程)、目录是否是最新且诚实的(卫生),以及使用是否集中在少数几项上(形态)。它与请求履行(见主题 3.5,服务请求履行度量)和自助服务(见主题 3.7,自助服务与自动化度量)相联,后两者涵盖请求提出之后发生的事。
关键原则
- 采纳是一项成果,所以要问用户想做什么。 统计完成的目标,而不是页面浏览量。
- 度量漏斗,而不仅仅是总数。 人们在哪里退出,告诉你要修复什么。
- 与替代方案相比较。 服务与电子邮件、聊天、电话和变通办法相竞争。
- 让目录尽可能小且保持最新。 陈旧的项教会用户不再查看。
- 先细分,后下结论。 对所有用户求平均,隐藏了服务对其不起作用的群体。
- 绝不为提高数字而强制使用。 强制产生数字,而不是采纳。
- 把低使用量视为向负责人和用户提出的问题。 它可能意味着这项服务并不需要。
度量定义
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| 采纳率 | 期内至少使用过一次某项服务的合格用户占比 | 至少有一次完成使用的不同合格用户 / 合格用户 | 百分比 | 与用户目录相连的服务使用日志 | 服务目录管理;服务级别管理 | 功能采纳;产品成果评审 | 每月 |
| 活跃使用率 | 随时间推移仍在使用服务的采纳者占比 | 期内活跃、且前一期也使用了该服务的用户 / 前一期活跃的用户 | 百分比 | 使用日志;队列群表 | 持续改进 | 产品分析中的留存 | 每月 |
| 目录覆盖 | 通过目录、而不是通过临时渠道到达的请求占比 | 通过目录创建的请求 / 来自所有渠道的所有请求 | 百分比 | 请求管理工具;邮箱和聊天标签 | 服务请求管理;服务目录管理 | 带有书面定义的待办事项列表项 | 每月 |
| 请求放弃率 | 已开始、但用户没有提交的请求占比 | 开始后 24 小时内未提交的请求 / 已开始的请求 | 百分比 | 门户分析 | 服务请求管理 | 可用性测试中的任务放弃 | 每月 |
| 搜索成功率 | 以一次请求或一次已查看的答案结束的目录搜索占比 | 在会话内后续有请求或知识查看的搜索 / 搜索 | 百分比 | 门户搜索日志 | 知识管理;服务目录管理 | 用户研究中的可发现性 | 每月 |
| 陈旧项占比 | 超过评审日期、或在设定期间内没有使用的目录项占比 | 过期未评审、或 12 个月内零请求的项 / 目录中的项 | 百分比 | 目录登记册 | 服务目录管理 | 待办事项列表的年龄和修剪 | 每季度 |
| 请求集中度 | 被请求最多的几项所占的请求占比 | 前五项的请求 / 所有目录请求 | 百分比 | 请求管理工具 | 服务请求管理 | 按类型划分的工作帕累托图 | 每季度 |
为每项测量值说明用户群。“合格用户”必须在度量之前定义,例如其角色可以使用某项服务的员工,并把该清单记录在度量登记册中。只有当一次使用以完成的成果结束时才计为使用,比如已交付的访问授权,而不是页面加载时。排除测试账户和自动化流量。
建议
了解你的服务和用户
1. 为每项服务定义目标受众。 在度量采纳之前,写下这项服务是为谁准备的,以及他们为什么会使用它而不是替代方案。为财务人员构建的新分析服务,如果只有财务人员本应使用它,就不算“采纳率低”。没有定义的受众,采纳率是一个关于无人的数字。
2. 记录替代方案。 对每项主要服务,列出人们在不使用它时现在做什么:问同事、发电子邮件、买工具、运行电子表格。把替代方案视为竞争对手,取其重要的含义:当你的服务更难用时,它就是你的用户去的地方。在设计和评审期间比较两条路径的费力程度。
3. 用用户的语言描述各项。 像“软件访问,标准”和“笔记本电脑更换,损坏”这样的标题,比内部名称更容易找到。通过请几位用户根据一个简短场景去寻找一项来测试标题。措辞问题在搜索日志中很快就会显现。
4. 为每一项保留一名负责人。 每个目录项都有指名的负责人、评审日期、对受众的描述和预期的量。没有负责人的项会漂移。如果没人能说出谁使用一项以及为什么,它就是移除的候选。
度量旅程
5. 为漏斗埋点。 对每项重要的服务,记录从发现到完成成果的各个步骤:找到该项、开始请求、填写表单、提交、收到结果。转化漏斗(conversion funnel)视图显示用户在哪里离开。先修复最大的流失。检查修复使表单更短或更清晰,而不仅仅是使数据更漂亮。
6. 使用队列群来观察留存。 队列群分析(cohort analysis)按用户首次使用服务的时间对用户分组,并跟踪每个组。它把留得住用户的服务与只吸引用户一次就失去他们的服务区分开。把它用于应当被反复使用的服务,比如服务台门户或部署流水线。
7. 阅读搜索日志,了解人们找不到什么。 没有结果的搜索,或用不同的词重复的搜索,指向命名、内容或目录本身的缺口。每月评审排名靠前的零结果搜索,并对每一个作出决定:重命名一项、添加同义词、撰写一篇文章,或创建一项新的。网络分析(web analytics)工具可以提供这些,门户自己的日志也可以。
8. 按群体细分。 在你有合法且合乎伦理的途径获得这类信息之处,按角色、地点、设备和无障碍需要来拆分采纳和放弃。总体看起来可能健康,而夜班员工或使用移动设备的用户却以两倍的比率失败。抑制小群体以保护人,并与前面主题中的体验测量值相结合(见主题 6.2,体验级别协议)。
让目录保持诚实
9. 按计划修剪。 每季度评审目录。移除或合并没有使用的项,淘汰已停止服务的项,并修复放弃率高的项。更小而准确的目录,比完整而陈旧的目录更好地服务用户。把移除视为正常,并记录理由。
10. 看需求的形态。 在大多数目录中,少数几项占去大部分请求,这一模式常常通过帕累托原则(Pareto principle)来描述。用它把设计精力集中在频繁的项上,并把例行的项自动化(见主题 3.7,自助服务与自动化度量)。不要在没看一眼的情况下就放弃长尾,因为罕见的项对需要它们的人可能非常重要。
11. 不要强制采纳。 如果某项服务是需要的,一旦它变得容易,用户就会来。凡组织出于控制或审计原因要求使用某个渠道之处,要说明这一点,并公开表明数字反映的是一条规则,而不是偏好。避免暗黑模式(dark pattern),比如隐藏电话号码或使替代方案更难,因为它们提高使用量,却降低信任。
12. 与负责人和用户闭环。 每月与各项的负责人分享漏斗、搜索缺口和陈旧清单。在调查和评审中问用户,为什么使用或避开某项服务(见主题 6.1,客户满意度度量)。在登记册中记录你更改了什么,并告诉用户它已发生。
钻空子途径与护栏
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| 采纳率 | 强制使用;把登录或页面浏览量算作使用;把“合格用户”收窄到已经在使用的人 | 完成成果的定义;与满意度和费力程度评分相比较;公布合格用户的规则 |
| 活跃使用率 | 自动登记用户,使他们显得活跃;发送计入活动的通知 | 只统计用户发起的、完成的动作;对已不再使用的用户进行抽样访谈 |
| 目录覆盖 | 把每个请求都强行塞入通用的目录项;用“请使用门户”关闭电子邮件请求 | 请求放弃率和满意度;统计有多少请求被通过另一个渠道重新提出 |
| 请求放弃率 | 删去需要的表单字段,从而把工作转移到履行环节;只在很长的窗口之后才统计被放弃的请求 | 履行环节的返工和澄清率(见主题 3.5,服务请求履行度量) |
| 搜索成功率 | 把任何点击都算作成功;添加匹配每个查询的无关文章 | 检查结果是否被使用(提出了请求、文章被评为有帮助);阅读零结果搜索 |
| 陈旧项占比 | 在没有阅读的情况下把项标为已评审;批量重置评审日期 | 抽样检查已评审项的准确性;显示最后一次真正变更的日期 |
| 请求集中度 | 把热门项拆成许多项;合并不相关的项以隐藏长尾需求 | 带变更日志的固定项分类法;按类别查看尾部 |
健康的读数是这样一个目录:使用最多的项运转良好并且越来越容易,用户选择该服务是因为它比替代方案更好,并且淘汰一项是例行之事。
权衡:利与弊
| 方法 | 优势 | 劣势 |
|---|---|---|
| 强制的渠道 | 可预测的数量,易于审计 | 怨恨、变通办法、虚高的数字 |
| 自愿采纳 | 价值的诚实信号 | 较慢;有些服务可能永远不会被采纳 |
| 大目录 | 完整,涵盖罕见的需要 | 难以搜索;变得陈旧 |
| 小目录 | 易于查找和维护 | 罕见的需要落在范围之外;用户转而使用电子邮件 |
| 漏斗测量值 | 精确指出用户在哪里退出 | 需要埋点;可能鼓励以牺牲成果为代价来优化表单 |
| 询问原因的调查 | 解释行为 | 受回答者的偏差影响;难以扩展 |
答案是倾向于以清晰的质量优势为后盾的自愿采纳,只在控制或合规要求之处使用强制,并相应地标注数字。让目录小到足以维护,并把长尾放入可搜索的知识库,而不是放入一百个半被使用的项。
与团队讨论的问题
1. 我们的每项主要服务是为谁准备的?我们如何知道他们在使用它? 列出你的团队花时间最多的五项服务,并写下每项的目标受众。然后问如何为它们度量采纳。引导者应当寻找没人能说出受众的服务,因为它们很可能没有采纳计划。
2. 人们不使用我们的服务时做什么?为什么? 对一项低采纳的服务,访谈或调查几位避开它的用户。替代方案通常很能说明问题:它可能更快、更熟悉或更灵活。决定是改进服务、改变替代方案,还是接受这项服务并不需要。
3. 用户在我们被请求最多的项的哪个环节退出? 展示排名第一的项的漏斗,从首次查看到提交。请团队猜测最大的流失在哪里,然后比较。商定一项要测试的变更,并说明你将如何检查它有帮助,而没有把问题转移到别处。
4. 如果我们敢的话,会从目录中移除什么? 打印一年没有请求的项的清单。问如果每一项消失会发生什么。这场交流常常发现,某项之所以存在,是因为有人曾经要求过它。商定一个日期,移除或合并前五项,并向用户发出说明。
5. 我们在哪里在推动或强迫用户?这值得付出代价吗? 列出所有由规则或设计把用户推入某个渠道的地方。问哪些是真正需要的,哪些是习惯。引导者应当探讨用户如何体验其中的每一个,以及由此产生的数字是否意味着领导者所认为的含义。
6. 人们在搜索什么而我们没有? 评审排名靠前的零结果搜索。对每一个,决定是添加一项、撰写一篇文章,还是说明这项服务并不存在。问谁拥有这项评审,以及多久进行一次。
四种视角
产品与交付团队
交付团队构建需要被采纳才有意义的服务和功能。他们应当在一开始就定义受众,把使用测量值构建到服务中,并在上线之后评审漏斗。采纳数据是对工作的反馈,它属于梳理和评审。团队应当避免在发布时就宣布完成。完成意味着目标用户正在获得收益。
服务与运维团队
运维团队运行目录,并看到来自每个渠道的请求。他们应当使目录保持最新,给绕过它的请求打标签,并问为什么。他们不应通过重定向来关闭请求,因为那会隐藏信号。搜索缺口和放弃,是他们改进门户的最佳来源。
领导层与治理
领导者决定采纳是一场对话还是一份配额。他们应当问这项服务是做什么的、帮助了谁,以及人们为什么选择它。他们应当避免为各个团队设定采纳目标,支持淘汰未被使用的服务,并期望看到采纳与满意度和费力程度并列。凡强制是有道理的,领导者应当向用户解释。
客户与用户
用户想以很少的力气得到他们所需要的东西。他们会注意到门户难以搜索、表单询问了组织已经知道的东西,以及旧办法更快。他们的行为以及他们所说的,是最诚实的采纳信号。应当问他们为什么避开某项服务,并告诉他们因此而发生了什么变化。
实践:一个服务管理示例
一家国家交通机构的 IT 部门运行着一个服务台、一个带有约 140 个目录项的自助服务门户,以及几个产品团队。下面的数字均为示意。
门户在一年前上线,领导层设定了 80% 的请求通过它的目标。月度报告显示覆盖率为 78%,服务管理主管很高兴,直到她读到用户调查中的评论。区域办事处的员工说门户很慢,表单很长。她请目录经理查看漏斗和搜索日志。
“新入职者设备”的漏斗显示,每季度有 1,100 次开始、640 次提交,放弃率为 42%。该表单有 23 个字段。搜索日志显示,“笔记本电脑”一词返回八项,“VPN”一词不返回任何项,尽管它是被搜索最多的词。在 140 个目录项中,有 38 项在 12 个月内没有请求,21 项已过评审日期。前五项占去 61% 的请求,另有 15% 的请求通过电子邮件到达并被手工记录。
团队作出四项变更。它利用人力资源系统已经持有的数据,把新入职者表单削减到九个字段。它添加了一篇 VPN 文章和一个带同义词的项。它把八个笔记本电脑项合并为两个。它淘汰了 19 个未被使用的项,并向负责人发出说明。它还改变了月度报告的解读方式:覆盖率与放弃率以及调查问题“获得你所需要的东西有多容易?”一起展示。三个月后,新入职者项的放弃率降至 24%,门户的覆盖率为 74%,区域办事处的费力程度评分上升。总监问为什么覆盖率下降。服务管理主管解释说,电子邮件请求以前被强行关闭,较低的数字更诚实,体验也更好。决定日志记录,目标被一个方向取代:降低放弃率并提高费力程度评分,覆盖率予以评审但不设目标。
敏捷、AI、自动化与分析
敏捷
把目录视为与其用户一起梳理的待办事项列表,并移除无人使用的项。需要注意的是,针对目录项数量的目标会增加杂乱。
AI
AI 搜索和助手可以改变人们寻找服务的方式,从而移动采纳和放弃的数字。把搜索成功率与放弃率,以及被接受并完成的 AI 建议的占比配对。需要注意的是,模型可能推荐某人无法请求的服务,所以要检查资格规则。
自动化
自动捕获搜索、查看和请求事件,并标出陈旧的目录项,交由人来决定。就履行环节自动化的失败率来度量它。需要注意的是,移除项的自动清理,可能隐藏人们很少使用却需要的服务。
分析
按目录项展示采纳和放弃,并附计数,以及请求的集中度。这为之提供依据的决定是重新设计或淘汰哪些项。需要注意的是,低数量的项的比率有噪声。
行业视角
初创公司。 往往没有目录。一页简单的“如何获得 X”和一个共享频道就足够了。观察人们要求什么,并把排名前五的请求变成简短的指南。通过询问用户来度量内部工具的采纳,并跳过正式的漏斗。
小型企业。 提供 IT 的人很少,请求来自每个渠道。一个 10 至 20 项的适度目录涵盖大部分需要。不要把用户逼入一个维护成本高于其所处理请求的门户。每年两次评审清单。
大型企业。 规模给你一个大到需要治理的目录:负责人、评审日期和分类法。按业务单元和区域细分采纳,并避免无视本地需要的全企业强制。留意那些目录项被计数却未被使用的供应商。
政府与公共部门。 服务既面向公众也面向员工,在无障碍、语言和平等获得方面负有责任。把辅助渠道(电话、当面)纳入测量值,使数字化采纳不掩盖排斥。凡法律或政策规则要求某个渠道之处,在报告中说明(见主题 8.5,受监管与政府报告)。
业务论证:动因、投资回报与总拥有成本
成本不高。使用日志和请求数据通常已经存在。漏斗和搜索分析需要访问门户分析,大多数平台都提供。主要的时间成本是每季度的目录评审,以及每月对搜索缺口和流失的查看,每次几个小时。修复表单和合并项耗费设计和配置的时间。
回报来自被使用的服务、完成的请求,以及履行环节更少的浪费。降低放弃率的较短表单,减少重复联系和手工处理。修剪未使用的项减少维护。依据你自己的数字构建论证:放弃率、每个电子邮件请求的手工处理时间,以及维护一个未被使用的项的成本,变更前后的数字。避免引用你无法追溯的关于门户投资回报的已发布说法,因为它们取决于组织和方法。
反模式与陷阱
- 把上线算作采纳。 当目标用户用服务完成成果时,它才算被采纳。度量使用,而不是公告。
- 为提高数字而强制规定渠道。 用户会绕开它。改进服务,让数字随之而来。
- 只添加项而从不移除。 目录变得无法搜索。每季度修剪。
- 只看总数。 按群体细分,并查看漏斗。
- 用重定向关闭电子邮件请求。 它隐藏需求并惹恼用户。处理该请求,并修复路由。
- 把页面浏览量当作使用。 统计完成的成果。
- 把低使用量视为用户的失败。 问这项服务是否需要且易用。
- 让项的负责人缺位。 为每一项指定负责人和评审日期。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 目录设计 | 清单按请求增长 | 目录存在,措辞不一致 | 用户语言的项,带负责人和评审日期 | 每季度修剪;管理分类法 | 目录在团队和供应商之间共享;与用户共同设计项 |
| 采纳度量 | 轶事 | 按项的请求计数 | 采纳按合格用户和完成的成果定义 | 每月评审漏斗、队列群和细分 | 采纳与跨服务的体验和成果相联 |
| 改进 | 临时修复 | 投诉之后才修复 | 每月评审搜索缺口和流失 | 修复按优先级排序,并在待办事项列表上跟踪 | 与用户协调改进,公开报告已淘汰的服务 |
检查清单
- 每项主要服务都有书面的目标受众和一条替代路径。
- 采纳被定义为合格用户完成的成果。
- 目录项有负责人、用户语言的描述和评审日期。
- 为被请求最多的项的漏斗埋点。
- 每月评审零结果搜索。
- 采纳和放弃按群体细分,小群体被抑制。
- 在目录之外到达的请求被打标签并计数。
- 每季度修剪目录,并记录理由。
- 采纳与满意度或费力程度测量值并排展示。
- 没有为某个团队或个人设定采纳目标。
AI 提示词
分析请求漏斗。
对于 [组织类型] 中的目录项 [项名称],我们 [期间] 的门户数据是:查看 [数量]、开始 [数量]、提交 [数量]、已履行 [数量]。该表单有 [数量] 个字段:[清单]。请描述用户可能在哪里遇到困难,建议三项要测试的变更,并说明我将如何检查每项变更有帮助,而没有把问题转移到履行环节。不要虚构基准值。请列出你的假设,以及你还需要哪些额外的数据。
评审搜索日志,查找目录缺口。
这是 [期间] 排名前 [数量] 的目录搜索及其结果数:[粘贴数据]。请把它们归入主题,标出不返回任何结果或返回过多项的搜索,并建议每一项是需要新项、重命名、同义词,还是知识文章。不要猜测我们可能没有提供的服务。请列出你的假设,以及我应当问各项负责人的问题。
规划目录修剪评审。
我管理着一个有 [数量] 项的目录。对其中每一项,我有 12 个月的请求计数、评审日期和负责人:[粘贴摘要]。请提出移除、合并或保留某一项的标准、给负责人的简短说明,以及避免丢弃罕见却关键的项的办法。包括一项检查,确保我们不只是把请求转移到电子邮件。请列出你的假设。
为服务起草采纳定义。
服务:[名称]。目标用户:[角色]。目前的替代路径:[他们现在做什么]。请起草一页纸的采纳定义,涵盖合格用户、什么算一次完成的使用、数据来源、如何排除测试和自动化流量、该测量值可能如何被钻空子,以及一道护栏。不要虚构目标。请列出你的假设,以及我需要确认的任何事项。
AI 技能
- Service Management Metrics skill:用于查找采纳或目录度量所配对的护栏。
- Service Management Metrics maintainer skill:用于检查新的目录度量条目是否带有其钻空子途径和护栏。
要点
- 采纳意味着目标用户用服务完成成果,所以要定义受众并统计完成。
- 度量漏斗、搜索缺口和用户的留存,并按群体细分。
- 把服务与用户如今所拥有的替代方案相比较。
- 让目录保持小、有负责人,并每季度修剪。
- 不要为提高数字而强制使用,并把采纳与满意度和费力程度配对。
- 把低使用量视为关于需要和易用性的问题,而不是用户的失败。
参考文献与延伸阅读
- Rogers, E. M., Diffusion of Innovations, 5th ed., Free Press, 2003.
- Hunnebeck, L., ITIL Service Design (service catalogue management), The Stationery Office, 2011.
- Hunt, A. and Thomas, D., The Pragmatic Programmer, Addison-Wesley, for the habit of removing what is no longer useful.
- Wikipedia, Service catalog.
- Wikipedia, Product backlog.
- Wikipedia, Diffusion of innovations.
- Wikipedia, Goodhart's law.
- Wikipedia, Conversion funnel.
- Wikipedia, Cohort analysis.
- Wikipedia, Web analytics.
- Wikipedia, Pareto principle.
- Wikipedia, Dark pattern.