概述与动因

运营测量值说明服务做了什么。满意度测量值说明接受服务是什么感受。一张工单可以在目标时间之内关闭,却仍使用户束手无策,一项恢复的服务仍可能让人觉得这一周很糟糕。敏捷团队在每个增量结束时问同样的事:这是否帮助了它所面向的人?由 ITIL 所规范的 IT 服务管理(ITSM),则通过服务与其客户共同创造的价值来问这个问题。满意度度量就是这两个问题相遇之处。

客户满意度(customer satisfaction)是衡量产品和服务满足或超出客户期望的程度。在服务工作中,它通常通过调查来收集,并有三种常见形式,本主题涵盖这三种:

  • 客户满意度得分(CSAT): 对某次具体互动或服务的评分,通常采用五分制,报告为满意回复的占比。
  • 净推荐值(NPS): 基于一个关于受访者向他人推荐某家公司、产品或服务的可能性的问题。回答 9 或 10 的受访者是推荐者,回答 0 至 6 的是贬损者,得分是推荐者的百分比减去贬损者的百分比。净推荐值(net promoter score)由弗雷德·赖克哈尔德(Fred Reichheld)在 2003 年一篇《Harvard Business Review》文章中推广开来。
  • 客户费力度得分(CES): 对把某件事做完花了多少力气或有多容易的评分。其作者主张,降低费力程度比让人欣喜更能预测忠诚度。把这一主张视为要在你自己的背景下检验的假设,而不是已成定论的事实。

在内部 IT 的环境中,“客户”是同事,调查是在一张工单或一次发布之后的一个简短问题。原则是相同的,而伦理义务更大,因为你所询问的人明天还要与你共事。

调查是调查方法(survey methodology)的一种形式,这个领域有几十年的发现,说明问题措辞、时机和抽样如何改变答案。跳过它的团队,往往产生因与服务质量无关的原因而变动的得分。古德哈特定律的护栏在这里格外有力:当员工因高分而受奖励时,他们学会索要高分(见主题 1.2,古德哈特定律与度量的心理学)。

本主题给出使满意度测量值保持诚实的定义、数据卫生和习惯。下一个主题把它们扩展到更完整的体验视角(见主题 6.2,体验级别协议)。

关键原则

  • 询问某个具体的时刻。 与已关闭的工单或一次发布相联的调查,比笼统的年度问题给出更清晰的答案。
  • 保持简短。 一个评分加一条开放评论,胜过大多数人会跳过的十个问题。
  • 阅读评论。 得分告诉你多少,文字告诉你为什么。
  • 报告谁回答了。 没有回复率和受访者构成的得分,只是传闻。
  • 闭环。 报告糟糕体验的人应当得到回复。
  • 与自己随时间相比较。 跨公司的基准隐藏了方法、受众和文化上的差异。
  • 保护受访者。 只收集你需要的,说明将如何使用,并且不依据它给个人排名。

度量定义

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏
CSAT 针对某类已定义的互动,满意回复的占比 在五分制上评为 4 或 5 的回复 / 有效回复 百分比 与工单或发布相联的互动后调查 服务台;事件管理;服务级别管理 干系人评审的反馈 每周或每月
NPS 针对某项已定义的服务和受众,推荐者减去贬损者 回答 9 或 10 的百分比减去回答 0 至 6 的百分比 点,范围 -100 至 100 按固定间隔发送的关系调查 持续改进;服务级别管理 产品成果评审 每季度
CES 对把某件事做完有多容易的评分的平均值或偏正面占比 偏正面的回复 / 有效回复,或平均评分 百分比或平均值 与工单、请求或发布相联的互动后调查 服务请求管理;服务台 梳理中的可用性反馈 每月
调查回复率 受邀用户中作出回复的占比 收到的回复 / 送达的调查 百分比 调查工具和工单系统 度量与报告 评审中的反馈参与度 每月
受访者覆盖 受访者构成在约定维度上与用户总体的接近程度 每个群体中受访者的占比与该群体用户占比的比较,按群体 百分点 与用户目录或工单数据相连的调查工具 度量与报告 干系人地图 每季度
评论主题占比 自由文本评论被归入每个主题的占比 主题中的评论 / 已编码的评论 百分比 已编码的调查评论 持续改进 回顾会议的主题 每月
贬损者跟进时间 从低评分到与用户有记录的联系的时间 跟进备注的时间戳减去低评分的时间戳,中位数和第 85 百分位数 小时或天 调查工具和工单系统 事件管理;持续改进 工作协议中的反馈闭环 每月

时钟和边界很重要。CSAT 和 CES 只统计对具体互动的回复,绝不统计一般的情绪。贬损者跟进时间从低评分被记录的那一刻开始,而不是从有人第一次读到它时开始。排除测试记录,以及被度量团队成员的回复。

建议

设计工具

1. 每个目的选一个问题。 在互动之后用 CSAT,了解那次互动如何;在用户必须做的某件事之后用 CES,了解摩擦在哪里;以固定间隔用 NPS,了解整体关系。在一份表单里混用三者,会招致调查疲劳和混乱的结果。如果你只能负担一个,选与你需要作出的决定相符的那个。

2. 撰写中立、具体的措辞。 “您对您的请求被处理的方式有多满意?”比“我们的服务有多棒?”更好。避免同时询问速度和友好程度的双重问题。提供一致的量表,为两端标注标签,并让答案的顺序每次保持一致。李克特量表(Likert scale)是常见的设计,标签的细微变化就可能使结果改变,所以不要随意更改。

3. 添加一个开放性问题。 “您给出这个评分的主要原因是什么?”给受访者带来的负担很小,却给团队提供最丰富的数据。评论解释得分,暴露数字无法揭示的问题,并让坐席有可学习之处。在定期评审中阅读它们,可能的话大声朗读。

4. 让调查的时间靠近事件。 在工单解决或发布落地之后不久发出问题,趁记忆犹新。不要在由希望得到高分的坐席关闭工单的那一刻发送。由系统设定的短暂延迟,消除了辅导答案的诱惑。

让数字值得信赖

5. 在每个得分旁边报告回复率和受访者构成。 来自 4% 用户的满意度得分,是关于受访者的陈述。用你已掌握的属性,比如区域、服务或请求类型,把回答者与受邀者相比较。差距很大意味着得分需要加上告诫标签。代表性是回复偏差(response bias)研究的核心主题,而对服务团队来说,关键只是去看一看。

6. 展示不确定性。 小样本摆动很大。在月度 CSAT 旁边展示误差幅度(margin of error)或置信区间(confidence interval),可使团队不对噪声作出反应(见主题 1.6,服务度量的统计素养)。如果一个团队在一个时期内的回复少于几十条,就报告计数并阅读评论,而不是报告百分比。

7. 避免挑选被询问的对象。 如果由关闭工单的人决定是否发送调查,得分就会因错误的原因而上升。自动向每次符合条件的互动发送调查,或者在数量很大时向随机样本发送。把规则,包括任何排除项,记录在度量登记册中。

8. 把一个人的满意度与一个人的绩效区分开。 满意度取决于个别坐席无法控制的因素:产品质量、队列、政策、用户的心情。不要按 CSAT 给坐席排名。在团队和服务层面使用它,并把评论用于坐席乐于接受的辅导交流。

对所听到的采取行动

9. 与不满意的用户闭环。 联系报告糟糕体验的人,问什么本来会有帮助,并记录你所学到的。为跟进时间设定目标,并使跟进成为一场对话,而不是要求更改得分的请求。应要求更改得分是一种扭曲,所以跟进应当以修复问题和学习为目的。

10. 把评论编码为主题并加以跟踪。 商定一份简短的主题清单,比如“不得不重复自己的话”“响应缓慢”“修复没有持续”“沟通不清晰”和“友好且乐于助人”。每月对一批样本编码,手工或用工具,并由人检查结果。主题的趋势往往在得分变动之前就显示问题。

11. 把满意度与运营数据联系起来。 把 CSAT 与解决时间、重开率和每个问题的联系次数相比较。这些配对告诉你,速度是否在换来满意度,还是团队又快又错。用它们来寻找要调查的故事,而不是证明一条规则。

12. 谨慎对待基准。 已发布的或供应商提供的满意度得分数字,取决于方法、受众和地区,你自己的历史是更好的比较对象。如果你使用外部比较,要说明其来源、方法和日期,并且在没有检验你的方法是否相符之前,不要据此设定目标。绝不要虚构基准。

钻空子途径与护栏

度量 如何被钻空子 配对的护栏度量或实践
CSAT 坐席辅导用户给出最高分;只在容易的工单之后发送调查;困难的工单在不发调查的情况下被关闭 自动向每张符合条件的工单发送调查;回复率和受访者构成;重开率
NPS 只调查友好的用户;把调查的时间选在一次好事件之后;当面询问;给量表点位重新贴标签 在登记册中固定受众和时间表;受访者覆盖;阅读贬损者的评论
CES 以把工作移到别处的方式删去表单中的步骤;只在顺利的请求之后询问 每个问题的联系次数;请求履行时间和返工(见主题 3.5,服务请求履行度量)
调查回复率 只邀请可能回答的人;每次把调查发给不同的名单 写下邀请规则;把受邀者与用户总体相比较
受访者覆盖 把难以联系的群体从比较中去掉;在不说明的情况下重新加权 公布维度和方法;在加权结果旁边展示未加权的结果
评论主题占比 为避开糟糕的主题而给评论编码;合并主题,使没有一个看起来很大 由第二个人对一批样本编码;保持主题清单稳定,并记录变更
贬损者跟进时间 记录一条备注而不联系用户;联系用户以索要更好的得分 检查跟进备注的内容;在下一次调查中询问用户是否有人联系过他们

健康的读数是:稳定的回复率、接近用户构成的受访者构成、随用户在评论中描述的体验而变动的得分,以及说有人回复了他们的不满意的用户。

权衡:利与弊

测量值 优势 劣势
CSAT 简单、快速,与具体时刻相联 容易被抬高;对整体关系说明很少
NPS 一个问题,易于随时间跟踪 隐藏原因;一个数字压缩了宽广的分布;文化差异影响量表
CES 直接指向团队能消除的摩擦 较少被广泛理解;证据有争议
年度长问卷 内容丰富,涵盖许多服务 缓慢、回复率低、难以据此行动
只看评论 具体、令人难忘 难以随时间比较;易受声音最大的人影响
行为信号 没有调查负担;客观 不捕捉感受;可能误读原因

答案是把简短的互动调查、偶尔的关系调查和评论结合起来,并把三者与运营数据一起阅读。满意度测量值作为用户与团队之间的对话起作用。把它当作记分牌,它就会失败。

与团队讨论的问题

1. 对低得分和高得分,我们各做什么? 请团队描述,实际上上一次低得分是何时导致一项变更的。然后对高得分问同样的问题。如果答案含糊,调查就是一种仪式。引导者应当寻找从数据到行动的具体联系,并商定一个记录这一联系的地方。

2. 谁回答我们的调查,谁不回答? 请团队说出他们听到最少的用户群体。与邀请名单和用户目录相比较。这场交流往往揭示,最安静的用户有最难的问题。商定本季度联系一个安静群体的一种办法,比如简短的电话,或不同的渠道。

3. 我们在互动的哪个环节询问,由谁决定? 走一遍从解决到调查的路径。找出每一个有人可以影响调查是否发送、何时发送或如何发送的点。商定其中哪些点应当被自动化。引导者可以问坐席为保护得分可能做什么,把它作为设计问题,而不是指控。

4. 贬损者在回答之后从我们这里听到什么? 查看几个最近的低评分并阅读跟进备注。问用户是否会感到被倾听。讨论如何使跟进有用,而又不要求更改评分。决定谁拥有跟进,以及目标时间是多少。

5. 上个月的哪些评论改变了我们的做法? 随机打印或展示十条评论。问团队哪些被采取了行动、哪些没有,以及原因。这使注意力集中在文字上,并养成阅读它们的习惯。商定下个月对主题编码,并评审趋势。

6. 我们忍不住要拿自己与哪个已发布的数字比较?这种比较公平吗? 说出该数字、其来源、其方法和其受众,然后各自与你自己的相比较。问它是否会改变一项决定。如果不会,把它放在一边,使用你自己的趋势。引导者应当把答案记录在度量登记册中。

四种视角

产品与交付团队

产品团队用满意度反馈来决定接下来要修复或构建什么,而发布之后的简短调查,比下一次季度评审给出更快的解读。交付团队应当把评论与待办事项列表项相联,向用户展示变了什么,并避免把得分当作交付目标。发布之后关于费力程度或困惑的评论增多,是去看发布的信号,而不是去看调查的信号。

服务与运维团队

服务台收集大部分互动数据,也最能感受到得分的压力。运维团队应当自动发送调查,公布抽样规则,并把评论用于团队学习。他们应当把 CSAT 与重开率和重复联系放在一起,使快速关闭看起来不像好的成果(见主题 3.1,服务台度量)。

领导层与治理

领导者设定钻空子的氛围。一项“到年底满意度达到 95%”的要求,教会员工保护那个数字。领导者应当索要回复率、受访者构成和排名靠前的评论主题,为评论所揭示的修复出资,并让满意度远离个人薪酬和排名。治理应当要求对其向外报告的任何数字都有说明的方法。

客户与用户

用户付出他们的时间和坦率。他们应得到一份简短的调查、一个清晰的询问理由、关于其回答将如何被使用的承诺,以及在他们报告问题时的回复。凡调查不是匿名的,就要说明。看不到任何变化的用户会停止回答,而沉默会看起来像满意。

实践:一个服务管理示例

一家区域医院的 IT 部门运行着一个服务台和一个构建临床应用的小团队。下面的数字均为示意。

服务台的月度 CSAT 为 92%,根据约 3,100 张已关闭工单中的 140 条回复计算,回复率为 4.5%。领导层很高兴。服务经理阅读评论,注意到许多正面回复来自行政人员,而上夜班的护士几乎没有出现。她把受访者构成与用户目录相比较,发现夜班员工约占用户的 18%,却只占受访者的 3%。

团队作出三项变更。调查变成带一个评分和一条评论的两问题表单,由工单系统在解决后四小时自动发送给每张工单。为轮班的员工提供短信版本。月度报告现在连同回复率、置信区间、受访者构成对照用户构成,以及排名前五的评论主题,一起展示 CSAT。

两个月内,回复率升至约 11%,CSAT 降至 84%。评论主题显示“不得不回电”和“修复没有持续”是排名前两位的抱怨,集中在临床系统。IT 负责人告诉董事会,旧的得分反映的是谁在回答,而新的得分是更好的指南。产品团队添加一个待办事项列表项,修复回电背后反复出现的故障,服务台开始在一个工作日内联系每位给出 1 或 2 分的用户。下一个季度,临床系统的重复联系率下降,“不得不回电”评论的占比随之下降。团队把这一决定记录在日志中,并且不设定 CSAT 目标。

敏捷、AI、自动化与分析

敏捷

持续地、少量地征求反馈,并在每次定期的改进交流中与干系人一起评审评论。需要注意的是,调查疲劳会降低回复率并使回答者的构成产生偏斜。

AI

AI 可以大规模地总结评论和情绪,而由 AI 辅助的互动可能与人工的互动得到不同的评分。把由 AI 处理和由人处理的联系的满意度分开报告,把得分与评论主题配对,并让人阅读一批样本。需要注意的是,情绪模型可能误读语气或语言,所以要对照人工样本检查它。

自动化

在选定的时刻自动触发调查,并就回复率和受访者构成来度量调查流程。需要注意的是,仅在成功的联系之后自动发送的调查,会使得分向上偏斜。

分析

连同回复数和受访者构成一起展示得分,并先读评论再看数字。这为之提供依据的决定是改进哪些旅程。需要注意的是,基于很少回复的得分变动很大,所以要展示计数。

行业视角

初创公司。 与用户的密切联系,使最初的简短交谈比调查更好。在数量增长之后添加一个单问题调查,并继续阅读每一条评论。克制在回复多到足以说明问题之前就发布得分的冲动。

小型企业。 一位不满意的客户可能比得分更重要。把调查用作与人交谈的提示,并保留跟进的记录。对供应商提供的满意度报告,要对其方法持怀疑态度。

大型企业。 规模带来细分和汇总的诱惑。按服务和受众保留得分,公布方法,并避免把不同的服务平均成一个数字。使用带自动发送功能的稳定调查平台,并对任何跨团队的排名保持谨慎。

政府与公共部门。 公共机构往往有收集用户反馈和公布结果的正式义务,以及关于无障碍和隐私的职责。提供无障碍的调查渠道,保护受访者的身份,并连同结果一起公布方法。凡满意度数字出现在合同或法定报告中,就精确地定义它,并在旁边展示护栏(见主题 8.5,受监管与政府报告)。

业务论证:动因、投资回报与总拥有成本

直接成本是调查工具(许多工单系统已经包含)、每月一两个小时用于评审评论和给主题编码,以及跟进不满意用户的时间。更大的成本是对所听到的采取行动的纪律。无需新平台就能开始。

回报表现为用户重视的修复和避免的浪费。评论告诉你摩擦在哪里,使你能消除重复联系和失败修复的原因,而不是增加人手去处理它们。更清楚地了解谁没有回答,保护你免于依据自我选择的少数人作出决定。用所发现并消除的问题来描述收益,并度量你自己前后的基线:重复联系率、重开率,以及首次有用响应的时间。不要用编造的百分比来证明这一计划的合理性。如果你需要数字,用你自己的数据构建它们。

反模式与陷阱

  • 把得分当作目标。 它会通过挑选被询问的对象或辅导答案而被达成。把它用作一个问题,并与评论和运营测量值配对。
  • 只在容易的工单之后调查。 自动向每次符合条件的互动发送。
  • 按 CSAT 给坐席排名。 它惩罚处理困难案例的人。使用团队和服务的视图,并从评论中学习。
  • 索要更好的得分。 对低评分的跟进应当以修复问题为目的。不要要求更改。
  • 报告得分而不带回复率。 始终展示谁回答了以及有多少。
  • 更改问题却保留趋势。 记录变更,并在图表上标出断点。
  • 引入基准而不附其方法。 先与你自己的历史相比较。
  • 收集评论却从不阅读。 在日历中安排评审,并指定负责人。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
工具与抽样 偶尔临时的调查 为一些服务有调查,手工发送 向所有符合条件的互动自动发送的简短调查 记录并评审抽样规则、措辞变更和排除项 工具在团队和供应商之间对齐,并与用户一起修订
数据质量 只有得分 报告回复率 报告回复率、受访者构成和不确定性 管理受访者覆盖;编码由第二个人检查 跨服务共享的体验视图,用户参与解读
行动与跟进 报告得分,什么也没变 偶尔依据评论进行修复 带目标时间的贬损者跟进;跟踪主题 主题推动有资助的改进工作,并与运营数据相联 闭环跨越团队和供应商;用户看到变了什么

检查清单

  • 每项调查都有一个说明的目的和一个它为之提供依据的决定。
  • 问题简短、中立,并包含一条开放评论。
  • 调查自动发送给每次符合条件的互动,或有文档记录的随机样本。
  • 每个得分旁边都显示回复率和受访者构成。
  • 展示不确定性,小样本以计数报告。
  • 没有任何个别坐席按满意度被排名。
  • 指名的人在约定时间内跟进低评分。
  • 评论被编码为一份稳定的主题清单,并每月评审。
  • 措辞和抽样的变更被记录并在图表上标出。
  • 告知受访者其回答如何被使用,并保护个人数据。

AI 提示词

评审调查工具。

我为 [组织类型] 运行 [服务或团队]。我们在 [事件] 之后使用这样的措辞调查 [受众]:[粘贴问题和量表]。请评审其中的引导性语言、双重问题、含糊的量表,以及给受访者带来的负担。建议一个更简短的版本,保留一个评分和一条开放评论。不要虚构基准值,也不要声称你无法引用的研究结果。请列出你的假设,以及你无法从文本判断的内容。

把调查评论编码为主题。

这是 [服务] 在 [期间] 的 [数量] 条匿名调查评论:[粘贴已去除个人数据的评论]。请提出一份简短的主题清单(不超过八个),并把每条评论归入一个主题,在含糊之处附上置信度说明。报告每个主题的计数,以及每个主题三条有代表性的引文。不要识别个人。告诉我在依赖这一编码之前,人应当检查什么,并列出你的假设。

检查代表性。

我们从 [受邀数] 次邀请中收到 [回复数] 条回复。按 [维度,例如区域或班次] 划分的受访者:[计数]。按同一维度划分的我们的用户总体:[计数]。请比较两者,描述受访者构成在哪里不同,并说明我们应当给满意度得分附上什么告诫。建议两种触达代表性不足群体的实用办法。不要推断数据之外的原因,并列出你的假设。

规划闭环跟进。

请起草一份简短的流程,用于跟进在 [服务] 中给出 [阈值] 或更低评分的用户。包括由谁联系他们、在多长时间内、说什么、记录什么,以及如何避免要求更改评分。背景:[团队规模、工具、时间]。请列出你的假设,以及任何依赖于我没有描述的工具的步骤。

AI 技能

要点

  • 满意度得分描述一次服务时刻的感受,所以要把调查与具体事件相联,并保持简短。
  • 始终连同得分报告回复率、受访者构成和不确定性。
  • 评论解释数字,所以每月阅读它们并编码为主题。
  • 自动发送调查,绝不要求用户更改评分。
  • 在团队和服务层面使用满意度,绝不用来给人排名,并谨慎对待外部基准。
  • 闭环:报告糟糕体验的人应当得到回复,并看到变化。

参考文献与延伸阅读

  1. Reichheld, F. F., "The One Number You Need to Grow," Harvard Business Review, 81(12), 2003.
  2. Dixon, M., Freeman, K., and Toman, N., "Stop Trying to Delight Your Customers," Harvard Business Review, 88(7/8), 2010.
  3. Dixon, M., Toman, N., and DeLisi, R., The Effortless Experience, Portfolio/Penguin, 2013.
  4. Likert, R., "A technique for the measurement of attitudes," Archives of Psychology, 22(140), 1932.
  5. Groves, R. M., Fowler, F. J., Couper, M. P., Lepkowski, J. M., Singer, E., and Tourangeau, R., Survey Methodology, 2nd ed., Wiley, 2009.
  6. Wikipedia, Customer satisfaction.
  7. Wikipedia, Net promoter score.
  8. Wikipedia, Survey methodology.
  9. Wikipedia, Goodhart's law.
  10. Wikipedia, Likert scale.
  11. Wikipedia, Response bias.
  12. Wikipedia, Margin of error.
  13. Wikipedia, Confidence interval.