客户满意度度量
满意度得分告诉你人们对某一次服务时刻的感受,所以要在恰当的时间提出简短而诚实的问题,先读评论再看数字,并且绝不让得分变成配额。
概述与动因
运营测量值说明服务做了什么。满意度测量值说明接受服务是什么感受。一张工单可以在目标时间之内关闭,却仍使用户束手无策,一项恢复的服务仍可能让人觉得这一周很糟糕。敏捷团队在每个增量结束时问同样的事:这是否帮助了它所面向的人?由 ITIL 所规范的 IT 服务管理(ITSM),则通过服务与其客户共同创造的价值来问这个问题。满意度度量就是这两个问题相遇之处。
客户满意度(customer satisfaction)是衡量产品和服务满足或超出客户期望的程度。在服务工作中,它通常通过调查来收集,并有三种常见形式,本主题涵盖这三种:
- 客户满意度得分(CSAT): 对某次具体互动或服务的评分,通常采用五分制,报告为满意回复的占比。
- 净推荐值(NPS): 基于一个关于受访者向他人推荐某家公司、产品或服务的可能性的问题。回答 9 或 10 的受访者是推荐者,回答 0 至 6 的是贬损者,得分是推荐者的百分比减去贬损者的百分比。净推荐值(net promoter score)由弗雷德·赖克哈尔德(Fred Reichheld)在 2003 年一篇《Harvard Business Review》文章中推广开来。
- 客户费力度得分(CES): 对把某件事做完花了多少力气或有多容易的评分。其作者主张,降低费力程度比让人欣喜更能预测忠诚度。把这一主张视为要在你自己的背景下检验的假设,而不是已成定论的事实。
在内部 IT 的环境中,“客户”是同事,调查是在一张工单或一次发布之后的一个简短问题。原则是相同的,而伦理义务更大,因为你所询问的人明天还要与你共事。
调查是调查方法(survey methodology)的一种形式,这个领域有几十年的发现,说明问题措辞、时机和抽样如何改变答案。跳过它的团队,往往产生因与服务质量无关的原因而变动的得分。古德哈特定律的护栏在这里格外有力:当员工因高分而受奖励时,他们学会索要高分(见主题 1.2,古德哈特定律与度量的心理学)。
本主题给出使满意度测量值保持诚实的定义、数据卫生和习惯。下一个主题把它们扩展到更完整的体验视角(见主题 6.2,体验级别协议)。
关键原则
- 询问某个具体的时刻。 与已关闭的工单或一次发布相联的调查,比笼统的年度问题给出更清晰的答案。
- 保持简短。 一个评分加一条开放评论,胜过大多数人会跳过的十个问题。
- 阅读评论。 得分告诉你多少,文字告诉你为什么。
- 报告谁回答了。 没有回复率和受访者构成的得分,只是传闻。
- 闭环。 报告糟糕体验的人应当得到回复。
- 与自己随时间相比较。 跨公司的基准隐藏了方法、受众和文化上的差异。
- 保护受访者。 只收集你需要的,说明将如何使用,并且不依据它给个人排名。
度量定义
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| CSAT | 针对某类已定义的互动,满意回复的占比 | 在五分制上评为 4 或 5 的回复 / 有效回复 | 百分比 | 与工单或发布相联的互动后调查 | 服务台;事件管理;服务级别管理 | 干系人评审的反馈 | 每周或每月 |
| NPS | 针对某项已定义的服务和受众,推荐者减去贬损者 | 回答 9 或 10 的百分比减去回答 0 至 6 的百分比 | 点,范围 -100 至 100 | 按固定间隔发送的关系调查 | 持续改进;服务级别管理 | 产品成果评审 | 每季度 |
| CES | 对把某件事做完有多容易的评分的平均值或偏正面占比 | 偏正面的回复 / 有效回复,或平均评分 | 百分比或平均值 | 与工单、请求或发布相联的互动后调查 | 服务请求管理;服务台 | 梳理中的可用性反馈 | 每月 |
| 调查回复率 | 受邀用户中作出回复的占比 | 收到的回复 / 送达的调查 | 百分比 | 调查工具和工单系统 | 度量与报告 | 评审中的反馈参与度 | 每月 |
| 受访者覆盖 | 受访者构成在约定维度上与用户总体的接近程度 | 每个群体中受访者的占比与该群体用户占比的比较,按群体 | 百分点 | 与用户目录或工单数据相连的调查工具 | 度量与报告 | 干系人地图 | 每季度 |
| 评论主题占比 | 自由文本评论被归入每个主题的占比 | 主题中的评论 / 已编码的评论 | 百分比 | 已编码的调查评论 | 持续改进 | 回顾会议的主题 | 每月 |
| 贬损者跟进时间 | 从低评分到与用户有记录的联系的时间 | 跟进备注的时间戳减去低评分的时间戳,中位数和第 85 百分位数 | 小时或天 | 调查工具和工单系统 | 事件管理;持续改进 | 工作协议中的反馈闭环 | 每月 |
时钟和边界很重要。CSAT 和 CES 只统计对具体互动的回复,绝不统计一般的情绪。贬损者跟进时间从低评分被记录的那一刻开始,而不是从有人第一次读到它时开始。排除测试记录,以及被度量团队成员的回复。
建议
设计工具
1. 每个目的选一个问题。 在互动之后用 CSAT,了解那次互动如何;在用户必须做的某件事之后用 CES,了解摩擦在哪里;以固定间隔用 NPS,了解整体关系。在一份表单里混用三者,会招致调查疲劳和混乱的结果。如果你只能负担一个,选与你需要作出的决定相符的那个。
2. 撰写中立、具体的措辞。 “您对您的请求被处理的方式有多满意?”比“我们的服务有多棒?”更好。避免同时询问速度和友好程度的双重问题。提供一致的量表,为两端标注标签,并让答案的顺序每次保持一致。李克特量表(Likert scale)是常见的设计,标签的细微变化就可能使结果改变,所以不要随意更改。
3. 添加一个开放性问题。 “您给出这个评分的主要原因是什么?”给受访者带来的负担很小,却给团队提供最丰富的数据。评论解释得分,暴露数字无法揭示的问题,并让坐席有可学习之处。在定期评审中阅读它们,可能的话大声朗读。
4. 让调查的时间靠近事件。 在工单解决或发布落地之后不久发出问题,趁记忆犹新。不要在由希望得到高分的坐席关闭工单的那一刻发送。由系统设定的短暂延迟,消除了辅导答案的诱惑。
让数字值得信赖
5. 在每个得分旁边报告回复率和受访者构成。 来自 4% 用户的满意度得分,是关于受访者的陈述。用你已掌握的属性,比如区域、服务或请求类型,把回答者与受邀者相比较。差距很大意味着得分需要加上告诫标签。代表性是回复偏差(response bias)研究的核心主题,而对服务团队来说,关键只是去看一看。
6. 展示不确定性。 小样本摆动很大。在月度 CSAT 旁边展示误差幅度(margin of error)或置信区间(confidence interval),可使团队不对噪声作出反应(见主题 1.6,服务度量的统计素养)。如果一个团队在一个时期内的回复少于几十条,就报告计数并阅读评论,而不是报告百分比。
7. 避免挑选被询问的对象。 如果由关闭工单的人决定是否发送调查,得分就会因错误的原因而上升。自动向每次符合条件的互动发送调查,或者在数量很大时向随机样本发送。把规则,包括任何排除项,记录在度量登记册中。
8. 把一个人的满意度与一个人的绩效区分开。 满意度取决于个别坐席无法控制的因素:产品质量、队列、政策、用户的心情。不要按 CSAT 给坐席排名。在团队和服务层面使用它,并把评论用于坐席乐于接受的辅导交流。
对所听到的采取行动
9. 与不满意的用户闭环。 联系报告糟糕体验的人,问什么本来会有帮助,并记录你所学到的。为跟进时间设定目标,并使跟进成为一场对话,而不是要求更改得分的请求。应要求更改得分是一种扭曲,所以跟进应当以修复问题和学习为目的。
10. 把评论编码为主题并加以跟踪。 商定一份简短的主题清单,比如“不得不重复自己的话”“响应缓慢”“修复没有持续”“沟通不清晰”和“友好且乐于助人”。每月对一批样本编码,手工或用工具,并由人检查结果。主题的趋势往往在得分变动之前就显示问题。
11. 把满意度与运营数据联系起来。 把 CSAT 与解决时间、重开率和每个问题的联系次数相比较。这些配对告诉你,速度是否在换来满意度,还是团队又快又错。用它们来寻找要调查的故事,而不是证明一条规则。
12. 谨慎对待基准。 已发布的或供应商提供的满意度得分数字,取决于方法、受众和地区,你自己的历史是更好的比较对象。如果你使用外部比较,要说明其来源、方法和日期,并且在没有检验你的方法是否相符之前,不要据此设定目标。绝不要虚构基准。
钻空子途径与护栏
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| CSAT | 坐席辅导用户给出最高分;只在容易的工单之后发送调查;困难的工单在不发调查的情况下被关闭 | 自动向每张符合条件的工单发送调查;回复率和受访者构成;重开率 |
| NPS | 只调查友好的用户;把调查的时间选在一次好事件之后;当面询问;给量表点位重新贴标签 | 在登记册中固定受众和时间表;受访者覆盖;阅读贬损者的评论 |
| CES | 以把工作移到别处的方式删去表单中的步骤;只在顺利的请求之后询问 | 每个问题的联系次数;请求履行时间和返工(见主题 3.5,服务请求履行度量) |
| 调查回复率 | 只邀请可能回答的人;每次把调查发给不同的名单 | 写下邀请规则;把受邀者与用户总体相比较 |
| 受访者覆盖 | 把难以联系的群体从比较中去掉;在不说明的情况下重新加权 | 公布维度和方法;在加权结果旁边展示未加权的结果 |
| 评论主题占比 | 为避开糟糕的主题而给评论编码;合并主题,使没有一个看起来很大 | 由第二个人对一批样本编码;保持主题清单稳定,并记录变更 |
| 贬损者跟进时间 | 记录一条备注而不联系用户;联系用户以索要更好的得分 | 检查跟进备注的内容;在下一次调查中询问用户是否有人联系过他们 |
健康的读数是:稳定的回复率、接近用户构成的受访者构成、随用户在评论中描述的体验而变动的得分,以及说有人回复了他们的不满意的用户。
权衡:利与弊
| 测量值 | 优势 | 劣势 |
|---|---|---|
| CSAT | 简单、快速,与具体时刻相联 | 容易被抬高;对整体关系说明很少 |
| NPS | 一个问题,易于随时间跟踪 | 隐藏原因;一个数字压缩了宽广的分布;文化差异影响量表 |
| CES | 直接指向团队能消除的摩擦 | 较少被广泛理解;证据有争议 |
| 年度长问卷 | 内容丰富,涵盖许多服务 | 缓慢、回复率低、难以据此行动 |
| 只看评论 | 具体、令人难忘 | 难以随时间比较;易受声音最大的人影响 |
| 行为信号 | 没有调查负担;客观 | 不捕捉感受;可能误读原因 |
答案是把简短的互动调查、偶尔的关系调查和评论结合起来,并把三者与运营数据一起阅读。满意度测量值作为用户与团队之间的对话起作用。把它当作记分牌,它就会失败。
与团队讨论的问题
1. 对低得分和高得分,我们各做什么? 请团队描述,实际上上一次低得分是何时导致一项变更的。然后对高得分问同样的问题。如果答案含糊,调查就是一种仪式。引导者应当寻找从数据到行动的具体联系,并商定一个记录这一联系的地方。
2. 谁回答我们的调查,谁不回答? 请团队说出他们听到最少的用户群体。与邀请名单和用户目录相比较。这场交流往往揭示,最安静的用户有最难的问题。商定本季度联系一个安静群体的一种办法,比如简短的电话,或不同的渠道。
3. 我们在互动的哪个环节询问,由谁决定? 走一遍从解决到调查的路径。找出每一个有人可以影响调查是否发送、何时发送或如何发送的点。商定其中哪些点应当被自动化。引导者可以问坐席为保护得分可能做什么,把它作为设计问题,而不是指控。
4. 贬损者在回答之后从我们这里听到什么? 查看几个最近的低评分并阅读跟进备注。问用户是否会感到被倾听。讨论如何使跟进有用,而又不要求更改评分。决定谁拥有跟进,以及目标时间是多少。
5. 上个月的哪些评论改变了我们的做法? 随机打印或展示十条评论。问团队哪些被采取了行动、哪些没有,以及原因。这使注意力集中在文字上,并养成阅读它们的习惯。商定下个月对主题编码,并评审趋势。
6. 我们忍不住要拿自己与哪个已发布的数字比较?这种比较公平吗? 说出该数字、其来源、其方法和其受众,然后各自与你自己的相比较。问它是否会改变一项决定。如果不会,把它放在一边,使用你自己的趋势。引导者应当把答案记录在度量登记册中。
四种视角
产品与交付团队
产品团队用满意度反馈来决定接下来要修复或构建什么,而发布之后的简短调查,比下一次季度评审给出更快的解读。交付团队应当把评论与待办事项列表项相联,向用户展示变了什么,并避免把得分当作交付目标。发布之后关于费力程度或困惑的评论增多,是去看发布的信号,而不是去看调查的信号。
服务与运维团队
服务台收集大部分互动数据,也最能感受到得分的压力。运维团队应当自动发送调查,公布抽样规则,并把评论用于团队学习。他们应当把 CSAT 与重开率和重复联系放在一起,使快速关闭看起来不像好的成果(见主题 3.1,服务台度量)。
领导层与治理
领导者设定钻空子的氛围。一项“到年底满意度达到 95%”的要求,教会员工保护那个数字。领导者应当索要回复率、受访者构成和排名靠前的评论主题,为评论所揭示的修复出资,并让满意度远离个人薪酬和排名。治理应当要求对其向外报告的任何数字都有说明的方法。
客户与用户
用户付出他们的时间和坦率。他们应得到一份简短的调查、一个清晰的询问理由、关于其回答将如何被使用的承诺,以及在他们报告问题时的回复。凡调查不是匿名的,就要说明。看不到任何变化的用户会停止回答,而沉默会看起来像满意。
实践:一个服务管理示例
一家区域医院的 IT 部门运行着一个服务台和一个构建临床应用的小团队。下面的数字均为示意。
服务台的月度 CSAT 为 92%,根据约 3,100 张已关闭工单中的 140 条回复计算,回复率为 4.5%。领导层很高兴。服务经理阅读评论,注意到许多正面回复来自行政人员,而上夜班的护士几乎没有出现。她把受访者构成与用户目录相比较,发现夜班员工约占用户的 18%,却只占受访者的 3%。
团队作出三项变更。调查变成带一个评分和一条评论的两问题表单,由工单系统在解决后四小时自动发送给每张工单。为轮班的员工提供短信版本。月度报告现在连同回复率、置信区间、受访者构成对照用户构成,以及排名前五的评论主题,一起展示 CSAT。
两个月内,回复率升至约 11%,CSAT 降至 84%。评论主题显示“不得不回电”和“修复没有持续”是排名前两位的抱怨,集中在临床系统。IT 负责人告诉董事会,旧的得分反映的是谁在回答,而新的得分是更好的指南。产品团队添加一个待办事项列表项,修复回电背后反复出现的故障,服务台开始在一个工作日内联系每位给出 1 或 2 分的用户。下一个季度,临床系统的重复联系率下降,“不得不回电”评论的占比随之下降。团队把这一决定记录在日志中,并且不设定 CSAT 目标。
敏捷、AI、自动化与分析
敏捷
持续地、少量地征求反馈,并在每次定期的改进交流中与干系人一起评审评论。需要注意的是,调查疲劳会降低回复率并使回答者的构成产生偏斜。
AI
AI 可以大规模地总结评论和情绪,而由 AI 辅助的互动可能与人工的互动得到不同的评分。把由 AI 处理和由人处理的联系的满意度分开报告,把得分与评论主题配对,并让人阅读一批样本。需要注意的是,情绪模型可能误读语气或语言,所以要对照人工样本检查它。
自动化
在选定的时刻自动触发调查,并就回复率和受访者构成来度量调查流程。需要注意的是,仅在成功的联系之后自动发送的调查,会使得分向上偏斜。
分析
连同回复数和受访者构成一起展示得分,并先读评论再看数字。这为之提供依据的决定是改进哪些旅程。需要注意的是,基于很少回复的得分变动很大,所以要展示计数。
行业视角
初创公司。 与用户的密切联系,使最初的简短交谈比调查更好。在数量增长之后添加一个单问题调查,并继续阅读每一条评论。克制在回复多到足以说明问题之前就发布得分的冲动。
小型企业。 一位不满意的客户可能比得分更重要。把调查用作与人交谈的提示,并保留跟进的记录。对供应商提供的满意度报告,要对其方法持怀疑态度。
大型企业。 规模带来细分和汇总的诱惑。按服务和受众保留得分,公布方法,并避免把不同的服务平均成一个数字。使用带自动发送功能的稳定调查平台,并对任何跨团队的排名保持谨慎。
政府与公共部门。 公共机构往往有收集用户反馈和公布结果的正式义务,以及关于无障碍和隐私的职责。提供无障碍的调查渠道,保护受访者的身份,并连同结果一起公布方法。凡满意度数字出现在合同或法定报告中,就精确地定义它,并在旁边展示护栏(见主题 8.5,受监管与政府报告)。
业务论证:动因、投资回报与总拥有成本
直接成本是调查工具(许多工单系统已经包含)、每月一两个小时用于评审评论和给主题编码,以及跟进不满意用户的时间。更大的成本是对所听到的采取行动的纪律。无需新平台就能开始。
回报表现为用户重视的修复和避免的浪费。评论告诉你摩擦在哪里,使你能消除重复联系和失败修复的原因,而不是增加人手去处理它们。更清楚地了解谁没有回答,保护你免于依据自我选择的少数人作出决定。用所发现并消除的问题来描述收益,并度量你自己前后的基线:重复联系率、重开率,以及首次有用响应的时间。不要用编造的百分比来证明这一计划的合理性。如果你需要数字,用你自己的数据构建它们。
反模式与陷阱
- 把得分当作目标。 它会通过挑选被询问的对象或辅导答案而被达成。把它用作一个问题,并与评论和运营测量值配对。
- 只在容易的工单之后调查。 自动向每次符合条件的互动发送。
- 按 CSAT 给坐席排名。 它惩罚处理困难案例的人。使用团队和服务的视图,并从评论中学习。
- 索要更好的得分。 对低评分的跟进应当以修复问题为目的。不要要求更改。
- 报告得分而不带回复率。 始终展示谁回答了以及有多少。
- 更改问题却保留趋势。 记录变更,并在图表上标出断点。
- 引入基准而不附其方法。 先与你自己的历史相比较。
- 收集评论却从不阅读。 在日历中安排评审,并指定负责人。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 工具与抽样 | 偶尔临时的调查 | 为一些服务有调查,手工发送 | 向所有符合条件的互动自动发送的简短调查 | 记录并评审抽样规则、措辞变更和排除项 | 工具在团队和供应商之间对齐,并与用户一起修订 |
| 数据质量 | 只有得分 | 报告回复率 | 报告回复率、受访者构成和不确定性 | 管理受访者覆盖;编码由第二个人检查 | 跨服务共享的体验视图,用户参与解读 |
| 行动与跟进 | 报告得分,什么也没变 | 偶尔依据评论进行修复 | 带目标时间的贬损者跟进;跟踪主题 | 主题推动有资助的改进工作,并与运营数据相联 | 闭环跨越团队和供应商;用户看到变了什么 |
检查清单
- 每项调查都有一个说明的目的和一个它为之提供依据的决定。
- 问题简短、中立,并包含一条开放评论。
- 调查自动发送给每次符合条件的互动,或有文档记录的随机样本。
- 每个得分旁边都显示回复率和受访者构成。
- 展示不确定性,小样本以计数报告。
- 没有任何个别坐席按满意度被排名。
- 指名的人在约定时间内跟进低评分。
- 评论被编码为一份稳定的主题清单,并每月评审。
- 措辞和抽样的变更被记录并在图表上标出。
- 告知受访者其回答如何被使用,并保护个人数据。
AI 提示词
评审调查工具。
我为 [组织类型] 运行 [服务或团队]。我们在 [事件] 之后使用这样的措辞调查 [受众]:[粘贴问题和量表]。请评审其中的引导性语言、双重问题、含糊的量表,以及给受访者带来的负担。建议一个更简短的版本,保留一个评分和一条开放评论。不要虚构基准值,也不要声称你无法引用的研究结果。请列出你的假设,以及你无法从文本判断的内容。
把调查评论编码为主题。
这是 [服务] 在 [期间] 的 [数量] 条匿名调查评论:[粘贴已去除个人数据的评论]。请提出一份简短的主题清单(不超过八个),并把每条评论归入一个主题,在含糊之处附上置信度说明。报告每个主题的计数,以及每个主题三条有代表性的引文。不要识别个人。告诉我在依赖这一编码之前,人应当检查什么,并列出你的假设。
检查代表性。
我们从 [受邀数] 次邀请中收到 [回复数] 条回复。按 [维度,例如区域或班次] 划分的受访者:[计数]。按同一维度划分的我们的用户总体:[计数]。请比较两者,描述受访者构成在哪里不同,并说明我们应当给满意度得分附上什么告诫。建议两种触达代表性不足群体的实用办法。不要推断数据之外的原因,并列出你的假设。
规划闭环跟进。
请起草一份简短的流程,用于跟进在 [服务] 中给出 [阈值] 或更低评分的用户。包括由谁联系他们、在多长时间内、说什么、记录什么,以及如何避免要求更改评分。背景:[团队规模、工具、时间]。请列出你的假设,以及任何依赖于我没有描述的工具的步骤。
AI 技能
- Service Management Metrics skill:用于在你发布满意度度量之前,查找与之配对的护栏。
- Service Management Metrics maintainer skill:用于检查经过修订的调查度量条目是否保留了其钻空子途径和护栏。
要点
- 满意度得分描述一次服务时刻的感受,所以要把调查与具体事件相联,并保持简短。
- 始终连同得分报告回复率、受访者构成和不确定性。
- 评论解释数字,所以每月阅读它们并编码为主题。
- 自动发送调查,绝不要求用户更改评分。
- 在团队和服务层面使用满意度,绝不用来给人排名,并谨慎对待外部基准。
- 闭环:报告糟糕体验的人应当得到回复,并看到变化。
参考文献与延伸阅读
- Reichheld, F. F., "The One Number You Need to Grow," Harvard Business Review, 81(12), 2003.
- Dixon, M., Freeman, K., and Toman, N., "Stop Trying to Delight Your Customers," Harvard Business Review, 88(7/8), 2010.
- Dixon, M., Toman, N., and DeLisi, R., The Effortless Experience, Portfolio/Penguin, 2013.
- Likert, R., "A technique for the measurement of attitudes," Archives of Psychology, 22(140), 1932.
- Groves, R. M., Fowler, F. J., Couper, M. P., Lepkowski, J. M., Singer, E., and Tourangeau, R., Survey Methodology, 2nd ed., Wiley, 2009.
- Wikipedia, Customer satisfaction.
- Wikipedia, Net promoter score.
- Wikipedia, Survey methodology.
- Wikipedia, Goodhart's law.
- Wikipedia, Likert scale.
- Wikipedia, Response bias.
- Wikipedia, Margin of error.
- Wikipedia, Confidence interval.