体验级别协议
体验级别协议在“服务是否达到了目标?”这个问题之外,加上“使用起来感觉如何?”,只有当体验测量值是与用户一起选择、并与运营测量值并排保留时,它才起作用。
概述与动因
服务级别协议(service-level agreement)(SLA)记录提供者承诺交付什么,通常以提供者能够计数的措辞:可用性、响应时间、解决时间。这些测量值是有用的,同时也是不完整的。团队可以达成仪表盘上的每个目标,而用户却在一周里绕开缓慢的登录、向服务台重复自己的话,并等待审批。绿色报告与不满意的用户之间的这一差距,有时被称为西瓜效应:外面是绿色、里面是红色(见主题 5.1,SLA、OLA 与 XLA 度量)。
体验级别协议(experience level agreement,XLA)是提供者与使用服务的人之间,关于服务应当给予怎样体验的协议。它陈述期望的成果和感受,比如“我到达后几分钟内就能开始工作”或“我相信我的请求会被处理”,并指明将显示它们是否达成的测量值。这个术语在 IT 服务管理(ITSM)社区中被广泛使用,其确切定义因作者和供应商而异。在把 XLA 描述为 ITIL 的一部分之前,先查阅框架所有者当前的出版物,并说明你遵循哪种用法。本主题把 XLA 视为一个实用的理念:把体验测量值放在运营测量值旁边的协议。
这个理念的根源在 IT 之外。用户体验(user experience)是一个人使用某个产品、系统或服务的整体体验,客户体验(customer experience)是客户在一段时间内与某个组织所有互动的总和。可用性(usability)关注人们能多有效、多高效、多令人满意地达成目标。敏捷团队从设计思维和用户研究,以及用户对可工作软件作出反应的干系人评审中,熟悉这片领域。XLA 把同样的关注带给运行时的服务。
体验很难度量,也很容易被扭曲。只触达满意用户的调查、被调整得会上升的情绪得分,或没人能解释的单一“体验指数”,会像被钻了空子的工单时间一样确定无疑地误导人。古德哈特定律的护栏完全适用:体验测量值是引发对话的起点,而不是配额(见主题 1.2,古德哈特定律与度量的心理学)。
本主题建立在上一个主题的调查测量值之上(见主题 6.1,客户满意度度量),并添加不依赖于询问的行为和基于旅程的测量值。
关键原则
- 从人们关心的成果开始。 问用户美好的一天是什么样子,并用他们的话撰写协议。
- 把体验与运营配对。 XLA 与 SLA 并列,而不是取代它。
- 从不同角度使用少数几项测量值。 把人们所说的、所做的和系统所记录的结合起来。
- 既度量旅程,也度量接触点。 体验是从需要到成果的整个路径。
- 对不确定性保持诚实。 体验数据有噪声,小群体需要保护。
- 与用户商定目标,并加以修订。 XLA 是一份活的协议,与它所描述的人一起评审。
- 绝不用体验数据给个人排名。
度量定义
| 度量 | 定义 | 公式 | 单位 | 数据来源 | ITIL 实践 | 敏捷对应物 | 节奏 |
|---|---|---|---|---|---|---|---|
| 体验得分 | 针对某项服务和受众,对一条约定的体验陈述的平均评分 | 在固定量表上对一条陈述的有效回复的平均评分 | 量表点 | 按计划发送的简短脉冲调查 | 服务级别管理;持续改进 | 干系人评审反馈;产品成果评审 | 每月 |
| 情绪趋势 | 某项服务的自由文本评论中语气的走向 | 每个时期被编码为正面的评论占比减去被编码为负面的占比 | 百分点 | 已编码的调查评论和工单评论 | 持续改进 | 回顾会议的主题 | 每月 |
| 每用户摩擦事件 | 表明用户遇到麻烦的信号计数,按活跃用户归一化 | (重复联系 + 被重开的项 + 超出设定次数的登录失败 + 被放弃的请求) / 活跃用户 | 每用户事件数 | 工单系统、身份日志、请求门户 | 服务台;事件管理 | 在使用中发现的缺陷 | 每月 |
| 因 IT 问题损失的时间 | 用户在一个时期内因服务问题估计损失的时间 | 每用户自行报告的损失分钟数,或按受影响用户加权的降级状态下的实测时间 | 每用户分钟数 | 脉冲调查;与用户数相连的监控 | 可用性管理;事件管理 | 因阻塞而损失的周期时间 | 每季度 |
| 旅程完成率 | 完成某个已定义旅程、而没有放弃或寻求帮助的用户占比 | 完成旅程而没有帮助联系的用户 / 开始旅程的用户 | 百分比 | 门户分析;工单链接 | 服务请求管理;服务目录管理 | 可用性测试中的任务成功 | 每月 |
| XLA 达成 | 期内达成的约定体验目标占比 | 达成的目标 / 约定的目标 | 百分比 | XLA 登记册 | 服务级别管理 | 交付目标的达成 | 每季度 |
| 体验差距 | 同一服务的 SLA 达成与体验得分之间的差异 | 各服务间 SLA 达成排名减去体验得分排名,或书面比较 | 排名差或说明 | SLA 报告和脉冲调查 | 服务级别管理 | 完成定义与用户反馈相对照 | 每季度 |
为每项测量值定义受众和时期。说明如何保护小群体:例如,任何少于十人的群体都不显示结果。摩擦事件统计的是信号,而不是责备,所以一个事件附属于某项服务和某个用户群体,绝不附属于某个指名的人的绩效评审。
建议
与用户一起设计协议
1. 在度量之前先访谈。 花时间与每个重要群体的一批用户在一起,并问:使用这项服务的美好一天是什么样子?它在哪里浪费你的时间?如果它有效,你会不再做什么?运用以人为本的设计(human-centered design)的习惯:观察真实的工作,并用用户的话写下你所听到的。由此得出的陈述,成为协议的体验目标。
2. 把体验陈述写成成果。 “我能让新入职者在第一个早晨就有产出”,比“新入职者的访问请求在两天内解决”说明得更多。让每条陈述简短、用第一人称,并与一项服务相联。每项服务争取三到五条陈述,使人们能记住。
3. 从三个角度选择测量值。 对每条陈述,从人们所说的(脉冲问题或评论主题)中选一项测量值,从人们所做的(旅程完成、重复联系、被放弃的请求)中选一项,并在可能时从系统所记录的(旅程中各步骤的延迟)中选一项。当三者不一致时,你就找到了值得调查的东西。
4. 轻度地商定目标。 早期,设定一个方向(“减少损失的时间”)和一个评审日期,而不是一个硬数字。对新体验测量值设硬目标,会在测量值被理解之前就招致钻空子。当目标确实出现时,使它成为一个区间,并说明谁同意了它。
收集并阅读数据
5. 使用简短、定期的脉冲问题。 一个关于一条陈述、按固定间隔提出的问题,比冗长的年度调查更易回答。轮换陈述,保持措辞稳定,并避免在一个规定的期间内向同一个人提问不止一次。把脉冲设计与上一个主题中的调查原则相联系(见主题 6.1,客户满意度度量)。
6. 用方法来阅读评论。 情感分析(sentiment analysis)工具可以对大量文本进行分类,也会误读讽刺、行话和语境。把工具的输出视为第一遍,每月让人检查一批样本,并保留一份你手工编码的简短主题清单。分析的目的是找到要与用户交谈的话题,而不是产生一个得分。
7. 加入来自旅程的行为信号。 在用户知情的情况下,为用户关心的旅程埋点:他们从哪里开始、在哪里退出,以及在哪里求助?对页面加载时间、错误和步骤的真实用户监控,给出调查无法给出的视图。告诉用户你收集什么,把它限制在你所需要的范围内,并在分享之前先汇总。
8. 保护小群体和个人。 体验数据可能揭示谁在挣扎。汇总结果,抑制低于约定规模的群体,并绝不在绩效评审中使用这些数据。决定谁可以看到原始评论,并相应地存储它们。在受监管的环境中,收集行为数据之前先咨询隐私专家。
使用协议
9. 并排展示 SLA 和 XLA。 在同一页上,展示每项服务的运营达成和体验测量值。配对正是关键:绿色的 SLA 配上下降的体验得分,是展开一场对话的提示,而绿色的体验得分配上失败的 SLA,则值得看看用户没有被告知什么。
10. 与用户举行定期的体验评审。 每季度与各用户群体的代表见面,展示数据,问它意味着什么,并商定一两项要尝试的改进。包括服务台和产品团队,因为糟糕体验的原因往往在产品中,而不是在支持中。
11. 为修复出资。 识别了摩擦却把它留在原处的协议,教会用户这些测量值是演戏。把排名前两三位的体验问题连同负责人和日期放入待办事项列表(backlog),并在下一次评审中报告。参见本书后面的持续改进度量(见主题 9.5,持续改进度量)。
12. 随服务和用户的变化修订协议。 淘汰不再重要的陈述,添加新的。像对待任何度量定义一样,记录变更并在趋势图上标出。
钻空子途径与护栏
| 度量 | 如何被钻空子 | 配对的护栏度量或实践 |
|---|---|---|
| 体验得分 | 只调查满意的用户;把调查的时间选在好事件之后;重新措辞陈述,使其更容易被认同 | 回复率和受访者构成;稳定措辞的日志;阅读评论 |
| 情绪趋势 | 调整工具或主题清单,直到趋势上升;排除负面渠道 | 每月由人检查一批样本;保持固定的编码指南并记录变更 |
| 每用户摩擦事件 | 重新定义事件,使计入的更少;通过使服务台难以联系来阻止重复联系 | 按渠道的联系量;服务台的放弃率(见主题 3.1,服务台度量) |
| 因 IT 问题损失的时间 | 以锚定低估计的方式询问;只统计重大事件 | 把自行报告的时间与实测的降级时间相比较;评审调查措辞 |
| 旅程完成率 | 把旅程定义得很窄,使失败超出范围;把困难的案例引导到另一个渠道 | 登记册中的旅程定义;求助联系率和升级 |
| XLA 达成 | 设定已经达成的目标;定义一组很小的目标 | 与用户一起评审目标设定;连同趋势和目标历史展示达成 |
| 体验差距 | 选择看起来最好的服务或时期;更改所比较的 SLA | 事先商定固定的比较集;展示所有服务 |
健康的读数是:与评论和用户评审交流相符的体验图景、一小组变化缓慢且团队能解释原因的测量值,以及不断缩短的体验修复待办事项列表。
权衡:利与弊
| 方法 | 优势 | 劣势 |
|---|---|---|
| 只有 SLA | 清晰、可计数、有合同约束力 | 错过用户的感受;在用户不满意时仍可能是绿色 |
| 只有 XLA | 接近用户所重视的 | 更难度量和比较;作为与供应商签订合同的基础较弱 |
| SLA 加 XLA | 给出两种视图并暴露差距 | 更多工作;需要信任和判断力来解读分歧 |
| 基于调查的体验测量值 | 用户的直接声音 | 回复偏差;给受访者带来负担 |
| 行为测量值 | 没有调查负担;客观 | 需要埋点和对隐私的关注;显示发生了什么,而不是为什么 |
| 单一体验指数 | 易于作为标题 | 隐藏细节;易被钻空子,也难以解释 |
答案是把 XLA 用作补充,先在运营与体验之间的差距已经可见的少数几项服务上引入。不要用供应商无法控制的体验测量值取代合同式的 SLA。把法律和商业承诺保留在 SLA 中,并用 XLA 来推动改进和对话。
与团队讨论的问题
1. 对我们最重要的服务,用用户自己的话来说,美好的一天是什么样子? 召集两三位用户,或复用最近的访谈,写下他们的陈述。引导者应当抑制把它们改写成运营措辞的冲动。把这些陈述与当前的 SLA 相比较,问它涵盖哪些陈述、忽略哪些。这些差距是体验测量值的候选。
2. 我们的绿色仪表盘与用户的故事在哪里不一致? 请团队举出一个近期案例:服务达到了目标,而用户抱怨。在数据中追踪这个案例:我们度量了什么,又错过了什么?这场交流常常会浮现出缺失的步骤、一次交接,或过早停止的时钟。把这一案例记录下来,作为下一次与用户评审的示例。
3. 我们会用哪三项测量值,来知道这条体验陈述是否属实? 挑选一条陈述,从人们所说的中选一项测量值,从他们所做的中选一项,从系统所记录的中选一项。问每一项可能错过什么、如何被钻空子。商定能说服一位怀疑的用户的最小集合。
4. 我们收集了哪些用户可能意想不到的关于他们的数据?他们对此会感到舒服吗? 列出行为数据的来源以及各自的目的。请一位用户代表作出反应。引导者应当把不适视为关于设计的信息,而不是障碍。决定停止收集什么、汇总什么,以及谁可以看到原始数据。
5. 如果体验得分下降而每个 SLA 都保持绿色,我们会怎么做? 预演这一响应。谁先看、检查什么、与谁交谈?决定团队是会相信体验得分,还是会寻找办法把它搪塞过去。答案显示团队对这份协议有多认真。
6. 我们承诺过哪些体验修复?它们后来怎样了? 回顾与用户的最近两次评审会议。对每项承诺,展示日期、负责人和结果。如果清单是空的或陈旧的,讨论原因。商定在下一次评审之前交付一项修复,以及告诉用户它已发生的办法。
四种视角
产品与交付团队
产品团队掌握着糟糕体验的大部分原因:令人困惑的界面、缓慢的步骤、不清晰的错误。体验测量值给他们来自真实使用的证据,并直接为梳理提供输入。团队应当在每次规划会议之前阅读评论主题,并把旅程测量值与待办事项列表相联。他们不应把体验得分视为团队目标。它是关于他们与运维共享的服务的信息。
服务与运维团队
运维团队最先看到摩擦:重复联系、变通办法和愤怒的来电者。体验测量值给他们一种展示 SLA 所隐藏之物的办法,以及修复原因而不是更快关闭工单的理由。他们应当坚守定义和抽样,避免把用户引导到看起来更好的渠道,并完整阅读不满意的评论(见主题 3.1,服务台度量)。
领导层与治理
领导者选择 XLA 是一场对话还是一块记分牌。他们应当问体验数据说明了在哪里投资,避免把薪酬与体验指数挂钩,并保护员工数据的隐私。治理应当索要定义、抽样和变更的历史,并把体验测量值的无法解释的跳变视为检查方法的理由。
客户与用户
用户是协议的作者。应当邀请他们描述美好是什么样子,向他们展示结果,并告诉他们变了什么。他们应当知道关于他们收集了什么、为什么,并有办法说不。被频繁询问却没看到改善的用户,会停止回答,而沉默会使数据看起来比现实更好。
实践:一个服务管理示例
一家中型专业服务公司为 1,800 名员工运行内部 IT 服务。下面的数字均为示意。
月度 SLA 报告显示,协作平台的可用性为 99.8%,96% 的事件在目标内解决。IT 总监感到满意,然而在客户现场的顾问们仍不断抱怨登录缓慢。服务经理提议为协作平台开展一次 XLA 试点。
在对 12 位顾问的访谈中,出现三条陈述:“我决定加入客户电话会议后,两分钟内就能加入”“我不必给 IT 打电话才能重新进入我的账户”,以及“出问题时,我知道发生了什么”。团队为每一条选择测量值。对第一条,他们取该陈述的脉冲评分,以及来自客户端真实用户监控、按区域汇总的从开始登录到加入会议的实测时间。对第二条,他们统计每月每个活跃用户的密码重置联系数。对第三条,他们跟踪状态消息在 30 分钟内被更新的事件占比,并就此提出脉冲问题。
头两个月的数据显示,从登录到加入会议的时间中位数在总部区域很好,在另外两个区域却很长,而使用受管理笔记本电脑的员工,每用户的密码重置联系数是其他人的三倍。第一条陈述的体验得分为 5 分制中的 3.1,而办公室员工为 4.2。两者的 SLA 都是绿色。服务经理把这一发现带到用户评审会上。团队商定两项改进:为远程区域调整单点登录配置,并更改受管理笔记本电脑上的令牌刷新设置。三个月后,时间中位数下降,每用户的重置联系数下降,体验得分升至 3.8。总监同意为这项服务保留 XLA,再为另一项服务添加它,并在下一次评审之前不设数字目标。
敏捷、AI、自动化与分析
敏捷
与用户商定体验测量值,并随服务演进而重新审视,让干系人持续参与。需要注意的是,仅由提供者设定的体验目标,不会描述用户的感受。
AI
AI 功能直接改变体验,所以要纳入使用它们的旅程,并度量用户的成果,而不是模型的置信度。把体验得分与任务完成以及升级到人工配对。需要注意的是,令人愉快却没能完成任务的聊天机器人,会美化得分。
自动化
在获得同意并遵守隐私规则的前提下,自动收集摩擦事件和旅程完成,并就覆盖来度量收集本身。需要注意的是,关于个人的自动体验数据可能变成监视,所以要汇总并最小化。
分析
把体验得分与运营测量值,以及两者之间的差距,展示在同一页上。这为之提供依据的决定是,即使某项服务的 SLA 是绿色的,也要改进哪一项服务。需要注意的是,差距可能是度量的假象,所以要检查样本。
行业视角
初创公司。 与用户的密切联系使访谈很容易。克制构建框架的冲动:为核心服务写三条体验陈述,每月就它们询问用户,并添加一项行为测量值。正式的协议以后再说。
小型企业。 员工很少,往往与 IT 共用一位经理。使用交谈和非常简短的月度脉冲。对行为数据要小心,因为小群体很容易被识别。
大型企业。 规模带来许多用户群体和供应商。按服务和用户画像定义体验陈述,按服务保留仪表盘,并避免全公司统一的体验指数。使 XLA 与供应商合同对齐,使供应商提供数据,而不被要求对其无法影响的测量值负责。
政府与公共部门。 服务往往既面向公众也面向员工,在无障碍、通俗语言和平等获得方面负有责任。把无障碍纳入体验陈述和测量值,与依赖辅助技术的用户一起测试,并依法保护个人数据。凡要求公开报告之处,连同结果一起报告方法(见主题 8.5,受监管与政府报告)。
业务论证:动因、投资回报与总拥有成本
成本是适度的。用户访谈每项服务需要几天。月度脉冲调查需要调查工具,许多组织已经拥有。行为测量值需要一些埋点,可能来自现有的监控和门户分析。与用户的评审每季度需要几个小时。给评论编码每月需要一两个小时。
回报在于发现 SLA 没有显示的问题,比如特定区域或设备上的缓慢旅程,并把改进的资金导向用户所重视的东西。如果你仔细度量,因 IT 问题损失的时间可以用你自己员工的费率换算成成本。避免关于生产力提升的笼统说法。依据你自己的基线构建论证:修复前后每用户损失的时间、每用户的摩擦事件和重复联系。还要计入避免的变通办法成本,比如因官方服务不好用而采用的影子工具。
反模式与陷阱
- 用 XLA 取代 SLA。 合同需要可计数的承诺。两者都保留,并一起展示。
- 单一的复合体验指数。 它隐藏原因并招致钻空子。展示几项独立的测量值。
- 不带用户地定义体验。 在会议室里写下的陈述描述的是提供者的视角。与用户一起访谈和测试。
- 调查到人们不再回答。 保持脉冲简短,并轮换主题。
- 在没告诉任何人的情况下收集行为数据。 它破坏信任,并可能违法。对收集什么和为什么保持公开。
- 在绩效评审中使用体验数据。 它把学习工具变成监视,并摧毁诚实的报告。
- 修复测量值,而不是原因。 不要为改善一个数字而把用户重定向到更友好的渠道。修复旅程。
- 把发现留在幻灯片上。 为体验修复出资并跟踪。
成熟度模型
| 维度 | 1 起步 | 2 发展 | 3 标准化 | 4 管理 | 5 协同 |
|---|---|---|---|---|---|
| 体验目标 | 隐含或缺失 | 由提供者为一些服务撰写 | 为关键服务与用户一起撰写陈述 | 每季度与用户群体一起评审和修订陈述 | 跨服务和供应商共享,与用户共同拥有 |
| 度量 | 偶尔的调查 | 针对一项服务的脉冲调查 | 对每条陈述采用三角度测量值(说、做、系统) | 对测量值做趋势分析,为小群体提供保护,并与 SLA 相比较 | 跨提供者合并数据,用户可控制隐私选择 |
| 行动 | 逐个处理投诉 | 临时进行修复 | 排名靠前的体验问题带负责人进入待办事项列表 | 为修复出资、跟踪并向用户反馈 | 跨团队、供应商和用户协调改进,并分享所学 |
检查清单
- 每项 XLA 服务都有与用户一起撰写的三到五条体验陈述。
- 每条陈述都有来自至少两个角度(说、做、系统)的测量值。
- 每项服务的 SLA 和体验测量值出现在同一页上。
- 脉冲调查简短、定期,且措辞稳定。
- 评论按稳定的指南编码,并由人每月检查一批样本。
- 报告中抑制低于约定规模的群体。
- 所收集的行为数据向用户披露,并限于需要。
- 没有任何体验测量值被用于个人绩效评审。
- 日历中有每季度与用户代表一起的评审。
- 排名靠前的体验问题在待办事项列表中有负责人和日期。
AI 提示词
依据访谈笔记起草体验陈述。
这是来自 [组织类型] 中 [服务] 的 [数量] 次用户访谈的匿名笔记:[粘贴笔记]。请提出三到五条第一人称的体验陈述,每条与用户关心的一项成果相联,尽可能使用他们的措辞。对每条,建议一项来自人们所说的测量值、一项来自他们所做的测量值,以及一项来自系统所记录的测量值。不要虚构数字。请列出你的假设,以及你无法从笔记中判断的内容。
找出 SLA 与体验之间的差距。
对于 [期间] 的 [服务],我们的 SLA 结果是:[粘贴结果]。我们的体验数据(脉冲得分、评论主题、摩擦计数)是:[粘贴数据]。请描述两者在哪里不一致,对每一处分歧给出三种可能的解释,并建议接下来检查什么。不要假定数据无法支持的原因。请列出你的假设,以及哪些额外的数据会有帮助。
评审行为测量值的隐私做法。
我们计划为体验度量收集这些行为信号:[清单]。用户是 [员工、公众,或两者],位于 [司法辖区或行业]。请评审该计划在隐私、信任和公平方面的风险,并建议最低限度的汇总、保留和披露做法。标出我应当交给隐私专家的任何事项。不要给出法律结论。请列出你的假设。
为与用户的季度体验评审做准备。
请为与 [用户群体] 的代表一起举行的 [服务] 季度体验评审,起草议程和一页纸的摘要。包括并排的 SLA 和体验结果、排名靠前的评论主题、上个季度的承诺及其状态,以及向用户提出的两个问题。数据:[粘贴数据]。保持语气朴实,避免行话。请列出你的假设,并标出任何需要核实的说法。
AI 技能
- Service Management Metrics skill:用于在你把某项体验测量值添加到仪表盘之前,查找它的护栏。
- Service Management Metrics maintainer skill:用于检查 XLA 度量条目是否带有其钻空子途径和护栏。
要点
- XLA 在运营目标之外加入体验目标和测量值,它补充 SLA。
- 与用户一起、用他们的话撰写体验陈述,并把每条与人们所说、所做以及系统所记录的测量值相联。
- 一起展示 SLA 和体验结果,并把分歧视为展开调查的提示。
- 保护用户:披露你收集什么、汇总它、抑制小群体,并让它远离绩效评审。
- 避免单一的体验指数,并在测量值被理解之前避免硬目标。
- 为数据所揭示的修复出资,并告诉用户变了什么。
参考文献与延伸阅读
- ISO 9241-210, Ergonomics of human-system interaction: Human-centred design for interactive systems, International Organization for Standardization.
- Norman, D. A., The Design of Everyday Things, revised and expanded edition, Basic Books, 2013.
- Dixon, M., Toman, N., and DeLisi, R., The Effortless Experience, Portfolio/Penguin, 2013.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly, 2016.
- Wikipedia, Service-level agreement.
- Wikipedia, User experience.
- Wikipedia, Customer experience.
- Wikipedia, Usability.
- Wikipedia, Goodhart's law.
- Wikipedia, Human-centered design.
- Wikipedia, Sentiment analysis.
- Wikipedia, Real user monitoring.