概述与动因

服务级别协议(service-level agreement)(SLA)记录提供者承诺交付什么,通常以提供者能够计数的措辞:可用性、响应时间、解决时间。这些测量值是有用的,同时也是不完整的。团队可以达成仪表盘上的每个目标,而用户却在一周里绕开缓慢的登录、向服务台重复自己的话,并等待审批。绿色报告与不满意的用户之间的这一差距,有时被称为西瓜效应:外面是绿色、里面是红色(见主题 5.1,SLA、OLA 与 XLA 度量)。

体验级别协议(experience level agreement,XLA)是提供者与使用服务的人之间,关于服务应当给予怎样体验的协议。它陈述期望的成果和感受,比如“我到达后几分钟内就能开始工作”或“我相信我的请求会被处理”,并指明将显示它们是否达成的测量值。这个术语在 IT 服务管理(ITSM)社区中被广泛使用,其确切定义因作者和供应商而异。在把 XLA 描述为 ITIL 的一部分之前,先查阅框架所有者当前的出版物,并说明你遵循哪种用法。本主题把 XLA 视为一个实用的理念:把体验测量值放在运营测量值旁边的协议。

这个理念的根源在 IT 之外。用户体验(user experience)是一个人使用某个产品、系统或服务的整体体验,客户体验(customer experience)是客户在一段时间内与某个组织所有互动的总和。可用性(usability)关注人们能多有效、多高效、多令人满意地达成目标。敏捷团队从设计思维和用户研究,以及用户对可工作软件作出反应的干系人评审中,熟悉这片领域。XLA 把同样的关注带给运行时的服务。

体验很难度量,也很容易被扭曲。只触达满意用户的调查、被调整得会上升的情绪得分,或没人能解释的单一“体验指数”,会像被钻了空子的工单时间一样确定无疑地误导人。古德哈特定律的护栏完全适用:体验测量值是引发对话的起点,而不是配额(见主题 1.2,古德哈特定律与度量的心理学)。

本主题建立在上一个主题的调查测量值之上(见主题 6.1,客户满意度度量),并添加不依赖于询问的行为和基于旅程的测量值。

关键原则

  • 从人们关心的成果开始。 问用户美好的一天是什么样子,并用他们的话撰写协议。
  • 把体验与运营配对。 XLA 与 SLA 并列,而不是取代它。
  • 从不同角度使用少数几项测量值。 把人们所说的、所做的和系统所记录的结合起来。
  • 既度量旅程,也度量接触点。 体验是从需要到成果的整个路径。
  • 对不确定性保持诚实。 体验数据有噪声,小群体需要保护。
  • 与用户商定目标,并加以修订。 XLA 是一份活的协议,与它所描述的人一起评审。
  • 绝不用体验数据给个人排名。

度量定义

度量 定义 公式 单位 数据来源 ITIL 实践 敏捷对应物 节奏
体验得分 针对某项服务和受众,对一条约定的体验陈述的平均评分 在固定量表上对一条陈述的有效回复的平均评分 量表点 按计划发送的简短脉冲调查 服务级别管理;持续改进 干系人评审反馈;产品成果评审 每月
情绪趋势 某项服务的自由文本评论中语气的走向 每个时期被编码为正面的评论占比减去被编码为负面的占比 百分点 已编码的调查评论和工单评论 持续改进 回顾会议的主题 每月
每用户摩擦事件 表明用户遇到麻烦的信号计数,按活跃用户归一化 (重复联系 + 被重开的项 + 超出设定次数的登录失败 + 被放弃的请求) / 活跃用户 每用户事件数 工单系统、身份日志、请求门户 服务台;事件管理 在使用中发现的缺陷 每月
因 IT 问题损失的时间 用户在一个时期内因服务问题估计损失的时间 每用户自行报告的损失分钟数,或按受影响用户加权的降级状态下的实测时间 每用户分钟数 脉冲调查;与用户数相连的监控 可用性管理;事件管理 因阻塞而损失的周期时间 每季度
旅程完成率 完成某个已定义旅程、而没有放弃或寻求帮助的用户占比 完成旅程而没有帮助联系的用户 / 开始旅程的用户 百分比 门户分析;工单链接 服务请求管理;服务目录管理 可用性测试中的任务成功 每月
XLA 达成 期内达成的约定体验目标占比 达成的目标 / 约定的目标 百分比 XLA 登记册 服务级别管理 交付目标的达成 每季度
体验差距 同一服务的 SLA 达成与体验得分之间的差异 各服务间 SLA 达成排名减去体验得分排名,或书面比较 排名差或说明 SLA 报告和脉冲调查 服务级别管理 完成定义与用户反馈相对照 每季度

为每项测量值定义受众和时期。说明如何保护小群体:例如,任何少于十人的群体都不显示结果。摩擦事件统计的是信号,而不是责备,所以一个事件附属于某项服务和某个用户群体,绝不附属于某个指名的人的绩效评审。

建议

与用户一起设计协议

1. 在度量之前先访谈。 花时间与每个重要群体的一批用户在一起,并问:使用这项服务的美好一天是什么样子?它在哪里浪费你的时间?如果它有效,你会不再做什么?运用以人为本的设计(human-centered design)的习惯:观察真实的工作,并用用户的话写下你所听到的。由此得出的陈述,成为协议的体验目标。

2. 把体验陈述写成成果。 “我能让新入职者在第一个早晨就有产出”,比“新入职者的访问请求在两天内解决”说明得更多。让每条陈述简短、用第一人称,并与一项服务相联。每项服务争取三到五条陈述,使人们能记住。

3. 从三个角度选择测量值。 对每条陈述,从人们所说的(脉冲问题或评论主题)中选一项测量值,从人们所做的(旅程完成、重复联系、被放弃的请求)中选一项,并在可能时从系统所记录的(旅程中各步骤的延迟)中选一项。当三者不一致时,你就找到了值得调查的东西。

4. 轻度地商定目标。 早期,设定一个方向(“减少损失的时间”)和一个评审日期,而不是一个硬数字。对新体验测量值设硬目标,会在测量值被理解之前就招致钻空子。当目标确实出现时,使它成为一个区间,并说明谁同意了它。

收集并阅读数据

5. 使用简短、定期的脉冲问题。 一个关于一条陈述、按固定间隔提出的问题,比冗长的年度调查更易回答。轮换陈述,保持措辞稳定,并避免在一个规定的期间内向同一个人提问不止一次。把脉冲设计与上一个主题中的调查原则相联系(见主题 6.1,客户满意度度量)。

6. 用方法来阅读评论。 情感分析(sentiment analysis)工具可以对大量文本进行分类,也会误读讽刺、行话和语境。把工具的输出视为第一遍,每月让人检查一批样本,并保留一份你手工编码的简短主题清单。分析的目的是找到要与用户交谈的话题,而不是产生一个得分。

7. 加入来自旅程的行为信号。 在用户知情的情况下,为用户关心的旅程埋点:他们从哪里开始、在哪里退出,以及在哪里求助?对页面加载时间、错误和步骤的真实用户监控,给出调查无法给出的视图。告诉用户你收集什么,把它限制在你所需要的范围内,并在分享之前先汇总。

8. 保护小群体和个人。 体验数据可能揭示谁在挣扎。汇总结果,抑制低于约定规模的群体,并绝不在绩效评审中使用这些数据。决定谁可以看到原始评论,并相应地存储它们。在受监管的环境中,收集行为数据之前先咨询隐私专家。

使用协议

9. 并排展示 SLA 和 XLA。 在同一页上,展示每项服务的运营达成和体验测量值。配对正是关键:绿色的 SLA 配上下降的体验得分,是展开一场对话的提示,而绿色的体验得分配上失败的 SLA,则值得看看用户没有被告知什么。

10. 与用户举行定期的体验评审。 每季度与各用户群体的代表见面,展示数据,问它意味着什么,并商定一两项要尝试的改进。包括服务台和产品团队,因为糟糕体验的原因往往在产品中,而不是在支持中。

11. 为修复出资。 识别了摩擦却把它留在原处的协议,教会用户这些测量值是演戏。把排名前两三位的体验问题连同负责人和日期放入待办事项列表(backlog),并在下一次评审中报告。参见本书后面的持续改进度量(见主题 9.5,持续改进度量)。

12. 随服务和用户的变化修订协议。 淘汰不再重要的陈述,添加新的。像对待任何度量定义一样,记录变更并在趋势图上标出。

钻空子途径与护栏

度量 如何被钻空子 配对的护栏度量或实践
体验得分 只调查满意的用户;把调查的时间选在好事件之后;重新措辞陈述,使其更容易被认同 回复率和受访者构成;稳定措辞的日志;阅读评论
情绪趋势 调整工具或主题清单,直到趋势上升;排除负面渠道 每月由人检查一批样本;保持固定的编码指南并记录变更
每用户摩擦事件 重新定义事件,使计入的更少;通过使服务台难以联系来阻止重复联系 按渠道的联系量;服务台的放弃率(见主题 3.1,服务台度量)
因 IT 问题损失的时间 以锚定低估计的方式询问;只统计重大事件 把自行报告的时间与实测的降级时间相比较;评审调查措辞
旅程完成率 把旅程定义得很窄,使失败超出范围;把困难的案例引导到另一个渠道 登记册中的旅程定义;求助联系率和升级
XLA 达成 设定已经达成的目标;定义一组很小的目标 与用户一起评审目标设定;连同趋势和目标历史展示达成
体验差距 选择看起来最好的服务或时期;更改所比较的 SLA 事先商定固定的比较集;展示所有服务

健康的读数是:与评论和用户评审交流相符的体验图景、一小组变化缓慢且团队能解释原因的测量值,以及不断缩短的体验修复待办事项列表。

权衡:利与弊

方法 优势 劣势
只有 SLA 清晰、可计数、有合同约束力 错过用户的感受;在用户不满意时仍可能是绿色
只有 XLA 接近用户所重视的 更难度量和比较;作为与供应商签订合同的基础较弱
SLA 加 XLA 给出两种视图并暴露差距 更多工作;需要信任和判断力来解读分歧
基于调查的体验测量值 用户的直接声音 回复偏差;给受访者带来负担
行为测量值 没有调查负担;客观 需要埋点和对隐私的关注;显示发生了什么,而不是为什么
单一体验指数 易于作为标题 隐藏细节;易被钻空子,也难以解释

答案是把 XLA 用作补充,先在运营与体验之间的差距已经可见的少数几项服务上引入。不要用供应商无法控制的体验测量值取代合同式的 SLA。把法律和商业承诺保留在 SLA 中,并用 XLA 来推动改进和对话。

与团队讨论的问题

1. 对我们最重要的服务,用用户自己的话来说,美好的一天是什么样子? 召集两三位用户,或复用最近的访谈,写下他们的陈述。引导者应当抑制把它们改写成运营措辞的冲动。把这些陈述与当前的 SLA 相比较,问它涵盖哪些陈述、忽略哪些。这些差距是体验测量值的候选。

2. 我们的绿色仪表盘与用户的故事在哪里不一致? 请团队举出一个近期案例:服务达到了目标,而用户抱怨。在数据中追踪这个案例:我们度量了什么,又错过了什么?这场交流常常会浮现出缺失的步骤、一次交接,或过早停止的时钟。把这一案例记录下来,作为下一次与用户评审的示例。

3. 我们会用哪三项测量值,来知道这条体验陈述是否属实? 挑选一条陈述,从人们所说的中选一项测量值,从他们所做的中选一项,从系统所记录的中选一项。问每一项可能错过什么、如何被钻空子。商定能说服一位怀疑的用户的最小集合。

4. 我们收集了哪些用户可能意想不到的关于他们的数据?他们对此会感到舒服吗? 列出行为数据的来源以及各自的目的。请一位用户代表作出反应。引导者应当把不适视为关于设计的信息,而不是障碍。决定停止收集什么、汇总什么,以及谁可以看到原始数据。

5. 如果体验得分下降而每个 SLA 都保持绿色,我们会怎么做? 预演这一响应。谁先看、检查什么、与谁交谈?决定团队是会相信体验得分,还是会寻找办法把它搪塞过去。答案显示团队对这份协议有多认真。

6. 我们承诺过哪些体验修复?它们后来怎样了? 回顾与用户的最近两次评审会议。对每项承诺,展示日期、负责人和结果。如果清单是空的或陈旧的,讨论原因。商定在下一次评审之前交付一项修复,以及告诉用户它已发生的办法。

四种视角

产品与交付团队

产品团队掌握着糟糕体验的大部分原因:令人困惑的界面、缓慢的步骤、不清晰的错误。体验测量值给他们来自真实使用的证据,并直接为梳理提供输入。团队应当在每次规划会议之前阅读评论主题,并把旅程测量值与待办事项列表相联。他们不应把体验得分视为团队目标。它是关于他们与运维共享的服务的信息。

服务与运维团队

运维团队最先看到摩擦:重复联系、变通办法和愤怒的来电者。体验测量值给他们一种展示 SLA 所隐藏之物的办法,以及修复原因而不是更快关闭工单的理由。他们应当坚守定义和抽样,避免把用户引导到看起来更好的渠道,并完整阅读不满意的评论(见主题 3.1,服务台度量)。

领导层与治理

领导者选择 XLA 是一场对话还是一块记分牌。他们应当问体验数据说明了在哪里投资,避免把薪酬与体验指数挂钩,并保护员工数据的隐私。治理应当索要定义、抽样和变更的历史,并把体验测量值的无法解释的跳变视为检查方法的理由。

客户与用户

用户是协议的作者。应当邀请他们描述美好是什么样子,向他们展示结果,并告诉他们变了什么。他们应当知道关于他们收集了什么、为什么,并有办法说不。被频繁询问却没看到改善的用户,会停止回答,而沉默会使数据看起来比现实更好。

实践:一个服务管理示例

一家中型专业服务公司为 1,800 名员工运行内部 IT 服务。下面的数字均为示意。

月度 SLA 报告显示,协作平台的可用性为 99.8%,96% 的事件在目标内解决。IT 总监感到满意,然而在客户现场的顾问们仍不断抱怨登录缓慢。服务经理提议为协作平台开展一次 XLA 试点。

在对 12 位顾问的访谈中,出现三条陈述:“我决定加入客户电话会议后,两分钟内就能加入”“我不必给 IT 打电话才能重新进入我的账户”,以及“出问题时,我知道发生了什么”。团队为每一条选择测量值。对第一条,他们取该陈述的脉冲评分,以及来自客户端真实用户监控、按区域汇总的从开始登录到加入会议的实测时间。对第二条,他们统计每月每个活跃用户的密码重置联系数。对第三条,他们跟踪状态消息在 30 分钟内被更新的事件占比,并就此提出脉冲问题。

头两个月的数据显示,从登录到加入会议的时间中位数在总部区域很好,在另外两个区域却很长,而使用受管理笔记本电脑的员工,每用户的密码重置联系数是其他人的三倍。第一条陈述的体验得分为 5 分制中的 3.1,而办公室员工为 4.2。两者的 SLA 都是绿色。服务经理把这一发现带到用户评审会上。团队商定两项改进:为远程区域调整单点登录配置,并更改受管理笔记本电脑上的令牌刷新设置。三个月后,时间中位数下降,每用户的重置联系数下降,体验得分升至 3.8。总监同意为这项服务保留 XLA,再为另一项服务添加它,并在下一次评审之前不设数字目标。

敏捷、AI、自动化与分析

敏捷

与用户商定体验测量值,并随服务演进而重新审视,让干系人持续参与。需要注意的是,仅由提供者设定的体验目标,不会描述用户的感受。

AI

AI 功能直接改变体验,所以要纳入使用它们的旅程,并度量用户的成果,而不是模型的置信度。把体验得分与任务完成以及升级到人工配对。需要注意的是,令人愉快却没能完成任务的聊天机器人,会美化得分。

自动化

在获得同意并遵守隐私规则的前提下,自动收集摩擦事件和旅程完成,并就覆盖来度量收集本身。需要注意的是,关于个人的自动体验数据可能变成监视,所以要汇总并最小化。

分析

把体验得分与运营测量值,以及两者之间的差距,展示在同一页上。这为之提供依据的决定是,即使某项服务的 SLA 是绿色的,也要改进哪一项服务。需要注意的是,差距可能是度量的假象,所以要检查样本。

行业视角

初创公司。 与用户的密切联系使访谈很容易。克制构建框架的冲动:为核心服务写三条体验陈述,每月就它们询问用户,并添加一项行为测量值。正式的协议以后再说。

小型企业。 员工很少,往往与 IT 共用一位经理。使用交谈和非常简短的月度脉冲。对行为数据要小心,因为小群体很容易被识别。

大型企业。 规模带来许多用户群体和供应商。按服务和用户画像定义体验陈述,按服务保留仪表盘,并避免全公司统一的体验指数。使 XLA 与供应商合同对齐,使供应商提供数据,而不被要求对其无法影响的测量值负责。

政府与公共部门。 服务往往既面向公众也面向员工,在无障碍、通俗语言和平等获得方面负有责任。把无障碍纳入体验陈述和测量值,与依赖辅助技术的用户一起测试,并依法保护个人数据。凡要求公开报告之处,连同结果一起报告方法(见主题 8.5,受监管与政府报告)。

业务论证:动因、投资回报与总拥有成本

成本是适度的。用户访谈每项服务需要几天。月度脉冲调查需要调查工具,许多组织已经拥有。行为测量值需要一些埋点,可能来自现有的监控和门户分析。与用户的评审每季度需要几个小时。给评论编码每月需要一两个小时。

回报在于发现 SLA 没有显示的问题,比如特定区域或设备上的缓慢旅程,并把改进的资金导向用户所重视的东西。如果你仔细度量,因 IT 问题损失的时间可以用你自己员工的费率换算成成本。避免关于生产力提升的笼统说法。依据你自己的基线构建论证:修复前后每用户损失的时间、每用户的摩擦事件和重复联系。还要计入避免的变通办法成本,比如因官方服务不好用而采用的影子工具。

反模式与陷阱

  • 用 XLA 取代 SLA。 合同需要可计数的承诺。两者都保留,并一起展示。
  • 单一的复合体验指数。 它隐藏原因并招致钻空子。展示几项独立的测量值。
  • 不带用户地定义体验。 在会议室里写下的陈述描述的是提供者的视角。与用户一起访谈和测试。
  • 调查到人们不再回答。 保持脉冲简短,并轮换主题。
  • 在没告诉任何人的情况下收集行为数据。 它破坏信任,并可能违法。对收集什么和为什么保持公开。
  • 在绩效评审中使用体验数据。 它把学习工具变成监视,并摧毁诚实的报告。
  • 修复测量值,而不是原因。 不要为改善一个数字而把用户重定向到更友好的渠道。修复旅程。
  • 把发现留在幻灯片上。 为体验修复出资并跟踪。

成熟度模型

维度 1 起步 2 发展 3 标准化 4 管理 5 协同
体验目标 隐含或缺失 由提供者为一些服务撰写 为关键服务与用户一起撰写陈述 每季度与用户群体一起评审和修订陈述 跨服务和供应商共享,与用户共同拥有
度量 偶尔的调查 针对一项服务的脉冲调查 对每条陈述采用三角度测量值(说、做、系统) 对测量值做趋势分析,为小群体提供保护,并与 SLA 相比较 跨提供者合并数据,用户可控制隐私选择
行动 逐个处理投诉 临时进行修复 排名靠前的体验问题带负责人进入待办事项列表 为修复出资、跟踪并向用户反馈 跨团队、供应商和用户协调改进,并分享所学

检查清单

  • 每项 XLA 服务都有与用户一起撰写的三到五条体验陈述。
  • 每条陈述都有来自至少两个角度(说、做、系统)的测量值。
  • 每项服务的 SLA 和体验测量值出现在同一页上。
  • 脉冲调查简短、定期,且措辞稳定。
  • 评论按稳定的指南编码,并由人每月检查一批样本。
  • 报告中抑制低于约定规模的群体。
  • 所收集的行为数据向用户披露,并限于需要。
  • 没有任何体验测量值被用于个人绩效评审。
  • 日历中有每季度与用户代表一起的评审。
  • 排名靠前的体验问题在待办事项列表中有负责人和日期。

AI 提示词

依据访谈笔记起草体验陈述。

这是来自 [组织类型] 中 [服务] 的 [数量] 次用户访谈的匿名笔记:[粘贴笔记]。请提出三到五条第一人称的体验陈述,每条与用户关心的一项成果相联,尽可能使用他们的措辞。对每条,建议一项来自人们所说的测量值、一项来自他们所做的测量值,以及一项来自系统所记录的测量值。不要虚构数字。请列出你的假设,以及你无法从笔记中判断的内容。

找出 SLA 与体验之间的差距。

对于 [期间] 的 [服务],我们的 SLA 结果是:[粘贴结果]。我们的体验数据(脉冲得分、评论主题、摩擦计数)是:[粘贴数据]。请描述两者在哪里不一致,对每一处分歧给出三种可能的解释,并建议接下来检查什么。不要假定数据无法支持的原因。请列出你的假设,以及哪些额外的数据会有帮助。

评审行为测量值的隐私做法。

我们计划为体验度量收集这些行为信号:[清单]。用户是 [员工、公众,或两者],位于 [司法辖区或行业]。请评审该计划在隐私、信任和公平方面的风险,并建议最低限度的汇总、保留和披露做法。标出我应当交给隐私专家的任何事项。不要给出法律结论。请列出你的假设。

为与用户的季度体验评审做准备。

请为与 [用户群体] 的代表一起举行的 [服务] 季度体验评审,起草议程和一页纸的摘要。包括并排的 SLA 和体验结果、排名靠前的评论主题、上个季度的承诺及其状态,以及向用户提出的两个问题。数据:[粘贴数据]。保持语气朴实,避免行话。请列出你的假设,并标出任何需要核实的说法。

AI 技能

要点

  • XLA 在运营目标之外加入体验目标和测量值,它补充 SLA。
  • 与用户一起、用他们的话撰写体验陈述,并把每条与人们所说、所做以及系统所记录的测量值相联。
  • 一起展示 SLA 和体验结果,并把分歧视为展开调查的提示。
  • 保护用户:披露你收集什么、汇总它、抑制小群体,并让它远离绩效评审。
  • 避免单一的体验指数,并在测量值被理解之前避免硬目标。
  • 为数据所揭示的修复出资,并告诉用户变了什么。

参考文献与延伸阅读

  1. ISO 9241-210, Ergonomics of human-system interaction: Human-centred design for interactive systems, International Organization for Standardization.
  2. Norman, D. A., The Design of Everyday Things, revised and expanded edition, Basic Books, 2013.
  3. Dixon, M., Toman, N., and DeLisi, R., The Effortless Experience, Portfolio/Penguin, 2013.
  4. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly, 2016.
  5. Wikipedia, Service-level agreement.
  6. Wikipedia, User experience.
  7. Wikipedia, Customer experience.
  8. Wikipedia, Usability.
  9. Wikipedia, Goodhart's law.
  10. Wikipedia, Human-centered design.
  11. Wikipedia, Sentiment analysis.
  12. Wikipedia, Real user monitoring.