경험 수준 협약
경험 수준 협약은 "서비스가 목표를 충족했는가?"라는 질문에 "쓰는 느낌은 어땠는가?"라는 질문을 더하며, 경험 측정치를 사용자와 함께 고르고 운영 측정치 옆에 둘 때만 작동합니다.
개요와 동기
서비스 수준 협약(SLA)은 제공자가 전달하기로 확약한 것을, 보통 제공자가 셀 수 있는 말로 기록합니다. 가용성, 응답 시간, 해결 시간입니다. 이런 측정치는 유용하지만 불완전하기도 합니다. 팀이 대시보드의 모든 목표를 충족하는 동안 사용자는 느린 로그인을 피해 일하고, 서비스 데스크에 같은 말을 반복하고, 승인을 기다리며 한 주를 보낼 수 있습니다. 초록색 보고와 불만스러운 사용자 사이의 이 간극을 때로 수박 효과라고 부릅니다. 겉은 초록이고 속은 빨갛습니다(주제 5.1, SLA, OLA, XLA 지표 참조).
경험 수준 협약(XLA, experience level agreement)은 제공자와 서비스를 쓰는 사람들 사이에서 서비스가 주어야 할 경험에 대해 맺는 협약입니다. "도착하고 몇 분 안에 일을 시작할 수 있다"나 "내 요청이 처리될 것이라고 믿는다"처럼 바라는 성과와 느낌을 진술하고, 그것이 충족되는지 보여 줄 측정치를 명명합니다. 이 용어는 IT 서비스 관리(ITSM) 커뮤니티 전반에서 쓰이며, 정확한 정의는 저자와 공급업체에 따라 다릅니다. XLA를 ITIL의 일부로 설명하기 전에 프레임워크 소유자의 현재 출판물을 확인하고, 어떤 용법을 따르는지 밝히십시오. 이 주제는 XLA를 실용적 발상으로 다룹니다. 경험 측정치를 운영 측정치 옆에 두는 협약입니다.
이 발상은 IT 밖에 뿌리가 있습니다. 사용자 경험은 제품, 시스템, 서비스를 쓰는 사람의 전체적인 경험이며, 고객 경험은 시간에 걸친 조직과 고객의 상호작용의 합입니다. 사용성은 사람들이 얼마나 효과적이고, 효율적이고, 만족스럽게 목표에 이를 수 있는지에 관한 것입니다. 애자일 팀은 디자인 씽킹과 사용자 조사, 그리고 사용자가 동작하는 소프트웨어에 반응하는 이해관계자 검토에서 이 영역을 압니다. XLA는 같은 관심을 운영 중인 서비스로 가져옵니다.
경험은 측정하기 어렵고 왜곡하기 쉽습니다. 만족한 사용자에게만 닿는 설문, 오르도록 조정된 감성 점수, 아무도 설명하지 못하는 단일 "경험 지수"는 조작된 티켓 시간만큼 확실하게 오해를 부릅니다. 굿하트의 법칙의 방호책이 전적으로 적용됩니다. 경험 측정치는 대화의 시작이지 할당량이 아닙니다(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조).
이 주제는 앞 주제의 설문 측정치(주제 6.1, 고객 만족도 지표 참조) 위에 서며, 묻는 데 의존하지 않는 행동 및 여정 기반 측정치를 더합니다.
핵심 원칙
- 사람들이 신경 쓰는 성과에서 시작하십시오. 사용자에게 좋은 하루가 어떤 모습인지 묻고, 그들의 말로 협약을 쓰십시오.
- 경험을 운영과 짝지우십시오. XLA는 SLA를 대체하는 것이 아니라 그 옆에 놓입니다.
- 서로 다른 각도의 소수 측정치를 쓰십시오. 사람들이 말하는 것, 하는 것, 시스템이 기록하는 것을 결합하십시오.
- 접점만이 아니라 여정을 측정하십시오. 경험은 필요에서 성과까지의 전체 경로입니다.
- 불확실성에 대해 정직하십시오. 경험 데이터는 잡음이 많고, 작은 그룹은 보호가 필요합니다.
- 사용자와 목표를 합의하고 개정하십시오. XLA는 그것이 설명하는 사람들과 함께 검토하는 살아 있는 협약입니다.
- 경험 데이터로 개인의 순위를 결코 매기지 마십시오.
지표 정의
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 |
|---|---|---|---|---|---|---|---|
| 경험 점수 | 서비스와 대상에 대해 합의된 경험 진술의 평균 평가 | 고정된 척도에서 한 진술에 대한 유효 응답의 평균 평가 | 척도 점수 | 일정에 따라 보내는 짧은 펄스 설문 | 서비스 수준 관리, 지속적 개선 | 이해관계자 검토 피드백, 제품 성과 검토 | 월 |
| 감성 추세 | 서비스에 대한 자유 서술 의견의 어조 방향 | 기간별로 긍정으로 코딩한 의견의 비율 빼기 부정으로 코딩한 의견의 비율 | 퍼센트 포인트 | 코딩한 설문 의견과 티켓 의견 | 지속적 개선 | 회고 주제 | 월 |
| 사용자당 마찰 사건 | 사용자가 문제에 부딪혔다는 신호의 건수를 활성 사용자로 정규화한 값 | (반복 접촉 + 다시 열린 항목 + 정해진 횟수를 넘은 로그인 실패 + 중단한 요청) / 활성 사용자 | 사용자당 사건 | 티켓 시스템, 신원 로그, 요청 포털 | 서비스 데스크, 인시던트 관리 | 사용 중 발견된 결함 | 월 |
| IT 문제로 잃은 시간 | 기간 중 서비스 문제로 사용자가 잃는 추정 시간 | 사용자당 자체 보고한 잃은 분, 또는 영향받은 사용자로 가중한 저하 상태에서 측정한 시간 | 사용자당 분 | 펄스 설문, 사용자 수와 결합한 모니터링 | 가용성 관리, 인시던트 관리 | 차단 요인으로 잃은 사이클 타임 | 분기 |
| 여정 완료율 | 중단하거나 도움을 구하지 않고 정의된 여정을 마친 사용자의 비율 | 도움 접촉 없이 여정을 완료한 사용자 / 여정을 시작한 사용자 | 퍼센트 | 포털 분석, 티켓 연결 | 서비스 요청 관리, 서비스 카탈로그 관리 | 사용성 시험의 과업 성공 | 월 |
| XLA 달성 | 기간 중 합의된 경험 목표 중 충족한 비율 | 충족한 목표 / 합의한 목표 | 퍼센트 | XLA 레지스트리 | 서비스 수준 관리 | 전달 목표 달성 | 분기 |
| 경험 간극 | 같은 서비스의 SLA 달성과 경험 점수의 차이 | 서비스 간 SLA 달성 순위 빼기 경험 점수 순위, 또는 서면 비교 | 순위 차이 또는 메모 | SLA 보고서와 펄스 설문 | 서비스 수준 관리 | 완료의 정의 대 사용자 피드백 | 분기 |
모든 측정치에 대상과 기간을 정의하십시오. 작은 그룹을 어떻게 보호하는지 밝히십시오. 예를 들어 열 명 미만의 어떤 그룹에도 결과를 보여 주지 않습니다. 마찰 사건은 비난이 아니라 신호를 세므로, 사건은 서비스와 사용자 그룹에 붙이며 지명된 사람의 성과 평가에는 결코 붙이지 않습니다.
권장 사항
사용자와 함께 협약을 설계하십시오
1. 측정하기 전에 인터뷰하십시오. 각 중요한 그룹의 사용자 표본과 시간을 보내며 물으십시오. 이 서비스와 함께하는 좋은 하루는 어떤 모습입니까? 어디서 시간을 낭비합니까? 잘 작동한다면 무엇을 그만두겠습니까? 인간 중심 디자인의 습관을 쓰십시오. 실제 업무를 관찰하고, 들은 것을 사용자의 말로 적으십시오. 그 결과로 나온 진술이 협약의 경험 목표가 됩니다.
2. 경험 진술을 성과로 쓰십시오. "신입 직원이 첫날 아침에 생산적일 수 있게 한다"는 "신입 접근 요청을 이틀 안에 해결"보다 많은 것을 말합니다. 각 진술을 짧고, 1인칭으로, 한 서비스에 묶어 두십시오. 사람들이 기억할 수 있도록 서비스당 세 개에서 다섯 개의 진술을 목표로 하십시오.
3. 세 각도에서 측정치를 고르십시오. 각 진술에 대해 사람들이 말하는 것(펄스 질문이나 의견 주제)에서 하나, 사람들이 하는 것(여정 완료, 반복 접촉, 중단한 요청)에서 하나, 가능하면 시스템이 기록하는 것(여정 단계의 지연)에서 하나를 고르십시오. 셋이 어긋나면 조사할 것을 찾은 것입니다.
4. 목표는 가볍게 합의하십시오. 초기에는 엄격한 숫자 대신 방향("잃은 시간을 줄인다")과 검토 날짜를 정하십시오. 새 경험 측정치에 대한 엄격한 목표는 측정치가 이해되기 전에 악용을 부릅니다. 목표가 등장하면 범위로 만들고 누가 합의했는지 말하십시오.
데이터를 수집하고 읽으십시오
5. 짧고 정기적인 펄스 질문을 쓰십시오. 한 진술에 대한 한 질문을 정기적인 간격으로 묻는 것이 긴 연간 설문보다 답하기 쉽습니다. 진술을 돌려 가며 쓰고, 문구를 안정적으로 유지하고, 정해진 기간에 같은 사람에게 한 번 넘게 묻지 마십시오. 펄스 설계를 앞 주제의 설문 원칙에 연결하십시오(주제 6.1, 고객 만족도 지표 참조).
6. 방법을 가지고 의견을 읽으십시오. 감성 분석 도구는 대량의 텍스트를 분류할 수 있지만 빈정거림, 전문 용어, 맥락을 잘못 읽습니다. 도구 출력을 1차 검토로 다루고, 사람이 매달 표본을 점검하게 하고, 손으로 코딩하는 주제의 짧은 목록을 유지하십시오. 분석의 요점은 점수를 내는 것이 아니라 사용자와 이야기할 주제를 찾는 것입니다.
7. 여정에서 행동 신호를 더하십시오. 사용자가 신경 쓰는 여정을 그들이 알도록 계측하십시오. 어디서 시작하고, 어디서 이탈하고, 어디서 도움을 구하는지입니다. 페이지 로드 시간, 오류, 단계의 실사용자 모니터링은 설문이 줄 수 없는 관점을 줍니다. 무엇을 수집하는지 사용자에게 알리고, 필요한 것으로 한정하고, 공유하기 전에 집계하십시오.
8. 작은 그룹과 개인을 보호하십시오. 경험 데이터는 누가 어려움을 겪는지 드러낼 수 있습니다. 결과를 집계하고, 합의된 크기 미만의 그룹은 숨기고, 데이터를 성과 평가에 결코 쓰지 마십시오. 누가 원본 의견을 볼 수 있는지 정하고 그에 맞게 저장하십시오. 규제 환경에서는 행동 데이터를 수집하기 전에 개인정보 전문가와 확인하십시오.
협약을 활용하십시오
9. SLA와 XLA를 나란히 보여 주십시오. 같은 페이지에 각 서비스의 운영 달성과 경험 측정치를 표시하십시오. 짝짓기가 요점입니다. 경험 점수가 떨어지는 초록색 SLA는 대화의 신호이고, SLA가 실패하는데 경험 점수가 초록색이면 사용자에게 무엇이 전달되지 않는지 살펴볼 만합니다.
10. 사용자와 정기 경험 검토를 여십시오. 분기마다 사용자 그룹의 대표와 만나 데이터를 보여 주고, 무엇을 뜻하는지 묻고, 시도할 한두 개선에 합의하십시오. 서비스 데스크와 제품 팀을 포함하십시오. 나쁜 경험의 원인은 지원이 아니라 제품에 있는 경우가 많기 때문입니다.
11. 수정에 자금을 대십시오. 마찰을 식별하고 그대로 두는 협약은 사용자에게 측정이 연극이라고 가르칩니다. 가장 큰 두세 가지 경험 문제를 소유자와 날짜와 함께 백로그에 올리고 다음 검토에서 보고하십시오. 이 책 뒤에 나오는 지속적 개선 지표를 보십시오(주제 9.5, 지속적 개선 지표 참조).
12. 서비스와 사용자가 바뀌면 협약을 개정하십시오. 더 이상 중요하지 않은 진술은 폐기하고 새 것을 추가하십시오. 다른 지표 정의와 마찬가지로 변경을 기록하고 추세 차트에 표시하십시오.
악용 방식과 방호책
| 지표 | 악용되는 방식 | 짝을 이루는 방호책 지표 또는 실천 |
|---|---|---|
| 경험 점수 | 만족한 사용자에게만 설문함, 좋은 일 뒤에 설문 시기를 맞춤, 동의하기 더 쉽게 진술의 표현을 바꿈 | 응답률과 응답자 구성, 안정된 문구 로그, 의견 읽기 |
| 감성 추세 | 추세가 오르도록 도구나 주제 목록을 조정함, 부정적인 경로를 제외함 | 월간 표본의 사람 점검, 고정된 코딩 가이드를 두고 변경을 기록 |
| 사용자당 마찰 사건 | 더 적게 세도록 사건을 재정의함, 서비스 데스크를 닿기 어렵게 만들어 반복 접촉을 막음 | 경로별 접촉 물량, 서비스 데스크의 포기율(주제 3.1, 서비스 데스크 지표 참조) |
| IT 문제로 잃은 시간 | 낮은 추정을 유도하는 방식으로 물음, 주요 인시던트만 셈 | 자체 보고한 시간을 측정한 저하 시간과 비교, 설문 문구 검토 |
| 여정 완료율 | 실패가 범위 밖이 되도록 여정을 좁게 정의함, 어려운 사례를 다른 경로로 유도함 | 레지스트리의 여정 정의, 도움 접촉률과 에스컬레이션 |
| XLA 달성 | 이미 충족한 목표를 정함, 아주 작은 목표 집합을 정의함 | 사용자와 목표 설정 검토, 추세와 목표 이력과 함께 달성을 표시 |
| 경험 간극 | 가장 좋아 보이는 서비스나 기간을 고름, 비교하는 SLA를 바꿈 | 미리 합의한 고정 비교 집합, 모든 서비스를 표시 |
건강한 수치는 의견 및 사용자 검토 대화와 일치하는 경험의 그림, 천천히 그리고 팀이 설명할 수 있는 이유로 바뀌는 소수의 측정치, 짧아지는 경험 수정 백로그입니다.
상충 관계: 장점과 단점
| 접근 방식 | 강점 | 약점 |
|---|---|---|
| SLA만 | 분명하고, 셀 수 있고, 계약적임 | 사용자가 느끼는 것을 놓침, 사용자가 불만인데도 초록색일 수 있음 |
| XLA만 | 사용자가 가치 있게 여기는 것에 가까움 | 측정하고 비교하기 더 어려움, 공급업체와의 계약 기반으로는 약함 |
| SLA와 XLA | 두 관점을 모두 주고 간극을 드러냄 | 더 많은 일, 불일치를 읽는 데 신뢰와 판단이 필요함 |
| 설문 기반 경험 측정치 | 사용자의 직접적인 목소리 | 응답 편향, 응답자에게 부담 |
| 행동 측정치 | 설문 부담 없음, 객관적임 | 계측과 개인정보 주의가 필요함, 무슨 일이 일어났는지 보여 주지만 왜인지는 아님 |
| 단일 경험 지수 | 쉬운 헤드라인 | 세부를 가림, 악용하기 쉽고 설명하기 어려움 |
실용적인 답은 XLA를 추가로 쓰는 것이며, 운영과 경험 사이의 간극이 이미 보이는 소수의 서비스에 먼저 도입하는 것입니다. 계약상의 SLA를 공급업체가 통제할 수 없는 경험 측정치로 대체하지 마십시오. 법적이고 상업적인 확약은 SLA에 두고, XLA는 개선과 대화를 이끄는 데 쓰십시오.
팀과 논의할 질문
1. 가장 중요한 서비스에서 사용자에게 좋은 하루는 그들의 말로 어떤 모습인가요? 사용자 두세 명을 모으거나 최근 인터뷰를 다시 쓰고 그들의 진술을 적으십시오. 진행자는 그것을 운영 용어로 바꿔 쓰려는 충동을 자제해야 합니다. 진술을 현재 SLA와 비교해 어느 진술을 포괄하고 어느 것을 무시하는지 물으십시오. 간극이 경험 측정치의 후보입니다.
2. 초록색 대시보드와 사용자의 이야기는 어디서 어긋나나요? 팀에게 서비스가 목표를 충족했는데도 사용자가 불평한 최근 사례를 물으십시오. 사례를 데이터를 통해 추적하십시오. 우리는 무엇을 측정했고 무엇을 놓쳤습니까? 대화는 빠진 단계, 인계, 너무 일찍 멈춘 시계를 드러내는 경우가 많습니다. 사례를 사용자와의 다음 검토를 위한 예로 기록하십시오.
3. 이 경험 진술이 참인지 알려면 어떤 세 측정치를 쓸까요? 진술 하나를 골라 사람들이 말하는 것에서 하나, 하는 것에서 하나, 시스템이 기록하는 것에서 하나를 고르십시오. 각각이 무엇을 놓칠 수 있고 어떻게 악용될 수 있는지 물으십시오. 회의적인 사용자를 설득할 가장 작은 집합에 합의하십시오.
4. 사용자가 예상하지 못할 수 있는 어떤 것을 수집하고 있으며, 그들이 편안해할까요? 행동 데이터 원천과 각각의 목적을 나열하십시오. 사용자 대표에게 반응을 구하십시오. 진행자는 불편함을 장애물이 아니라 설계에 대한 정보로 다뤄야 합니다. 무엇의 수집을 멈추고, 무엇을 집계하고, 누가 원본 데이터를 볼 수 있는지 결정하십시오.
5. 모든 SLA가 초록색인데 경험 점수가 떨어지면 우리는 무엇을 할까요? 대응을 리허설하십시오. 누가 먼저 보고, 무엇을 점검하고, 누구와 이야기합니까? 팀이 경험 점수를 신뢰할지, 무시할 방법을 찾을지 결정하십시오. 답은 팀이 협약을 얼마나 진지하게 받아들이는지 보여 줍니다.
6. 우리가 약속한 경험 수정은 무엇이며, 그것들은 어떻게 되었나요? 사용자와의 지난 두 번의 검토 회의를 검토하십시오. 각 약속에 대해 날짜, 소유자, 결과를 보여 주십시오. 목록이 비어 있거나 낡았다면 이유를 논의하십시오. 다음 검토 전에 전달할 수정 하나와, 그것이 이루어졌음을 사용자에게 알릴 방법에 합의하십시오.
네 가지 관점
제품 및 전달 팀
제품 팀이 나쁜 경험의 원인 상당 부분을 쥐고 있습니다. 헷갈리는 화면, 느린 단계, 불분명한 오류입니다. 경험 측정치는 이들에게 실제 사용에서 나온 증거를 주며 정제에 직접 공급됩니다. 팀은 계획 세션 전마다 의견 주제를 읽고 여정 측정치를 백로그에 연결해야 합니다. 경험 점수를 팀 목표로 다루어서는 안 됩니다. 그것은 운영과 공유하는 서비스에 대한 정보입니다.
서비스 및 운영 팀
운영 팀이 마찰을 가장 먼저 봅니다. 반복 접촉, 임시방편, 화난 전화입니다. 경험 측정치는 이들에게 SLA가 가리는 것을 보여 줄 방법과, 티켓을 더 빨리 닫는 대신 원인을 고칠 이유를 줍니다. 정의와 표본 추출의 선을 지키고, 사용자를 더 좋아 보이는 경로로 유도하는 것을 피하고, 불만스러운 의견을 전체로 읽어야 합니다(주제 3.1, 서비스 데스크 지표 참조).
리더십과 거버넌스
리더는 XLA가 대화일지 점수판일지를 고릅니다. 경험 데이터가 어디에 투자할지에 대해 무엇을 말하는지 물어야 하고, 경험 지수에 보수를 연결하는 것을 피하고, 직원 데이터의 개인정보를 보호해야 합니다. 거버넌스는 정의, 표본 추출, 변경 이력을 요청해야 하고, 경험 측정치의 설명되지 않는 도약을 방법을 점검할 이유로 다뤄야 합니다.
고객과 사용자
사용자는 협약의 저자입니다. 좋음이 무엇인지 설명하도록 초대하고, 결과를 보여 주고, 무엇이 바뀌었는지 알려야 합니다. 자신에 대해 무엇이 왜 수집되는지 알아야 하고, 거부할 방법이 있어야 합니다. 자주 질문을 받으면서 개선되는 것을 보지 못하는 사용자는 답을 멈추며, 그 침묵이 데이터를 현실보다 좋아 보이게 만듭니다.
실제 적용: 서비스 관리 사례
중견 전문 서비스 회사가 직원 1,800명을 위한 내부 IT 서비스를 운영합니다. 아래 숫자는 예시입니다.
월간 SLA 보고서는 협업 플랫폼의 가용성 99.8퍼센트와 목표 안에 해결된 인시던트 96퍼센트를 보여 줍니다. IT 책임자는 만족하지만 고객사에 나가 있는 컨설턴트들은 느린 로그인을 계속 불평합니다. 서비스 관리자가 협업 플랫폼에 대한 XLA 시범 운영을 제안합니다.
컨설턴트 12명과의 인터뷰에서 세 가지 진술이 나옵니다. "통화에 들어가기로 결정하고 2분 안에 고객 통화에 합류할 수 있다", "내 계정에 다시 들어가려고 IT에 전화하지 않아도 된다", "무언가 고장 나면 무슨 일이 벌어지는지 안다". 팀은 각각에 측정치를 고릅니다. 첫째는 진술의 펄스 평가와, 지역별로 집계한 고객사의 실사용자 모니터링에서 얻은 로그인 시작부터 통화 합류까지의 측정 시간을 씁니다. 둘째는 월간 활성 사용자당 비밀번호 재설정 접촉을 셉니다. 셋째는 상태 메시지가 30분 안에 갱신된 인시던트의 비율을 추적하고, 그것에 대한 펄스 질문을 합니다.
처음 두 달의 데이터는 로그인부터 통화 합류까지의 시간 중앙값이 본사 지역에서는 괜찮지만 다른 두 곳에서는 길고, 사용자당 비밀번호 재설정 접촉이 관리형 노트북을 쓰는 직원이 다른 직원보다 세 배 많음을 보여 줍니다. 첫 진술의 경험 점수는 사무실 직원의 4.2에 비해 5점 만점에 3.1입니다. SLA는 둘 다 초록색입니다. 서비스 관리자는 발견을 사용자 검토에 가져갑니다. 팀은 두 가지 개선에 합의합니다. 원격 지역을 위한 싱글 사인온 구성 조정과 관리형 노트북의 토큰 갱신 설정 변경입니다. 석 달 뒤 시간 중앙값이 줄고, 사용자당 재설정 접촉이 줄고, 경험 점수는 3.8로 오릅니다. 책임자는 이 서비스에 XLA를 유지하고, 다른 서비스 하나에 추가하고, 다음 검토까지 숫자 목표를 정하지 않기로 합의합니다.
애자일, AI, 자동화, 분석
애자일
사용자와 경험 측정치를 합의하고, 서비스가 진화함에 따라 지속적인 이해관계자 참여로 다시 살펴보십시오. 주의할 점은 제공자만 정한 경험 목표는 사용자가 느끼는 것을 설명하지 못한다는 것입니다.
AI
AI 기능은 경험을 직접 바꾸므로 이를 쓰는 여정을 포함하고, 모델의 확신이 아니라 사용자의 성과를 측정하십시오. 경험 점수를 과업 완료와 사람으로의 에스컬레이션과 짝지우십시오. 주의할 점은 과업에는 실패하면서 기분 좋게 느껴지는 챗봇이 점수를 실제보다 좋아 보이게 한다는 것입니다.
자동화
동의와 개인정보 규칙에 따라 마찰 사건과 여정 완료를 자동으로 수집하고, 수집을 포괄로 측정하십시오. 주의할 점은 개인에 대한 자동 경험 데이터가 감시가 될 수 있으므로 집계하고 최소화해야 한다는 것입니다.
분석
경험 점수를 같은 페이지의 운영 측정치와 둘 사이의 간극과 함께 보고하십시오. 이는 SLA가 초록색이어도 어떤 서비스를 개선할지에 정보를 줍니다. 주의할 점은 간극이 측정 인공물일 수 있으므로 표본을 점검해야 한다는 것입니다.
부문별 관점
스타트업. 사용자와의 긴밀한 접촉이 인터뷰를 쉽게 만듭니다. 프레임워크를 만들려는 유혹을 이기십시오. 핵심 서비스에 대한 세 개의 경험 진술을 쓰고, 매달 사용자에게 그것에 대해 묻고, 행동 측정치 하나를 추가하십시오. 공식 협약은 나중에 옵니다.
소규모 사업. 직원이 적고 IT와 관리자를 공유하는 경우가 많습니다. 대화와 아주 짧은 월간 펄스를 쓰십시오. 작은 그룹은 쉽게 식별되므로 행동 데이터에 주의하십시오.
대기업. 규모는 많은 사용자 그룹과 공급업체를 가져옵니다. 서비스와 페르소나별로 경험 진술을 정의하고, 서비스별 대시보드를 유지하고, 회사 전체의 단일 경험 지수를 피하십시오. 공급업체가 영향을 줄 수 없는 측정치로 책임을 지지 않으면서도 데이터를 기여할 수 있도록 XLA를 공급업체 계약에 맞추십시오.
정부 및 공공 부문. 서비스는 직원뿐 아니라 대중을 상대하는 경우가 많고, 접근성, 쉬운 언어, 동등한 접근에 대한 의무가 있습니다. 경험 진술과 측정치에 접근성을 포함하고, 보조 기술에 의존하는 사용자와 시험하고, 법에 따라 개인 데이터를 보호하십시오. 공개 보고가 필요한 곳에서는 결과와 함께 방법을 보고하십시오(주제 8.5, 규제 및 정부 보고 참조).
비즈니스 케이스: 동기, ROI, TCO
비용은 보통입니다. 사용자 인터뷰는 서비스당 며칠이 걸립니다. 월간 펄스 설문에는 많은 조직이 이미 가진 설문 도구가 필요합니다. 행동 측정치에는 기존 모니터링과 포털 분석에서 나올 수 있는 어느 정도의 계측이 필요합니다. 사용자와의 검토는 분기마다 몇 시간이 듭니다. 의견 코딩은 매달 한두 시간이 듭니다.
수익은 특정 지역이나 장치의 느린 여정처럼 SLA가 보여 주지 않는 문제를 찾고, 개선 비용을 사용자가 가치 있게 여기는 것으로 향하게 하는 데 있습니다. IT 문제로 잃은 시간은 신중하게 측정하면 자체 직원 단가로 비용으로 바꿀 수 있습니다. 생산성 향상에 대한 일반적 주장은 피하십시오. 자체 기준선에서 사례를 만드십시오. 수정 전후의 사용자당 잃은 시간, 사용자당 마찰 사건, 반복 접촉입니다. 공식 서비스가 불편해서 도입된 그림자 도구 같은 임시방편의 회피된 비용도 세십시오.
안티패턴과 함정
- SLA를 XLA로 대체하기. 계약에는 셀 수 있는 확약이 필요합니다. 둘 다 유지하고 함께 보여 주십시오.
- 하나의 복합 경험 지수. 원인을 가리고 악용을 부릅니다. 소수의 개별 측정치를 보여 주십시오.
- 사용자 없이 경험 정의하기. 회의실에서 쓴 진술은 제공자의 관점을 설명합니다. 사용자와 인터뷰하고 시험하십시오.
- 사람들이 답을 멈출 때까지 설문하기. 펄스를 짧게 유지하고 주제를 돌리십시오.
- 아무에게도 알리지 않고 행동 데이터 수집하기. 신뢰를 깨고 법을 어길 수 있습니다. 무엇을 왜 수집하는지 투명하게 하십시오.
- 성과 평가에 경험 데이터 쓰기. 학습 도구를 감시로 바꾸고 정직한 보고를 파괴합니다.
- 원인이 아니라 측정치를 고치기. 숫자를 개선하려고 사용자를 더 친절한 경로로 돌리지 마십시오. 여정을 고치십시오.
- 발견 사항을 슬라이드에 남겨 두기. 경험 수정에 자금을 대고 추적하십시오.
성숙도 모델
| 차원 | 1 시작 | 2 발전 | 3 표준화 | 4 관리 | 5 조율 |
|---|---|---|---|---|---|
| 경험 목표 | 암묵적이거나 없음 | 일부 서비스에 대해 제공자가 씀 | 핵심 서비스에 대해 사용자와 함께 진술을 씀 | 사용자 그룹과 분기마다 진술을 검토하고 개정함 | 서비스와 공급업체에 걸쳐 공유하고 사용자와 공동으로 소유함 |
| 측정 | 가끔의 설문 | 서비스 하나에 대한 펄스 설문 | 각 진술에 대한 세 각도(말, 행동, 시스템) 측정치 | 측정치를 추세로 보고, 작은 그룹을 보호하고, SLA와 비교함 | 사용자가 통제하는 개인정보 선택과 함께 제공자에 걸쳐 데이터를 결합함 |
| 조치 | 불만을 하나씩 처리함 | 수정을 임시로 함 | 가장 큰 경험 문제가 소유자와 함께 백로그에 있음 | 수정에 자금을 대고, 추적하고, 사용자에게 보고함 | 팀, 공급업체, 사용자에 걸쳐 개선을 조율하고 학습을 공유함 |
체크리스트
- 각 XLA 서비스에 사용자와 함께 쓴 세 개에서 다섯 개의 경험 진술이 있다.
- 각 진술에 최소 두 각도(말, 행동, 시스템)의 측정치가 있다.
- 각 서비스의 SLA와 경험 측정치가 같은 페이지에 나타난다.
- 펄스 설문은 짧고, 정기적이고, 문구가 안정적이다.
- 의견은 안정된 가이드로 코딩하고 사람이 매달 표본을 점검한다.
- 합의된 크기 미만의 그룹은 보고서에서 숨긴다.
- 수집하는 행동 데이터는 사용자에게 공개하고 필요로 한정한다.
- 어떤 경험 측정치도 개인 성과 평가에 쓰지 않는다.
- 사용자 대표와의 분기 검토가 일정에 있다.
- 가장 큰 경험 문제가 백로그에서 소유자와 날짜를 갖는다.
AI 프롬프트
인터뷰 메모에서 경험 진술의 초안을 작성합니다.
다음은 [조직 유형]에서 [서비스] 사용자 [인원]명과 한 인터뷰의 익명화된
메모입니다: [메모 붙여 넣기]. 사용자가 신경 쓰는 성과 하나에 각각 묶인, 가능한
한 그들의 말을 쓴 1인칭 경험 진술을 세 개에서 다섯 개 제안해 주세요. 각각에
대해 사람들이 말하는 것에서 하나, 하는 것에서 하나, 시스템이 기록하는 것에서
하나의 측정치를 제안해 주세요. 수치를 지어내지 마세요. 가정한 내용과 메모로
알 수 없었던 것을 나열해 주세요.
SLA와 경험 사이의 간극을 찾습니다.
[기간] 동안 [서비스]의 SLA 결과는 다음과 같았습니다: [결과 붙여 넣기]. 경험
데이터(펄스 점수, 의견 주제, 마찰 건수)는 다음과 같았습니다: [데이터 붙여
넣기]. 둘이 어긋나는 곳을 설명하고, 각 불일치에 대해 세 가지 가능한 설명을
제시하고, 다음에 무엇을 점검할지 제안해 주세요. 데이터가 뒷받침하지 못하는
원인을 가정하지 마세요. 가정한 내용과 도움이 될 추가 데이터를 나열해 주세요.
행동 측정치의 개인정보 접근 방식을 검토합니다.
경험 측정을 위해 다음 행동 신호를 수집할 계획입니다: [목록]. 사용자는
[관할 또는 부문]의 [직원, 대중, 또는 둘 다]입니다. 계획을 개인정보, 신뢰,
공정성에 대한 위험 관점에서 검토하고, 최소한의 집계, 보존, 공개 관행을
제안해 주세요. 개인정보 전문가에게 가져가야 할 것을 표시해 주세요. 법적
결론을 내리지 마세요. 가정한 내용을 나열해 주세요.
사용자와의 분기 경험 검토를 준비합니다.
[사용자 그룹]의 대표와 함께하는 [서비스]의 분기 경험 검토를 위한 안건과 한
쪽짜리 요약의 초안을 작성해 주세요. SLA와 경험 결과를 나란히, 가장 많은 의견
주제, 지난 분기의 약속과 그 상태, 사용자에게 할 두 질문을 포함해 주세요.
데이터는 다음과 같습니다: [데이터 붙여 넣기]. 어조는 평이하게 하고 전문 용어를
피해 주세요. 가정한 내용을 나열하고 확인이 필요한 주장은 표시해 주세요.
AI 스킬
- 서비스 관리 지표 스킬: 대시보드에 경험 측정치를 추가하기 전에 그 방호책을 찾을 때 사용합니다.
- 서비스 관리 지표 유지보수 스킬: XLA 지표 항목이 악용 방식과 방호책을 갖추고 있는지 확인할 때 사용합니다.
핵심 정리
- XLA는 운영 목표에 경험 목표와 측정치를 더하며 SLA를 보완합니다.
- 경험 진술을 사용자와 함께 그들의 말로 쓰고, 각각을 사람들이 말하고, 하고, 시스템이 기록하는 것의 측정치에 묶으십시오.
- SLA와 경험 결과를 함께 보여 주고, 불일치를 조사의 신호로 다루십시오.
- 사용자를 보호하십시오. 수집하는 것을 공개하고, 집계하고, 작은 그룹을 숨기고, 성과 평가에서 제외하십시오.
- 단일 경험 지수를 피하고, 측정치가 이해되기 전에는 엄격한 목표를 피하십시오.
- 데이터가 드러내는 수정에 자금을 대고, 무엇이 바뀌었는지 사용자에게 알리십시오.
참고 문헌과 더 읽을거리
- ISO 9241-210, Ergonomics of human-system interaction: Human-centred design for interactive systems, International Organization for Standardization.
- Norman, D. A., The Design of Everyday Things, revised and expanded edition, Basic Books, 2013.
- Dixon, M., Toman, N., and DeLisi, R., The Effortless Experience, Portfolio/Penguin, 2013.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly, 2016.
- Wikipedia, Service-level agreement.
- Wikipedia, User experience.
- Wikipedia, Customer experience.
- Wikipedia, Usability.
- Wikipedia, Goodhart's law.
- Wikipedia, Human-centered design.
- Wikipedia, Sentiment analysis.
- Wikipedia, Real user monitoring.