개요와 동기

운영 지표는 서비스가 무엇을 했는지 말해 줍니다. 만족도 지표는 그 서비스를 받는 경험이 어땠는지 말해 줍니다. 티켓이 목표 시간 안에 닫혀도 사용자는 여전히 막혀 있을 수 있고, 복구된 서비스도 힘든 한 주로 기억될 수 있습니다. 애자일 팀은 매 증분이 끝날 때 같은 질문을 합니다. 이것이 대상 사용자에게 도움이 되었는가? ITIL이 체계화한 IT 서비스 관리(ITSM)는 서비스가 고객과 함께 공동 창출하는 가치를 통해 같은 질문을 합니다. 만족도 측정은 이 두 질문이 만나는 자리입니다.

고객 만족도(Customer satisfaction)는 제품과 서비스가 고객의 기대를 충족하거나 넘어서는 정도를 나타내는 척도입니다. 서비스 업무에서는 보통 설문으로 수집하며, 이 주제에서 다루는 흔한 형태는 세 가지입니다.

  • 고객 만족도 점수(CSAT): 특정 상호작용이나 서비스에 대한 평가로, 보통 5점 척도를 쓰고 만족한 응답의 비율로 보고합니다.
  • 순추천고객지수(NPS): 응답자가 어떤 회사, 제품, 서비스를 추천할 가능성이 얼마나 되는지를 묻는 한 가지 질문에 기반합니다. 9점이나 10점으로 답한 응답자는 추천 고객, 0점에서 6점으로 답한 응답자는 비추천 고객이며, 점수는 추천 고객의 비율에서 비추천 고객의 비율을 뺀 값입니다. 순추천고객지수(Net promoter score)는 2003년 프레드 라이켈드(Fred Reichheld)가 Harvard Business Review에 실은 글로 널리 알려졌습니다.
  • 고객 노력 점수(CES): 어떤 일을 해내는 데 노력이 얼마나 들었는지, 또는 얼마나 쉬웠는지에 대한 평가입니다. 이 지표를 제안한 저자들은 노력을 줄이는 것이 사람들을 감동시키는 것보다 충성도를 더 잘 예측한다고 주장했습니다. 이 주장은 확정된 사실이 아니라 여러분의 환경에서 검증할 가설로 다루십시오.

내부 IT 환경에서 "고객"은 동료이고, 설문은 티켓이나 릴리스 뒤에 하는 짧은 질문입니다. 원칙은 같지만 윤리적 의무는 더 큽니다. 질문을 받는 사람들이 내일도 함께 일할 사람들이기 때문입니다.

설문은 설문 방법론(Survey methodology)의 한 형태입니다. 이 분야에는 질문 표현, 시기, 표집이 응답을 어떻게 바꾸는지에 대한 수십 년의 연구 결과가 있습니다. 이를 건너뛰는 팀은 서비스 품질과 무관한 이유로 움직이는 점수를 만들어 내기 쉽습니다. 굿하트의 법칙(Goodhart's law)이 주는 경고는 여기서 특히 강하게 적용됩니다. 직원이 높은 점수로 보상받으면 점수를 달라고 요청하는 법을 배웁니다(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조).

이 주제는 만족도 지표를 정직하게 유지하는 정의, 데이터 위생, 습관을 제시합니다. 다음 주제는 이를 경험에 대한 더 폭넓은 관점으로 확장합니다(주제 6.2, 경험 수준 협약 참조).

핵심 원칙

  • 특정한 순간에 대해 물으십시오. 닫힌 티켓이나 릴리스에 연결된 설문은 일반적인 연례 질문보다 더 선명한 답을 줍니다.
  • 짧게 유지하십시오. 평가 하나와 열린 댓글 하나가 대부분의 사람이 건너뛰는 열 가지 질문보다 낫습니다.
  • 댓글을 읽으십시오. 점수는 얼마나인지를, 말은 왜인지를 알려 줍니다.
  • 누가 응답했는지 보고하십시오. 응답률과 응답자 구성이 없는 점수는 소문일 뿐입니다.
  • 고리를 닫으십시오. 나쁜 경험을 알린 사람은 답을 들어야 합니다.
  • 시간에 따라 자기 자신과 비교하십시오. 회사 간 벤치마크는 방법, 대상, 문화의 차이를 가립니다.
  • 응답자를 보호하십시오. 필요한 것만 수집하고, 어떻게 쓰일지 알리고, 이를 근거로 개인의 순위를 매기지 마십시오.

지표 정의

지표 정의 공식 단위 데이터 출처 ITIL 프랙티스 애자일 대응 주기
CSAT 정의된 상호작용 유형에서 만족한 응답의 비율 5점 척도에서 4점 또는 5점으로 평가한 응답 수 / 유효 응답 수 퍼센트 티켓이나 릴리스에 연결된 상호작용 후 설문 서비스 데스크, 인시던트 관리, 서비스 수준 관리 이해관계자 리뷰 피드백 주간 또는 월간
NPS 정의된 서비스와 대상에 대한 추천 고객에서 비추천 고객을 뺀 값 9점 또는 10점으로 답한 비율 빼기 0점에서 6점으로 답한 비율 포인트, 범위 -100~100 고정된 간격으로 보내는 관계 설문 지속적 개선, 서비스 수준 관리 제품 성과 리뷰 분기
CES 어떤 일을 해내기가 얼마나 쉬웠는지에 대한 평균 평가 또는 긍정 응답 비율 긍정 응답 수 / 유효 응답 수, 또는 평균 평가 퍼센트 또는 평균 티켓, 요청, 릴리스에 연결된 상호작용 후 설문 서비스 요청 관리, 서비스 데스크 정제 과정의 사용성 피드백 월간
설문 응답률 초대받은 사용자 중 응답한 사용자의 비율 수신한 응답 수 / 전달된 설문 수 퍼센트 설문 도구와 티켓 시스템 측정 및 보고 리뷰에서의 피드백 참여 월간
응답자 포괄도 응답자 구성이 합의된 차원에서 사용자 집단과 얼마나 비슷한지 집단별로 응답자 중 해당 집단 비율과 사용자 중 해당 집단 비율의 비교 퍼센트 포인트 사용자 디렉터리나 티켓 데이터와 결합한 설문 도구 측정 및 보고 이해관계자 지도 분기
댓글 주제 비중 자유 서술 댓글 중 각 주제에 배정된 비율 해당 주제의 댓글 수 / 코딩된 댓글 수 퍼센트 코딩된 설문 댓글 지속적 개선 회고 주제 월간
비추천 고객 후속 조치 시간 낮은 평가부터 사용자와의 문서화된 접촉까지 걸린 시간 후속 메모의 타임스탬프 빼기 낮은 평가의 타임스탬프, 중앙값과 85번째 백분위수 시간 또는 일 설문 도구와 티켓 시스템 인시던트 관리, 지속적 개선 작업 합의서의 피드백 고리 월간

시계와 경계가 중요합니다. CSAT와 CES는 일반적인 기분이 아니라 해당 상호작용에 대한 응답만 셉니다. 비추천 고객 후속 조치 시간은 누군가 처음 읽은 시점이 아니라 낮은 평가가 기록된 순간부터 시작합니다. 테스트 기록과 측정 대상 팀 구성원의 응답은 제외하십시오.

권장 사항

도구를 설계하십시오

1. 목적마다 질문 하나를 고르십시오. 상호작용이 어땠는지 알려면 상호작용 후에 CSAT를, 사용자가 해야 했던 일에서 마찰이 어디에 있는지 알려면 CES를, 전체 관계를 알려면 정기적인 간격으로 NPS를 쓰십시오. 세 가지를 한 양식에 섞으면 설문 피로와 뒤섞인 결과를 부릅니다. 하나만 감당할 수 있다면 내려야 할 결정에 맞는 것을 고르십시오.

2. 중립적이고 구체적인 표현을 쓰십시오. "우리 서비스가 얼마나 훌륭했습니까?"보다 "요청이 처리된 방식에 얼마나 만족하셨습니까?"가 낫습니다. 속도와 친절을 한꺼번에 묻는 이중 질문은 피하십시오. 일관된 척도를 제공하고, 양 끝에 이름을 붙이고, 답변 순서를 매번 같게 유지하십시오. 리커트 척도(Likert scale)는 흔한 설계이며, 이름표를 조금만 바꿔도 결과가 달라질 수 있으므로 가볍게 바꾸지 마십시오.

3. 열린 질문을 하나 추가하십시오. "이 평가를 준 가장 큰 이유는 무엇입니까?"는 응답자에게 부담이 적으면서 팀에게 가장 풍부한 데이터를 줍니다. 댓글은 점수를 설명하고, 숫자가 드러내지 못하는 문제를 보여 주며, 담당자에게 배울 거리를 줍니다. 정기 리뷰에서, 가능하면 소리 내어 읽으십시오.

4. 설문 시점을 사건에 가깝게 잡으십시오. 기억이 생생할 때, 티켓이 해결되거나 릴리스가 반영된 직후에 질문을 보내십시오. 높은 점수를 바라는 담당자가 닫는 순간에 보내게 하지는 마십시오. 시스템이 정한 짧은 지연은 답을 유도하려는 유혹을 없애 줍니다.

숫자를 신뢰할 수 있게 만드십시오

5. 모든 점수 옆에 응답률과 응답자 구성을 보고하십시오. 사용자의 4퍼센트에게서 나온 만족도 점수는 그 응답자들에 대한 진술일 뿐입니다. 지역, 서비스, 요청 유형처럼 이미 가진 속성으로 응답자와 초대받은 사람을 비교하십시오. 차이가 크면 점수에 주의 표시를 붙여야 합니다. 대표성은 응답 편향(Response bias) 연구의 핵심 주제이며, 서비스 팀에게 중요한 점은 그저 들여다보는 것입니다.

6. 불확실성을 보여 주십시오. 표본이 작으면 값이 크게 흔들립니다. 월간 CSAT 옆에 오차 한계(Margin of error)나 신뢰 구간(Confidence interval)을 보여 주면 팀이 잡음에 반응하지 않게 됩니다(주제 1.6, 서비스 지표를 위한 통계 소양 참조). 한 기간의 응답이 수십 건에 못 미친다면 백분율이 아니라 건수를 보고하고 댓글을 읽으십시오.

7. 누구에게 물을지 선별하지 마십시오. 티켓을 닫은 사람이 설문을 보낼지 결정하면 점수가 엉뚱한 이유로 오릅니다. 자격이 있는 모든 상호작용에 자동으로 설문을 보내거나, 물량이 많다면 무작위 표본에 보내십시오. 제외 기준을 포함한 규칙을 지표 등록부에 기록하십시오.

8. 사람의 만족과 사람의 성과를 분리하십시오. 만족도는 개별 담당자가 통제하지 못하는 요인에 좌우됩니다. 제품의 품질, 대기열, 정책, 사용자의 기분이 그렇습니다. 담당자를 CSAT로 순위 매기지 마십시오. 팀과 서비스 수준에서 사용하고, 담당자가 반기는 코칭 대화에는 댓글을 활용하십시오.

들은 것에 따라 행동하십시오

9. 불만스러운 사용자와 고리를 닫으십시오. 나쁜 경험을 알린 사람에게 연락해서 무엇이 도움이 되었을지 묻고, 배운 것을 기록하십시오. 후속 조치 시간의 목표를 정하고, 후속 조치를 점수를 바꿔 달라는 요청이 아니라 대화로 만드십시오. 요청에 따라 점수를 바꾸는 것은 왜곡이므로, 후속 조치는 문제 해결과 학습을 목표로 해야 합니다.

10. 댓글을 주제로 코딩하고 추적하십시오. "같은 말을 반복해야 했다", "응답이 느렸다", "해결이 오래가지 않았다", "소통이 불분명했다", "친절하고 도움이 되었다"처럼 짧은 주제 목록에 합의하십시오. 매달 표본을 손으로나 도구로 코딩하고, 결과는 사람이 확인하게 하십시오. 주제의 추세는 점수가 움직이기 전에 문제를 보여 주는 경우가 많습니다.

11. 만족도를 운영 데이터와 연결하십시오. CSAT를 해결 시간, 재오픈율, 이슈당 접촉 횟수와 비교하십시오. 이 짝은 속도가 만족을 사고 있는지, 아니면 팀이 빠르지만 틀리고 있는지 알려 줍니다. 규칙을 증명하는 데 쓰지 말고 조사할 이야기를 찾는 데 쓰십시오.

12. 벤치마크는 조심해서 다루십시오. 공개되었거나 공급업체가 제공하는 만족도 수치는 방법, 대상, 지역에 따라 달라지며, 여러분 자신의 이력이 더 나은 비교 대상입니다. 외부 비교를 사용한다면 출처, 방법, 날짜를 밝히고, 방법이 일치하는지 검증하지 않은 채 거기서 목표를 정하지 마십시오. 벤치마크를 지어내지 마십시오.

악용 방식과 방호책

지표 악용되는 방식 짝지은 방호 지표 또는 실천
CSAT 담당자가 사용자에게 최고점을 주도록 유도함, 쉬운 티켓 뒤에만 설문을 보냄, 어려운 티켓은 설문 없이 닫음 자격 있는 모든 티켓에 자동 설문, 응답률과 응답자 구성, 재오픈율
NPS 우호적인 사용자에게만 설문함, 좋은 일 뒤로 설문 시점을 맞춤, 대면으로 물음, 척도 이름표를 바꿈 등록부에 고정된 대상과 일정, 응답자 포괄도, 비추천 고객의 댓글 읽기
CES 일을 다른 곳으로 옮기는 방식으로 양식의 단계를 줄임, 매끄러웠던 요청 뒤에만 물음 이슈당 접촉 횟수, 요청 이행 시간과 재작업(주제 3.5, 서비스 요청 이행 지표 참조)
설문 응답률 응답할 가능성이 높은 사람만 초대함, 매번 다른 목록으로 설문을 보냄 문서화된 초대 규칙, 초대 대상과 사용자 집단 비교
응답자 포괄도 접근하기 어려운 집단을 비교에서 뺌, 알리지 않고 가중치를 다시 부여함 차원과 방법을 공개, 가중치를 적용한 결과 옆에 적용하지 않은 결과를 표시
댓글 주제 비중 나쁜 주제를 피하도록 댓글을 코딩함, 어떤 주제도 크게 보이지 않도록 주제를 합침 두 번째 사람이 표본을 코딩, 주제 목록을 안정적으로 유지하고 변경을 기록
비추천 고객 후속 조치 시간 사용자에게 연락하지 않고 메모만 남김, 더 나은 점수를 부탁하려고 사용자에게 연락함 후속 메모의 내용 점검, 다음 설문에서 누군가 연락했는지 사용자에게 질문

건강한 상태는 응답률이 안정적이고, 응답자 구성이 사용자 구성에 가깝고, 점수가 댓글에서 사용자가 설명하는 경험과 함께 움직이고, 불만스러운 사용자가 누군가 다시 연락해 왔다고 말하는 것입니다.

상충 관계: 장점과 단점

척도 강점 약점
CSAT 단순하고 빠르며 특정 순간에 연결됨 쉽게 부풀릴 수 있고 전체 관계에 대해서는 알려 주는 바가 적음
NPS 질문이 하나이고 시간에 따라 추적하기 쉬움 이유를 가림, 하나의 숫자가 넓은 분포를 압축함, 문화 차이가 척도에 영향을 줌
CES 팀이 없앨 수 있는 마찰을 직접 가리킴 덜 알려져 있고 근거에 논란이 있음
연례 장문 설문 풍부하고 많은 서비스를 다룸 느리고, 응답이 적고, 조치로 옮기기 어려움
댓글만 사용 구체적이고 기억에 남음 시간에 따른 비교가 어렵고 목소리 큰 사람에게 휘둘리기 쉬움
행동 신호 설문 부담이 없고 객관적임 감정을 담지 못하고 원인을 잘못 읽을 수 있음

산문으로 답하면, 짧은 상호작용 설문과 가끔 하는 관계 설문, 그리고 댓글을 결합하고 셋 모두를 운영 데이터와 함께 읽으라는 것입니다. 만족도 지표는 사용자와 팀 사이의 대화로 작동할 때 효과가 있습니다. 점수판이 되면 실패합니다.

팀과 논의할 질문

1. 낮은 점수와 높은 점수를 받으면 우리는 무엇을 합니까? 마지막으로 낮은 점수가 변화로 이어진 때가 언제였는지 실제 사례를 들어 설명해 달라고 팀에 요청하십시오. 그런 다음 높은 점수에 대해서도 같은 질문을 하십시오. 답이 모호하다면 그 설문은 의례에 불과합니다. 진행자는 데이터에서 행동으로 이어지는 구체적인 연결을 찾고, 그 연결을 기록할 장소를 한 곳 정하십시오.

2. 우리 설문에 누가 응답하고 누가 응답하지 않습니까? 팀에게 가장 적게 목소리를 듣는 사용자 집단을 꼽아 보라고 하십시오. 초대 목록과 사용자 디렉터리와 비교해 보십시오. 가장 조용한 사용자가 가장 어려운 문제를 안고 있다는 사실이 드러나는 경우가 많습니다. 이번 분기에 조용한 집단에 닿을 방법을 하나 정하십시오. 예를 들어 짧은 전화나 다른 채널이 있습니다.

3. 상호작용의 어느 시점에 묻고, 누가 결정합니까? 해결부터 설문까지의 경로를 따라가 보십시오. 사람이 설문을 보낼지, 언제, 어떻게 보낼지에 영향을 줄 수 있는 모든 지점을 찾으십시오. 그중 어느 지점을 자동화할지 합의하십시오. 진행자는 담당자가 점수를 지키려고 무엇을 할 수 있는지를 비난이 아닌 설계 질문으로 물어볼 수 있습니다.

4. 비추천 고객은 응답한 뒤 우리에게서 무엇을 듣습니까? 최근의 낮은 평가 몇 건과 후속 메모를 읽어 보십시오. 사용자가 자신의 말이 받아들여졌다고 느낄지 물어보십시오. 평가를 바꿔 달라고 요청하지 않으면서 후속 조치를 유용하게 만드는 방법을 논의하십시오. 후속 조치의 소유자와 목표 시간을 정하십시오.

5. 지난달 댓글 중 무엇이 우리 행동을 바꾸었습니까? 댓글 열 개를 무작위로 인쇄하거나 화면에 띄우십시오. 어떤 것이 조치로 이어졌고 어떤 것이 그렇지 않았는지, 그 이유는 무엇인지 팀에 물으십시오. 이렇게 하면 초점이 말에 머물고 그것을 읽는 습관이 생깁니다. 다음 달에 주제를 코딩하고 추세를 검토하기로 합의하십시오.

6. 우리가 비교하고 싶어지는 공개 수치는 무엇이며, 그 비교는 공정합니까? 그 수치의 이름, 출처, 방법, 대상을 말한 뒤 각각을 우리의 것과 비교하십시오. 그것이 결정을 바꿀지 물으십시오. 그렇지 않다면 제쳐 두고 우리 자신의 추세를 쓰십시오. 진행자는 답을 지표 등록부에 기록하십시오.

네 가지 관점

제품 및 전달 팀

제품 팀은 만족도 피드백으로 다음에 무엇을 고치거나 만들지 정하며, 릴리스 뒤의 짧은 설문은 다음 분기 리뷰보다 빠른 판독을 제공합니다. 전달 팀은 댓글을 백로그 항목과 연결하고, 무엇이 바뀌었는지 사용자에게 보여 주며, 점수를 전달 목표로 다루지 않아야 합니다. 릴리스 뒤에 노력이나 혼란에 관한 댓글이 늘어난다면 설문이 아니라 릴리스를 살펴보라는 신호입니다.

서비스 및 운영 팀

서비스 데스크는 상호작용 데이터의 대부분을 수집하고 점수의 압박도 가장 크게 느낍니다. 운영 팀은 설문을 자동으로 보내고, 표집 규칙을 공개하고, 댓글을 팀 학습에 활용해야 합니다. 빠른 종료가 좋은 성과로 보이지 않도록 CSAT를 재오픈율 및 반복 접촉과 나란히 두어야 합니다(주제 3.1, 서비스 데스크 지표 참조).

리더십과 거버넌스

리더는 악용의 분위기를 결정합니다. "연말까지 만족도 95퍼센트"라는 요구는 직원에게 숫자를 지키는 법을 가르칩니다. 리더는 응답률, 응답자 구성, 주요 댓글 주제를 요청하고, 댓글이 드러낸 문제의 해결에 자금을 대고, 만족도를 개인의 보상과 순위에서 빼야 합니다. 거버넌스는 외부에 보고하는 모든 수치에 명시된 방법을 요구해야 합니다.

고객과 사용자

사용자는 자신의 시간과 솔직함을 내어 줍니다. 짧은 설문, 질문하는 명확한 이유, 답변이 어떻게 쓰일지에 대한 약속, 문제를 알렸을 때의 회신을 받을 자격이 있습니다. 설문이 익명이 아니라면 그렇다고 밝히십시오. 아무것도 바뀌지 않는 것을 본 사용자는 응답을 멈추고, 그 침묵은 만족처럼 보일 것입니다.

실제 적용: 서비스 관리 사례

지역 병원의 IT 부서가 서비스 데스크와 임상 애플리케이션을 만드는 작은 팀을 운영합니다. 아래 수치는 예시용입니다.

서비스 데스크의 월간 CSAT는 92퍼센트이며, 닫힌 티켓 약 3,100건 중 140건의 응답으로 계산되어 응답률은 4.5퍼센트입니다. 경영진은 만족합니다. 서비스 관리자가 댓글을 읽어 보니 긍정적인 응답의 상당수가 행정 부서 직원에게서 오고, 야간 근무 간호사의 응답은 거의 보이지 않습니다. 응답자 구성을 사용자 디렉터리와 비교해 보니 야간 근무 직원은 사용자의 약 18퍼센트인데 응답자의 3퍼센트였습니다.

팀은 세 가지를 바꿉니다. 설문은 평가 하나와 댓글 하나로 된 두 문항 양식이 되어, 해결 4시간 뒤에 티켓 시스템이 모든 티켓에 자동으로 보냅니다. 교대 근무 직원에게는 문자 메시지 버전을 제공합니다. 월간 보고서는 이제 CSAT를 응답률, 신뢰 구간, 사용자 구성과 비교한 응답자 구성, 상위 다섯 가지 댓글 주제와 함께 보여 줍니다.

두 달 안에 응답률은 약 11퍼센트로 오르고 CSAT는 84퍼센트로 떨어집니다. 댓글 주제에서는 "다시 전화해야 했다"와 "해결이 오래가지 않았다"가 상위 두 가지 불만으로 나타났고, 임상 시스템에 집중되어 있습니다. IT 책임자는 이사회에 예전 점수는 누가 응답했는지를 반영한 것이었고 새 점수가 더 나은 길잡이라고 설명합니다. 제품 팀은 재전화를 낳는 반복 결함을 고치는 백로그 항목을 추가하고, 서비스 데스크는 1점이나 2점을 준 모든 사용자에게 한 영업일 안에 연락하기 시작합니다. 다음 분기에 임상 시스템의 반복 접촉률이 떨어지고, "다시 전화해야 했다"는 댓글의 비중도 함께 떨어집니다. 팀은 이 결정을 기록에 남기고 CSAT 목표는 설정하지 않습니다.

애자일, AI, 자동화, 분석

애자일

피드백을 지속적으로, 소량씩 요청하고, 정기적인 개선 대화마다 이해관계자와 함께 댓글을 검토하십시오. 주의할 점은 설문 피로가 응답률을 낮추고 누가 응답하는지를 왜곡한다는 것입니다.

AI

AI는 대량의 댓글과 감성을 요약할 수 있으며, AI가 지원한 상호작용은 사람이 처리한 상호작용과 다르게 평가될 수 있습니다. AI가 처리한 접점과 사람이 처리한 접점의 만족도를 따로 보고하고, 점수를 댓글 주제와 짝지으며, 사람이 표본을 읽게 하십시오. 주의할 점은 감성 모델이 어조나 언어를 잘못 읽을 수 있으므로 수작업 표본과 대조해 확인해야 한다는 것입니다.

자동화

선택한 시점에 설문을 자동으로 발송하고, 설문 과정 자체는 응답률과 응답자 구성으로 측정하십시오. 주의할 점은 성공한 접촉 뒤에만 보내는 자동 설문이 점수를 위쪽으로 편향시킨다는 것입니다.

분석

점수를 응답 수 및 응답자 구성과 함께 보여 주고, 숫자보다 댓글을 먼저 읽으십시오. 이 숫자가 알려 주는 결정은 어떤 여정을 개선할지입니다. 주의할 점은 응답이 적은 점수는 크게 흔들리므로 건수를 보여 주어야 한다는 것입니다.

부문별 관점

스타트업. 사용자와 가까이 접촉하므로 처음에는 짧은 대화가 설문보다 낫습니다. 물량이 늘면 한 문항짜리 설문을 추가하고 모든 댓글을 계속 읽으십시오. 의미가 있을 만큼 응답이 모이기 전에 점수를 공개하고 싶은 충동을 참으십시오.

소규모 기업. 불만스러운 고객 한 명이 점수보다 중요할 수 있습니다. 설문을 사람들과 이야기하는 계기로 삼고 후속 조치의 기록을 남기십시오. 공급업체가 제공하는 만족도 보고서는 방법에 대해 회의적으로 볼 필요가 있습니다.

대기업. 규모가 커지면 세분 집단이 생기고 합산하고 싶은 유혹도 따라옵니다. 점수를 서비스와 대상별로 유지하고, 방법을 공개하고, 서로 다른 서비스를 하나의 숫자로 평균 내지 마십시오. 자동 발송이 되는 안정적인 설문 플랫폼을 쓰고, 팀 간 순위는 조심해서 다루십시오.

정부 및 공공 부문. 공공 기관은 흔히 사용자 피드백을 수집하고 결과를 공개해야 하는 공식 의무와 접근성 및 개인정보 보호 의무를 집니다. 접근 가능한 설문 채널을 제공하고, 응답자의 신원을 보호하고, 결과와 함께 방법을 공개하십시오. 만족도 수치가 계약서나 법정 보고서에 나온다면 정확히 정의하고 그 옆에 방호책을 보여 주십시오(주제 8.5, 규제 및 정부 보고 참조).

비즈니스 케이스: 동기, ROI, TCO

직접 비용은 많은 티켓 시스템에 이미 포함된 설문 도구, 댓글을 검토하고 주제를 코딩하는 데 매달 드는 한두 시간, 불만스러운 사용자에게 후속 조치를 하는 시간입니다. 더 큰 비용은 들은 것에 따라 행동하는 규율입니다. 시작하는 데 새 플랫폼은 필요하지 않습니다.

수익은 사용자가 가치 있게 여기는 개선과 피한 낭비로 나타납니다. 댓글은 마찰이 어디에 있는지 알려 주므로, 반복 접촉과 실패한 해결의 원인을 인력을 늘려 처리하는 대신 없앨 수 있습니다. 누가 응답하지 않는지 더 잘 보면 스스로 선택한 소수에 근거한 결정을 피할 수 있습니다. 편익을 발견하고 제거한 문제로 설명하고, 반복 접촉률, 재오픈율, 첫 유용한 응답까지의 시간처럼 자체 기준선을 전후로 측정하십시오. 지어낸 백분율로 프로그램을 정당화하지 마십시오. 수치가 필요하다면 자체 데이터로 만드십시오.

안티패턴과 함정

  • 점수를 목표로 다루기. 누구에게 물을지 선별하거나 답을 유도해서 달성됩니다. 점수를 질문으로 쓰고 댓글 및 운영 지표와 짝지으십시오.
  • 쉬운 티켓 뒤에만 설문하기. 자격이 있는 모든 상호작용에 자동으로 보내십시오.
  • 담당자를 CSAT로 순위 매기기. 어려운 사례를 맡는 사람에게 불이익을 줍니다. 팀과 서비스 관점을 쓰고 댓글에서 배우십시오.
  • 더 나은 점수를 요청하기. 낮은 평가에 대한 후속 조치는 문제 해결을 목표로 해야 합니다. 변경을 요청하지 마십시오.
  • 응답률 없이 점수 보고하기. 누가 몇 명이나 응답했는지 항상 보여 주십시오.
  • 질문을 바꾸고도 추세를 유지하기. 변경을 기록하고 차트에 단절을 표시하십시오.
  • 방법 없이 벤치마크 들여오기. 먼저 자체 이력과 비교하십시오.
  • 댓글을 모으기만 하고 읽지 않기. 일정에 검토를 넣고 소유자를 지정하십시오.

성숙도 모델

차원 1 시작 2 발전 3 표준화 4 관리 5 조율
도구와 표집 가끔 하는 임시 설문 일부 서비스에 설문이 있고 수동으로 발송 자격 있는 모든 상호작용에 짧은 설문을 자동 발송 표집 규칙, 표현 변경, 제외 기준을 기록하고 검토 팀과 공급업체 전반에서 도구를 정렬하고 사용자와 함께 개정
데이터 품질 점수만 보고 응답률 보고 응답률, 응답자 구성, 불확실성 보고 응답자 포괄도를 관리하고 두 번째 사람이 코딩 확인 사용자가 해석에 참여하는, 서비스 전반의 공유된 경험 관점
조치와 후속 조치 점수를 보고하지만 바뀌는 것이 없음 댓글에서 나온 가끔의 개선 목표 시간이 있는 비추천 고객 후속 조치, 주제 추적 주제가 자금이 지원되는 개선 작업을 이끌고 운영 데이터와 연결됨 고리가 팀과 공급업체를 아우르고 사용자가 무엇이 바뀌었는지 확인

체크리스트

  • 각 설문에는 명시된 목적 하나와 그것이 알려 주는 결정 하나가 있다.
  • 질문은 짧고 중립적이며 열린 댓글 하나를 포함한다.
  • 설문은 자격 있는 모든 상호작용이나 문서화된 무작위 표본에 자동으로 발송된다.
  • 응답률과 응답자 구성이 모든 점수 옆에 표시된다.
  • 불확실성이 표시되고, 작은 표본은 건수로 보고된다.
  • 어떤 개별 담당자도 만족도로 순위가 매겨지지 않는다.
  • 지정된 사람이 합의된 시간 안에 낮은 평가에 후속 조치를 한다.
  • 댓글이 안정적인 주제 목록으로 코딩되고 매달 검토된다.
  • 표현과 표집의 변경이 기록되고 차트에 표시된다.
  • 응답자에게 답변이 어떻게 쓰이는지 알리고 개인 데이터를 보호한다.

AI 프롬프트

설문 도구를 검토합니다.

저는 [조직 유형]에서 [서비스 또는 팀]을 운영합니다. 우리는 [사건] 뒤에
[대상]에게 다음 표현으로 설문합니다: [질문과 척도 붙여넣기]. 유도하는
표현, 이중 질문, 불분명한 척도, 응답자의 부담을 기준으로 검토해 주세요.
평가 하나와 열린 댓글 하나를 유지하는 더 짧은 버전을 제안해 주세요.
벤치마크 값을 지어내거나 근거를 댈 수 없는 연구 결과를 주장하지 마세요.
가정한 내용과 텍스트만으로는 판단할 수 없었던 내용을 나열해 주세요.

설문 댓글을 주제로 코딩합니다.

다음은 [기간]의 [서비스]에 대한 익명 처리된 설문 댓글 [개수]건입니다:
[개인 정보를 제거한 댓글 붙여넣기]. 짧은 주제 목록(여덟 개 이하)을 제안하고
각 댓글을 하나의 주제에 배정해 주세요. 모호한 경우에는 확신도 메모를
붙여 주세요. 주제별 건수와 주제별 대표 인용 세 개를 보고해 주세요. 개인을
식별하지 마세요. 이 코딩을 믿기 전에 사람이 확인해야 할 것을 알려 주고,
가정한 내용을 나열해 주세요.

대표성을 점검합니다.

초대 [초대 수]건 중 [응답 수]건의 응답을 받았습니다. [차원, 예: 지역 또는
교대]별 응답자: [건수]. 같은 차원의 우리 사용자 집단: [건수]. 둘을
비교하고, 응답자 구성이 어디에서 다른지 설명하고, 우리 만족도 점수에 어떤
주의 사항을 붙여야 하는지 말해 주세요. 대표되지 못한 집단에 닿을 실용적인
방법 두 가지를 제안해 주세요. 데이터 이상으로 원인을 추론하지 말고,
가정한 내용을 나열해 주세요.

고리를 닫는 후속 조치를 계획합니다.

[서비스]에서 [기준] 이하의 평가를 준 사용자에게 후속 조치를 하는 짧은
절차를 작성해 주세요. 누가 연락하는지, 얼마 안에 하는지, 무엇을 말하는지,
무엇을 기록하는지, 바꿔 달라는 요청을 어떻게 피하는지를 포함해 주세요.
맥락: [팀 규모, 도구, 근무 시간]. 가정한 내용과, 제가 설명하지 않은 도구에
의존하는 단계를 나열해 주세요.

AI 스킬

핵심 정리

  • 만족도 점수는 서비스의 한 순간이 어떻게 느껴졌는지를 설명하므로, 설문을 특정 사건에 연결하고 짧게 유지하십시오.
  • 점수와 함께 항상 응답률, 응답자 구성, 불확실성을 보고하십시오.
  • 댓글이 숫자를 설명하므로 매달 읽고 주제로 코딩하십시오.
  • 설문은 자동으로 보내고 사용자에게 평가를 바꿔 달라고 요청하지 마십시오.
  • 만족도는 팀과 서비스 수준에서 쓰고 사람의 순위를 매기는 데 쓰지 말며, 외부 벤치마크는 조심해서 다루십시오.
  • 고리를 닫으십시오. 나쁜 경험을 알린 사람은 답을 듣고 변화를 확인해야 합니다.

참고 문헌과 더 읽을거리

  1. Reichheld, F. F., "The One Number You Need to Grow," Harvard Business Review, 81(12), 2003.
  2. Dixon, M., Freeman, K., and Toman, N., "Stop Trying to Delight Your Customers," Harvard Business Review, 88(7/8), 2010.
  3. Dixon, M., Toman, N., and DeLisi, R., The Effortless Experience, Portfolio/Penguin, 2013.
  4. Likert, R., "A technique for the measurement of attitudes," Archives of Psychology, 22(140), 1932.
  5. Groves, R. M., Fowler, F. J., Couper, M. P., Lepkowski, J. M., Singer, E., and Tourangeau, R., Survey Methodology, 2nd ed., Wiley, 2009.
  6. Wikipedia, Customer satisfaction.
  7. Wikipedia, Net promoter score.
  8. Wikipedia, Survey methodology.
  9. Wikipedia, Goodhart's law.
  10. Wikipedia, Likert scale.
  11. Wikipedia, Response bias.
  12. Wikipedia, Margin of error.
  13. Wikipedia, Confidence interval.