셀프서비스와 자동화 지표
셀프서비스는 사람들이 도움 없이 필요한 것을 얻었는지로 측정하고, 자동화는 그것이 없애는 일과 일으키는 실패로 측정하십시오. 도착하지 않은 접촉은 문제가 해결되었을 때만 성공이기 때문입니다.
개요와 동기
셀프서비스와 자동화는 서비스 조직이 일상 업무를 사람에게서 덜어 내는 두 가지 주된 방법입니다. 셀프서비스(self-service)는 사용자가 포털, 지식 문서, 비밀번호 재설정 페이지, 챗봇(chatbot)을 통해 혼자 문제를 해결하거나 무언가를 얻게 합니다. 자동화(automation)는 계정 생성, 서비스 재시작, 모니터가 복구를 확인한 뒤 티켓 닫기처럼 사람이 하던 단계를 시스템이 수행하게 합니다. 둘 다 같은 성과를 겨냥합니다. 사람의 반복 업무 감소, 사용자에게 더 빠른 결과, 판단이 필요한 일을 위한 더 많은 시간입니다.
이 발상은 두 전통에 모두 대응됩니다. ITIL 4에서 서비스 요청 관리 프랙티스는 잘 이해된 반복 가능한 요청을 가능한 한 자동화된 표준 흐름으로 처리하기를 기대하고, 인시던트 관리와 지식 관리 프랙티스는 좋은 정보가 사용자와 지원 직원에게 가장 이른 유용한 시점에 제공되기를 기대합니다. 애자일과 DevOps 실천은 다른 경로로 같은 곳에 이릅니다. 코드형 인프라(infrastructure as code), 파이프라인, 그리고 구글 사이트 신뢰성 엔지니어링 책이 서비스와 함께 커지는 수작업이고 반복적이며 자동화 가능한 일로 정의하는 토일(toil)을 없애는 규율입니다. 공유된 발상은 흔히 "시프트 레프트"라고 부릅니다. 문제의 해결을 사용자 쪽으로, 또는 지원 사슬에서 가장 싸고 가장 이른 지점 쪽으로 옮기고 전문가 대기열에서 멀어지게 하는 것입니다.
시프트 레프트라는 말은 측정의 실수를 부릅니다. 팀은 피한 접촉이 싸다는 것을 보고 피한 접촉을 성공으로 셉니다. 건수는 쉽게 만들어집니다. 티켓으로 끝나지 않은 포털 방문은 사용자가 포기한 포털 방문과 똑같아 보이기 때문입니다. 그래서 이 주제는 사용자의 성과에서 시작합니다. 셀프서비스의 성공이 무엇을 뜻하는지, 포기에 대한 공을 주장하지 않고 대체(deflection)를 어떻게 추정하는지, 자동화 포괄률과 신뢰성을 어떻게 측정하는지, 양과 복잡성에 대한 시프트 레프트 효과를 어떻게 보는지를 정의합니다. 관련 양과 우선순위 측정치는 주제 3.2, 인시던트 건수와 우선순위에, 요청 쪽은 주제 3.5, 서비스 요청 이행 지표에, 지식 쪽은 주제 3.6, 지식 관리 지표에 있습니다.
이 주제에서 쓰는 용어입니다.
- 레벨 0(또는 셀프서비스 계층): 직원에게 연락하지 않고 사용자가 해결하는 것. 레벨 1은 보통 서비스 데스크인 지원의 첫 번째 선이고, 레벨 2와 3은 전문가 및 엔지니어링 계층입니다.
- 대체(deflection): 그렇지 않았다면 직원에게 도달했을 접촉이 레벨 0에서 대신 해결된 것. 직접 관찰할 수 없으므로 항상 추정치입니다.
- 낙하(fall-through): 셀프서비스를 시도했으나 성공하지 못하고 같은 필요로 직원에게 연락한 사용자.
- 런북(runbook): 일상적인 운영 작업의 문서화된 절차. 런북은 보통 자동화로 가는 첫 단계입니다.
- 토일(toil): 지속되는 가치가 없는 수작업이고 반복적이며 자동화 가능한 일(주제 5.7, 토일과 온콜 지표 참조).
- 서비스 카탈로그: 사용자에게 제공되는 서비스와 표준 요청의 목록. ITIL은 이를 service catalogue라고 부릅니다.
핵심 원칙
- 피한 접촉이 아니라 성과를 세십시오. 티켓이 없는 포털 세션은 사용자의 필요가 충족되었을 때만 성공입니다. 성공을 사용자 쪽에서 정의하고 후속 신호로 확인하십시오.
- 대체는 추정치이므로 그렇게 표시하십시오. 방법, 사용한 비교, 불확실성을 밝히십시오. 추정된 대체 수치를 측정된 사실로 제시하지 마십시오.
- 낙하 경로를 측정하십시오. 실패한 셀프서비스 시도에서 직원이 응대하는 접촉으로 가는 경로가 숨은 실패 대부분이 있는 곳입니다. 모든 성공 수치 옆에 보고하십시오.
- 자동화에는 비용 측면이 있습니다. 모든 자동화된 흐름에는 유지보수, 모니터링, 안전하게 실패하는 방법이 필요합니다. 포괄률과 신뢰성을 함께 측정하고 자동화를 살려 두는 데 쓴 노력을 세십시오.
- 시프트 레프트는 양뿐 아니라 구성도 바꿉니다. 쉬운 일이 대기열을 떠나면 남은 일은 평균적으로 더 어렵고 더 느립니다. 해결 시간과 처리 시간을 그 점을 염두에 두고 읽으십시오(주제 3.3, 인시던트 대응 및 해결 시간 참조).
- 지표는 서비스와 흐름을 설명합니다. 카탈로그 항목, 문서군, 자동화 흐름별로 보고하십시오. 상담원이 셀프서비스로 몇 명을 보냈는지로 순위를 매기지 마십시오.
지표 정의
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 |
|---|---|---|---|---|---|---|---|
| 셀프서비스 성공률 | 직원 접촉 없이 사용자의 필요가 충족된 셀프서비스 세션의 비율 | 완료된 성과(요청 제출 후 이행, 문서에 도움이 됨 표시, 재설정 완료)로 끝나고 7일 안에 같은 필요에 대한 직원 응대 접촉이 없는 세션 수를 작업을 시작한 모든 세션 수로 나눔. 시계는 포털에서 첫 의미 있는 행동에서 시작해 완료 또는 포기에서 멈춤. 봇 트래픽, 테스트 계정, 단순 열람은 제외 | 퍼센트 | 포털 및 ID 로그, 티켓 시스템, 세션 분석 | 서비스 요청 관리, 지식 관리 | 고객 피드백 고리, 성과 기반 인수 기준 | 월 |
| 추정 대체율 | 그렇지 않았다면 직원에게 도달했을 수요 중 레벨 0에서 해결된 것으로 추정되는 비율 | 알려진 수요 변동을 보정해, 셀프서비스 변경 전후 또는 대조 그룹에 대한 서비스의 활성 사용자 1,000명당 접촉률을 비교. 방법을 밝힌 추정치로 진술. 다른 채널로 옮겨 간 접촉은 제외 | 퍼센트(추정) | 티켓 시스템, 사용자 인구 수, 실험 또는 코호트 데이터 | 서비스 데스크, 인시던트 관리 | 대조 그룹이 있는 실험, A/B 테스트 | 분기 |
| 낙하율 | 실패한 셀프서비스 시도 중 같은 필요로 직원 접촉에 이른 비율 | 같은 사용자가 같은 주제로 포기되거나 성공하지 못한 셀프서비스 세션 후 7일 안에 연 직원 응대 접촉 수를 성공하지 못한 세션 수로 나눔. 시계는 세션 종료 시 시작. 무관한 접촉은 제외 | 퍼센트 | 사용자와 주제로 티켓 시스템에 결합한 포털 로그 | 서비스 데스크, 지식 관리 | 완료의 정의의 에스컬레이션 경로, 지원에서 오는 피드백 | 월 |
| 셀프서비스 도입(포털 우선 비중) | 셀프서비스 채널로 접수된 적격 요청 및 인시던트 보고의 비율 | 포털, 봇, API로 생성된 항목을 셀프서비스 경로를 제공하는 카탈로그 항목의 모든 항목으로 나눔. 셀프서비스 경로가 없는 항목은 제외 | 퍼센트 | 티켓 시스템 채널 필드, 카탈로그 구성 | 서비스 요청 관리, 서비스 카탈로그 관리 | 릴리스 후 도입 추적 | 월 |
| 자동화 포괄률 | 수작업 단계 없이 자동화로 완료된 적격한 반복 작업의 비율 | 자동화된 흐름이 처음부터 끝까지 완료한 항목을 자동화 가능하다고 판단한 유형의 모든 항목으로 나눔. 서면 후보 목록에 이름이 있는 경우에만 그 유형을 자동화 가능으로 셈. 일회성 작업과 자동화가 거부한 항목은 제외 | 퍼센트 | 티켓 시스템, 자동화 플랫폼 로그, 후보 목록 | 서비스 요청 관리, 배포 관리 | 완료의 정의의 자동화, 코드형 파이프라인 | 월 |
| 자동화 실패 및 재작업률 | 실패했거나, 수작업 수리가 필요했거나, 나중에 고쳐진 성과를 낸 자동화 실행의 비율 | 오류가 났거나, 롤백되었거나, 7일 안에 수작업 수정이 뒤따른 자동화 실행을 모든 자동화 실행으로 나눔. 시계는 실행 시작에서 시작. 계획된 시험 실행은 제외 | 퍼센트 | 자동화 플랫폼 로그, 티켓 시스템, 변경 레코드 | 변경 활성화, 인시던트 관리 | 변경 실패율, 빌드 및 테스트 안정성 | 주 |
| 요청 유형별 수작업 소요 시간 | 자동화 후보인 요청 유형에 직원이 쓴 노력 | 기간 중 해당 유형의 항목에 직원이 기록한 실작업 분을 항목당 중앙값과 85번째 백분위수로 요약. 시간이 기록되지 않는 곳에서는 표본 추출로 추정. 대기 시간은 제외 | 항목당 분 | 시간 표본 추출, 티켓 작업 로그 | 서비스 요청 관리 | 토일 추적, 가치 흐름 낭비 | 분기 |
| 레벨 분포(시프트 레프트 비중) | 지원 사슬의 어느 곳에서 항목이 해결되는지 | 기간 중 해결된 항목을 각 레벨(0, 1, 2, 3)에서 해결된 것과 전체 해결 항목으로 나눔. 레벨은 실작업을 한 가장 높은 계층. 분류 전에 취소된 항목은 제외 | 레벨별 퍼센트 | 티켓 시스템 해결 그룹 및 배정 이력 | 인시던트 관리, 서비스 데스크 | 스워밍과 에스컬레이션 패턴, 교차 기능 팀 | 월 |
이 지표는 모두 서비스, 카탈로그 항목, 흐름별로 측정하며 사람별로는 절대 하지 않습니다. 시간 측정치는 통계 소양 주제의 도입이 설명하는 대로 중앙값과 높은 백분위수로 보여 주어야 합니다(주제 1.6, 서비스 지표를 위한 통계 소양 참조).
권장 사항
사용자 쪽에서 성공을 정의하십시오
1. 각 셀프서비스 경로에서 "필요한 것을 얻었다"가 무엇을 뜻하는지 적어 두십시오. 비밀번호 재설정에서는 재설정이 완료되고 로그인에 성공한 것입니다. 요청에서는 제출이 아니라 이행입니다. 문서에서는 같은 필요로 직원에게 다시 연락하지 않은 사용자입니다. "페이지를 조회함"에서 멈추는 정의는 트래픽을 측정합니다.
2. 셀프서비스 세션을 이후의 접촉에 결합하십시오. 실패의 가장 강력한 증거는 세션 직후 같은 주제로 이어진 직원 응대 접촉입니다. 개인정보 규칙이 허용하는 곳에서는 사용자와 주제로 둘을 연결하고, 그렇지 않은 곳에서는 주제와 일자별 집계 건수를 쓰십시오. 결합은 막연한 만족 이야기를 개선할 수 있는 낙하율로 바꿉니다.
3. 종료 시점에 한 문항으로 사용자에게 물으십시오. "이것으로 문제가 해결되었습니까?" 같은 한 문항 프롬프트는 로그가 줄 수 없는 직접적인 신호를 줍니다. 답을 표본으로 다루고, 서술형 의견을 읽고, 가장 행복한 사용자가 결과를 정의하지 않도록 응답자와 비응답자를 비교하십시오(주제 6.1, 고객 만족도 지표 참조).
대체를 정직하게 추정하십시오
4. 카운터보다 비교를 선호하십시오. 가장 깨끗한 추정은 대조 그룹, 단계적 롤아웃, 영향받은 서비스의 활성 사용자 1,000명당 접촉의 전후 관점에서 나옵니다. "티켓이 되지 않은 세션"을 세면 효과가 과대평가됩니다. 그런 사용자 중 많은 수는 직원이 보았을 필요가 애초에 없었기 때문입니다. 수치 옆에 방법과 불확실성을 밝히십시오.
5. 양을 사용량에 대해 정규화하십시오. 티켓 건수의 하락은 사용자 감소, 조용한 릴리스 주기, 계절 변화를 따를 수 있습니다. 결론을 내리기 전에 활성 사용자나 거래로 나누십시오(주제 3.2, 인시던트 건수와 우선순위 참조). 차트에 릴리스, 캠페인, 포털 변경으로 주석을 다십시오.
6. 대체를 목표에서 제외하십시오. 대체에 대한 목표는 접촉 경로를 숨기고, 전화번호를 묻고, 채팅 세션을 일찍 닫는 것을 보상합니다. 대체를 학습용 추정치로 쓰고, 목표는 셀프서비스 성공률과 가장 오래된 미해결 항목 같은 사용자 성과에 두십시오.
자동화를 프로젝트가 아니라 제품으로 측정하십시오
7. 후보 목록을 유지하고 그에 대해 포괄률을 측정하십시오. "모든 일"에 대한 포괄률은 대부분의 일이 자동화할 수 없으므로 나쁜 측정치입니다. 반복 가능하고, 잘 이해되고, 빈번한 요청 및 인시던트 유형의 짧은 서면 목록을 유지하고, 수작업 소요 시간과 양으로 순위를 매기고, 그 목록에 대한 포괄률을 보고하십시오. 분모가 정직하도록 분기마다 목록을 검토하십시오.
8. 포괄률을 신뢰성과 짝지우십시오. 열 번에 한 번 실패하거나 조용히 틀린 결과를 내는 자동화 흐름은 대체한 수작업보다 비용이 더 클 수 있습니다. 실패 및 재작업률, 실패한 실행을 감지하는 시간, 사람이 결과를 수리해야 하는 빈도를 추적하십시오. 사이트 신뢰성 엔지니어링 커뮤니티가 설명하는 오류 처리 실천을 쓰십시오. 멱등한 단계, 분명한 경보, 안전한 수작업 대체 경로입니다(주제 5.5, 모니터링과 경보 품질 지표 참조).
9. 유지 노력을 세십시오. 자동화에는 소유자, 버전 관리, 테스트, 주변 시스템이 바뀔 때의 갱신이 필요합니다. 각 흐름을 유지하는 데 쓴 시간을 기록하고 그것이 없앤 수작업 소요 시간과 비교하십시오. 절약하는 것보다 유지하는 데 비용이 더 드는 자동화는 폐기 후보이며, 이는 실패가 아니라 정상적인 결과입니다.
시프트 레프트 효과를 지켜보십시오
10. 남은 일이 더 어려울 것을 예상하십시오. 일상적인 접촉이 서비스 데스크를 떠나면, 서비스가 더 나아졌는데도 레벨 1의 평균 처리 시간과 첫 접촉 해결이 나빠지는 경우가 많습니다. 그 측정치 옆에 레벨 분포와 범주 구성을 보고하고, 성공적인 대체 뒤의 처리 시간 상승은 예상된 것이라고 리더십과 미리 합의하십시오(주제 3.1, 서비스 데스크 지표 참조).
11. 지식과 문제 관리로 고리를 닫으십시오. 모든 낙하는 누락되었거나 부실한 문서, 혼란스러운 양식, 고쳐지지 않은 결함의 증거입니다. 상위 낙하 주제를 지식 소유자에게, 원인이 결함이라면 문제 관리에 보내십시오(주제 4.1, 문제 관리 지표 참조). 목록을 매달 검토하고 몇 개 항목이 고쳐졌는지 보고하십시오.
12. 풀려난 용량을 나누십시오. 자동화와 셀프서비스가 일을 없앤다면 풀려난 시간으로 무엇을 살지 결정하십시오. 개선 작업, 선제적 수정, 교육입니다. 자동화에서 이득을 보지 못하는 팀은 그것을 제안하기를 그만둡니다. 시간에 따라 개선을 위해 계획된 용량의 비중을 추적하십시오(주제 2.9, 운영 작업과 계획 외 작업 참조).
악용 방식과 방호책
| 지표 | 악용되는 방식 | 짝을 이루는 방호책 지표 또는 실천 |
|---|---|---|
| 셀프서비스 성공률 | 완료된 양식이나 페이지 조회를 성공으로 셈, 점수가 떨어질 때 "도움이 되었나요" 프롬프트를 없앰, 어려운 주제를 분모에서 제외함 | 낙하율과 사람이 읽은 종료 세션의 표본, 분모 규칙의 보고 |
| 추정 대체율 | 접촉 경로를 숨김, 접촉 전에 단계를 추가함, 원인과 상관없이 모든 티켓 감소를 대체로 분류함 | 활성 사용자 1,000명당 접촉, 영향받은 서비스의 사용자 만족도, 수치 옆에 적은 방법 |
| 낙하율 | 복귀가 기간 밖에 떨어지도록 일치 기간을 짧게 정의함, 후속 접촉을 중복으로 닫음 | 모든 채널에 걸친 반복 접촉률, 돌아온 접촉의 표본 검토 |
| 셀프서비스 도입(포털 우선 비중) | 적합성과 상관없이 모든 요청을 포털로 강제함, 전화로 생성된 티켓을 포털 티켓으로 재라벨링함 | 셀프서비스 성공률과 사용자 노력, 쓸 만한 포털 경로가 없는 요청의 비중 |
| 자동화 포괄률 | 후보 목록에 쉬운 항목을 고름, 사소한 작업으로 분모를 키움, 부분적으로 수작업인 흐름을 자동화로 셈 | 분기마다 검토하는 서면 후보 목록, 자동화 실패 및 재작업률, 남은 항목의 수작업 소요 시간 |
| 자동화 실패 및 재작업률 | 수작업 수리를 집계에서 제외함, 실패한 실행이 성공할 때까지 조용히 재시도하게 둠, 실패를 "계획된 시험 실행"으로 라벨링함 | 흐름에 연결된 인시던트 및 경보 레코드, 실패한 실행을 감지하는 시간, 성과의 표본 감사 |
| 요청 유형별 수작업 소요 시간 | 수작업으로 보이는 항목의 시간을 기록하지 않음, 시간을 다른 범주에 배정함, 한가한 날만 표본 추출함 | 작성하고 검토한 표본 추출 계획, 같은 유형의 사이클 타임 및 대기열 경과 시간과 비교 |
| 레벨 분포(시프트 레프트 비중) | 에스컬레이션을 재분류하거나, 레벨 1에서 닫고 레벨 2에서 새 항목으로 다시 열어서 레벨 1 해결 비중을 올림 | 재개방률과 연결 티켓 비율, 해결 품질 표본, 레벨별 고객 만족도 |
건강한 수치는 셀프서비스 성공이 오르면서 낙하율이 안정적이거나 줄고, 추정 대체가 방법과 함께 진술되고, 검토된 후보 목록에 대한 자동화 포괄률이 오르면서 실패와 재작업이 낮게 유지되고, 재개방률을 올리거나 만족도를 낮추지 않으면서 일을 더 일찍 옮기는 레벨 분포를 보여 줍니다. 하나의 숫자가 개선되는데 방호책이 나빠진다면 개선을 입증되지 않은 것으로 다루십시오.
상충 관계: 장점과 단점
| 접근 방식 | 강점 | 약점 |
|---|---|---|
| 셀프서비스 우선 | 사용자에게 즉각적인 결과, 낮은 한계 비용, 언제든 가용 | 복잡하거나 특이한 필요를 가진 사용자는 발이 묶인 것처럼 느낄 수 있음, 부실한 콘텐츠는 없애는 것보다 더 많은 접촉을 만듦 |
| 직원 응대 접촉 우선 | 개인적인 도움, 판단, 특이한 문제를 알아차릴 기회 | 더 느리고, 비싸고, 직원의 가용성에 의존함 |
| 대조 그룹으로 대체 추정 | 효과의 신뢰할 수 있는 증거 | 설계 작업과 변경을 받지 않는 그룹에 대한 인내가 필요함 |
| 티켓이 없는 세션 세기 | 싸고 항상 쓸 수 있음 | 성공을 과대평가함, 악용을 부름, 성공과 포기를 구분할 수 없음 |
| 광범위한 자동화 | 일관된 실행과 더 적은 토일 | 유지보수 부담, 확대되는 실패 양상, 팀에서 사라질 수 있는 기술 |
| 안정적인 흐름의 선택적 자동화 | 노력 대비 더 나은 수익과 더 적은 놀라움 | 일부 수작업이 남아 자체 관심이 필요함 |
산문으로 답하면, 빈번하고 안정적이고 잘 이해된 것을 자동화하고, 필요가 불분명하거나 위험이 큰 곳에는 사람이 가용하게 두는 것입니다. 셀프서비스는 직원 응대 경로를 보이게 유지하면서 사람들이 도움받았는지로 평가해야 합니다. 시프트 레프트의 절감은 사용자 성과가 유지될 때만 실재하므로 양쪽을 모두 세십시오.
팀과 논의할 질문
1. 사용자가 포털을 열고 티켓을 올리지 않고 떠나면 우리는 무슨 일이 있었다고 가정하며, 어떻게 알아낼 수 있을까요? 그룹에게 가능한 이야기를 나열하게 하십시오. 사용자가 답을 찾았거나, 포기했거나, 대신 전화했거나, 동료에게 물었습니다. 후속 접촉, 종료 프롬프트, 세션 표본처럼 어떤 데이터가 이를 구분할지 보십시오. 진행자는 현재 대시보드에 어떤 가정이 들어 있고 누가 그에 의존하는지 기록해야 합니다. 가정을 증거로 대체할 변경 하나에 합의하며 마무리하십시오.
2. 지금 대체를 어떻게 추정하며, 회의적인 재무 파트너에게 그 방법을 변호할 수 있을까요? 비교 그룹과 수요 변화에 대한 보정을 포함해 계산을 단계별로 훑어보십시오. 그 기간에 릴리스, 장애, 직원 변경 같은 다른 무엇이 바뀌었는지 물으십시오. 대표 수치뿐 아니라 그럴듯한 값의 범위도 기록하십시오. 논의는 숫자 옆에 둘 수 있는 방법에 대한 평이한 진술로 끝나야 합니다.
3. 진짜 비용을 안다면 내일 끌 자동화는 어느 것일까요? 자동화된 흐름을 소유자, 마지막 변경 날짜, 실행 횟수, 실패율, 유지보수 노력과 함께 나열하십시오. 아무도 아쉬워하지 않을 것과 사람들이 건드리기 두려워하는 것을 물으십시오. 진행자는 폐기를 정당한 결과로 다뤄야 합니다. 답은 흔히 소유자가 없는 흐름을 드러냅니다.
4. 셀프서비스 시도가 실패한 사용자에게 무슨 일이 일어나며, 사람에게 닿는 데 얼마나 걸리나요? 누군가에게 사용자처럼 접촉 경로를 찾는 것까지 포함해 경로를 걸어 보게 하십시오. 시간을 재고 줄일 수 있는 모든 단계를 기록하십시오. 그 경험을 포털의 명시된 의도와 비교하십시오. 그룹은 그 경로가 셀프서비스 경로만큼 찾기 쉬운지 결정해야 합니다.
5. 일 년 전 서비스 데스크의 작업 구성은 어떠했고 지금은 어떠한가요? 시간에 따른 범주 구성과 레벨 분포를 검토하십시오. 처리 시간이나 첫 접촉 해결이 왜 움직였는지, 더 어려운 구성을 반영하는지 논의하십시오. 리더십에 이것이 예상된 것이라고 알렸는지 물으십시오. 성공적인 시프트 레프트 뒤의 처리 시간 상승이 하락으로 읽히지 않도록 추세를 제시하는 방법에 합의하십시오.
6. 자동화가 풀어 주는 용량으로 우리는 무엇을 할까요, 그리고 누가 결정하나요? 수작업에서 없어진 시간을 추정하고 그것으로 무엇을 사기로 했는지 명명하십시오. 그 시간이 개선 작업으로 갔는지 새로운 수요에 흡수되었는지 물으십시오. 팀이 어떻게 알지 논의하십시오. 진행자는 상위 낙하 주제를 고치는 데 예약된 용량의 비율 같은 구체적인 약속을 요구해야 합니다.
네 가지 관점
제품 및 전달 팀
전달 팀은 셀프서비스를 성공시키는 많은 것을 소유합니다. 분명한 오류 메시지, 쓰기 쉬운 양식, 제품 내 도움말, 티켓을 올리지 않고 작업을 할 수 있는 능력입니다. 파이프라인과 인프라 코드에 있는 자동화도 소유합니다. 이들의 유용한 측정치는 자기 기능의 셀프서비스 성공과 릴리스 및 환경 작업에 남은 수작업 단계이며 없앨 토일로 다룹니다(주제 2.8, DORA 지표 참조). 낙하 주제를 제품 백로그로 읽어야 합니다.
서비스 및 운영 팀
운영 팀은 자동화 자산과 직원 응대 대체 경로를 맡습니다. 자동화 신뢰성, 유지보수 부하, 남은 수작업 소요 시간을 추적하고, 남은 더 어려운 일에 대해 벌받지 않으면서 레벨 분포를 지켜봐야 합니다. 상담원은 진짜 마찰이 어디 있는지 알기 때문에 어떤 요청이 좋은 자동화 후보인지 자문받아야 합니다. 흐름과 요청 유형별로 보고하고 상담원별로는 절대 하지 마십시오.
리더십과 거버넌스
리더는 대체를 비용 절감 수치로 다루고 싶은 유혹을 받습니다. 더 나은 요청은 사용자 성과, 모든 추정치 뒤의 방법, 자동화의 신뢰성입니다. 거버넌스는 후보 목록, 자동화된 각 흐름의 소유자, 폐기 규칙을 기대해야 합니다. 리더는 목표를 맞추려고 직원 응대 경로를 숨기지 않도록 보호해야 합니다(주제 11.3, 두려움을 키우지 않고 지표 도입하기 참조).
고객과 사용자
사용자는 하던 일을 계속하고 싶어 합니다. 많은 사람이 셀프서비스가 작동할 때는 선호하고, 거의 모두가 작동하지 않을 때 거기에 갇히는 것을 싫어합니다. 이들의 경험은 종료 시점의 노력과 성과 질문, 그리고 실패한 시도가 사람에게 빨리 이어졌는지로 가장 잘 포착됩니다(주제 6.4, 사용자 및 직원 경험 참조). 접근성이 필요하거나 자신감이 제한된 사용자는 평균적인 사용자에게만 작동하는 포털에 대한 조기 경보입니다.
실제 적용: 서비스 관리 사례
한 중견 온라인 소매업체의 IT 부서가 서비스 데스크, 플랫폼 팀, 여러 제품 팀을 운영합니다. 이 사례의 숫자는 예시입니다.
부서는 안내식 비밀번호 재설정, 소프트웨어 접근 요청 흐름, 흔한 질문에 대한 챗봇이 있는 재설계한 포털을 출시합니다. 석 달 뒤 포털 보고서는 세션의 62퍼센트가 티켓 없이 끝난다고 보여 주고, 한 관리자가 이를 "대체"라 부르고 70퍼센트 목표를 세우자고 제안합니다. 서비스 데스크 리더는 불안합니다. 전화하는 사람들이 "먼저 포털을 써 봤다"고 말한다고 상담원들이 보고하기 때문입니다.
팀은 측정치를 검토합니다. 셀프서비스 성공을 같은 주제에 대한 7일 안의 직원 응대 접촉 없이 완료된 성과로 정의합니다. 그 정의로 성공률은 62가 아니라 48퍼센트이고, 접근 요청 흐름의 낙하율은 31퍼센트입니다. 낙하 접촉 40건의 표본을 읽어 보니, 대부분의 사용자가 비슷한 두 카탈로그 항목 중 무엇을 골라야 할지 몰랐고 챗봇은 폐기된 도구에 대한 질문에 답하고 있었습니다.
팀은 세 가지를 결정합니다. 첫째, 대표 측정치를 셀프서비스 성공으로 하고, 추정 대체는 활성 사용자 1,000명당 접촉에 기반한 분기별 추정치로만 보여 주며 대체에 대한 목표는 정하지 않습니다. 둘째, 비슷한 두 카탈로그 항목을 병합하고, 챗봇 콘텐츠를 바로잡고, 상위 낙하 주제 둘을 소유자와 함께 개선 백로그에 추가합니다. 셋째, 플랫폼 엔지니어가 중앙값 25분(예시)을 들이고 월 약 40회(예시) 일어나는 테스트 환경 생성의 수작업 프로세스를 자동화 후보 목록에 추가합니다.
플랫폼 팀은 그 분기 안에 환경 흐름을 자동화합니다. 악용 위험이 빨리 나타납니다. 흐름의 포괄률 수치는 오르지만 실패 및 재작업률은 여덟 번에 한 번(예시) 수작업 수리가 필요하며 그 수리가 "계획된 유지보수"로 기록되어 있음을 보여 줍니다. 팀은 수리된 실행을 실패 건수에 추가하고, 실행을 인시던트 레코드에 연결하고, 흐름을 매월 검토하기로 합의합니다. 다음 검토에서 성공률은 57퍼센트(예시)로 올랐고, 낙하율은 떨어졌고, 남은 접촉이 더 어려워서 서비스 데스크 처리 시간은 약간 올랐습니다. IT 책임자는 상승을 하락으로 읽지 않도록 처리 시간을 레벨 분포와 함께 제시하기로 합의합니다.
애자일, AI, 자동화, 분석
애자일
포털은 실제 사람들이 쓰는 제품이므로 사용자 피드백과 함께 작은 단계로 셀프서비스를 개선하십시오. 주의할 점은 포털 우선 지침이 도입은 높이면서 사람이 필요한 사용자를 좌절시킬 수 있다는 것입니다.
AI
AI 채팅과 검색은 셀프서비스 양과 추정 대체를 높일 수 있지만, 대체된 접촉이 해결되지 않은 문제일 수 있습니다. 대체를 사용자의 답이나 복귀 없음 기간으로 측정한 셀프서비스 성공률, 그리고 사람으로의 낙하율과 짝지우십시오. 주의할 점은 자신 있게 틀리게 답하는 모델은 나중에 되돌아오는 접촉을 만든다는 것입니다.
자동화
자동화를 포괄률, 실패와 재작업, 그것이 없애는 수작업 소요 시간으로 측정하십시오. 모든 자동화된 행동을 기록해 감사하고 롤백할 수 있게 하십시오. 주의할 점은 포괄률 수치가 쉬운 작업의 자동화를 보상하므로 어려운 것도 함께 추적해야 한다는 것입니다.
분석
성공, 낙하, 재접촉을 요청 유형별로 건수와 함께 한 페이지에 보여 주십시오. 이는 다음에 무엇을 자동화할지에 정보를 줍니다. 주의할 점은 대체가 추정치이므로 그렇게 표시하고 사용자 표본으로 검증해야 한다는 것입니다.
부문별 관점
스타트업. 창업자는 사용자와 이야기해서 부실한 셀프서비스 경로를 고칠 수 있는 경우가 많습니다. 한 문항 종료 질문과 실제 세션 몇 건을 읽는 것으로 성공을 측정하고, 가장 많은 사람을 방해하는 두세 가지 작업을 자동화하십시오. 서면 답변이 좋아지기 전에 봇을 만들지 마십시오.
소규모 사업. 한 사람이 모두를 위한 IT를 운영할 수 있으므로 셀프서비스는 대개 좋은 짧은 안내서와 공유 요청 양식을 뜻합니다. 계정 설정과 비밀번호 재설정의 자동화는 각 흐름을 누군가 소유하는 한 빨리 수익을 냅니다. 직원 응대 경로를 분명하게 유지하십시오. 그렇지 않으면 소유주 자신의 직원이 시스템을 우회합니다.
대기업. 규모는 이점과 악용을 모두 키웁니다. 사업부 간에 정의를 표준화하고, 중앙 후보 목록과 자동화 레지스트리를 유지하고, 서비스와 카탈로그 항목별로 보고하십시오. 사용자 집단이 매우 다른 사업부를 비교하는 것을 경계하십시오.
정부 및 공공 부문. 접근성, 언어 접근, 디지털 채널을 쓸 수 없는 사람들을 서비스할 의무는 부가 사항이 아니라 설계 입력입니다. 지원되는 경로를 가용하게 두고 측정하며, 사람에게 영향을 주는 자동화된 결정을 문서화하고, 각 자동화된 흐름의 소유자에 대한 감사 질문을 예상하십시오(주제 8.5, 규제 및 정부 보고 참조).
비즈니스 케이스: 동기, ROI, TCO
동기는 더 적은 반복 접촉, 사용자에게 더 빠른 결과, 일상 업무의 더 안정적인 실행, 개선 작업을 위한 더 많은 용량입니다. 비용 쪽에는 포털과 콘텐츠의 구축과 유지, 세션을 티켓에 결합하는 통합과 데이터 작업, 자동화 플랫폼, 각 자동화된 흐름을 쓰고, 시험하고, 소유하는 시간이 포함됩니다. 직원 시간의 표본과 짧은 종료 설문은 비용이 적게 들며 필요한 증거의 대부분을 제공합니다.
수익은 자체 데이터로 논증해야 합니다. 수작업 소요 시간과 양으로 자동화가 없애는 노력을 추정하고, 유지 노력과 실패 비용을 빼고, 결과를 가정과 함께 범위로 보고하십시오. 셀프서비스에는 낙하율과 표본 조사한 성과를 써서 사용자가 돌려보내진 것이 아니라 도움받았기 때문에 피한 접촉의 비중을 보여 주십시오. 공급업체나 설문의 대체나 절감 백분율을 가져오지 말고 먼저 자체 기준선을 측정하십시오. 자동화의 총소유비용에는 주변 시스템이 진화함에 따라 필요해질 변경이 포함되므로 그것을 예산에 넣으십시오.
안티패턴과 함정
- 티켓이 없는 세션을 성공으로 세기. 도움과 포기를 구분할 수 없습니다. 성과로 성공을 정의하고 낙하와 종료 피드백으로 검증하십시오.
- 대체에 대한 목표. 접촉 경로를 숨기는 것을 보상합니다. 대체를 추정치로 쓰고 사용자 성과에 목표를 두십시오.
- 전화번호나 채팅 숨기기. 사람에게 닿을 수 없는 사용자는 노력이 늘고 신뢰를 잃습니다. 직원 응대 경로를 보이게 유지하고 거기에 닿는 데 걸리는 시간을 측정하십시오.
- 프로세스를 이해하기 전에 자동화하기. 흐름이 혼란을 속도 있게 담아 둡니다. 먼저 런북을 문서화하고 단순화한 다음, 안정된 버전을 자동화하십시오.
- 소유자 없는 자동화. 소유자 없는 흐름은 조용히 낡고 나쁜 순간에 실패합니다. 각 흐름에 소유자, 테스트, 모니터, 폐기 규칙을 주십시오.
- 실패의 비용 무시하기. 측정하지 않은 재작업이 있는 높은 포괄률은 숨은 부채입니다. 포괄률과 함께 실패 및 재작업률을 보고하십시오.
- 처리 시간의 상승을 하락으로 읽기. 성공적인 시프트 레프트 뒤에는 남은 일이 더 어렵습니다. 시간 측정치 옆에 레벨 분포와 범주 구성을 보여 주십시오.
- 대체한 접촉으로 상담원의 순위 매기기. 사용자를 밀어내게 만들고 데이터를 망칩니다. 서비스와 흐름별로만 보고하십시오.
성숙도 모델
| 차원 | 1 시작 | 2 발전 | 3 표준화 | 4 관리 | 5 조율 |
|---|---|---|---|---|---|
| 셀프서비스 성공과 대체 | 포털 방문과 티켓 건수를 보고하며 성과 정의가 없음 | 일부 경로에 성공이 정의됨, 대체를 방법 없이 인용함 | 서면 성공 정의 하나, 낙하를 측정함, 대체를 추정치로 표시함 | 종료 피드백과 함께 성공과 낙하를 추세로 보고, 비교로 대체를 추정함 | 성과를 제품 팀 및 공급업체와 공유하고 낙하 주제가 자금이 투입된 수정을 이끎 |
| 자동화 포괄률과 신뢰성 | 자동화가 임시방편이고 후보 목록이 없음 | 개별 팀이 일부 흐름을 자동화하고 실패를 비공식적으로 처리함 | 자동화된 모든 흐름에 후보 목록, 소유자, 실패 측정치가 정의됨 | 포괄률, 실패율, 유지 노력을 주기적으로 검토하고 자금을 댐 | 자동화를 팀과 공급업체에 걸쳐 조율하고 흐름을 일상적으로 폐기하고 개정함 |
| 시프트 레프트 효과와 활용 | 맥락 없이 양을 보고함 | 몇몇 팀이 레벨 분포를 추적함 | 처리 시간 옆에 레벨 분포와 범주 구성을 보고함 | 풀려난 용량을 계획하고 추적하며 리더십이 구성 효과를 올바르게 읽음 | 용량과 학습이 조직 전반의 서비스와 카탈로그 설계로 되돌아감 |
체크리스트
- 셀프서비스 성공을 서면 시작, 종료, 제외 항목이 있는 성과로 정의했다.
- 상위 셀프서비스 경로의 낙하율을 측정한다.
- 모든 대체 수치가 방법을 밝히고 추정치로 표시되어 있다.
- 대체에 대한 목표를 정하지 않았다.
- 핵심 경로에 한 문항 종료 프롬프트나 동등한 피드백이 있다.
- 서면 자동화 후보 목록이 있고 분기마다 검토한다.
- 자동화된 모든 흐름에 소유자, 모니터, 실패 및 재작업 측정치가 있다.
- 상위 요청 유형의 수작업 소요 시간을 표본 추출한다.
- 처리 시간과 첫 접촉 해결 옆에 레벨 분포를 보여 준다.
- 직원 응대 경로가 보이고 거기에 접근하는 시간을 점검한다.
- 상위 낙하 주제를 매달 검토해 소유자에게 보낸다.
- 이 주제의 어떤 지표도 상담원별로 보고하거나 목표로 삼지 않는다.
AI 프롬프트
대체를 어떻게 추정하는지 점검합니다.
우리는 활성 사용자 [개수]명을 위해 [서비스 유형]을 운영합니다. 대체를 [현재 계산
설명]으로 보고하며 [도구]의 데이터를 씁니다. 기간 중 변경: [릴리스, 캠페인,
장애, 직원 변경]. 방법을 검토하고 효과를 과대평가하거나 과소평가할 수 있는 곳을
설명해 주세요. 내가 설명한 데이터만 사용해 대조 그룹이나 활성 사용자 1,000명당
접촉 같은 더 나은 비교를 제안해 주세요. 기준 값이나 목표를 지어내지 마세요.
가정한 내용과 추정을 굳히기 위해 필요한 데이터를 나열해 주세요.
표본에서 낙하 주제를 분석합니다.
아래는 [서비스]에서 같은 주제로 셀프서비스를 시도한 뒤 이어진 직원 응대 접촉
[개수]건이며, 필드는 [필드 목록]과 사용자의 설명입니다. 가능한 원인(콘텐츠 공백,
혼란스러운 양식, 결함, 누락된 접근, 사용자 선호)별로 묶고 개인이 아니라 패턴을
보고해 주세요. 어떤 원인 그룹을 지식 소유자, 제품 팀, 문제 관리에 넘길지
제안해 주세요. 제공된 텍스트를 넘어 추측하지 마세요. 가정한 내용과 판단할 수
없었던 것을 나열해 주세요.
[개인 정보를 제거한 접촉 붙여 넣기]
자동화 후보의 순위를 매깁니다.
다음은 [팀]의 요청 및 인시던트 유형 목록입니다: [유형, 월간 양, 수작업 분 중앙값,
변동성, 틀렸을 때의 위험]. 자동화 후보의 순위를 제안하고 유지 부담과 실패 영향을
포함해 각각의 이유를 설명해 주세요. 수작업으로 남겨야 할 항목을 짚어 주세요.
내가 제공한 숫자만 사용하고 절감액을 지어내지 마세요. 가정한 내용과 확정하기
전에 내가 답해야 할 질문을 나열해 주세요.
자동화된 흐름의 방호책을 설계합니다.
[서비스]의 [흐름 이름]을 자동화하려 합니다. 현재 수작업 프로세스: [단계]. 도구:
[자동화 플랫폼]. 추적할 지표(포괄률, 실패와 재작업, 실패한 실행을 감지하는 시간,
유지 노력), 각각이 악용될 수 있는 방법, 각각의 방호책을 제안해 주세요. 안전한
수작업 대체 경로와 폐기 기준을 포함해 주세요. 임계값이나 벤치마크를 지어내지
마세요. 가정한 내용과 우리 환경에 대해 알아야 할 것을 나열해 주세요.
AI 스킬
- 서비스 관리 지표 스킬: 도입하려는 셀프서비스 또는 자동화 지표의 관련 주제와 방호책을 찾을 때 사용합니다.
- 서비스 관리 지표 유지보수 스킬: 이 주제의 수정이 모든 지표에 악용 방식과 방호책을 짝지운 상태를 유지하는지 확인할 때 사용합니다.
핵심 정리
- 셀프서비스 성공은 사용자 성과이므로 사용자 쪽에서 정의하고 낙하와 종료 피드백으로 검증하십시오.
- 대체는 추정치이므로 방법을 밝히고 목표에서 제외하십시오.
- 자동화 포괄률은 신뢰성, 유지 노력, 검토된 후보 목록이 없으면 의미가 거의 없습니다.
- 시프트 레프트는 남은 일의 난이도를 높이므로, 처리 시간을 레벨 분포와 범주 구성과 함께 읽으십시오.
- 상담원이 아니라 흐름, 서비스, 카탈로그 항목을 측정하고 직원 응대 경로를 보이게 유지하십시오.
참고 문헌과 더 읽을거리
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016 (chapter on eliminating toil).
- Dixon, M., Toman, N., and DeLisi, R., The Effortless Experience, Portfolio/Penguin, 2013.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- AXELOS (now PeopleCert), ITIL 4 Practice Guide: Service Request Management, 2020.
- Wikipedia, Self-service software.
- Wikipedia, Chatbot.
- Wikipedia, Automation.
- Wikipedia, ITIL.
- Wikipedia, Infrastructure as code.
- Wikipedia, Runbook.