AI 에이전트와 챗봇 지표
대화형 어시스턴트는 사용자의 문제가 해결되고 해결된 채로 남을 때만 도움이 된 것이므로, 검증된 해결, 재접촉, 사람으로의 인계 품질, 잘못된 행동의 피해를 측정하고, 봇이 사람들을 도움에서 멀리 두는 것을 결코 보상하지 마십시오.
개요와 동기
이제 많은 조직이 사용자와 서비스 데스크 사이에 대화형 어시스턴트를 두며, 일부는 AI 에이전트에게 행동할 능력을 줍니다. 비밀번호 재설정, 장비 주문, 서비스 재시작, 구성 변경입니다. 챗봇은 대화를 수행하는 소프트웨어 애플리케이션이며, 가상 비서는 사용자를 대신해 과업을 수행하는 능력을 더합니다. 지능형 에이전트라는 더 넓은 발상은 환경을 인지하고 목표를 향해 행동을 취하는 시스템입니다. 현대의 언어 모델은 이 시스템들이 규칙 기반의 선조보다 열린 대화를 훨씬 더 잘하게 만들며, 1960년대 조지프 와이젠바움의 ELIZA라는 첫 대화 프로그램은 그럴듯한 응답을 낼 뿐인 기계에 사람들이 얼마나 쉽게 이해를 귀속시키는지 이미 보여 주었습니다.
매력은 분명합니다. 사용자는 기다리지 않고 언제든 도움을 받습니다. 팀은 일상 요청에 시간을 덜 씁니다. 셀프서비스는 오랫동안 ITSM의 목표였고, 해결을 더 이르고 더 싼 지점으로 옮기는 시프트 레프트는 서비스 데스크의 핵심 발상입니다(주제 3.7, 셀프서비스와 자동화 지표 참조). 측정 문제는 분명한 숫자가 엉뚱한 것을 보상한다는 것입니다. 대화를 끝내는 봇은 사용자가 도움을 받았든 포기했든 그것을 "봉쇄"한 것으로 셉니다. 사람을 결코 제안하지 않는 봇은 봉쇄를 최대화합니다. 자신 있게 틀린 답을 주는 봇은 며칠 뒤 화난 접촉으로 나타나는 조용한 실패를 만듭니다.
두 종류의 시스템에는 서로 다른 측정치가 필요합니다.
- 대화형 어시스턴트는 질문에 답하고, 사용자를 안내하고, 정보를 모읍니다. 위험은 틀리거나 도움이 안 되는 답, 그리고 사용자를 고리에 가두는 것입니다. 측정치는 해결, 정확성, 사람으로 가는 경로에 집중합니다.
- 행동하는 에이전트는 세상의 것을 바꿉니다. 계정, 시스템, 티켓, 돈입니다. 위험은 실제 결과를 낳는 잘못된 행동입니다. 측정치는 행동의 정확성, 되돌릴 수 있음, 권한 경계, 감사 추적에 집중합니다. 이런 사용에는 더 강한 거버넌스와, 중대한 단계에 대한 사람의 승인이 흔히 필요합니다(주제 10.5, AI 거버넌스와 위험 지표 참조).
몇 가지 설계 쟁점이 무엇을 측정할지 형성합니다.
- 사용자가 무엇과 이야기하는지에 대한 정직함. 많은 관할에 사람이 AI 시스템과 상호작용할 때 알려야 할 의무가 있거나 만들어지고 있으며, 2026년 10월 기준으로 이 규칙들은 진화하고 있으므로 적용되는 것을 확인하십시오. 어쨌든 좋은 관행은 분명하게 밝히는 것입니다.
- 빠져나갈 길. 사용자는 애쓰지 않고 사람에게 닿을 수 있어야 합니다. 사람에게 가는 경로를 숨기는 봇은 사용자를 원치 않는 결과로 속이거나 가두는 설계인 다크 패턴입니다.
- 접근성. 대화형 인터페이스는 보조 기술을 쓰는 사람, 언어 능력이 제한된 사람, 다른 언어나 경로가 필요한 사람에게도 작동해야 합니다.
- 자동화된 결정. 어시스턴트의 출력이 사람의 권리나 접근에 영향을 줄 때는 자동화된 의사 결정의 주제와 그를 둘러싼 의무가 적용됩니다. 그런 결정은 사람에게 두거나 강한 안전장치를 두십시오.
굿하트의 법칙의 방호책은 여기서 선명합니다. 봉쇄나 우회가 목표라면 그것을 충족하는 가장 싼 방법은 사람에게 닿기 어렵게 만드는 것입니다(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조). 아래 측정치는 해결과 사용자 성과를 먼저 둡니다.
핵심 원칙
- 봉쇄가 아니라 해결이 측정치입니다. 끝난 대화가 해결된 문제는 아닙니다.
- 검증하고, 돌아옴을 점검하십시오. 사용자가 확인하거나 돌아오지 않을 때만 접촉을 해결된 것으로 세십시오.
- 항상 사람에게 가는 길을 제공하십시오. 경로를 쉽고, 빠르고, 눈에 보이게 만들고 맥락을 함께 넘기십시오.
- 시스템에 대해 정직하십시오. AI임을, 무엇을 할 수 있고 없는지를 말하십시오.
- 에이전트가 할 수 있는 것을 제한하십시오. 최소 권한을 부여하고, 중대한 행동에는 승인을 요구하고, 감사 추적을 유지하십시오.
- 답변의 품질을 표본 조사로 측정하십시오. 유창한 응답도 틀릴 수 있습니다.
- 사용자와 뒷수습하는 직원의 말을 들으십시오. 그들이 지표가 놓치는 것을 봅니다.
지표 정의
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 |
|---|---|---|---|---|---|---|---|
| 검증된 해결률 | 사용자가 문제가 해결되었다고 확인했거나 명시된 기간 안에 돌아오지 않은 봇 대화의 비율 | 확인된 해결이 있거나 7일 안에 재접촉이 없는 대화 / 해결 가능한 의도로 시작한 대화 | 퍼센트 | 대화 로그, 사용자 확인, 티켓 및 접촉 데이터 | 서비스 데스크, 지식 관리 | 사용자를 위한 동작하는 성과 | 주 |
| 재접촉률 | 봇이 끝낸 대화 뒤에 어떤 경로로든 같은 문제에 대한 접촉이 뒤따른 비율 | 7일 안에 관련 접촉이 뒤따른 대화 / 인계 없이 끝난 대화 | 퍼센트 | 티켓과 접촉 기록에 결합한 대화 로그 | 서비스 데스크, 인시던트 관리 | 빠져나간 결함 | 주 |
| 인계 맥락 완전성 | 사용자에게 반복하게 하지 않고 사람이 필요한 정보를 가진 사람으로의 인계 비율 | 받는 상담원이 완전하다고 판단한 표본 인계 / 표본 추출한 인계 | 퍼센트 | 표본 인계, 상담원 피드백 | 서비스 데스크, 지식 관리 | 경계를 넘는 매끄러운 협업 | 월 |
| 사람까지의 시간 | 사용자가 사람을 요청하거나 봇이 인계를 결정한 때부터 사람이 넘겨받기까지의 시간 | 분의 중앙값과 85번째 백분위수 | 분 | 대화 로그, 큐 데이터 | 서비스 데스크, 인시던트 관리 | 사용자가 도움이 필요할 때의 응답성 | 주 |
| 답변 정확성 | 자격 있는 검토자가 올바르고, 완전하고, 안전하다고 판단한 표본 봇 답변의 비율 | 올바르다고 판단한 답변 / 표본 추출한 답변 | 퍼센트 | 표본 검토 | 지식 관리, 품질 보증 | 답변에 대한 완료의 정의 | 월 |
| 봇 만족도와 노력 | 대화 뒤 만족도와 용이성에 대한 사용자의 평가와 의견 | 호의적 평가 / 평가, 평균 노력 평가 | 퍼센트, 척도 점수 | 대화 뒤 짧은 설문 | 서비스 데스크, 고객 경험 | 동작하는 소프트웨어에 대한 피드백 | 주 |
| 에이전트 행동 되돌림률 | AI 에이전트가 취한 행동 중 정정되거나, 취소되거나, 에스컬레이션되어야 했던 비율 | 되돌리거나 정정한 행동 / 취한 행동, 행동 유형과 위험 등급별 | 퍼센트 | 행동 감사 로그, 변경 레코드 | 변경 활성화, 인시던트 관리 | 재작업과 롤백 | 주 |
봇이 처리하는 의도를 정의하고, 항상 인계해야 하는 것은 봉쇄에서 제외하십시오. 검증된 해결은 문제가 범위 안이었고 사용자가 확인했거나 재접촉이 없음을 보인 경우에만 대화를 셉니다. 사람까지의 시간은 메뉴의 끝이 아니라 사용자의 요청에서 시작합니다. 답변 정확성은 봇을 만들지 않은 사람이 지식 베이스와 정책에 비춰 판단합니다. 에이전트 행동 되돌림은 행동 유형과 위험 등급별로 나누며, 해로운 행동은 인시던트로 따로 보고합니다.
권장 사항
성공을 해결로 정의하십시오
1. 의도와 원하는 성과를 정의하십시오. 어시스턴트가 처리해야 할 문제를 나열하십시오. 비밀번호 재설정, 접근 상태, 사용법 질문 같은 것과, 각각의 성과인 답변됨, 완료됨, 인계됨입니다. 항상 사람에게 가야 하는 의도를 정하십시오. 불만, 고통과 관련된 모든 것, 안전, 법적 권리, 돈입니다. 모든 것을 처리하려는 봇은 가장자리에서 심하게 실패합니다.
2. 검증된 해결과 재접촉을 측정하십시오. 끝에 사용자에게 문제가 해결되었는지 묻고, 그 뒤의 관련 접촉도 찾아보십시오. 어느 하나만으로는 충분하지 않습니다. 포기한 사용자는 답하지 않고, 도움을 받은 일부도 전화합니다. 함께 쓰면 진짜 해결에 가까워집니다. 재접촉률을 모든 봉쇄 수치의 핵심 방호책으로 다루십시오(주제 3.1, 서비스 데스크 지표 참조).
3. 봉쇄를 목표로 삼지 마십시오. 봉쇄는 서술적인 수치로만 보고하고, 항상 검증된 해결, 재접촉, 만족도 옆에 두십시오. 재접촉이 늘면서 봉쇄가 오른다면 봇이 사람들을 돌려보내고 있다는 뜻입니다. 봉쇄 목표를 정하거나 누군가의 성과를 그것에 묶지 마십시오.
사람에게 가는 길을 쉽고 좋게 만드십시오
4. 사용자가 어느 시점에든 사람에게 닿게 하십시오. 사람을 요청하는 분명하고 평이한 방법을 제공하고 존중하십시오. 사람까지의 시간과 사용자가 한 번 넘게 요청한 대화의 비율을 측정하십시오. 그 경로를 정기적으로 직접 시험하십시오. 사람이 없는 곳에서는 언제 있을지 말하고 콜백을 제공하십시오.
5. 맥락과 함께 인계하십시오. 봇이 대화를 사람에게 넘길 때는 요약, 시도한 것, 사용자의 말, 관련 계정 세부를 포함해 사용자가 반복하지 않게 하십시오. 받는 상담원에게 인계가 완전했는지 평가해 달라고 요청하고 결과를 표본 조사하십시오. 나쁜 인계는 사용자가 봇과 서비스를 모두 덜 신뢰하게 만듭니다(주제 9.3, 협업과 인수인계 지표 참조).
6. 모든 사용자를 위해 설계하십시오. 보조 기술을 쓰는 사용자, 다른 언어로 쓰는 사용자, 서두르거나 괴로운 사용자, 기술이 불편한 사용자와 어시스턴트를 시험하십시오. 다른 경로를 제공하십시오. 안전하고 합법적인 곳에서는 사용자 그룹별로 검증된 해결과 만족도를 측정하십시오. 평균은 봇이 가장 많이 실패시키는 사람들을 가립니다.
말하고 하는 것의 품질을 점검하십시오
7. 정확성과 안전을 위해 답변을 표본 조사하십시오. 매달 대화의 무작위 표본을 뽑아 자격 있는 사람이 답변을 판단하게 하십시오. 올바른가, 완전한가, 안전한가, 불확실성에 정직한가입니다. 오류를 유형별로 기록하십시오. 낡음, 지어냄, 정책 위반, 오해입니다. 오류를 지식 베이스와 구성에 되먹임하십시오. 민감한 주제와, 어시스턴트를 범위 밖으로 밀어내려는 시도에 대한 표적 시험을 더하십시오.
8. 지식을 최신으로 유지하십시오. 어시스턴트는 그것이 기대는 콘텐츠와 도구만큼만 좋습니다. 답변 오류를 지식 문서에 연결하고, 그것이 쓰는 지식의 신선도를 측정하십시오(주제 3.6, 지식 관리 지표 참조). 시스템이 지식 베이스에서 검색을 쓰는 곳에서는 출처를 인용하는지와 출처가 올바른지 점검을 포함하십시오.
9. 사용자에게 정직하십시오. 시작할 때 AI와 이야기하고 있음과 무엇을 할 수 있고 없는지 밝히십시오. 달리 시사하는 사람의 이름이나 태도를 주지 마십시오. 확신이 없을 때는 그렇게 말하고 사람을 제공해야 합니다. 공개에 적용되는 법을 확인하십시오.
행동하는 에이전트를 통제하십시오
10. 행동을 위험으로 분류하고 그에 맞게 권한을 정하십시오. 에이전트가 취할 수 있는 각 행동에 대해 위험 등급을 정의하십시오. 정보성, 되돌릴 수 있고 영향이 낮음, 중대함입니다. 필요한 최소 권한을 부여하십시오. 중대한 행동에는 사람의 승인을 요구하십시오. 이유, 사용자, 결과와 함께 모든 행동의 감사 추적을 유지하십시오. 이런 통제는 앞선 부의 변경과 보안 측정치와 이어집니다(주제 8.1, 보안 인시던트와 취약점 지표와 주제 8.2, 위험과 통제 지표 참조).
11. 행동의 정확성과 되돌릴 수 있음을 측정하십시오. 행동 유형별로 되돌림률을 추적하고, 모든 해로운 행동을 비난 없이 인시던트로 검토하십시오. 접근을 부여하기 전에 안전한 환경에서 에이전트를 시험하고, 모델이나 도구가 바뀔 때 다시 시험하십시오. 새 모델 버전은 행동을 바꿀 수 있으므로 통제가 필요한 변경으로 다루십시오(주제 4.3, 변경 활성화 지표 참조).
12. 뒷수습하는 사람들의 말을 들으십시오. 서비스 데스크 직원은 봇 실패의 결과를 봅니다. 화난 사용자, 반복 접촉, 치워야 할 난장판입니다. 봇이 무엇을 잘못하고 무엇이 일을 더 어렵게 하는지 정기적으로 물으십시오. 그들의 피드백과 사용자의 의견은 어떤 지표도 완전히 포착하지 못하는 증거이며 다음 변경 주기를 형성해야 합니다.
악용 방식과 방호책
| 지표 | 악용되는 방식 | 짝을 이루는 방호책 지표 또는 실천 |
|---|---|---|
| 검증된 해결률 | 대화의 아무 끝이나 해결로 셈, 유도하는 확인 질문을 함 | 확인을 중립적으로 정의, 재접촉률, 대화 표본 조사 |
| 재접촉률 | 한 경로로만 측정함, 짧은 기간 | 모든 경로를 결합, 점검으로 더 긴 기간 사용, 재접촉 표본 조사 |
| 인계 맥락 완전성 | 요약 대신 긴 대화록을 넘김, 쉬운 인계를 표본 추출함 | 받는 상담원 평가, 무작위 표본, 인계 후 해결까지의 시간 |
| 사람까지의 시간 | 메뉴 뒤에 시계를 시작함, 큐 확인 응답을 인수로 셈 | 시계는 요청에서 시작, 인수는 사람이 대화에서 활동 중임을 뜻함 |
| 답변 정확성 | 쉬운 대화를 표본 추출함, 관대한 검토자 | 독립 검토자의 무작위 표본, 적대적 시험 사례 |
| 봇 만족도와 노력 | 완료된 대화에만 설문함, 행복한 사용자만 닿는 곳에 설문을 둠 | 포기한 대화에도 설문, 응답률과 구성, 의견 읽기 |
| 에이전트 행동 되돌림률 | 되돌림을 기록하지 않음, 정정을 새 작업으로 재분류함 | 변조에 강한 감사 로그, 되돌림을 행동에 연결, 인시던트 검토 |
건강한 수치는 낮은 재접촉과 함께 높은 검증된 해결, 완전한 인계와 함께 사람에게 가는 쉽고 빠른 경로, 표본 검토에서 정확한 답변, 그룹에 걸쳐 만족한 사용자, 행동을 되돌릴 일이 드물고 보이지 않게 해를 끼치지 않는 에이전트입니다.
상충 관계: 장점과 단점
| 접근 방식 | 강점 | 약점 |
|---|---|---|
| 규칙 기반 봇 | 예측 가능하고 시험하기 쉬움 | 좁고, 취약하고, 대본 밖에서 짜증스러움 |
| 언어 모델 어시스턴트 | 유연하고 유창함 | 자신 있게 틀릴 수 있음, 시험하기 더 어려움 |
| 승인된 지식에서 검색 | 근거 있는 답변, 정정하기 쉬움 | 콘텐츠 품질에 달려 있음 |
| 열린 생성 | 넓은 포괄 | 지어낼 위험이 더 큼 |
| 행동에 대한 사람의 승인 | 안전 | 더 느림, 검토자 피로 |
| 자율적 행동 | 속도 | 틀렸을 때 피해 범위가 더 큼 |
| 엄격한 범위와 이른 인계 | 안전함 | 더 낮은 봉쇄 |
| 넓은 범위 | 더 높은 봉쇄 | 가장자리에서 더 많은 오류 |
실용적인 답은 좁고 잘 이해된 의도로 시작하고, 승인된 지식에 답변의 근거를 두고, 사람의 도움을 쉽게 만들고, 측정치가 정당화하는 만큼만 범위와 자율성을 넓히는 것입니다.
팀과 논의할 질문
1. 사용자가 지금 당장 사람을 원한다면 몇 단계가 걸리며, 우리가 직접 시도해 보았나요? 경로를 함께 시험하십시오. 단계와 기다림을 세십시오. 진행자는 모든 장벽을 메모해야 합니다. 경로가 짧아지도록 변경에 합의하고 사람까지의 시간을 측정하십시오.
2. 우리 봇이 끝낸 대화 중 실제로 문제를 해결한 것은 얼마인가요? 표본의 재접촉과 확인을 점검하십시오. 봉쇄 수치와 비교하십시오. 간극을 논의하십시오. 리더가 어느 수치를 봐야 할지 결정하십시오.
3. 우리 봇은 무엇을 잘못하며, 누가 알아내나요? 서비스 데스크에 물으십시오. 표본 대화를 검토하십시오. 패턴을 찾으십시오. 낡은 문서, 모호한 질문, 민감한 주제입니다. 오류에서 수정으로 가는 소유자가 있는 경로에 합의하십시오.
4. 에이전트가 스스로 할 수 있는 행동은 무엇이고, 사람이 필요한 것은 무엇인가요? 행동을 위험 등급과 권한과 함께 나열하십시오. 각각의 현실적인 최악의 실패가 무엇일지 물으십시오. 승인 규칙과 감사 추적, 해로운 사례를 누가 검토하는지에 합의하십시오.
5. 봇은 누구를 조용히 실패시키고 있나요? 서두르거나, 괴롭거나, 접근성이 필요하거나, 언어 능력이 제한된 사용자를 생각해 보십시오. 안전한 곳에서는 그룹별로 해결과 만족도를 보십시오. 그런 사용자와 하는 시험 하나에 합의하십시오.
6. 무엇이 우리가 봇을 끄거나 범위를 좁히게 만들까요? 증거를 정의하십시오. 특정 수준 이상의 재접촉, 해로운 행동, 기준 미만의 정확성입니다. 누가 결정할 수 있는지 정하십시오. 미리 중단 규칙을 두면 행동하기가 쉽습니다.
네 가지 관점
제품 및 전달 팀
어시스턴트를 만드는 팀이 그 품질을 소유합니다. 의도를 정의하고, 승인된 지식에 답변의 근거를 두고, 적대적 사례로 시험하고, 통제 아래 변경을 릴리스하고, 실패를 읽어야 합니다. 사용자를 가두는 것을 보상하는 봉쇄 목표에 반발해야 합니다.
서비스 및 운영 팀
서비스 데스크 직원은 어시스턴트와 함께 일하고 그 실패를 물려받습니다. 인계를 평가하고, 틀린 답을 표시하고, 지식을 최신으로 유지하고, 요청받으면 빨리 넘겨받아야 합니다. 어시스턴트가 사용자에게 도움이 되는지의 가장 좋은 판단자이며, 그들의 업무량과 스트레스는 그림의 일부입니다.
리더십과 거버넌스
리더는 어시스턴트를 후원하고 절감을 원합니다. 봉쇄 옆에 검증된 해결, 재접촉, 만족도를 요청하고, 중단 규칙을 요구하고, 사람에게 가는 경로에 자금을 대고, 에이전트의 위험 등급을 검토해야 합니다. 거버넌스는 공개, 접근성, 법적 의무를 점검해야 합니다.
고객과 사용자
사용자는 적은 노력으로, 속임수 없이 도움을 원합니다. AI와 이야기하고 있음을 알고, 사람에게 쉽게 닿고, 시스템이 좋은 이유 없이 행동하지 않을 것이라고 신뢰해야 합니다. 그들의 경험, 특히 실패의 경험이 어시스턴트가 가질 가치가 있는지의 주된 증거입니다.
실제 적용: 서비스 관리 사례
한 국립대학이 월 약 30,000건의 접촉을 처리하는 학생 및 직원 서비스 데스크를 운영합니다. 일상 요청을 위한 챗봇을 출시했고, 공급업체 대시보드는 봉쇄율 74퍼센트를 보고합니다. 아래 숫자는 예시입니다.
학생 서비스 책임자가 점검합니다. 지난달 봇이 끝낸 대화 중 29퍼센트는 7일 안에 이메일이나 전화로 관련 접촉이 뒤따랐습니다. 사용자의 확인과 재접촉 없음을 쓴 검증된 해결은 범위 안 의도에 대해 49퍼센트입니다. 요청 뒤 사람에게 닿는 시간 중앙값은 6분이고 85번째 백분위수는 22분이며, 경로에 세 메뉴 단계가 필요하기 때문이기도 합니다. 두 명의 경험 있는 상담원이 검토한 대화 100건의 표본은 88건의 답이 올바르고 12건이 결함 있음을 발견합니다. 낡음 7건, 마감에 대한 세부를 지어낸 것 3건, 어려움에 처한 학생이 관련된 민감한 사례를 잘못 처리한 것 2건입니다. 받는 상담원은 인계의 54퍼센트를 완전하다고 평가합니다. 봇에 대한 만족도는 스크린 리더를 쓰는 학생과 영어가 아닌 언어로 쓰는 학생에게서 더 낮습니다. 서비스 데스크 팀은 "챗봇이 도와주지 못했다"로 시작하는 접촉이 많다고 보고합니다.
학생 서비스 책임자는 팀과 변경을 합니다. 복지, 불만, 수업료 분쟁 같은 민감한 의도는 곧바로 사람에게 가며 봇이 그렇게 말합니다. 모든 화면에 "사람과 이야기하기" 선택지가 나타나고 사람까지의 시간을 추적하며, 근무 시간에는 몇 분 안에 응답한다는 목표를 둡니다. 인계에는 자동 요약과 사용자 자신의 말이 포함됩니다. 지식 베이스 소유자가 낡은 문서를 고치고, 월간 표본 검토가 그들에게 공급합니다. 어시스턴트는 승인된 콘텐츠에서 답하는 것으로 제한되고 모를 때는 그렇다고 말해야 합니다. 두 번째 시범 운영은 에이전트가 신원 확인 뒤 비밀번호를 재설정하게 하며, 모든 행동이 기록되고 시간 한도 안에 되돌릴 수 있고 되돌림률을 추적합니다. 대시보드는 봉쇄를 검증된 해결, 재접촉률, 정확성, 사람까지의 시간, 그룹별 만족도로 대체합니다.
석 달 뒤 범위 안 의도의 검증된 해결은 66퍼센트에 이르고, 재접촉률은 14퍼센트로 떨어지고, 사람까지의 시간 중앙값은 2분으로 줄고, 완전한 인계의 비중은 86퍼센트로 오르고, 표본 답변의 정확성은 95퍼센트로 오르며 표본에서 잘못 처리된 민감한 사례는 없습니다. 비밀번호 시범 운영의 에이전트 행동 되돌림률은 1.2퍼센트입니다. 총장실이 봉쇄 목표 85퍼센트를 요청합니다. 학생 서비스 책임자는 더 높은 봉쇄 목표는 사람에게 가는 경로를 숨기는 것을 보상할 것이라고 설명하며, 검증된 해결과 재접촉을 측정치로 하고 다음에 무엇을 확장할지 검토하자고 제안합니다. 결정은 기록됩니다.
애자일, AI, 자동화, 분석
애자일
사용자와 넘겨받는 사람들의 피드백으로 작은 단계로 어시스턴트를 개선하고, 이해관계자와 실패를 정기적으로 검토하십시오. 주의할 점은 봉쇄를 보상하면 봇이 사람들을 도움에서 멀리 두도록 가르친다는 것입니다.
AI
대화형 어시스턴트는 문제가 해결되고 해결된 채로 남을 때만 도움이 된 것이므로, 검증된 해결, 재접촉, 인계 품질, 에이전트 행동의 되돌림을 측정하십시오. 사람의 역할을 정의하십시오. 누가 행동을 승인하는지, 봇이 언제 넘겨야 하는지, 사람이 어떻게 재정의하는지입니다. 주의할 점은 기분 좋은 대화도 과업에는 실패할 수 있다는 것입니다.
자동화
모든 대화와 에이전트 행동을 권한 및 롤백 방법과 함께 기록하고, 자동화를 잘못된 행동으로 측정하십시오. 주의할 점은 넓은 권한이 있는 에이전트는 속도로 해를 끼칠 수 있으므로 범위를 제한하고 로그를 검토해야 한다는 것입니다.
분석
사용자 확인이나 무재접촉 기간으로 검증한 해결을 건수와 함께 보고하고, 대화 표본을 읽으십시오. 이는 어시스턴트를 안전하게 확장할 곳에 정보를 줍니다. 주의할 점은 봇 대화에 대한 만족도 점수가 끝낸 사용자 쪽으로 치우친다는 것입니다.
부문별 관점
스타트업. 어시스턴트는 낮은 비용으로 지원을 포괄할 수 있고, 나쁜 답변 하나가 고객을 잃게 할 수 있습니다. 범위를 좁게 유지하고, 문서화에 답변의 근거를 두고, 사람 선택지를 분명히 하고, 모든 에스컬레이션을 읽으십시오. 에이전트가 계정이나 결제에 행동하게 하는 데 주의하십시오.
소규모 사업. 웹사이트의 기성 어시스턴트는 흔한 질문을 처리할 수 있습니다. 고객처럼 시험하고, 전화번호나 이메일을 쉽게 찾게 하고, 매주 대화를 검토하십시오. 공급업체가 데이터로 무엇을 하는지 확인하십시오.
대기업. 규모는 절감과 위험을 줍니다. 위험 등급, 승인, 감사를 위한 거버넌스 프로세스를 운영하고, 의도와 사용자 그룹별로 측정하고, 모든 경로에서 사람에게 닿을 수 있게 하십시오. 지원, 보안, 법무, 접근성에 걸쳐 조율하십시오.
정부 및 공공 부문. 시민에게는 다른 제공자가 없을 수 있고, 접근성, 언어 접근, 공정한 대우의 의무가 강하게 적용됩니다. 사람에게 닿을 수 있게 유지하고, 안전장치 없이 자격에 대한 자동화된 결정을 피하고, 어시스턴트가 어떻게 쓰이는지 공표하고, 공개와 행정법 의무를 확인하십시오(주제 8.5, 규제 및 정부 보고 참조).
비즈니스 케이스: 동기, ROI, TCO
비용은 라이선스나 사용량 요금, 통합, 콘텐츠 준비, 지속적인 표본 조사와 검토, 지식 베이스 유지보수, 시험, 거버넌스입니다. 좋은 사람 경로도 인력을 두어야 하므로 비용이 듭니다.
잠재적 수익은 단순한 문제에 대한 더 짧은 기다림, 반복되는 접촉의 경감, 업무 시간 외 포괄입니다. 위험 쪽에는 재접촉, 잃은 신뢰, 틀린 답이나 행동의 피해, 법적 노출이 있습니다. 자체 숫자로 사례를 만드십시오. 검증된 해결과 재접촉, 인계를 포함한 해결된 접촉당 비용, 봇 실패를 고치는 데 쓰는 직원의 시간, 그룹별 만족도입니다. 공급업체의 봉쇄나 우회 주장을 추정치로 쓰는 것을 피하십시오. 사람 경로와 거버넌스의 비용을 세십시오(주제 7.7, 투자 수익과 비즈니스 케이스 참조).
안티패턴과 함정
- 목표로서의 봉쇄. 사람들을 도움에서 멀리 두는 것을 보상합니다. 검증된 해결과 재접촉을 보고하십시오.
- 숨겨지거나 느린 사람 경로. 다크 패턴이며 사용자가 알아차립니다. 짧게 만들고 시험하십시오.
- 맥락 없이 인계하기. 사용자가 반복하고 신뢰가 떨어집니다. 요약을 넘기십시오.
- 봇이 민감한 사례를 처리하게 두기. 복지, 불만, 권리에는 사람이 필요합니다. 곧바로 보내십시오.
- 감사나 승인 없는 자율적 행동. 오류 하나가 확대될 수 있습니다. 분류하고, 제한하고, 기록하십시오.
- 공급업체 대시보드가 보여 주는 것만 측정하기. 좋게 보여 줍니다. 자체 데이터를 결합하십시오.
- 봇이 실패시키는 그룹 무시하기. 평균이 그들을 가립니다. 안전한 곳에서 시험하고 나누십시오.
- 중단 규칙 없음. 실패하는 봇이 계속 가동됩니다. 좁히거나 끌 증거를 정의하십시오.
성숙도 모델
| 차원 | 1 시작 | 2 발전 | 3 표준화 | 4 관리 | 5 조율 |
|---|---|---|---|---|---|
| 성과 | 봉쇄를 보고함 | 만족도를 설문함 | 의도별로 검증된 해결과 재접촉을 추적함 | 사용자 그룹별로 나누고, 중단 규칙을 정의하고, 매달 정확성을 표본 조사함 | 공유된 증거로 어시스턴트, 직원, 지식을 함께 개선함 |
| 사람에게 가는 경로 | 찾기 어려움 | 선택지가 있음 | 짧은 경로, 사람까지의 시간을 추적, 인계가 맥락을 가짐 | 인계 품질을 평가해 개선하고 수요에 맞게 인력을 배치함 | 사용자의 선택을 존중하며 경로에 걸쳐 봇과 직원이 매끄럽게 협업함 |
| 행동하는 에이전트 | 임시 자동화 | 스크립트화된 행동 | 위험 등급이 있는 행동, 최소 권한, 승인과 감사 | 되돌림률과 피해를 검토하고 변경을 통제함 | 독립적 보증과 함께 조직과 공급업체 전반에서 에이전트 행동을 통제함 |
체크리스트
- 어시스턴트의 의도가 나열되어 있고 항상 사람에게 가야 하는 것이 표시되어 있다.
- 검증된 해결과 재접촉률을 봉쇄 옆에 보고한다.
- 모든 화면에 눈에 보이는 짧은 사람 경로가 있고 사람까지의 시간을 측정한다.
- 인계에 요약과 사용자의 말이 포함되고 받는 상담원이 평가한다.
- 답변을 자격 있고 독립적인 검토자가 매달 표본 조사한다.
- 사용자에게 AI와 이야기하고 있음과 그것이 할 수 있는 일을 알린다.
- 접근성과 다른 언어 시험을 실제 사용자와 한다.
- 에이전트 행동을 위험으로 분류하고, 최소 권한으로 권한을 정하고, 감사 기록한다.
- 되돌림률과 해로운 행동을 비난 없이 검토한다.
- 중단 규칙이 어시스턴트를 좁히거나 끌 때를 정의한다.
AI 프롬프트
의도와 인계 규칙을 정의합니다.
저희는 [조직 유형]의 서비스 데스크를 운영합니다. 가장 흔한 접촉 이유는 다음과
같습니다: [물량이 있는 목록]. 챗봇이 완전히 처리해야 할 의도, 돕다가 인계해야
할 의도, 항상 사람에게 가야 할 의도를 이유와 함께 제안해 주세요. 함께 넘길
인계 정보를 포함해 주세요. 통계를 지어내지 마세요. 가정한 내용과 민감한 사례의
위험을 나열해 주세요.
봉쇄 주장을 점검합니다.
우리 챗봇 대시보드는 봉쇄 [값]을 보여 줍니다. 또한 7일 안의 재접촉 [값], 설문
결과 [값], 대화 표본 [설명]이 있습니다. 검증된 해결이 무엇일 수 있는지, 우리
데이터로 계산하는 방법, 봉쇄와 해결 사이의 간극이 시사하는 것, 다음에 무엇을
점검할지 설명해 주세요. 데이터가 뒷받침하지 못하는 원인을 주장하지 마세요.
가정한 내용을 나열해 주세요.
에이전트 행동의 위험 분류를 설계합니다.
AI 에이전트는 다음 행동을 취할 수 있습니다: [목록]. 각각에 대해 위험 등급(정보성,
되돌릴 수 있고 영향이 낮음, 중대함), 필요한 권한, 사람이 승인해야 하는지,
기록할 것, 되돌리는 방법, 활성화하기 전에 실행할 시험을 제안해 주세요. 특정
도구를 가정하지 마세요. 가정한 내용과 보안 및 법무의 입력이 필요한 결정을
나열해 주세요.
봇 대화의 검토를 계획합니다.
봇 대화의 월간 검토를 설계해 주세요. 표본 크기와 선택(포기한 대화 일부와 서비스가
나쁠 위험이 있는 사용자 그룹의 대화 일부 포함), 검토자 자격, 정확성, 안전,
불확실성에 대한 정직함의 짧은 평가 기준, 오류를 기록하고 원천을 고치는 방법,
사용자를 식별하지 않고 보고하는 방법입니다. 가정한 내용과 개인정보 주의 사항을
나열해 주세요.
AI 스킬
- 서비스 관리 지표 스킬: 챗봇이나 AI 에이전트 지표에 짝을 이루는 방호책을 찾을 때 사용합니다.
- 서비스 관리 지표 유지보수 스킬: 챗봇 지표 항목이 해결을 측정하고 악용 방식과 방호책을 갖추고 있는지 확인할 때 사용합니다.
핵심 정리
- 검증된 해결과 재접촉을 측정하고, 봉쇄는 서술적인 수치로만 다루십시오.
- 사람에게 가는 길을 짧고 눈에 보이게 만들고, 맥락과 함께 인계하십시오.
- 정확성과 안전을 위해 답변을 표본 조사하고, 어시스턴트가 쓰는 지식을 최신으로 유지하십시오.
- 사용자가 AI와 이야기하고 있음을 솔직히 밝히고, 실패할 가능성이 가장 큰 사용자와 시험하십시오.
- 행동하는 에이전트는 위험을 분류하고, 권한을 제한하고, 중대한 행동에 승인을 요구하고, 감사 추적을 유지하십시오.
- 중단 규칙을 미리 정의하십시오.
참고 문헌과 더 읽을거리
- Weizenbaum, J., "ELIZA: A computer program for the study of natural language communication between man and machine," Communications of the ACM, 9(1), 1966.
- National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
- European Parliament and Council, Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act), 2024.
- Dixon, M., Toman, N., and DeLisi, R., The Effortless Experience, Portfolio/Penguin, 2013.
- Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Chatbot.
- Wikipedia, Virtual assistant.
- Wikipedia, Intelligent agent.
- Wikipedia, Self-service.
- Wikipedia, Dark pattern.
- Wikipedia, Automated decision-making.
- Wikipedia, Goodhart's law.