지표 인플레이션과 품질 희석
AI가 물량과 속도를 값싸게 만들면 물량과 속도를 세는 모든 지표가 부풀려지므로, 각각을 사람이 점검한 유용성 측정치와 짝지우고, 데이터 속의 신호가 파묻히고 있지 않은지 지켜보십시오.
개요와 동기
지표는 만들기 어려운 무언가를 반영하기 때문에 작동합니다. 해결한 티켓은 노력을 반영합니다. 쓴 문서는 지식을 반영합니다. 추가한 시험은 정성을 반영합니다. 도구가 눈에 보이는 산출을 거의 공짜로 만들면 산출과 노력 사이의 연결이 깨집니다. 숫자는 계속 오르고 의미는 빠져나갑니다. 이것이 지표 인플레이션이며, 그 짝은 품질 희석입니다. 만들어진 것 중 유용한 비율이 떨어지고 유용한 부분은 찾기 어려워집니다.
이는 새로운 문제가 아닙니다. 굿하트의 법칙과 그 친척인 캠벨의 법칙은 통제에 쓰이는 측정치가 어떻게 부패하는지 설명합니다. 허영 지표는 인상적으로 보이지만 일의 건강에 대해 아무것도 말해 주지 않습니다. AI가 바꾸는 것은 산출이 만들어질 수 있는 속도와 규모이며, 그와 함께 이런 오랜 실패가 일어날 수 있는 속도와 규모입니다. 한때 손으로 건수를 부풀렸던 팀이 이제는 몇 분 안에, 의도하지 않고도 그럴 수 있습니다.
서비스와 전달 업무에서 몇 가지 패턴이 반복됩니다.
- 물량 인플레이션. AI는 더 많은 티켓, 답장, 의견, 시험 사례, 문서, 코드를 초안합니다. 이들의 건수가 오릅니다. 그것을 읽고, 검토하고, 유지해야 하는 사람들의 업무량도 오릅니다.
- 속도 인플레이션. 첫 초안까지의 시간은 급격히 줄고, 완성되고 점검된 결과까지의 시간은 덜 줄거나 전혀 줄지 않습니다. 앞의 것을 보고하는 대시보드는 듣기 좋은 이야기를 합니다.
- 잡음. 더 많은 콘텐츠가 주의를 두고 경쟁합니다. 정보 과부하는 사람이 제시된 정보의 양을 처리할 수 없는 상태이며, 지식 베이스, 티켓 큐, 경보 흐름의 신호 대 잡음비가 떨어집니다. 경보 피로가 그 운영상의 형태입니다(주제 5.5, 모니터링과 경보 품질 지표 참조).
- 저품질의 생성된 콘텐츠. 검토가 거의 없이 대량으로 만든 콘텐츠를 때로 AI 슬롭이라 부르며, 그럴듯하지만 얇습니다. 그런 문서로 채워진 지식 베이스는 덜 믿을 만해지고 사용자는 불신하는 법을 배웁니다.
- 검증 비용. 주장을 점검하는 노력은 그것을 만드는 노력보다 훨씬 큰 경우가 많으며, 때로 브란돌리니의 법칙이라 부르는 패턴입니다. 생성이 값쌀 때 검증이 병목이 됩니다.
- 소비를 늘리는 효율. 제번스 역설은 효율의 향상이 자원의 사용을 줄이는 대신 늘리는 경우를 설명합니다. 보고서 초안 작성이 값싸지면 더 많은 보고서가 요구됩니다. 도구가 절약한 시간이 더 가치 낮은 더 많은 일에 소비될 수 있습니다.
- 피드백 고리. 생성된 콘텐츠가 다음 생성에 공급되면 오류가 복리로 쌓입니다. 연구 문헌은 자기 출력으로 학습한 모델의 모델 붕괴를 설명합니다. 어시스턴트가 어시스턴트가 요약한 문서로 어시스턴트가 쓴 티켓을 요약할 때 조직 안에서도 비슷한 고리가 생길 수 있습니다.
- 표류하는 기준선. AI 때문에 데이터의 분포가 바뀌면 추세와 임계값이 더 이상 이전의 의미를 갖지 않습니다. 이는 입력과 성과 사이의 관계가 시간에 따라 바뀌는 기계 학습의 개념 표류와 비슷합니다. 티켓 물량의 증가는 더 많은 문제가 아니라 더 쉬워진 티켓 생성을 반영할 수 있습니다.
여기서 애자일의 목표가 중요합니다. 지속적 전달, 지속적 개선, 지속 가능한 속도는 모두 신호가 분명한 것에 달려 있습니다. 의욕 있는 사람에게 기계가 생성한 잡음을 헤치고 나가거나 지속 불가능한 속도로 산더미 같은 출력을 검증하라고 요구해서는 안 됩니다. 지속적으로 참여하는 이해관계자도 최선의 방어입니다. 보고서가 더 이상 도움이 되지 않을 때 그들이 알려 줄 것입니다.
이 주제는 인플레이션과 희석을 알아차리는 측정치와 그것을 드러내는 짝을 제공합니다. 기초와 지원 작업의 측정치 위에 서 있습니다(주제 10.1, 서비스 관리 측정에서의 AI와 주제 10.2, AI 지원 작업 측정 참조).
핵심 원칙
- 모든 물량이나 속도 지표를 유용성 점검과 짝지우십시오. 출력이 유용한지는 사람이 판단합니다.
- 완성되고 검증된 결과까지 측정하십시오. 첫 초안 속도는 함정입니다.
- 검증 부담을 지켜보십시오. 조용히 커지며 절약한 시간을 먹습니다.
- 신호를 보호하십시오. 지식 베이스, 큐, 경보를 신뢰할 만큼 깨끗하게 유지하십시오.
- 피드백 고리를 끊으십시오. 생성된 콘텐츠가 검토 없이 생성에 공급되지 않게 하십시오.
- 데이터가 바뀌면 기준선을 다시 잡으십시오. 기술 전환에 걸친 추세에는 주의가 필요합니다.
- 더 적고 더 나은 산출을 선호하십시오. 주의가 제한 자원일 때는 적은 것이 더 많은 것일 수 있습니다.
지표 정의
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 |
|---|---|---|---|---|---|---|---|
| 산출 대 성과 비율 | 산출이 만들어 내려던 성과에 상대적인 산출의 물량 | 같은 기간의 산출 건수(티켓, 문서, 변경) / 성과 측정치(해결한 문제, 사용된 문서, 유지된 변경), 추세로 추적 | 비율 | 작업 트래커, 지식 베이스, 성과 측정치 | 지속적 개선, 측정 및 보고 | 문서 물량보다 동작하는 소프트웨어 | 월 |
| 유용한 항목 비중 | 자격 있는 검토자가 유용하다고 판단한 표본 항목의 비율 | 유용하다고 판단한(올바르고, 관련 있고, 중복이 아닌) 표본 항목 / 표본 추출한 항목 | 퍼센트 | 무작위 표본 검토 | 지식 관리, 품질 보증 | 콘텐츠에 대한 완료의 정의 | 월 |
| 검증 부담 | 산출 단위당 생성된 작업을 점검하고 정정하는 데 쓴 사람의 시간 | 검토와 정정 시간 / 산출 단위, 추세로 추적 | 단위당 시간 | 시간 추정, 검토 도구 데이터 | 서비스 재무 관리, 지속적 개선 | 제약으로서의 검토 용량 | 월 |
| 콘텐츠 중복률 | 다른 것과 중복되거나 실질적으로 겹치는 지식 항목의 비율 | 검토나 매칭으로 중복 또는 겹침으로 표시된 항목 / 지식 베이스의 항목 | 퍼센트 | 지식 베이스 검토, 매칭 보고서 | 지식 관리 | 단일 진실 원천 | 분기 |
| 생성된 지식의 검토 비중 | 게시 전에 자격 있는 사람이 검토하고 승인한 AI 생성 지식 항목의 비율 | 승인된 검토와 함께 게시한 생성 항목 / 게시한 생성 항목 | 퍼센트 | 지식 베이스 메타데이터 | 지식 관리, 변경 활성화 | 릴리스 전의 검토 | 월 |
| 해결에 비춘 백로그 유입 | AI의 영향을 받는 큐에서 해결된 일의 증가에 상대적인, 도착하는 일의 증가 | (생성된 항목의 변화) / (해결된 항목의 변화), AI 이전 기준선과 비교 | 비율 | 티켓과 트래커 이력 | 인시던트 관리, 서비스 요청 관리 | 흐름 균형 | 월 |
| 지표 표류 표시 | AI 도입 뒤 정의나 분포가 눈에 띄게 바뀌어 검토하고 주석을 단 지표의 수 | 검토에서 표시된 지표 / 레지스트리의 지표 | 건수, 퍼센트 | 지표 레지스트리 검토, 분포 점검 | 측정 및 보고 | 측정에 대한 회고 | 분기 |
"유용함"을 서면 평가 기준으로 정의하십시오. 올바르고, 실제 필요와 관련 있고, 중복이 아니고, 최신입니다. 검증 부담은 다시 프롬프트하는 시간을 포함해 사람이 쓴 시간을 세며, 단지 기다리는 시간은 제외합니다. 검토 비중은 통제입니다. 검토되지 않은 생성 지식은 따로 추적하고 눈에 보이게 라벨을 붙여 두십시오. 지표 표류 표시는 벌칙이 아니라 논의입니다. 표시는 정의를 조정할지, 추세에 주석을 달지, 기준선을 다시 잡을지 사람이 결정했다는 뜻입니다. 모든 측정치는 개인이 아니라 프로세스와 콘텐츠를 설명합니다.
권장 사항
물량을 유용성과 짝지우십시오
1. 모든 물량 지표에 유용성 점검을 내장하십시오. 대시보드의 각 물량이나 속도 측정치에 대해 사람이 판단한 유용성 측정치를 명명하십시오. 생성된 티켓은 해결 품질과, 쓴 문서는 문서의 사용과 정확성과, 병합한 변경은 유지 및 재작업과 짝짓습니다(주제 10.2, AI 지원 작업 측정 참조). 함께 보여 주고 갈라질 때 논의하십시오.
2. 정기적으로 표본 조사하고 판단하십시오. 매달 AI가 건드리는 흐름에서 항목의 무작위 표본을 뽑아 자격 있는 사람이 서면 기준에 비춰 판단하게 하십시오. 유용한 비율과 항목이 실패하는 이유를 기록하십시오. 검토자를 돌려 쓰고 생산자와 독립되게 하십시오. 표본 조사는 느린 희석에 대한 주된 방어입니다.
3. 산출보다 성과를 먼저 보고하십시오. 리더십 보고서는 성과로 시작하십시오. 해결한 문제, 만족한 사용자, 피한 결함입니다. 산출 건수는 맥락으로 그 뒤에 두십시오. 산출 건수를 빼도 보고서가 가치 있다면 잘 정향된 것입니다.
검증과 잡음을 통제하십시오
4. 검증 부담을 측정하십시오. 생성된 작업을 점검하고 정정하는 데 쓰는 시간을 추정해 산출 단위당 추세로 추적하십시오. 산출이 오를 때 오른다면 순이익은 생성 숫자가 시사하는 것보다 작으며, 검토자가 과부하로 가고 있을 수 있습니다. 부담을 과업당 비용에 포함하십시오(주제 10.1, 서비스 관리 측정에서의 AI 참조).
5. 시스템에 들어오는 것을 제한하십시오. 어떤 생성 콘텐츠를 자동으로 만들고 게시할 수 있는지, 무엇에 검토가 필요한지 정하십시오. 한 번의 검토에서 생성된 변경의 크기와 수에 한도를 두십시오. 물량에 아니라고 말하기 쉽게 만드십시오. 항목이 더 분명한 더 작은 큐가 사용자에게 더 낫습니다.
6. 지식 베이스를 제품으로 관리하십시오. 생성된 콘텐츠에 라벨을 붙이고, 게시 전에 검토를 요구하고, 중복과 낡은 항목을 폐기하고, 중복과 사용을 추적하십시오. 지식 베이스의 유용성은 사용자가 얼마나 신뢰하는지에 비례합니다. 아무도 쓰지 않고 아무도 보증할 수 없는 문서는 제거하십시오(주제 3.6, 지식 관리 지표 참조).
7. 경보와 티켓 흐름을 깨끗하게 유지하십시오. AI가 경보나 요약에서 티켓을 만든다면 유용한 비중과 중복을 측정하십시오. 공격적으로 조정하십시오. 떨어지는 신호 대 잡음비를 그 자체로 인시던트로 다루십시오. 진짜 문제가 올 때 대응을 해치기 때문입니다.
고리를 끊고 기준선을 지켜보십시오
8. 생성된 콘텐츠가 점검 없이 스스로를 먹이지 못하게 하십시오. 어시스턴트가 지식 베이스, 티켓 이력, 과거 보고서에 기대는 곳에서는 그 원천의 생성 자료가 검토되었거나, 라벨이 붙고 그에 맞게 가중되었는지 확인하십시오. 사슬을 표본 조사하십시오. 답변 하나를 골라 원천을 거슬러 추적해 어디서 왔는지 보십시오. 점검되지 않은 고리는 오류를 증폭합니다.
9. 데이터가 바뀌면 기준선을 다시 잡으십시오. AI를 도입한 뒤 추세 차트에 주석을 달고, 데이터의 성격이 바뀐 곳에서는 새 기준선을 시작하십시오. 총계뿐 아니라 분포를 점검하십시오. 티켓 길이, 범주 구성, 생성 시간이 모두 바뀔 수 있습니다. 지표 표류 표시가 이런 대화를 촉구합니다(주제 1.6, 서비스 지표를 위한 통계 소양 참조).
10. 반동을 찾으십시오. 과업이 값싸질 때 그에 대한 수요가 늘 것인지 물으십시오. 절약한 시간이 가치 낮은 더 많은 산출에 흡수되지 않도록 그것을 어떻게 쓸지 미리 결정하십시오. 같은 노력으로 두 배의 보고서를 만드는 팀은 덜 유용한 일을 하고 있을 수 있습니다.
사람의 주의를 고리에 유지하십시오
11. 검토자와 사용자의 주의를 보호하십시오. 검토 용량과 주의는 희소합니다. 사람들이 읽어야 하는 자료의 양을 줄이고, 검토자에게 현실적인 부하를 주고, 무엇이 더 어려워지고 있는지 물으십시오. 지속 가능한 속도에는 읽고 판단하는 속도가 포함됩니다(주제 9.2, 만족도와 웰빙 지표 참조).
12. 사용자와 이해관계자에게 신호가 분명한지 물으십시오. 산출물을 쓰는 사람들의 지속적 참여가 최선의 시험입니다. 지식 베이스가 쓰기 더 쉬워졌는지 어려워졌는지, 보고서가 필요한 것을 알려 주는지, 큐가 더 분명하게 느껴지는지 물으십시오. 그들의 답과 의견을 숫자 옆에서 읽어야 합니다.
악용 방식과 방호책
| 지표 | 악용되는 방식 | 짝을 이루는 방호책 지표 또는 실천 |
|---|---|---|
| 산출 대 성과 비율 | 물량과 함께 오르는 성과 측정치를 고름, 기간을 바꿈 | 레지스트리에 고정한 성과, 만족도와 재개방률과 비교 |
| 유용한 항목 비중 | 쉬운 항목을 표본 추출함, 관대한 기준, 생산자의 영향을 받는 검토자 | 무작위 표본, 서면 기준, 독립적이고 순환하는 검토자 |
| 검증 부담 | 검토 시간을 기록하지 않음, 점검을 하류 팀으로 옮김 | 하류 재작업 포함, 검토자에게 부하를 물음 |
| 콘텐츠 중복률 | 중복을 놓치는 좁은 매칭 규칙, 서로 다른 항목을 병합함 | 중복을 손으로 표본 조사, 병합 규칙 기록 |
| 생성된 지식의 검토 비중 | 읽지 않고 검토를 완료로 표시함, 일괄 검토 | 검토의 실질을 표본 조사, 검토당 시간, 게시 항목의 오류율 |
| 해결에 비춘 백로그 유입 | 항목을 자동으로 닫음, 항목을 쪼갬 | 해결 품질 점검, 재개방률, 닫은 항목 표본 조사 |
| 지표 표류 표시 | 일을 피하려고 표시하지 않음, 모든 것을 표시함 | 분기마다 모든 지표 검토, 각 표시에 결정 요구 |
건강한 수치는 물량이 늘면서도 안정적이거나 오르는 유용한 항목 비중, 알려져 있고 감당할 수 있는 검증 부담, 낮은 중복과 검토된 생성 콘텐츠가 있는 지식 베이스, 신호가 분명한 큐, 성과로 시작하는 리더십의 관점입니다.
상충 관계: 장점과 단점
| 접근 방식 | 강점 | 약점 |
|---|---|---|
| 산출 세기 | 쉽고 익숙함 | 부풀려짐, 물량을 보상함 |
| 성과 측정 | 가치를 반영함 | 더 느림, 귀속하기 더 어려움 |
| 표본 조사하고 판단 | 희석을 감지함 | 숙련된 검토자가 필요함, 노력 |
| 자동 품질 점수 | 확장됨 | 또 다른 모델의 의견, 같은 사각지대를 공유할 수 있음 |
| 생성된 모든 것을 검토 | 안전함 | 이익을 없앰, 검토자 과부하 |
| 표본 검토 | 실용적임 | 일부 나쁜 항목이 통과함 |
| 열린 생성 허용 | 빠르고 넓음 | 잡음, 신뢰 침식 |
| 승인된 사용으로 생성 제한 | 더 깨끗한 신호 | 더 느린 도입, 놓친 이익 |
실용적인 답은 성과를 측정하고, 사람과 함께 유용성을 표본 조사해 판단하고, 검토 없이 공유 저장소에 들어가는 것을 제한하고, 기준선을 다시 보는 것입니다. 자동 점수는 판사가 아니라 보조로 쓰십시오.
팀과 논의할 질문
1. AI를 쓰기 시작한 뒤 오른 숫자는 무엇이며, 그것이 우리가 섬기는 사람들에게 무엇을 해 주었나요? 숫자를 나열하십시오. 각각에 대해 그것이 반영하려던 성과를 보십시오. 진행자는 성과가 움직이지 않은 곳을 메모해야 합니다. 그 숫자를 유용성 점검과 짝지우십시오.
2. 지난달 우리가 게시하거나 만든 것 중 한 줄씩 기꺼이 방어할 수 있는 것은 얼마인가요? 무작위 표본을 뽑아 함께 읽으십시오. 유용한 것, 얇은 것, 틀린 것, 중복된 것을 표시하십시오. 비율과 원인을 논의하십시오. 공유 저장소에 들어가는 것의 기준에 합의하십시오.
3. 점검이 우리의 병목이 되고 있는 곳은 어디인가요? 검토자에게 물으십시오. 검토 큐, 검토 깊이, 그들이 이제 지는 노력을 보십시오. 한 번의 검토당 생성 항목의 크기나 수에 대한 한도와 부담을 측정하는 방법에 합의하십시오.
4. 여기서 어떤 생성된 콘텐츠가 다른 생성된 콘텐츠에 공급되고 있나요? 전형적인 답변을 원천으로 거슬러 추적하십시오. 사슬은 어디서 시작했습니까? 사람이 사슬을 점검하거나 콘텐츠에 라벨을 붙여야 할 곳을 논의하십시오.
5. 사용자는 지금 우리 지식 베이스에 대해 1년 전과 비교해 뭐라고 할까요? 최근 의견을 읽고 사용 데이터를 보십시오. 신뢰할 만한 답을 찾는 것이 더 쉬워졌는지 어려워졌는지 물으십시오. 정리 하나와 새 콘텐츠에 대한 규칙 하나에 합의하십시오.
6. 우리 추세 중 새 기준선으로 다시 시작해야 하는 것은 무엇인가요? 물량이나 항목이 만들어지는 방식에 의존하는 지표를 나열하십시오. AI가 온 뒤 모양의 변화를 찾으십시오. 추세에 주석을 달고 어느 것이 새 기준선이 필요한지 결정하십시오.
네 가지 관점
제품 및 전달 팀
전달 팀은 물량 상당 부분을 만들고 유지보수를 짊어집니다. 더 작고 더 분명한 변경을 선호하고, 생성된 자료를 검토하고 라벨을 붙이고, 유지와 재작업을 지켜봐야 합니다. 생성된 물량에 기반한 지표를 거부하고 성과 측정치를 요청해야 합니다.
서비스 및 운영 팀
운영 팀은 희석이 해치는 큐, 경보, 지식 베이스 안에서 삽니다. AI가 만든 티켓과 경보를 조정해 신호를 강하게 유지하고, 생성된 지식을 게시 전에 검토하고, 흐름이 잡음이 될 때 보고해야 합니다. 유용성을 판단하기에 가장 좋은 위치에 있습니다.
리더십과 거버넌스
리더는 인플레이션이 왜곡하는 대시보드를 받습니다. 성과를 먼저 요청하고, 물량 옆에 유용성 점검을 요구하고, 검토 용량에 자금을 대고, 일부 측정치에 기준선 재설정이 필요함을 받아들여야 합니다. 거버넌스는 공유 저장소의 생성 콘텐츠가 검토되고 라벨이 붙었는지 점검해야 합니다.
고객과 사용자
답이 틀리고, 문서가 서로 모순되고, 답장이 길고 공허할 때 사용자가 희석의 비용을 부담합니다. 짧고, 올바르고, 관련 있는 도움을 원합니다. 받는 것의 품질에 대한 그들의 반응은 신호가 살아남았는지에 대한 직접적인 시험입니다.
실제 적용: 서비스 관리 사례
한 글로벌 제약 회사의 IT 그룹이 지식 문서 초안 작성, 티켓 요약, 주간 상태 보고서 준비를 위한 AI 어시스턴트를 활성화합니다. 한 분기 안에 대시보드는 훌륭해 보입니다. 아래 숫자는 예시입니다.
생성된 지식 문서가 월 140건에서 610건으로 오릅니다. 티켓에 AI가 쓴 상세한 요약이 붙습니다. 주간 보고서는 열두 쪽에 이릅니다. 서비스 품질 관리자는 셀프서비스 만족도가 떨어졌고 서비스 데스크가 "문서가 도움이 안 되었다"는 접촉이 늘었다고 보고하는 것을 알아차립니다. 그는 두 명의 경험 있는 상담원과 새 문서 100건을 표본 조사합니다. 54건만이 유용하다고 판단됩니다. 23건은 기존 문서와 중복되고, 15건은 낡거나 틀린 단계를 담고 있으며, 8건은 행동하기에 너무 모호합니다. 새 문서의 71퍼센트가 사람의 검토 없이 게시되었습니다. 지식 베이스는 이제 약 3,200건의 문서를 담고 있으며, 그가 추정하는 콘텐츠 중복률은 1년 전의 9퍼센트에 비해 28퍼센트입니다. 상담원들은 신뢰할 만한 답을 찾는 데 더 오래 걸린다고 보고합니다. 서비스 데스크 문서 편집자의 검증 부담은 12시간에서 주당 약 40시간으로 늘었습니다. AI가 쓴 티켓 요약은 이후의 AI 생성 답장이 아무도 쓰지 않은 텍스트에 의존하게 만들고, 다섯 건의 답장을 원천으로 거슬러 추적하자 둘이 문제를 잘못 진술한 요약에 의존했습니다. 주간 상태 보고서를 읽어 보면 이전 것에 없던 말이 거의 없고, 이해관계자들은 두 쪽 너머를 읽기를 멈췄습니다.
그는 네 가지 변경을 제안하고 서비스 리더십 팀과 지식 소유자가 채택합니다. 생성된 문서는 게시 전에 지명된 편집자의 검토가 필요하고 승인될 때까지 라벨이 붙습니다. 주제 군집당 하나의 생성 문서라는 한도가 중복을 막고, 일괄 정리가 중복된 항목을 병합하거나 폐기합니다. 보고서 템플릿은 성과로 시작하는 두 쪽으로 줄고, AI는 사람이 이후 편집하는 부분의 초안에만 씁니다. 티켓 요약은 생성된 것으로 표시되고 표본을 매달 점검합니다. 대시보드는 문서 건수 옆에 유용한 항목 비중, 중복률, 검토 비중, 검증 부담을 보고합니다.
두 분기 뒤 월 생성 문서는 190건으로 줄고, 유용한 항목 비중은 91퍼센트로 오르고, 중복률은 11퍼센트로 떨어지고, 검토 비중은 100퍼센트이고, 검증 부담은 주당 약 16시간으로 안정됩니다. 셀프서비스 만족도가 회복되고 "문서가 도움이 안 되었다" 접촉이 줄어듭니다. 이해관계자들은 두 쪽 보고서를 읽습니다. 한 이사가 AI 프로그램의 가치를 보이려고 월 1,000건의 문서라는 목표를 요청합니다. 서비스 품질 관리자는 건수가 문제였다고 설명하며 유용성과 사용을 추적하자고 제안합니다. 결정은 기록됩니다.
애자일, AI, 자동화, 분석
애자일
각 건수가 여전히 유용성을 반영하는지 정기적으로 검토하면 팀이 인플레이션을 일찍 알아차리는 데 도움이 되고, 이해관계자가 실제로 무엇을 쓰는지 알려 줄 수 있습니다. 주의할 점은 인플레이션을 알아차린 뒤 건수를 조이면 주기를 다시 시작하게 된다는 것입니다.
AI
AI는 물량과 속도를 값싸게 만들므로 물량이나 속도를 세는 모든 것이 부풀려집니다. 각각을 사람이 유용하다고 판단한 항목의 비율과 검증 부담과 짝지우고 중복 콘텐츠를 점검하십시오. 주의할 점은 AI 출력을 점검하는 데 쓰는 AI가 같은 사각지대를 공유할 수 있으므로 사람의 표본 조사를 유지해야 한다는 것입니다.
자동화
중복, 유사 중복, 낡은 콘텐츠의 탐지를 자동화하고, 탐지를 거짓 양성으로 측정하십시오. 주의할 점은 자동 정리가 드물지만 중요한 항목을 제거할 수 있다는 것입니다.
분석
산출 대 성과 비율과 유용한 항목 비중을 표본 크기와 함께 보고하십시오. 이는 어떤 건수의 보고를 멈출지에 정보를 줍니다. 주의할 점은 비율이 성과를 어떻게 정의하는지에 달려 있으므로 밝혀야 한다는 것입니다.
부문별 관점
스타트업. 생성은 값싸고 검토 시간은 희소합니다. 문서와 티켓을 짧게 유지하고, 고객이 읽을 것을 검토하고, 자유롭게 삭제하십시오. 작고 올바른 문서 집합이 크고 의심스러운 집합보다 낫습니다.
소규모 사업. 검토 용량이 거의 없으므로 도구가 만드는 것을 제한하십시오. 검증된 소수의 안내서와 템플릿을 선호하십시오. 점검 없이 생성된 자료를 공개 페이지에 게시하는 것을 조심하십시오.
대기업. 규모는 잡음을 증폭합니다. 소유자, 라벨, 검토 규칙이 있는 콘텐츠 거버넌스를 세우고, 지식 베이스 전반의 유용성을 측정하고, 주기적으로 정리하십시오. 기준을 팀에 걸쳐 공유하고 팀이 아니라 추세를 비교하십시오.
정부 및 공공 부문. 공공 콘텐츠는 정확하고 접근 가능해야 하며 오류가 해를 끼칠 수 있습니다. 생성된 공공 정보의 검토를 요구하고, 어떻게 만들어졌는지 기록을 보관하고, 쉬운 언어와 접근성 표준을 적용하십시오. 보존과 기록 규칙이 생성 자료에 적용될 수 있습니다(주제 8.5, 규제 및 정부 보고 참조).
비즈니스 케이스: 동기, ROI, TCO
인플레이션에 대비하는 비용은 적당합니다. 표본 조사를 위한 검토 시간, 생성 콘텐츠를 위한 편집 노력, 중복 탐지를 위한 도구, 추세의 기준선을 다시 잡는 노력입니다. 하지 않는 비용은 더 크지만 퍼져 있습니다. 셀프서비스를 신뢰하지 않게 된 사용자, 소진된 검토자, 부풀려진 숫자로 내린 결정, 정리 프로젝트입니다.
자체 데이터로 사례를 만드십시오. 시간에 따른 유용한 항목 비중과 검증 부담, 도움이 안 되는 콘텐츠가 일으킨 접촉의 물량, 지식 베이스 정리의 비용입니다. 도구, 과업, 방법에 따라 크게 다른 생성 콘텐츠의 품질에 대한 공개 수치를 쓰는 것을 피하십시오. 틀린 정보를 게시해서 입는 평판 피해의 회피된 비용을 포함하십시오(주제 7.7, 투자 수익과 비즈니스 케이스 참조).
안티패턴과 함정
- 물량을 축하하기. 잡음을 보상합니다. 성과와 유용성을 축하하십시오.
- 생산성 이야기로서의 첫 초안 속도. 절감이 점검에서 사라질 수 있습니다. 검증된 결과까지의 시간을 재십시오.
- 검토 없이 생성된 콘텐츠를 게시하기. 신뢰가 조용히 침식됩니다. 검토하고 라벨을 붙이십시오.
- 생성된 콘텐츠가 생성에 공급되게 두기. 오류가 복리로 쌓입니다. 사슬을 점검하십시오.
- 바뀌지 않은 기준선. 기술 전환 뒤 추세가 오해를 부릅니다. 주석을 달고 기준선을 다시 잡으십시오.
- 검토자에게 과부하 주기. 검토가 도장 찍기가 됩니다. 물량을 제한하고 부담을 측정하십시오.
- 모든 것에 AI 판사 쓰기. 생산자의 사각지대를 공유할 수 있습니다. 사람을 고리에 두십시오.
- 반동 무시하기. 값싸진 일이 더 많은 일을 끌어옵니다. 절약한 시간이 무엇을 위한 것인지 정하십시오.
성숙도 모델
| 차원 | 1 시작 | 2 발전 | 3 표준화 | 4 관리 | 5 조율 |
|---|---|---|---|---|---|
| 짝짓기와 표본 조사 | 물량만 보고함 | 비공식적 품질 인상 | 모든 물량 지표를 표본 조사한 유용성 점검과 짝지움 | 물량이 아니라 검토에 대한 목표로 유용성, 부담, 중복을 관리함 | 신호 품질의 조직 간 관점, 파트너와 기준을 공유함 |
| 콘텐츠와 고리 | 생성된 콘텐츠가 섞여 있음 | 일부 라벨링 | 생성된 콘텐츠에 라벨을 붙이고 게시 전 검토, 사슬을 표본 조사함 | 고리를 모니터링하고, 저장소를 관리하고, 일정에 따라 중복을 폐기함 | 도구와 공급업체에 걸쳐 처음부터 끝까지 출처를 추적함 |
| 기준선과 주의 | 전환에 걸쳐 추세를 읽음 | 일부 차트에 주석 | 데이터가 바뀐 곳에서 기준선을 재설정하고 반동을 고려함 | 표류 표시를 분기마다 검토하고 검토자 부하를 관리함 | 이해관계자와 함께 지표 설계가 기술 변화에 지속적으로 적응함 |
체크리스트
- 각 물량 또는 속도 지표에 사람이 판단한 유용성 짝이 있다.
- AI가 건드린 항목의 무작위 표본을 서면 기준에 비춰 매달 검토한다.
- 검증 부담을 추정해 추세로 추적한다.
- 생성된 지식에 라벨을 붙이고 게시 전에 검토한다.
- 지식 베이스의 중복을 측정하고 줄인다.
- 경보와 티켓 흐름의 유용한 비중과 중복을 모니터링한다.
- 생성된 출력에서 원천까지의 사슬을 표본 조사한다.
- AI 도입에 걸친 추세에 주석을 달거나 기준선을 다시 잡는다.
- 리더십 보고서가 성과로 시작한다.
- 사용자와 이해관계자에게 신호가 더 분명해졌는지 잡음이 늘었는지 묻는다.
AI 프롬프트
유용성 기준을 만듭니다.
[조직 유형]에서 [지식 문서, 티켓 요약, 상태 보고서]가 유용한지 판단하는 짧은
기준(여섯 개 이하)의 초안을 작성해 주세요. 올바름, 실제 필요와의 관련성, 중복,
최신성, 명확성을 포함하고, 3단계 평가와 각 단계의 예를 주세요. 통계를 지어내지
마세요. 가정한 내용과 검토자의 일관성을 유지하는 방법을 나열해 주세요.
신호의 하락을 분석합니다.
[과업]에 AI를 도입한 뒤 다음 수치가 바뀌었습니다: [물량, 해결, 만족도, 재개방률,
검토자 시간 붙여 넣기]. 패턴이 인플레이션이나 희석에 대해 시사하는 것, 더 쉬워진
생성 때문일 수 있는 변화, 다음에 표본 조사할 것, 새 기준선이 필요할 수 있는
지표를 설명해 주세요. 데이터가 뒷받침하지 못하는 원인을 가정하지 마세요. 가정한
내용을 나열해 주세요.
지식 베이스 정리를 계획합니다.
우리 지식 베이스에는 문서가 [수]건 있고, 그중 [수]건은 지난 [기간]에 생성되었습니다.
정리 계획을 제안해 주세요. 중복과 낡은 항목을 탐지하는 방법, 사용으로 우선순위를
정하는 방법, 생성된 문서를 검토하는 방법, 재발을 막는 규칙, 추적할 측정치입니다.
특정 도구를 가정하지 마세요. 가정한 내용과 위험을 나열해 주세요.
생성된 콘텐츠의 사슬을 추적합니다.
다음은 AI가 생성한 답변과 그것이 기댄 출처입니다: [붙여 넣기]. 각 주장을 출처까지
추적하고 출처가 사람이 쓴 것인지, 검토된 생성 콘텐츠인지, 검토되지 않은 생성
콘텐츠인지 표시해 주세요. 오류가 들어왔을 수 있는 곳을 식별하고 점검을 제안해
주세요. 텍스트 너머의 사실을 가정하지 마세요. 가정한 내용을 나열해 주세요.
AI 스킬
- 서비스 관리 지표 스킬: 물량 또는 속도 지표의 유용성 짝을 찾을 때 사용합니다.
- 서비스 관리 지표 유지보수 스킬: AI의 영향을 받는 지표가 물량을 표본 조사한 유용성과 짝짓고 악용 방식과 방호책을 갖추고 있는지 확인할 때 사용합니다.
핵심 정리
- AI가 산출을 값싸게 만들면 물량과 속도 지표가 부풀려지고 유용한 비율이 떨어질 수 있습니다.
- 모든 물량이나 속도 측정치를 표본 조사한, 사람이 판단한 유용성 점검과 짝지우십시오.
- 점검이 병목이 되므로 검증된 결과까지의 시간과 검증 부담을 측정하십시오.
- 생성된 콘텐츠가 공유 저장소에 들어가기 전에 라벨을 붙이고 검토하며, 고리가 점검 없이 스스로를 먹이지 못하게 하십시오.
- 기술 전환 뒤에 추세의 기준선을 다시 잡고, 보고서를 성과로 시작하십시오.
- 절약한 시간이 무엇을 위한 것인지 미리 정하고, 검토자와 사용자의 주의를 보호하십시오.
참고 문헌과 더 읽을거리
- Shumailov, I., Shumaylov, Z., Zhao, Y., Papernot, N., Anderson, R., and Gal, Y., "AI models collapse when trained on recursively generated data," Nature, 631, 2024.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Campbell, D. T., "Assessing the impact of planned social change," Evaluation and Program Planning, 2(1), 1979.
- Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
- Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
- National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Goodhart's law.
- Wikipedia, Campbell's law.
- Wikipedia, Vanity metric.
- Wikipedia, Information overload.
- Wikipedia, Signal-to-noise ratio.
- Wikipedia, Alert fatigue.
- Wikipedia, AI slop.
- Wikipedia, Brandolini's law.
- Wikipedia, Jevons paradox.
- Wikipedia, Model collapse.
- Wikipedia, Concept drift.