굿하트의 법칙과 지표의 심리학
보상하거나 순위를 매기거나 위협하는 숫자는 그것이 설명하려던 일 자체를 바꾸기 시작하므로, 이 책의 모든 지표는 팀이 논의할 질문으로 쓰이며 악용을 잡아내는 방호책과 짝을 이룹니다.
개요와 동기
굿하트의 법칙(Goodhart's law)은 측정 분야에서 가장 오래된 경고입니다. 경제학자 찰스 굿하트는 1975년 영국 통화 정책에 관해 쓰면서, 통계적 규칙성은 당국이 통제 목적으로 압력을 가하는 순간 무너지는 경향이 있음을 지적했습니다. 널리 알려진 표현은 나중에 나왔습니다. 인류학자 매릴린 스트래선은 1997년에 "측정치가 목표가 되면 더 이상 좋은 측정치가 아니다"라고 표현했습니다. 두 문장이 말하는 바는 같습니다. 숫자로 사람을 이끌기 시작하는 순간, 사람들은 숫자를 이끌게 됩니다.
같은 생각에는 다른 이름도 있습니다. 사회과학자 도널드 캠벨의 캠벨의 법칙(Campbell's law)은 정량 지표가 의사 결정에 많이 쓰일수록 부패의 압력을 더 받고, 감시하려던 과정을 더 왜곡한다고 말합니다. 코브라 효과(cobra effect)는 없애려던 대상을 오히려 늘려 버린 현상금 이야기입니다. 모두 왜곡된 유인(perverse incentive)의 사례, 즉 보상하는 쪽이 원한 것에서 행동을 멀어지게 하는 보상입니다.
IT 서비스를 만들고 운영하는 팀은 특히 노출되기 쉽습니다. 지속적 전달과 ITIL이 체계화한 IT 서비스 관리(ITSM)는 모두 타임스탬프, 건수, 상태를 꾸준히 만들어 냅니다. 티켓팅 시스템은 티켓이 열린 때, 배정된 때, 시계가 멈춘 때, 닫힌 때를 기록합니다. 전달 도구는 작업이 시작되고 끝난 때를 기록합니다. 이 숫자들은 수집하기 싸고, 차트로 그리기 쉽고, 목표로 바꾸기도 쉽습니다. 누구에게도 도움이 되지 않으면서 숫자만 움직이기도 쉽습니다.
이 주제와 책 전체에서 세 가지 용어가 반복됩니다. 측정치는 무언가를 설명합니다. 목표는 누군가 달성해야 하는 숫자입니다. 방호책은 첫 번째 측정치가 악용되고 있다면 움직일 것을 미리 골라 둔 두 번째 측정치 또는 실천입니다. 측정치에서 목표로 넘어가는 단계에서 문제가 시작되며, 방호책은 그것을 알아차리는 방법입니다.
이 주제는 다른 모든 주제를 지배하는 규칙을 정합니다. 책의 각 지표군은 악용 방식(전형적으로 어떻게 악용되는가)과 방호책을 함께 제시합니다. 뒤의 주제가 이를 건너뛴 것처럼 보이면 그 주제는 미완성으로 보십시오.
사람들이 숫자를 악용하는 이유
악용은 대개 부정직함이 아닙니다. 유능한 사람들이 눈앞의 유인에 보이는 평범한 반응입니다. 네 가지 힘이 작용합니다.
- 압력. 누군가의 보너스, 평가, 계약 갱신, 평판이 숫자에 달려 있습니다. 공식적인 연결이 없어도 사람들은 리더십이 무엇을 차트로 그리는지를 보고 무엇을 중시하는지 짐작합니다.
- 대리 목표화. 대리 목표화(surrogation)는 측정치를 그것이 나타내는 대상 자체인 것처럼 다루는 경향입니다. 조직에서 이를 연구한 학자들은 측정치에 연동된 인센티브 보상이 이를 더 일어나기 쉽게 한다는 점을 발견했습니다. "처리한 티켓 수"를 추적하는 팀은 목표가 문제 해결이 아니라 티켓 종료라고 믿기 시작합니다.
- 두려움. 나쁜 숫자가 비난으로 이어지면 사람들은 나쁜 소식을 숨깁니다. 인시던트는 낮은 등급으로 바뀌고, 장애는 "계획된 유지보수"로 이름이 바뀌고, 결함은 기능 요청으로 기록됩니다.
- 국소 최적화. 팀은 평가받는 부분을 개선하고 비용은 평가받지 않는 부분으로 떠넘깁니다. 서비스 데스크는 빨리 닫고, 2차 지원은 반복되는 건을 떠안습니다.
이 힘들을 이해하는 것이 중요한 이유는 해법이 더 엄격한 단속이 아니기 때문입니다. 악용을 합리적으로 만드는 조건을 바꾸는 것이 해법입니다.
핵심 원칙
- 판단하려고 측정하지 말고 배우려고 측정하십시오. 숫자를 일하는 팀에게 먼저 보여 주고, 질문을 던지는 데 쓰십시오.
- 모든 지표에 방호책을 짝지으십시오. 속도에는 품질을, 양에는 성과를, 비용에는 경험을 짝지으십시오.
- 팀과 시스템을 설명하고, 사람의 순위는 절대 매기지 마십시오. 개인별 순위표는 데이터 원천을 오염시키는 가장 빠른 길입니다.
- 목표보다 성과와 추세를 선호하십시오. 방향과 대화가 기준선보다 낫습니다.
- 시계를 포함해 정의를 적어 두십시오. 모호한 정의에 악용이 숨어듭니다.
- 변화를 예상하십시오. 지표가 더 이상 결정에 정보를 주지 못하면 폐기하거나 재설계하십시오.
- 나쁜 소식을 안전하게 만드십시오. 정직한 보고가 처벌받으면 데이터가 거짓말을 합니다.
지표 정의
아래 지표는 서비스나 전달의 측정치가 아닙니다. 지표 운영 자체의 건강을 재는 측정치이며, 이 책의 모든 지표 표가 취하는 형식을 보여 줍니다. 처음 세 가지는 뒤의 주제들에 걸쳐 나오는 방호책의 예입니다.
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 |
|---|---|---|---|---|---|---|---|
| 방호책 적용률 | 이름이 있고 추적되는 방호책이 있는 보고 지표의 비율 | 방호책이 있는 지표 수 / 보고된 지표 수 | 퍼센트 | 지표 레지스트리(주제 1.4, 지표 거버넌스와 소유권 참조) | 측정 및 보고, 지속적 개선 | 업무 합의 회고 | 분기 |
| 재개방률 | 정해진 기간 안에 다시 열린 종료 티켓 또는 작업 항목의 비율 | 14일 안에 다시 열린 항목 수 / 해당 기간에 종료된 항목 수 | 퍼센트 | ITSM 도구 또는 이슈 트래커의 상태 이력 | 인시던트 관리, 문제 관리 | 완료의 정의, 유출 결함 | 월 |
| 정의 변경 건수 | 기간 중 지표 정의나 상태 워크플로가 이유와 함께 변경된 횟수 | 정의 변경 로그의 항목 수 | 건수 | 지표 레지스트리 변경 로그 | 측정 및 보고 | 업무 합의 | 분기 |
| 지표 활용률 | 해당 기간에 결정에 인용된 보고 지표의 비율 | 기록된 결정에 인용된 지표 수 / 보고된 지표 수 | 퍼센트 | 결정 로그 또는 검토 메모 | 지속적 개선 | 회고 실행 항목 | 분기 |
| 인식 격차 | 같은 서비스에 대한 만족도 설문 결과와 티켓에서 도출한 서비스 수준의 차이 | 설문 기반 비율 빼기 트래커 기반 비율 | 퍼센트 포인트 | 설문 도구와 ITSM 도구 | 서비스 수준 관리 | 이해관계자 검토 피드백 | 분기 |
재개방률은 같은 레코드에서 다시 열린 항목만 셉니다. 닫힌 뒤 새 티켓으로 다시 접수된 항목은 나타나지 않습니다. 다음 절이 말하려는 요점의 일부는 방호책에도 자체 방호책이 필요하다는 것이며, 중복 티켓을 원본에 연결하는 것이 그 예입니다.
권장 사항
측정 체계를 설계하십시오
1. 숫자가 아니라 질문에서 시작하십시오. 지표를 추가하기 전에 그것이 답하는 질문과 정보를 주는 결정을 적으십시오. "사용자들이 처음에 문제를 해결받고 있는가?"는 질문입니다. "평균 처리 시간을 줄이자"는 질문인 척하는 목표입니다. 연결된 결정이 없는 지표는 폐기 후보입니다.
2. 긴장 관계에 있는 지표를 고르십시오. 숫자 하나는 과도한 최적화를 부르므로 서로 당기는 짝을 고르십시오. 리드 타임과 변경 실패율, 티켓 종료 속도와 재개방률, 가용성과 사용자가 보고한 경험이 그 예입니다. 짝이 공식일 필요는 없습니다. 같은 화면에 함께 보이기만 하면 됩니다.
3. 시계와 제외 항목을 정의하십시오. 모든 시간 측정치에 대해 시계가 어디서 시작하고, 어디서 멈추고, 언제 일시 정지할 수 있는지 적으십시오. 서비스 데이터의 악용 대부분은 이 경계에 있습니다. "고객 대기" 상태로 옮긴 티켓은 서비스 수준 시계를 멈추게 하고, 적용된 뒤에야 기록된 변경은 변경 리드 타임에서 빠져나갑니다. 일시 정지 상태가 있다면 얼마나 자주 쓰이는지 보고하십시오.
4. 분포와 백분위수를 쓰십시오. 티켓 해결 시간의 평균은 쉬운 티켓 몇 건이 빨리 닫히고 어려운 티켓은 쌓여 가는 가운데서도 좋아질 수 있습니다. 중앙값과 높은 백분위수(예: 85번째 또는 95번째)를 보여 주고, 가장 오래된 미해결 항목을 보여 주십시오. 작업 항목 경과 시간과 가장 오래된 미해결 티켓은 실제로 일을 끝내지 않고는 악용하기 어렵습니다(주제 2.1, 흐름 측정치 참조).
5. 지표 레지스트리를 유지하십시오. 짧은 레지스트리에 각 지표의 소유자, 정의, 데이터 원천, 악용 방식, 방호책, 마지막 검토일을 적습니다. 지루하지만 이 주제에서 가장 효과적인 단일 습관입니다(주제 1.4, 지표 거버넌스와 소유권 참조).
지표를 안전하게 도입하십시오
6. 팀에 먼저, 원시 데이터로 보여 주십시오. 리더십보다 먼저 숫자를 보는 팀은 그 정확성에 더 기꺼이 의문을 제기합니다. 차트가 아니라 기반이 되는 항목에서 시작하십시오. 데이터를 만든 사람들과의 대화를 견디지 못하는 데이터는 대시보드도 견디지 못합니다.
7. 학습용 화면과 책임용 화면을 분리하십시오. 팀의 작업용 화면에는 보기 흉한 것을 포함해 많은 측정치가 있어도 됩니다. 리더십에게 가는 것은 작고 안정적인 집합이어야 합니다. 리더십이 작업용 화면을 요구하면, 작업용 화면이 더 좋아 보이도록 바뀔 것을 예상하십시오.
8. 개인의 급여, 징계, 순위를 지표에 연결하지 마십시오. 팀에게는 숫자를 설명하고 개선하라고 요청할 수 있습니다. 티켓 건수, 스토리 포인트, 커밋에 대한 개인 목표는 사람들에게 건수를 극대화하도록 가르칩니다. 핵심 성과 지표(key performance indicator) 접근법은 지표를 시스템 전체를 위해 고르고 정기적으로 검토할 때 작동할 수 있습니다. 사람별 점수표가 되는 순간 실패합니다.
9. 정직한 보고를 안전하게 만드십시오. 심리적 안전감(psychological safety)은 실수나 우려를 말해도 처벌받지 않는다는 믿음입니다. 인시던트에 대한 비난 없는 검토가 실천 사례입니다. 이것이 없으면 인시던트 건수는 잘못된 이유로 줄어듭니다. 사람들이 보고를 그만두기 때문입니다.
체계를 정직하게 유지하십시오
10. 악용 검토를 실행하십시오. 분기마다 보고 지표별로 팀에 한 가지를 물으십시오. "아무에게도 도움이 되지 않으면서 이 숫자를 좋아 보이게 하고 싶다면 우리는 무엇을 하겠는가?" 답을 적은 다음, 방호책이 각각을 잡아낼지 확인하십시오. 이 연습은 비용이 적게 들고, 유용한 아이디어를 내며, 대화를 의심에서 설계로 옮겨 줍니다.
11. 정의를 현실과 대조해 감사하십시오. 종료된 항목을 소수 표본으로 뽑아 읽어 보십시오. 정말 해결되었는지, 우선순위가 정직했는지, "고객 대기" 상태가 실제로 고객을 기다리고 있었는지 확인하십시오. 15분의 표본 검토가 한 달 치 대시보드보다 더 많은 것을 알려 주는 경우가 많습니다.
12. 지표를 폐기하십시오. 두 분기 동안 결정에 인용되지 않은 지표는 간접비입니다. 제거하고 그렇게 알리십시오. 신뢰받는 소수의 지표가 많은 지표보다 낫습니다.
악용 방식과 방호책
이 표는 위 절의 지표를 다룹니다. 뒤의 주제들은 같은 형식을 서비스와 전달 측정치에 적용합니다.
| 지표 | 악용되는 방식 | 짝을 이루는 방호책 지표 또는 실천 |
|---|---|---|
| 방호책 적용률 | 서류상으로만 방호책의 이름을 적고 실제로는 추적하지 않음 | 레지스트리를 검토합니다. 방호책의 최신 값이 같은 대시보드에 나타날 때만 인정합니다 |
| 재개방률 | 티켓을 다시 열지 않고 닫은 뒤 새로 접수함, 재개방이 기간 밖에 떨어지도록 기간을 늘림 | 중복 및 연결 티켓 비율, 여러 티켓에 걸친 같은 원인의 재발 |
| 정의 변경 건수 | 건수가 낮게 유지되도록 변경을 기록하지 않음, 아무에게도 알리지 않고 워크플로를 변경함 | 검토 때마다 도구의 상태 모델을 레지스트리와 비교합니다 |
| 지표 활용률 | 형식적으로 모든 지표를 결정 로그에 인용함 | 인용 때문에 무엇이 바뀌었는지 묻습니다. 로그를 표본 검토합니다 |
| 인식 격차 | 만족한 사용자만 설문함, 좋은 상호작용 직후에 설문하도록 유도함 | 설문 응답률과 응답자 구성, 검토에서 소리 내어 읽는 주관식 의견 |
건강한 상태란 변하는 지표 운영입니다. 정의는 기록된 이유로 조정되고, 지표는 오고 가며, 팀은 숫자가 바꾼 결정에 관한 이야기를 할 수 있습니다.
상충 관계: 장점과 단점
| 접근 방식 | 강점 | 약점 |
|---|---|---|
| 목표 없는 측정 | 악용을 줄이고 정직한 논의를 이끎 | 아무도 행동하지 않는 보고로 흐를 수 있음 |
| 방호책이 있는 목표 | 방향과 긴박감을 주고, 짝이 악용을 제한함 | 유지에 더 많은 일이 들고, 방호책도 시간이 지나면 악용됨 |
| 개인 지표 | 이해하기 쉽고 공정해 보임 | 데이터를 오염시키고 협업을 해침 |
| 팀 및 서비스 지표 | 일이 실제로 이루어지는 방식과 맞음 | 귀속이 더 어렵고, 개인의 지원 필요를 가림 |
| 적은 수의 지표 | 신뢰하고 기억하기 쉬움 | 사각지대가 생기고, 새 문제를 놓칠 수 있음 |
| 많은 수의 지표 | 넓은 범위를 다룸 | 주의가 분산되고, 각 지표의 관리가 약해짐 |
산문으로 답하면, 목표는 사용자가 요청한 서비스 수준 목표처럼 잘 이해되고 악용하기 어려운 조건에 아껴서 쓰는 것입니다. 그때에도 목표는 개인의 평가가 아니라 서비스에 연결하는 편이 좋습니다. 목표는 의사 결정에서 숫자를 없애는 것이 아닙니다. 숫자를 만드는 사람들을 같은 편으로 유지함으로써 숫자가 현실과 이어지게 하는 것입니다.
팀과 논의할 질문
1. 현재 대시보드에서 일을 개선하지 않고 숫자만 개선하고 싶은 유혹이 가장 큰 것은 무엇인가요? 사람들이 가장 먼저 보는 지표에서 시작해 리더십이 묻는 지표로 넘어가십시오. 구체적인 행동을 물으십시오. 압박을 받는다면 데이터에 무엇을 하겠습니까? 진행자는 판단 없이 모든 답을 기록해야 합니다. 그 목록이 레지스트리의 악용 방식이 되기 때문입니다. 마지막으로 그 행동 중 방호책이 잡아낼 것과 놓칠 것이 무엇인지 물으십시오.
2. 가장 중요한 시간 측정치에서 시계는 어디서 시작하고 멈추며, 누가 그렇게 정했나요? 그룹에게 티켓이나 작업 항목의 수명 주기를 화이트보드에 그리고 각 상태를 표시하게 하십시오. 고객 대기나 보류처럼 시간이 사라질 수 있는 상태를 찾으십시오. 각 상태가 얼마나 자주, 누구에 의해 쓰이는지 세어 보십시오. 이 대화에서 두 팀이 같은 단어를 다르게 쓰고 있음이 드러나는 일이 많습니다.
3. 숫자 때문에 도움이 안 되는 일을 하게 된 것은 언제가 마지막이었나요? 비난이 아니라 이야기를 청하십시오. 흔한 예는 확인 전에 티켓을 닫는 것, 배포 건수를 올리려고 변경을 쪼개는 것, 위반 보고를 피하려고 인시던트를 재분류하는 것입니다. 진행자는 그 사람이 무엇을 보호하려 했는지 물어야 합니다. 답을 보면 바꿔야 할 유인이 대개 드러납니다.
4. 우리 지표를 누가 보고, 그곳에서 지표는 어떻게 되나요? 각 지표를 팀에서 그 청중까지 추적해 보십시오. 팀이나 사람을 비교하는 데 쓰이는 버전이 있는지 물으십시오. 청중이 달랐다면 팀이 무엇을 보여 줄지 물으십시오. 팀이 보여 주는 숫자를 바꿀 곳에는 청중과 이야기해야 할 신뢰의 간극이 있습니다.
5. 가장 중요한 지표 다섯 개 각각의 방호책은 무엇이며, 같은 화면에 있나요? 칠판에 두 열짜리 목록을 만드십시오. 방호책이 없는 지표가 있다면 후보 하나와 한 분기 동안 시험할 소유자를 정하십시오. 방호책이 있지만 거의 보지 않는다면 이유를 논의하십시오. 지표의 단순한 반대에 불과한 방호책은 새로 알려 주는 것이 없으므로 고르지 마십시오.
6. 이번 분기에 어떤 지표를 폐기해야 할까요? 증거를 물으십시오. 마지막으로 결정에 쓰인 것이 언제입니까? 아무도 기억하지 못하면 시험 기간 동안 폐기하고 누가 알아차리는지 보십시오. 진행자는 폐기를 정상적인 일로 다뤄야 합니다. 지표를 절대 버리지 않는 팀은 아무도 신뢰하거나 읽지 않는 보고서만 남게 됩니다.
네 가지 관점
제품 및 전달 팀
전달 팀은 벨로시티, 처리량, 배포 건수에서 악용을 마주합니다. 특히 벨로시티(velocity)는 한 팀의 계획 도구이지 생산성의 측정치가 아니며, 이로 팀을 비교하면 추정치가 부풀려집니다. 전달 팀은 작업용 측정치는 스스로 간직하고, 바깥으로는 작은 집합만 공개하며, 속도 측정치마다 품질 측정치를 짝지어야 합니다(주제 2.5, 전달 예측과 계획 지표 참조).
서비스 및 운영 팀
서비스 팀은 해결 시간, 첫 접촉 해결, 서비스 수준 준수에서 악용을 마주합니다. 시계를 멈추는 상태와 우선순위 필드가 흔히 어긋나는 지점입니다. 운영 팀은 상태 전환을 정기적으로 감사하고, 일시 정지 상태의 사용을 보고하고, 속도 옆에서 재접촉과 재개방률을 지켜봐야 합니다. 온콜 팀은 호출되지 않음을 보상하는 측정치를 특히 조심해야 합니다. 그런 측정치는 정직한 경보를 벌하기 때문입니다(주제 3.3, 인시던트 대응 및 해결 시간 참조).
리더십과 거버넌스
리더는 의도하지 않아도 유인을 만듭니다. 검토에서 던진 질문("이게 왜 빨간색입니까?")은 팀에게 무엇을 숨겨야 하는지 가르칩니다. 리더는 팀이 숫자에서 무엇을 배웠는지 물어야 하고, 순위표를 회의실 밖에 두고, 솔직한 보고를 보호하고, 나쁜 숫자가 드러낸 개선 작업에 자금을 대야 합니다. 거버넌스 기구는 지표 레지스트리와 악용 검토를 보고의 일부로 기대하고, 지표 정의의 정해진 변경을 정상으로 받아들여야 합니다.
고객과 사용자
사용자는 악용의 효과를 서류상으로는 좋아 보이지만 실제로는 나쁘게 느껴지는 서비스로 경험합니다. 고치지 않은 채 닫힌 티켓, 계획된 것으로 표시된 장애, 자신에게 닿지 않은 설문이 그 예입니다. 사용자는 최고의 방호책이기도 합니다. 설문, 불만, 의견 형태의 피드백은 운영 숫자 옆에 두고 점수로 줄이지 말고 전부 읽어야 합니다(주제 6.1, 고객 만족도 지표 참조).
실제 적용: 서비스 관리 사례
한 지역 병원의 IT 부서가 서비스 데스크와 임상 애플리케이션을 만드는 여러 제품 팀을 운영합니다. 이 사례의 숫자는 예시입니다.
리더십은 인시던트의 90퍼센트를 합의된 시간 안에 닫는다는 목표를 세웁니다. 두 달 안에 대시보드는 94퍼센트를 보여 줍니다. 서비스 운영 책임자는 기뻐하면서도 불안합니다. 임상 직원의 불만이 줄지 않고 오히려 늘었기 때문입니다. 책임자는 팀에게 이 지표에 대한 악용 검토를 실행해 달라고 요청합니다.
팀은 티켓 수명 주기를 그려 봅니다. 티켓이 평균 두 번씩 "고객 대기"로 옮겨 가고, 그 상태에 머무는 시간이 늘어난 것을 발견합니다. 종료된 티켓 30건을 표본으로 뽑아 보니 7건이 전화 한 번 시도한 뒤 "사용자 무응답"이라는 메모와 함께 닫혀 있습니다. 재개방률이 일정한 것은 문제가 다시 생기면 사용자에게 "새 티켓을 접수하라"고 안내했기 때문이라는 점도 발견합니다.
팀은 세 가지를 바꿉니다. 첫째, 해결 시간 차트가 중앙값, 90번째 백분위수, 가장 오래된 미해결 티켓을 일시 정지 상태에 보낸 시간의 비율과 함께 보여 줍니다. 둘째, 대시보드에 재접촉률을 추가합니다. 같은 사용자가 14일 안에 같은 서비스에 대해 접수한 새 티켓의 비율로 정의합니다. 셋째, 종료된 티켓의 무작위 표본에 짧은 설문을 보내고, 월간 검토에서 그 주관식 의견을 읽습니다.
석 달 뒤 대표 준수 수치는 88퍼센트로 떨어지며, 나쁜 소식처럼 느껴집니다. 그러나 재접촉률은 내려갔고 해결되지 않은 문제에 관한 설문 의견도 줄었습니다. 운영 책임자는 리더십에게 예전 숫자가 부풀려져 있었으며 새 그림이 더 정직하다고 설명하고, 바로잡은 정의에 기반한 서비스 수준 목표를 받아들여 달라고 요청합니다. 결정 로그에 기록된 결정은 목표를 즉시 정하지 않고 한 분기 더 데이터를 본 뒤에 정하는 것입니다.
애자일, AI, 자동화, 분석
애자일
짧은 피드백 고리는 팀이 악용을 일찍 알아차리게 해 줍니다. 잘 맞는 실천은 정기 검토 때마다 원시 항목 몇 건을 읽고 이해관계자가 함께한 자리에서 대표 수치와 비교하는 것입니다. 주의할 점은 보고 속도를 보상하는 고리 자체가 목표가 될 수 있다는 것이므로, 각 검토의 목적을 학습에 두십시오.
AI
AI는 악용의 모습을 바꿉니다. 모델은 그럴듯한 해결 메모, 상태 업데이트, 티켓 분류를 대량으로 만들 수 있으므로, 그런 산출물을 세는 지표는 실제 일 없이도 충족될 수 있습니다. AI의 영향을 받는 모든 건수에 사람이 표본으로 확인하는 품질 점검을 짝지우고, 사람이 고친 AI 산출물의 비율을 보고하십시오. 주의할 점은 낮은 수정률이 좋은 초안을 뜻할 수도, 부주의한 검토를 뜻할 수도 있으므로 둘을 함께 읽어야 한다는 것입니다.
자동화
자동 수집은 데이터의 수동 편집을 없애 일부 악용 경로를 막습니다. 지표뿐 아니라 방호책도 자동화해 둘이 같은 화면에 나타나게 하십시오. 주의할 점은 그러면 사람들이 자동화가 읽는 입력, 예를 들어 티켓 분류나 일시 정지 상태를 악용한다는 것이므로, 정의를 실제 항목의 표본과 대조해 감사하십시오.
분석
분석은 보고 마감 직전에 닫힌 티켓이 급증하거나 정확히 목표 값에 몰리는 군집처럼 이상한 분포를 통해 악용을 드러낼 수 있습니다. 이런 패턴은 나쁜 의도의 증거가 아니라 대화의 계기로 쓰십시오. 주의할 점은 모든 탐지 규칙이 알려지고 나면 회피된다는 것이므로, 방호책을 순환시키고 검토에 사람을 두십시오.
부문별 관점
스타트업. 소규모 팀은 지표가 적고 신뢰가 두터워 유리합니다. 위험은 대기업용 대시보드를 너무 일찍 들여오는 것입니다. 창업자들이 실제로 쓰는 두세 개의 측정치로 시작하고, 정의를 적어 두고, 개인 성과 면담과 분리해 두십시오.
소규모 사업. 자원이 빠듯하고, IT를 운영하는 사람이 소유주에게 직접 보고하는 경우가 많습니다. 고객 불만 한 건이 어떤 대시보드보다 무거울 수 있습니다. 집합을 작게 유지하고, 사용자의 직접 피드백을 선호하고, 공급업체가 제공하는 보고서는 공급업체에게도 자체 유인이 있으므로 다소 조심해서 다루십시오.
대기업. 규모는 비교 가능한 숫자에 대한 요구와 그것을 악용하려는 압력을 함께 키웁니다. 서면 정의가 있는 작은 표준 집합을 쓰고, 팀의 작업용 화면과 상위 집계를 분리하고, 다른 종류의 서비스를 다루는 팀끼리 비교하지 마십시오. 지표 레지스트리와 검토 주기가 필수가 됩니다.
정부 및 공공 부문. 보고 의무와 계약상 서비스 수준 때문에 일부 목표는 협상할 수 없습니다. 이를 설계 입력으로 다루십시오. 달성하고, 옆에 방호책을 보여 주고, 사용한 정의를 보고하십시오. 공적 책임은 나쁜 소식을 숨기는 비용을 높이므로, 안전한 내부 채널을 만들고 바로잡은 정의에 대해 개방적이 되십시오(주제 8.5, 규제 및 정부 보고 참조).
비즈니스 케이스: 동기, ROI, TCO
이 주제를 적용하는 비용은 대부분 시간입니다. 정의와 레지스트리를 쓰는 데 몇 시간, 짧은 분기별 악용 검토, 종료된 항목의 가끔의 표본 검토가 듭니다. 도구 비용은 거의 없습니다. 더 큰 비용은 리더십의 관심입니다. 숫자를 읽는 사람들이 일관되게 행동해야만 이 규율이 작동하기 때문입니다.
수익은 낭비를 피하고 더 나은 결정을 내리는 데서 나옵니다. 오염된 데이터로 내린 결정은 투자를 엉뚱한 문제로 향하게 할 수 있습니다. 실제 문제가 결함으로 인한 반복 접촉인데 티켓을 더 빨리 닫으려고 서비스 데스크 인력을 늘리는 것이 그 예입니다. 악용은 팀과 그 팀에 의존하는 사람들 사이의 신뢰도 갉아먹으며, 이는 회복하기 어렵습니다. 이득은 꾸며 낸 백분율이 아니라 패턴으로 설명하십시오. 결정이 뒤집히는 일의 감소, 감사에서의 놀라움 감소, 운영 숫자와 사용자 경험 사이의 더 나은 일치가 그것입니다. 비즈니스 케이스에 수치가 필요하다면 인식 격차와 재접촉률 같은 자체 기준선을 변경 전후로 측정하십시오.
안티패턴과 함정
- 방호책 없는 목표. 혼자 있는 목표는 가능한 모든 경로로 달성됩니다. 목표를 발표하기 전에 짝이 되는 측정치를 추가하십시오.
- 사람이나 팀의 순위표. 악용을 부르고 팀 간 도움을 가로막습니다. 각 팀에게 맥락과 함께 자기 추세를 보여 주십시오.
- 처벌로서의 지표. 비난으로 이어지는 빨간 숫자는 은폐를 통해 초록이 됩니다. 대신 팀에 무엇이 필요한지 물으십시오.
- 치우친 데이터의 평균. 사용자가 고통받는 꼬리를 가립니다. 백분위수와 가장 오래된 항목의 경과 시간을 쓰십시오.
- 정의를 조용히 바꾸기. 추세선이 의미를 잃습니다. 모든 변경을 이유와 함께 기록하고 차트에 표시하십시오.
- 방호책을 새 목표로 취급하기. 그러면 방호책이 악용됩니다. 둘을 함께 검토하고, 힘을 잃은 방호책은 순환시키십시오.
- 허영 지표. 처리한 티켓이나 커밋처럼 오르기만 하는 건수는 성과에 대해 아무것도 말해 주지 않습니다. 오를 수도 내릴 수도 있는 측정치를 선호하십시오.
- 정성적 증거 무시. 숫자만으로는 닫힌 티켓이 해결되지 않은 것처럼 느껴졌음을 보일 수 없습니다. 의견을 읽으십시오.
성숙도 모델
| 차원 | 1 시작 | 2 발전 | 3 표준화 | 4 관리 | 5 조율 |
|---|---|---|---|---|---|
| 정의와 시계 | 비공식, 사람마다 다르게 셈 | 일부 지표에 서면 정의가 있음 | 시계와 제외 항목을 포함해 지표마다 하나의 서면 정의가 있음 | 정의를 검토하고 변경을 이유와 함께 기록함 | 팀과 공급업체 간에 정의를 맞추고, 결정에 정보를 주지 못하면 개정함 |
| 방호책 | 없음 | 일부 지표에 이름이 있음 | 보고하는 모든 지표에 같은 화면의 방호책이 있음 | 분기마다 방호책의 악용 여부를 검토함 | 방호책을 순환시키고 측정 대상자와 함께 설계함 |
| 활용과 안전 | 숫자를 비난에 사용 | 팀이 자기 숫자를 봄 | 팀이 데이터를 먼저 보고 개인 순위가 없음 | 리더십이 학습 질문을 하고 보고가 안전함 | 고객과 공급업체가 숫자에 대한 솔직한 관점을 공유함 |
체크리스트
- 보고하는 모든 지표에 답하는 질문과 정보를 주는 결정이 서면으로 적혀 있다.
- 모든 시간 측정치에 시작, 종료, 일시 정지 규칙이 서면으로 적혀 있다.
- 보고하는 모든 지표 옆에 이름 있는 방호책이 함께 표시된다.
- 시간 측정치가 백분위수와 가장 오래된 미해결 항목의 경과 시간을 보여 준다.
- 소유자, 정의, 악용 방식, 방호책, 검토일이 있는 지표 레지스트리가 있다.
- 팀이 리더십보다 먼저 자기 데이터를 본다.
- 개인 순위, 급여, 징계가 어떤 지표와도 연결되어 있지 않다.
- 분기별 악용 검토가 일정에 잡혀 있다.
- 분기마다 종료된 항목의 표본을 읽고 정직성을 확인한다.
- 지난 한 해 동안 적어도 하나의 지표를 폐기하거나 재설계했다.
AI 프롬프트
지표에 대한 악용 검토를 실행합니다.
나는 [서비스 또는 전달 업무 유형]을 운영하는 [팀 이름]을 이끌고 있습니다.
우리는 이 지표를 보고합니다: [지표 이름], 정의는 [시계가 어디서 시작하고
멈추는지를 포함한 정의]입니다. [청중]이 [결정 또는 목표]에 사용합니다.
데이터는 [도구]에서 나옵니다.
사용자를 위한 서비스를 개선하지 않고도 이 지표를 더 좋아 보이게 만들 수 있는
현실적인 방법을 나열해 주세요. 각각에 대해 그것을 드러낼 방호책 지표 또는
실천을 제안하고, 그 방호책 자체의 악용 방식은 무엇일지 말해 주세요. 기준 값을
지어내지 마세요. 가정한 내용과 내가 준 정보로는 판단할 수 없었던 것을
나열해 주세요.
지표 레지스트리 항목 초안을 작성합니다.
[팀 이름]의 [지표 이름]에 대한 지표 레지스트리 항목 초안을 작성해 주세요.
필드: 답하는 질문, 정보를 주는 결정, 정의, 공식, 단위, 데이터 원천, 소유자
역할, 검토 주기, 악용 방식, 방호책, 그리고 지표가 틀렸을 때 사용자나 고객이
어떻게 알아차릴지. 항목은 다음 설명에만 근거하세요:
[지표와 현재 프로세스 설명]. 가정해야 했던 모든 필드를 표시하고, 항목을
완성하기 위해 내가 답해야 할 질문을 나열해 주세요.
종료된 티켓의 표본을 감사합니다.
아래는 [서비스]에서 종료된 티켓 [개수]건이며, 필드는 [필드 목록]이고 해결
메모가 붙어 있습니다. 각 티켓에서 문제가 해결되지 않은 채 닫혔는지, 시계를
멈추려고 일시 정지 상태를 썼는지, 우선순위나 분류가 조정된 것으로 보이는지
징후를 검토해 주세요. 개인이 아니라 패턴을 보고해 주세요. 텍스트가 뒷받침하지
않는 원인은 추측하지 마세요. 데이터로는 판단할 수 없었던 것과 어떤 추가 필드가
도움이 될지 알려 주세요.
[개인 정보를 제거한 티켓을 붙여 넣기]
지표를 안전하게 도입하는 계획을 세웁니다.
우리는 [청중]에게 [지표]를 도입하려 합니다. 현재 상황: [팀 규모, 문화, 지표에
대한 이전 경험]. 누가 데이터를 먼저 보는지, 목적을 어떻게 설명할지, 이 지표를
무엇에 쓰지 않을지, 어떤 방호책을 함께 보여 줄지, 효과가 있는지 언제 검토할지를
다루는 도입 계획을 제안해 주세요. 악용이나 두려움의 위험을 짚고 이를 줄이는
방법을 제안해 주세요. 가정한 내용을 나열하고 통계를 지어내지 마세요.
AI 스킬
- 서비스 관리 지표 스킬: 도입하려는 지표의 주제와 짝이 되는 방호책을 찾을 때 사용합니다.
- 서비스 관리 지표 유지보수 스킬: 새 지표 주제에 악용 방식과 방호책이 있는지 확인할 때 사용합니다.
핵심 정리
- 목표가 된 측정치는 일을 설명하지 못하게 되므로, 숫자는 질문을 던지는 데 쓰십시오.
- 악용은 압력과 두려움에 대한 정상적인 반응이며, 단속이 아니라 조건을 바꿔서 줄입니다.
- 모든 지표에는 시계를 포함한 서면 정의와 옆에 표시되는 방호책이 필요합니다.
- 평균보다 백분위수와 가장 오래된 항목의 경과 시간을 선호하십시오.
- 팀과 서비스를 설명하고 개인의 순위는 매기지 말며, 팀이 먼저 자기 데이터를 보게 하십시오.
- 분기마다 악용을 검토하고, 더 이상 결정에 정보를 주지 못하는 지표는 폐기하십시오.
참고 문헌과 더 읽을거리
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
- Campbell, D. T., "Assessing the impact of planned social change," Evaluation and Program Planning, 2(1), 1979.
- Kerr, S., "On the folly of rewarding A, while hoping for B," Academy of Management Journal, 18(4), 1975.
- Choi, J., Hecht, G. W., and Tayler, W. B., "Lost in translation: The effects of incentive compensation on strategy surrogation," The Accounting Review, 87(4), 2012.
- Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Wikipedia, Goodhart's law.
- Wikipedia, Campbell's law.
- Wikipedia, Cobra effect.
- Wikipedia, Perverse incentive.
- Wikipedia, Surrogation.
- Wikipedia, ITIL.
- Wikipedia, Key performance indicator.
- Wikipedia, Psychological safety.
- Wikipedia, Velocity (software development).