측정 프레임워크
측정 프레임워크는 어떤 숫자가 지면에 자리를 얻을 자격이 있는지 정하는 방법이며, 가장 좋은 프레임워크는 모두 목표와 질문에서 시작하므로, 모든 지표를 결정에 연결해 주는 가장 가벼운 프레임워크를 고르십시오.
개요와 동기
자기 일을 측정하려는 팀은 초기에 문제를 만납니다. 가능한 숫자는 수천 가지인데 그중에서 고를 규칙이 없습니다. 측정 프레임워크가 그 규칙을 제공합니다. 시작점(목표, 전략, 몇 가지 핵심 조건)을 명명하고, 그 시작점에서 사람들이 읽고 행동할 소수의 측정치로 가는 방법을 설명합니다. 프레임워크마다 어휘는 다르지만 목적은 같습니다. 모든 숫자를 그것이 존재하는 이유에 연결해 두는 것입니다.
이 주제는 서비스를 운영하는 거의 모든 조직에 나타나는 다섯 가지 개념을 다룹니다. 첫째는 소프트웨어 공학 연구자 빅터 바실리(Victor Basili)와 동료들이 개발한 목표-질문-지표(GQM, Goal-Question-Metric) 접근법입니다. 목표에서 시작해 목표가 충족되고 있는지 보여 줄 질문을 던지고, 그다음에야 지표를 고릅니다. 둘째는 인텔에서 앤디 그로브가 쓰기 시작하고 나중에 존 도어를 통해 구글에서 널리 알려진 목표 설정 방법인 목표 및 핵심 결과(OKR)입니다. 목표는 팀이 가려는 곳을 말하고, 몇 개의 핵심 결과는 도착했음을 어떻게 알지를 말합니다. 셋째는 1992년 로버트 캐플런과 데이비드 노턴이 소개한 균형 성과표(balanced scorecard)로, 조직이 재무 성과, 고객, 내부 프로세스, 학습과 성장을 함께 보게 해서 어느 한 관점이 지배하지 않게 합니다.
넷째와 다섯째 개념은 더 오래되고 더 평이합니다. 핵심 성공 요인(critical success factor, CSF)은 목표에 도달하기 위해 참이어야 하는 조건이고, 핵심 성과 지표(key performance indicator, KPI)는 그 조건이 얼마나 잘 유지되는지에 대한 측정치입니다. Axelos가 발간하고 나중에 PeopleCert가 이어받은 IT 서비스 관리(ITSM) 프레임워크인 ITIL은 바로 이 짝을 씁니다. 2026년 10월 현재 널리 쓰이는 ITIL 4에서 측정 및 보고와 지속적 개선에 관한 지침은 실무자에게 서비스나 프랙티스의 CSF를 정의하고, 그에 대한 진척을 보여 주는 KPI를 고르라고 말합니다. 더 넓은 ITIL 접근법은 여기서 요약하며 재현하지 않습니다.
애자일과 ITIL의 관점은 이 영역에서 유용하게 만납니다. 애자일 실천은 짧은 학습 주기를 선호합니다. 팀이 가설을 세우고, 무언가 시도하고, 결과를 점검하고, 조정합니다. ITIL 실천은 정의된 서비스, 합의된 서비스 수준, 관리되는 개선 프로세스를 선호합니다. GQM 같은 프레임워크는 팀이 무엇을 배우고 싶은지 묻는 애자일 습관에 맞습니다. 균형 성과표는 리더에게 서비스 건강의 균형 잡힌 그림을 보여 줘야 하는 ITIL의 요구에 맞습니다. OKR은 둘 사이에 있습니다. 짧은 주기로 검토하면서도 거버넌스 기구가 이해하는 성과의 언어로 쓰기 때문입니다.
이 주제에서 세 가지 용어가 반복됩니다. 목표는 지명된 청중에 대해 의도한 성과의 진술입니다. 질문은 목표가 충족되고 있는지 말하기 위해 알아야 할 것입니다. 지표는 질문에 답하는 데 도움이 되는, 무언가를 세거나 시간을 재는 정의된 방법입니다. 프레임워크마다 세 번째 용어를 다루는 방식은 다르지만, 모두 그것이 목표와 질문 뒤인 마지막에 온다고 강조합니다. 이 순서는 굿하트의 법칙이 설명하는 실패, 즉 숫자가 그것을 고른 목적을 대체해 버리는 일에 대한 가장 강력한 방어입니다(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조).
어떤 프레임워크도 잘못 고른 목표를 고쳐 주지 못하고, 어떤 것도 방호책의 필요를 없애지 못합니다. 프레임워크를 대화를 위한 비계로 다루고, 일이 바뀜에 따라 바꿀 것을 예상하십시오. 특히 KPI는 처리한 총 티켓 수처럼 오르기만 하고 결정에 정보를 주지 못하는 건수인 허영 지표(vanity metric)가 될 수 있습니다. 애초에 측정하는 더 넓은 이유는 다른 곳에 정리되어 있습니다(주제 1.1, 서비스 관리를 왜 측정하는가 참조).
프레임워크는 어떻게 다른가
프레임워크마다 답하는 질문이 조금씩 다르며, 섞어 쓰는 일도 흔합니다. 아래 표를 지도로 쓰십시오.
| 프레임워크 | 시작점 | 전형적인 산출물 | 가장 적합한 용도 | 전형적인 기간 |
|---|---|---|---|---|
| 목표-질문-지표 | 제품, 프로세스, 서비스의 구체적인 목표 | 목표, 질문, 지표의 나무 | 한 팀 또는 한 서비스의 측정 프로그램 설계 | 몇 주에서 몇 달 |
| OKR | 다음 기간의 야심 찬 목표 | 몇 개의 목표와 각각의 측정 가능한 핵심 결과 | 성과를 중심으로 팀을 정렬하고 노력을 집중 | 분기 |
| 균형 성과표 | 조직의 전략 | 네 관점의 목표와 측정치 | 리더에게 균형 잡힌 관점을 보여 주고 전략을 운영에 연결 | 연 |
| CSF와 KPI | 서비스, 프랙티스, 목표 | 유지되어야 할 몇 가지 조건과 각각의 지표 | 정의된 ITIL 프랙티스를 운영하고 그 건강을 보고 | 지속적이며 정기적으로 검토 |
핵심 원칙
- 목표에서 시작해 질문, 그다음 지표로 가십시오. 먼저 고른 지표는 유용한지 판단할 방법이 없습니다.
- 청중과 결정을 명시하십시오. 모든 목표는 누가 이득을 보는지 명명하고, 모든 지표는 누가 그것으로 행동할지 명명합니다.
- 집합을 작게 유지하십시오. 읽히고 신뢰받는 몇 개의 측정치가 훑어보기만 하는 긴 목록보다 낫습니다.
- 관점의 균형을 맞추십시오. 속도와 품질, 비용과 경험, 단기 산출물과 장기 학습을 짝지어, 어떤 프레임워크도 한쪽을 위해 다른 쪽을 희생하며 보상하지 않게 하십시오.
- 목표를 가설로 다루십시오. 목표와 그 숫자는 틀릴 수 있는 내기이므로, 일정에 따라 검토하고 기록한 이유와 함께 바꾸십시오.
- 프레임워크는 팀과 서비스를 설명하는 데 쓰고, 사람의 순위를 매기는 데 쓰지 마십시오. 성과표, 핵심 결과, KPI는 팀이나 서비스에 속합니다.
- 프레임워크는 의도적으로 결합하십시오. 어느 프레임워크가 어느 결정을 소유하는지 말해, 같은 숫자가 세 가지로 정의되지 않게 하십시오.
지표 정의
아래 지표는 서비스의 건강이 아니라 쓰이고 있는 프레임워크의 건강을 측정합니다. 목표와 지표가 여전히 연결되어 있는지 보여 주며, 팀이 어떤 프레임워크를 고르든 적용됩니다. 건수는 사람이 아니라 팀이나 서비스 단위입니다.
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 |
|---|---|---|---|---|---|---|---|
| 목표 추적성 | 서면 목표와 질문까지 추적되는 보고 지표의 비율 | 기록된 목표와 질문이 있는 지표 수 / 보고된 지표 수 | 퍼센트 | 지표 레지스트리(주제 1.4, 지표 거버넌스와 소유권 참조) | 측정 및 보고, 지속적 개선 | 전달 목표, 제품 목표 | 분기 |
| 핵심 결과 점수 분포 | 핵심 결과의 기간 말 점수의 분포를 구간별 비율로 나타낸 것 | 각 점수 구간(예: 0.0 |
구간별 퍼센트 | OKR 추적 도구 또는 팀 문서 | 지속적 개선, 서비스 수준 관리 | 분기 계획, 검토 | 분기 |
| 관점 포괄률 | 현재 값이 있는 측정치를 하나 이상 가진 균형 성과표 네 관점의 비율 | 지난 기간에 측정치가 보고된 관점 수 / 4 | 퍼센트 | 성과표 또는 대시보드 | 측정 및 보고, 서비스 가치 시스템 거버넌스 | 이해관계자 검토(고객 및 학습 관점) | 분기 |
| 지표 검토 경과 시간 | 각 KPI의 정의와 목표를 마지막으로 검토한 뒤 지난 시간 | 보고일 빼기 마지막 검토일. 시계는 마지막으로 기록된 검토에서 시작해 보고일에 멈추며, 중앙값과 가장 오래된 것을 보고 | 일 | 지표 레지스트리 변경 로그 | 지속적 개선, 측정 및 보고 | 회고 실행 항목 | 분기 |
| CSF-KPI 포괄률 | 현재 보고되는 KPI가 하나 이상 있는 핵심 성공 요인의 비율 | 현재 KPI가 있는 CSF 수 / 서비스 또는 프랙티스에 정의된 CSF 수 | 퍼센트 | 프랙티스 또는 서비스 문서, 지표 레지스트리 | ITIL 프랙티스 가이드의 CSF와 KPI 접근법 | 완료의 정의, 업무 합의 | 분기 |
목표 추적성은 목표와 질문이 모두 적혀 있고 청중이 명명된 경우에만 지표가 추적된 것으로 셉니다. 목표만으로는 충분하지 않습니다. 핵심 결과 점수 분포는 평균이 아니라 분포로 읽어야 합니다. 평균은 모든 것을 쉽게 잡은 팀과 모든 것에 실패한 팀을 가리기 때문입니다. 지표 검토 경과 시간은 해당 기간에 폐기한 지표를 제외합니다.
권장 사항
프레임워크를 고르고 결합하십시오
1. 일을 해내는 가장 작은 프레임워크를 고르십시오. 개선 문제가 하나인 단일 서비스 팀에는 완전한 균형 성과표가 거의 필요하지 않습니다. GQM이면 충분한 경우가 많습니다. 목표 하나, 몇 개의 질문, 몇 개의 지표로 이루어진 나무라는 분명한 멈춤 지점이 있기 때문입니다. 결정이 필요로 할 때만 구조를 추가하십시오.
2. 목표를 목적, 대상, 관점의 세 부분으로 쓰십시오. GQM의 목표는 전통적으로 명시된 관점에서 명시된 대상의 명시된 품질을 개선하는 것으로 구성합니다. 예를 들어 서비스 데스크에 의존하는 사람들을 위해 인시던트 업데이트의 명확성을 높이는 것입니다. 이 구조는 누가 이득을 보는지 말하게 합니다. 목표에 관점이 없다면 아마 구호일 것입니다.
3. 사람이 짧은 이야기로 답할 수 있는 질문을 하십시오. "사용자는 문제를 보고한 뒤 얼마나 빨리 답을 듣는가?"는 좋은 질문입니다. 답과 그 뒤의 증거를 상상할 수 있기 때문입니다. "우리의 성과는 무엇인가?"는 그렇지 않습니다. 목표당 세 개에서 다섯 개의 질문을 목표로 하고, 일부는 숫자가 아니라 인터뷰나 표본으로 답해질 것으로 예상하십시오.
4. 지표는 마지막에 고르고 하나 이상 고르십시오. 각 질문에 대해 후보 지표, 데이터 원천, 악용 방식을 명명하십시오(주제 1.5, 데이터 원천과 계측 참조). 응답 시간 옆의 재개방률처럼 다른 지표와 긴장 관계에 있는 지표를 최소 하나 포함하십시오. 질문에 실현 가능한 지표가 없다면 그렇게 말하고 정성적 점검을 계획하십시오.
5. 어느 프레임워크가 어느 결정을 소유하는지 정하십시오. 흔한 배치는 리더가 검토하는 소수의 측정치를 균형 성과표나 그에 준하는 것이 담고, 팀이 이번 분기에 고른 개선을 OKR이 담고, 프랙티스의 운영 건강을 CSF와 KPI가 설명하는 것입니다. 이 배치를 지표 레지스트리에 적어 각 숫자에 하나의 정의와 하나의 소유자가 있게 하십시오.
OKR을 잘 쓰십시오
6. 목표는 성과로, 핵심 결과는 증거로 쓰십시오. "사용자가 우리를 쫓아다니지 않고 문제를 해결한다"는 성과인 목표입니다. "유용한 첫 업데이트까지의 시간 중앙값이 [현재 값]에서 [목표 값]으로 줄어든다"는 증거인 핵심 결과입니다. "새 포털을 출시한다"처럼 읽히는 핵심 결과는 결과가 아니라 활동입니다. 사용자에게 무엇이 바뀔지 말할 수 없다면 그 핵심 결과는 완성되지 않은 것입니다.
7. OKR은 팀과 서비스 수준에 두십시오. 개인에게 설정하면 작업 목록과 성과 평가의 입력으로 변질되기 쉽고, 굿하트의 법칙이 예측하는 악용을 부릅니다. 팀이 자기 핵심 결과를 공개적으로 쓰게 하고 팀들이 서로 볼 수 있게 하십시오. 모든 수준이 윗 수준을 다시 진술해야 하는 연쇄는 피하십시오.
8. 점수를 성적이 아니라 대화로 다루십시오. 만점을 목표로 삼는 팀은 소심한 핵심 결과를 씁니다. 점수 분포가 위쪽에 몰리면 일부러 낮춰 잡았다는 신호이고, 아래쪽에 몰리면 목표가 환상이었다는 신호입니다. 분기마다 분포를 검토하고 각 미달에서 팀이 무엇을 배웠는지 물으십시오.
성과표, CSF, KPI를 잘 쓰십시오
9. KPI보다 CSF를 먼저 정의하십시오. 핵심 성공 요인은 "사용자가 올바른 셀프서비스 문서를 찾아 쓸 수 있다"처럼 참이어야 하는 것의 진술입니다. KPI는 그것이 참인지 보여 줍니다. KPI로 시작하면 세기 쉬운 것을 세게 됩니다. 각 CSF에 대해 이렇게 물으십시오. "이것이 더 이상 참이 아니게 되면 우리는 얼마나 빨리, 무엇으로 알아차릴까?" 그 답이 KPI입니다.
10. 성과표의 관점으로 한쪽으로 치우친 시각을 막으십시오. 고전적인 네 관점은 재무, 고객, 내부 프로세스, 학습과 성장입니다. 서비스 조직은 이를 비용, 사용자 경험, 운영 건강, 역량처럼 이름을 바꾸는 경우가 많습니다. 중요한 것은 각 관점에 현재 값이 있는 측정치가 최소 하나 있고, 한 관점의 하락을 다른 관점과 함께 읽는 것입니다(주제 6.5, 가치 실현과 비즈니스 성과 참조).
11. 단순한 지도로 전략을 측정치에 연결하십시오. 전략 지도(strategy map)는 역량에서 프로세스, 고객, 재무 성과로 화살표를 그립니다. 대화에는 유용하고 계산기로는 부실합니다. 그려 보고, 화살표를 두고 논쟁한 다음, 소수의 측정치를 고르십시오. 다이어그램을 정량적으로 정확하게 만들려고 하지 마십시오.
12. 프레임워크를 달력에 따라 검토하십시오. 분기 검토를 잡아 모든 목표, 핵심 결과, KPI에 대해 팀이 여전히 중요한지, 여전히 사람들을 올바른 행동으로 이끄는지 묻게 하십시오. 더 이상 쓸모없는 것은 폐기하고 이유를 기록하십시오. 목표보다 오래 살아남은 지표는 허영 지표가 됩니다.
악용 방식과 방호책
| 지표 | 악용되는 방식 | 짝을 이루는 방호책 지표 또는 실천 |
|---|---|---|
| 목표 추적성 | 기록이 완결돼 보이도록 지표가 이미 있는 뒤에 목표와 질문을 씀, 어떤 지표든 정당화하는 모호한 목표 | 분기마다 항목 다섯 개를 표본으로 뽑아 그 질문이 다른 지표로 이어졌을 수 있는지 묻습니다. 청중과 결정이 명명되었는지 확인합니다 |
| 핵심 결과 점수 분포 | 점수가 1.0 근처에 몰리도록 쉬운 핵심 결과를 씀, 점수를 후하게 다시 매김, 이유를 기록하지 않고 잘 안 되는 핵심 결과를 폐기함 | 이유와 함께 폐기한 핵심 결과의 수, 핵심 결과를 이전 기간의 성과와 비교, 리더십과 중앙값 야심 수준을 검토 |
| 관점 포괄률 | 포괄된 것으로 셈하려고 관점에 형식적 측정치를 추가함, 움직일 수 없는 측정치를 고름 | 각 관점의 측정치가 최근 1년 안에 값이 바뀌었고 서면 결정이 붙어 있는지 확인합니다 |
| 지표 검토 경과 시간 | 지표를 읽지 않고 검토를 기록함, 날짜만 바꿈 | 각 검토에 서면 결과(유지, 변경, 폐기)를 요구하고 로그를 표본 검토합니다 |
| CSF-KPI 포괄률 | 완전한 포괄률에 도달하려고 CSF와 무관한 KPI를 배정함, 실패를 드러낼 수 없는 KPI를 고름 | 각 짝에 대해 어떤 수치가 CSF의 실패를 보여 주는지 묻습니다. 한 번도 붉은색이 된 적 없는 KPI를 찾습니다 |
건강한 상태란 세상이 바뀌면 목표가 바뀌고, 몇몇 핵심 결과는 밝힌 이유로 미달하며, 보고하는 지표의 수가 늘지 않고 줄거나 일정한 모습입니다. 모든 것이 초록색이고, 점수가 위쪽에 몰리고, 올해 폐기한 지표를 아무도 댈 수 없다면 프레임워크는 장식이 된 것입니다.
상충 관계: 장점과 단점
| 접근 방식 | 강점 | 약점 |
|---|---|---|
| 목표-질문-지표 | 각 지표를 이유에 묶음, 설명하기 쉬움, 팀 규모에서 작동함 | 진행자가 있는 세션이 필요함, 서류 작업으로 변질될 수 있음, 목표 간 우선순위는 거의 말해 주지 않음 |
| OKR | 한 분기를 소수의 성과에 집중시킴, 팀 간에 보임, 짧은 계획 주기에 맞음 | 핵심 결과를 작업으로 쓰기 쉬움, 점수를 악용할 수 있음, 개인 OKR은 성과 평가와 뒤섞임 |
| 균형 성과표 | 리더에게 균형 잡힌 관점을 줌, 전략을 운영에 연결함 | 유지가 무거움, 관점이 채워야 할 상자가 될 수 있음, 변화를 반영하는 것이 느림 |
| CSF와 KPI | ITIL 실천에 익숙함, 운영 중인 서비스를 보고하는 데 적합함 | 허영 KPI로 흐르기 쉬움, 검토하지 않으면 지표가 낡음 |
| 프레임워크 없음 | 아주 작은 팀에게는 가볍고 빠름 | 이유 없이 지표가 쌓임, 무엇을 측정할지에 대한 논쟁이 반복됨 |
| 여러 프레임워크의 병용 | 각 결정에 맞는 도구를 얻음 | 정의가 중복됨, 어느 숫자가 권위 있는지 혼란스러움 |
프레임워크의 무게를 결과의 크기에 맞추십시오. 작은 내부 서비스에는 목표 하나, 질문 세 개, 한 쪽에 담긴 몇 개의 지표면 충분합니다. 계약에 따라 제공하는 서비스는 서비스 수준 협약 수준까지 정의된 KPI가 필요할 수 있습니다(주제 5.1, SLA, OLA, XLA 지표 참조).
팀과 논의할 질문
1. 보고하는 각 지표는 어떤 목표에 기여하며, 보고를 중단하면 누가 알아차릴까요? 지표를 칠판에 나열하고 옆에 목표를 적으십시오. 목표가 없는 곳에서는 누가 왜 그 지표를 요청했는지 물으십시오. 일부는 이전 프로젝트에서 물려받은 것으로 밝혀져 폐기할 수 있습니다. 진행자는 목표가 없는 지표를 실패가 아니라 정상적인 발견으로 다뤄야 합니다.
2. 서비스에 대해 세 가지 질문에만 답할 수 있다면 어떤 질문일까요? 이는 지표보다 먼저 질문의 순위를 정하게 합니다. 각자 세 개씩 쓰게 하고 군집으로 묶으십시오. 그 군집을 팀이 현재 가진 대시보드와 비교하십시오. 둘 사이의 간극이 이 세션에서 가장 유용한 산출물인 경우가 많습니다.
3. 우리 핵심 결과 중 사용자에 대한 성과를 설명하는 것은 무엇이고, 우리가 할 일을 설명하는 것은 무엇인가요? 핵심 결과를 소리 내어 읽고 달성되었을 때 사용자가 알아차릴지 물으십시오. 아니라면 성과로 다시 쓰거나 계획으로 옮기십시오. 진행자는 작업도 괜찮지만 백로그에 속한다고 말해 줄 수 있습니다. 이번 분기에 다시 쓸 핵심 결과 하나에 합의하며 마무리하십시오.
4. 우리의 성과표 네 관점은 어디서 서로 엇갈리며, 그것은 무엇을 알려 주나요? 비용은 떨어지는데 경험이 나빠지는 것처럼 한 관점이 개선되는 동안 다른 관점이 악화된 최근 기간을 찾아보게 하십시오. 원인과 누가 예상했는지 논의하십시오. 이는 측정치를 함께 읽는 습관을 만듭니다. 측정치가 없는 관점을 기록하고, 하나 추가할지 범위 밖이라고 분명히 말할지 결정하십시오.
5. 각 핵심 성공 요인에 대해 어떤 수치가 실패를 알려 줄까요? CSF 두 개를 골라 KPI를 명명하고, 어떤 값이 대화를 촉발할지 물으십시오. 팀이 말하지 못한다면 그 KPI는 제 역할을 하지 못하는 것입니다. 한 번도 색이 변한 적 없는 KPI를 찾으십시오. 대개 임계값이 너무 느슨하다는 신호입니다. 진행자는 그 KPI의 악용 방식이 무엇일지 물어야 합니다.
6. 어떤 프레임워크가 어떤 결정을 소유해야 하며, 지금 같은 숫자를 두 번 정의하고 있는 곳은 어디인가요? 인시던트 해결 시간처럼 지표 하나를 그것이 나오는 모든 보고서에 걸쳐 추적하십시오. 정의를 비교하십시오. 시계나 제외 항목의 차이는 흔하며 팀 간 논쟁을 설명해 주는 경우가 많습니다. 소유자 하나와 정의 하나에 합의하고 레지스트리에 기록하십시오.
네 가지 관점
제품 및 전달 팀
전달 팀은 프레임워크를 주로 OKR로, 운이 좋다면 GQM으로 만납니다. 팀이 사용자가 필요로 하는 것과 연결해 자기 목표와 핵심 결과를 쓰고, 작업용 측정치를 리더가 보는 것과 분리해 둘 때 가장 큰 가치를 얻습니다. 스토리 포인트나 릴리스 같은 산출물을 보상하는 핵심 결과는 프레임워크가 막으려던 행동을 부르므로 경계해야 합니다(주제 1.3, 산출물보다 성과: 무엇을 측정할지 고르기 참조).
서비스 및 운영 팀
운영 팀은 프레임워크를 주로 ITIL 프랙티스 안의 CSF와 KPI, 그리고 고객과 합의한 서비스 수준 목표로 만납니다. KPI를 고르기 전에 CSF를 쉬운 말로 정의하고, 시간 측정치에 백분위수를 보고하고, 서비스 수준 지표와 목표 같은 신뢰성 측정치를 사용자의 경험 옆에 두는 것이 도움이 됩니다(주제 5.2, SLI, SLO, 오류 예산 참조). 또 몇 년 전에 정해졌고 이제 서비스가 쓰이는 방식과 관련이 없는 KPI를 유지하려는 유혹에 저항해야 합니다.
리더십과 거버넌스
리더는 대개 성과표나 OKR을 요청하는 방식으로 프레임워크를 고르며, 숫자로 무엇을 하느냐가 프레임워크의 행동을 결정합니다. 미달한 핵심 결과를 벌하는 리더는 팀에게 쉬운 것을 쓰도록 가르칩니다. 팀이 무엇을 배웠는지 묻는 리더는 정직한 것을 쓰도록 가르칩니다. 거버넌스 기구는 지표 레지스트리, 소수의 보고 측정치, 프레임워크 자체가 작동하는지에 대한 정기 검토를 기대해야 합니다(주제 11.4, 지표 프로그램을 위한 성숙도 모델 참조).
고객과 사용자
고객과 사용자는 프레임워크를 거의 보지 못하고 그 효과만 봅니다. 잘 설계된 프레임워크는 그들이 요청한 방향으로 개선되는 서비스와 개선되지 않은 것에 대한 정직한 보고로 나타납니다. 부실한 프레임워크는 경험과 맞지 않는 초록색 보고서로 나타납니다. 모든 목표에 사용자 관점을 포함하고, 사용자 피드백이 성과표의 고객 관점에서 운영 숫자와 나란히 놓이게 하십시오(주제 6.2, 경험 수준 협약 참조).
실제 적용: 서비스 관리 사례
한 중견 온라인 소매업체가 여러 제품 팀과 소규모 서비스 운영 그룹으로 고객 지원 플랫폼과 셀프서비스 포털을 운영합니다. 모든 숫자는 예시입니다.
리더십은 균형 성과표를, 그리고 별도로 분기별 OKR을 요청합니다. 한 분기 만에 팀은 보고 측정치 31개를 갖게 되었고 그중 절반은 왜 있는지 아무도 말하지 못합니다. 서비스 소유자는 하나의 목표에 GQM을 적용하는 반나절 세션을 엽니다. "결제를 완료하지 못하는 고객을 위한 도움말의 명확성을 고객의 관점에서 개선한다."
세션에서 네 가지 질문이 나옵니다. 고객이 올바른 도움말 문서를 찾는가? 읽은 뒤에도 지원에 연락해야 하는가? 지원에 연락하면 결제 문제가 해결되는 데 얼마나 걸리는가? 답이 명확했다고 느끼는가? 31개 측정치 중 아홉 개가 이 질문들에 대응됩니다. 새 측정치 세 개가 필요합니다. 문서 검색 성공률, 문서 조회 후 연락률, 해결 후 한 문항 설문입니다. 나머지 22개는 소유자의 동의를 얻어 폐기 대상으로 표시합니다.
그 분기의 OKR은 성과로 쓰입니다. 목표는 "고객이 우리를 쫓아다니지 않고 결제 문제를 해결한다"입니다. 핵심 결과 세 가지는 해결까지의 시간 중앙값과 90번째 백분위수, 문서 조회 후 연락률, 명확성에 대한 설문 결과입니다. 성과표는 고객 관점이 같은 측정치를 가리키게 두어 정의가 둘이 아니라 하나가 되게 합니다.
분기 중반에 악용 위험이 나타납니다. 문서 조회 후 연락률이 급격히 떨어지는데, 성공처럼 보입니다. 검토자가 세션 20개를 표본으로 뽑아 보니 개편으로 "문의하기" 링크가 화면 세 단계 더 깊이 옮겨져 있습니다. 지원에 도달하는 사람이 줄었고 설문은 더 낮은 명확성 점수를 보여 줍니다. 팀은 검색 이탈과 설문 주관식 의견을 방호책으로 추가하고 링크를 되돌립니다.
분기 말에 핵심 결과 점수는 0.6, 0.8, 0.5이며 팀은 있는 그대로 발표합니다. 리더십은 점수가 왜 더 높지 않았는지가 아니라 팀이 무엇을 배웠는지 묻습니다. 결정 로그에 기록된 결정은 목표를 두 번째 분기에도 유지하고, 연락률을 첫 방문에서 문제를 해결한 고객의 비율로 대체하고, 성과표 측정치 여섯 개를 더 폐기하는 것입니다.
애자일, AI, 자동화, 분석
애자일
팀이 배우면서 목표와 질문을 다시 살펴야 하므로, 이해관계자와 함께하는 정기 개선 검토에서 수정할 만큼 가벼운 프레임워크를 고르십시오. 실용적인 접근은 목표, 질문, 두세 개의 지표를 한 쪽에 쓰고 자주 검토하는 것입니다. 주의할 점은 한 번의 설계 연습으로 쓴 프레임워크는 낡고, 대시보드가 목표에서 멀어진다는 것입니다.
AI
AI를 프레임워크에 명시적으로 포함하십시오. AI 지원 실천이 어떤 목표에 기여하는지, 그 측정치가 어떤 질문에 답하는지, 어떤 품질 측정치가 짝지워지는지입니다. NIST AI 위험 관리 프레임워크 같은 거버넌스 어휘에 맞추는 것이 도움이 될 수 있으나, 인용하기 전에 현재 본문이 무엇을 말하는지 확인하십시오. 주의할 점은 AI 도입만 측정하는 프레임워크는 사용 자체를 위한 사용을 보상한다는 것입니다.
자동화
목표에서 지표까지의 추적성을 최신으로 유지하는 데 자동화를 쓰십시오. 연결된 목표가 없는 지표에 표시를 달아 주는 것이 예입니다. 자동화를 결과와 실패로 측정할 대상으로 프레임워크에 포함하십시오. 주의할 점은 프레임워크가 아무도 읽지 않는 거대한 자동 보고서가 될 수 있다는 것입니다.
분석
데이터가 뒷받침할 수 있는 지표를 고르고 각각이 어떤 결정에 정보를 주는지 말하십시오. 목표와 핵심 결과, 균형 성과표, ITIL의 핵심 성공 요인처럼 여러 프레임워크가 적용될 때는 셋을 따로 돌리지 말고 하나의 집합으로 대응시키십시오. 주의할 점은 프레임워크가 나쁜 데이터를 고쳐 주지 못한다는 것이므로, 지표의 선택을 주제 1.5, 데이터 원천과 계측의 데이터 품질 점검과 짝지우십시오.
부문별 관점
스타트업. 스타트업은 대개 한 쪽에 담은 목표 하나, 질문 세 개, 몇 개의 지표면 충분합니다. OKR이 흔하며 일을 할 팀이 직접 쓸 때 잘 작동합니다. 투자자나 고객이 요구하기 전에는 성과표를 추가하지 마십시오.
소규모 사업. 자원이 빠듯하므로 프레임워크 하나를 골라 가볍게 쓰십시오. 사업이 틀리면 안 되는 두세 가지에 대해 쓴 CSF와 KPI면 충분한 경우가 많습니다. 정교한 점수 매기기보다 고객의 직접 피드백을 선호하십시오.
대기업. 대개 여러 프레임워크가 공존하므로 정의의 소유권이 주된 과제가 됩니다. 레지스트리를 유지하고, 어느 프레임워크가 어느 숫자를 담는지 지정하고, 전체 배치를 매년 검토하십시오. 모든 팀이 회사 목표를 자기 말로 다시 진술하게 하는 연쇄를 경계하십시오.
정부 및 공공 부문. 의무화된 보고와 계약상 서비스 수준은 고정된 KPI처럼 작용합니다. 이를 주어진 것으로 받아들이고, 그 주변의 개선 작업에는 GQM이나 OKR을 쓰십시오. 공적 책임은 오해를 부르는 숫자의 위험을 높이므로 정의를 공개하고 변경에 개방적이어야 합니다(주제 8.5, 규제 및 정부 보고 참조).
비즈니스 케이스: 동기, ROI, TCO
프레임워크의 비용은 대부분 시간입니다. 측정치를 설계하는 진행자 세션, 짧은 분기 검토, 레지스트리 유지입니다. OKR이나 성과표용 소프트웨어가 있지만, 작은 규모에서는 문서나 스프레드시트면 충분한 경우가 많습니다. 더 큰 비용은 리더십의 관심입니다. 리더가 쓰지 않는 프레임워크는 보고를 위한 보고가 되기 때문입니다.
수익은 더 적고 더 나은 측정치에서 나옵니다. 각 숫자가 왜 있는지 말할 수 있는 팀은 아무도 읽지 않는 보고서를 만드는 데 시간을 덜 쓰고, 정의에 대해 덜 논쟁하고, 측정치가 결정에 정보를 주지 못하게 되면 더 빨리 알아차립니다. 수치를 인용하는 대신 프레임워크를 채택하기 전후의 자체 기준선을 측정하십시오. 보고하는 지표의 수, 기록된 목표가 있는 비율, 반복 보고서를 준비하는 데 쓰는 시간입니다. 투자 수익에 대한 더 충실한 논의는 다른 곳에 있습니다(주제 7.7, 투자 수익과 비즈니스 케이스 참조).
안티패턴과 함정
- 목표보다 앞선 지표. 가진 데이터에서 시작하면 세기 쉬운 것의 대시보드가 나옵니다. 목표와 질문을 먼저 쓰고 어떤 데이터가 맞는지 보십시오.
- 작업 목록으로서의 OKR. 활동을 명명하는 핵심 결과는 모든 분기를 바빠 보이게 하면서 성과에 대해 아무것도 알려 주지 않습니다. 각각을 사용자가 알아차릴 증거로 다시 쓰십시오.
- 개인 목표로서의 OKR과 성과표. 악용을 부르고 사람들 사이의 도움을 가로막습니다. 팀과 서비스 수준에 두십시오.
- 비어 있거나 형식적인 관점이 있는 성과표. 모든 상자를 무언가로 채우는 것은 전체를 보는 것과 같지 않습니다. 각각에 현재 값과 결정을 요구하십시오.
- 절대 변하지 않는 KPI. 지표가 몇 년째 초록색이면 임계값이 틀렸거나 실패할 수 없는 것을 재는 것일 가능성이 큽니다. 어떤 수치가 문제를 보여 줄지 묻고 다시 설정하십시오.
- 소유자 없이 쌓은 프레임워크. 세 프레임워크가 같은 측정치를 세 가지로 정의하면 논쟁이 생깁니다. 소유자와 하나의 정의를 명명하십시오.
- 점수에 보상하기. 만점 OKR이 칭찬이나 급여로 이어지면 팀은 쉬운 핵심 결과를 쓰게 됩니다. 정직한 학습과 좋은 질문에 보상하십시오.
- 의식으로서의 프레임워크. 코팅된 포스터를 낳는 하루짜리 워크숍은 아무것도 바꾸지 않습니다. 산출물을 레지스트리에 두고 달력에 따라 검토하십시오.
성숙도 모델
| 차원 | 1 시작 | 2 발전 | 3 표준화 | 4 관리 | 5 조율 |
|---|---|---|---|---|---|
| 목표와 질문 | 데이터가 있어서 지표를 고름 | 일부 팀이 지표보다 먼저 목표를 씀 | 공통의 목표 및 질문 형식이 있고 보고하는 모든 지표가 하나로 추적됨 | 추적성을 검토하고 공백이 자금이 투입된 작업으로 이어짐 | 목표를 고객 및 공급업체와 공동 작성하고 조건이 바뀌면 개정함 |
| 프레임워크 사용 | 임시방편, 명시된 프레임워크 없음 | 팀마다 다른 어휘로 다른 프레임워크를 채택함 | 어느 프레임워크가 어느 결정을 소유하는지 서면 배치가 있음 | 프레임워크의 결과를 검토하고 쓰이지 않는 부분을 버림 | 하나의 정의 집합으로 팀과 공급업체에 걸쳐 프레임워크를 정렬함 |
| 지표와 점수 | KPI를 한 번 정하고 검토하지 않음 | 일부 KPI에 소유자와 임계값이 있음 | KPI와 핵심 결과에 소유자, 정의, 방호책이 있음 | 점수와 지표를 추세로 보고 분기마다 악용 여부를 검토함 | 지표를 일상적으로 폐기하고 교체하며 변경이 성과에 연결됨 |
| 결정에서의 활용 | 보고서를 만들고 무시함 | 리더가 문제가 생길 때 숫자를 요청함 | 검토가 숫자가 영향을 준 결정을 기록함 | 학습 질문이 표준이고 미달한 목표를 비난 없이 논의함 | 팀 간 개선 계획이 같은 공유 목표와 측정치를 씀 |
체크리스트
- 보고하는 모든 지표가 서면 목표, 질문, 명명된 청중까지 추적된다.
- 지표 레지스트리가 각 지표를 소유하는 프레임워크와 하나의 정의를 기록한다.
- 목표를 목적, 대상, 관점으로 쓴다.
- 각 핵심 결과는 작업이 아니라 누군가 알아차릴 성과를 설명한다.
- OKR, 성과표 측정치, KPI는 개인이 아니라 팀이나 서비스에 속한다.
- 각 핵심 성공 요인에 현재 KPI가 최소 하나 있고 실패를 보여 줄 수치가 명시되어 있다.
- 성과표의 각 관점에 현재 값이 있는 측정치가 있다.
- 모든 지표에 명명된 악용 방식과 방호책이 있다.
- 분기 검토에서 각 목표, 핵심 결과, KPI가 여전히 중요한지 묻는다.
- 지난 한 해 동안 적어도 하나의 지표 또는 지표 체계를 폐기하거나 재설계하고 이유를 기록했다.
AI 프롬프트
목표를 질문과 후보 지표로 바꿉니다.
우리 팀은 [팀 이름]이며 [청중]을 위해 [서비스 또는 전달 업무 유형]을
운영합니다. 우리 목표는 다음과 같습니다: [목적, 대상, 관점으로 진술한 목표].
목표-질문-지표 접근법을 사용해, 우리가 이 목표를 충족하고 있는지 보여 줄 질문
세 개에서 다섯 개를 제안해 주세요. 각 질문에 대해 정의할 수 있는 후보 지표,
필요한 데이터 원천의 종류, 예상되는 악용 방식, 방호책을 제안해 주세요. 기준
값이나 통계를 지어내지 마세요. 가정한 내용과 내가 준 정보로는 판단할 수
없었던 것을 나열해 주세요.
OKR 초안을 검토합니다.
[기간]의 목표와 핵심 결과 초안입니다: [OKR 붙여 넣기]. 우리 팀은 [팀 이름]이고
사용자는 [청중]입니다. 각 핵심 결과가 성과인지 활동인지, 사용자를 돕지 않고도
달성될 수 있는지, 그것을 보여 줄 방호책은 무엇인지 알려 주세요. 필요한 곳은
다시 쓰기를 제안하되, 우리가 직접 채워야 하는 숫자에는 [자리 표시자]를 쓰세요.
목표나 기준 값을 지어내지 마세요. 가정한 내용과 내가 답해야 할 질문을 나열해
주세요.
핵심 성공 요인을 KPI에 대응시킵니다.
[청중]에게 서비스를 제공하는 우리 조직의 ITIL 프랙티스 [프랙티스 이름]에 대해
우리가 작성한 핵심 성공 요인은 다음과 같습니다: [CSF 목록]. [데이터 원천]에서
수집할 수 있는 각각의 KPI를 제안해 주세요. 각 KPI에 대해 시간 측정치라면 시계가
어디서 시작하고 멈추는지, 어떤 수치가 요인의 실패를 보여 주는지, 어떻게
악용될 수 있는지 밝혀 주세요. 기준 값이나 규정 준수 주장을 말하지 마세요.
가정한 내용을 나열해 주세요.
성과표의 균형을 감사합니다.
우리 성과표에는 관점별로 묶인 다음 측정치가 있습니다: [관점별 측정치를 붙여
넣기]. 우리는 [조직 유형]입니다. 얇은 관점, 서로 중복돼 보이는 측정치, 다른
관점의 문제를 가리는 방식으로 움직일 수 있는 측정치를 찾아 주세요. 방호책과
폐기할 측정치를 제안해 주세요. 수치나 출처를 지어내지 마세요. 가정한 내용과
내가 준 데이터로는 판단할 수 없었던 것을 나열해 주세요.
AI 스킬
- 서비스 관리 지표 스킬: 지표를 프레임워크에 놓기 전에 어느 주제가 그 지표를 소유하는지, 짝이 되는 방호책은 무엇인지 찾을 때 사용합니다.
- 서비스 관리 지표 유지보수 스킬: 프레임워크 기반의 지표 항목에 정의, 악용 방식, 방호책이 있는지 확인할 때 사용합니다.
핵심 정리
- 프레임워크는 어떤 지표가 자리를 얻을지 정하며, 공통 규칙은 목표와 질문에서 시작해 지표를 고르는 것입니다.
- 목표-질문-지표는 한 팀의 측정치 설계에, OKR은 한 분기의 집중에, 성과표는 균형 잡힌 리더십 관점에, CSF와 KPI는 ITIL 프랙티스 운영에 알맞습니다.
- 작동하는 가장 가벼운 프레임워크를 쓰고, 어느 것이 어느 숫자를 소유하는지 말하십시오.
- 모든 프레임워크는 악용될 수 있으므로 각 지표에 방호책을 짝짓고 달력에 따라 집합을 검토하십시오.
- 프레임워크는 팀과 서비스 수준에 두고 개인의 목표로 쓰지 마십시오.
- 더 이상 결정에 정보를 주지 못하는 목표, 핵심 결과, 지표를 폐기하십시오.
참고 문헌과 더 읽을거리
- Basili, V. R., Caldiera, G., and Rombach, H. D., "The Goal Question Metric Approach," in Encyclopedia of Software Engineering, Wiley, 1994.
- Kaplan, R. S., and Norton, D. P., "The Balanced Scorecard: Measures That Drive Performance," Harvard Business Review, January-February 1992.
- Kaplan, R. S., and Norton, D. P., The Balanced Scorecard: Translating Strategy into Action, Harvard Business School Press, 1996.
- Doerr, J., Measure What Matters: How Google, Bono, and the Gates Foundation Rock the World with OKRs, Portfolio, 2018.
- Grove, A. S., High Output Management, Random House, 1983.
- Rockart, J. F., "Chief Executives Define Their Own Data Needs," Harvard Business Review, March-April 1979.
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly, 2016.
- Axelos, ITIL Foundation: ITIL 4 Edition, TSO, 2019. Summarized, not reproduced.
- Wikipedia, Victor Basili.
- Wikipedia, OKR.
- Wikipedia, Balanced scorecard.
- Wikipedia, Critical success factor.
- Wikipedia, Key performance indicator.
- Wikipedia, ITIL.
- Wikipedia, Vanity metric.
- Wikipedia, Strategy map.