개요와 동기

대부분의 대시보드는 세기 쉬운 것에서 시작합니다. 닫은 티켓, 배포한 변경, 끝낸 스토리, 받은 전화가 그렇습니다. 이미 도구에 타임스탬프가 찍혀 있고 팀이 통제할 수 있는 것들입니다. 이 가운데 누군가의 형편이 나아졌는지를 말해 주는 것은 없습니다.

네 단어를 구분하면 혼동을 피할 수 있습니다. 활동은 들인 노력입니다. 일한 시간, 연 회의, 건 전화가 그렇습니다. 산출물은 그 일이 만들어 낸 것입니다. 릴리스, 해결된 티켓, 게시된 글이 그렇습니다. 성과는 그 산출물이 누군가에게 가능하게 한 변화입니다. 고객이 절반의 시간에 작업을 마치는 것, 진료소가 일정대로 문을 여는 것, 반복되던 문제가 더 이상 재발하지 않는 것이 그렇습니다. 영향은 유지되는 고객이나 낮아진 서비스 제공 비용처럼 조직의 목표에 미치는 더 장기적인 효과입니다. ITIL 4(AXELOS가 2019년에 발간하고 현재 PeopleCert가 소유한 프레임워크 판)에서 산출물은 활동의 유형 또는 무형의 결과물이고, 성과는 하나 이상의 산출물이 가능하게 한 이해관계자에게의 결과입니다.

ITIL은 모든 지표에 대한 시험으로 쓸 수 있는 두 번째 생각을 더합니다. 가치는 서비스 제공자와 서비스 소비자가 공동 창출(co-creation)하는 것이지, 한쪽이 다른 쪽에 전달하는 것이 아닙니다. 이는 가치가 사용 중에, 즉 고객이 제공자의 역량을 자신의 목표에 적용할 때 생겨난다고 보는 마케팅 관점인 서비스 지배 논리(service-dominant logic)의 사고와 이어집니다. 전적으로 제공자 쪽에서 측정한 지표는 가치를 입증할 수 없습니다. 팀이 모든 티켓을 닫고 모든 릴리스를 제때 내놓아도 사용자는 자기 일이 쉬워지지 않았다고 느낄 수 있습니다.

애자일 관점도 다른 길로 같은 곳에 이릅니다. 애자일 소프트웨어 개발(agile software development) 선언문의 배경 원칙은 작동하는 소프트웨어가 진척의 주된 척도이고, 하지 않는 일의 양을 극대화하는 기술인 단순함이 필수라고 말합니다. 어느 쪽도 더 큰 산출물 더미를 보상하지 않습니다. 둘 다 사용자에게 효과가 있는 것을 전달하고 아무도 필요로 하지 않는 것은 만들지 않는 쪽을 가리킵니다.

산출물과 활동 지표가 틀린 것은 아닙니다. 이들은 흐름, 용량, 비용을 관리하며 뒤의 주제들이 많이 사용합니다(주제 2.1, 흐름 측정치 참조). 잘못은 이것들이 가치를 대신하게 두는 것입니다. 허영 지표(vanity metric)는 보고하기 쉽고 거의 언제나 오르는 숫자입니다. 총 가입 사용자 수, 누적 처리 티켓 수, 지금까지 출시한 기능 수가 그렇습니다. 팀이 바빠 보이게 할 뿐 다음에 무엇을 해야 할지는 누구에게도 알려 주지 않습니다. 시험은 이것입니다. 고객의 상황이 나빠지는 동안에도 이 숫자가 오를 수 있는가?

성과 지표는 더 어렵습니다. 느리게 움직이고, 팀의 통제 밖 요인에 좌우되며, 잡음이 많습니다. 비밀번호 재설정 흐름의 변경이 문의량에 나타나기까지는 몇 주가 걸릴 수 있고, 마케팅 캠페인도 문의량에 영향을 줍니다. 해법은 성과를 신중하게 고르고, 팀이 매일 조종하는 산출물 측정치와 짝지우고, 팀이 움직임 중 얼마를 자기 몫이라 주장할 수 있는지 정직해지는 것입니다.

선행 지표는 관심 있는 결과보다 먼저 움직이고 일찍 영향을 줄 수 있는 측정치입니다. 새 서비스 중 시험을 거친 지원 런북이 있는 비율이 그 예입니다. 후행 지표는 사후에 결과를 보고합니다. 중대 인시던트 수나 고객 이탈이 그 예입니다. 경제학자도 같은 짝을 써서 경제 지표(economic indicator)를 선행, 동행, 후행으로 분류합니다. 팀에는 둘 다 필요합니다. 후행 지표는 옳았는지를 말해 주고, 선행 지표는 아직 시간이 있을 때 행동할 거리를 줍니다. 선행 지표는 여러 기간에 걸쳐 실제로 성과보다 먼저 움직이는지 확인하기 전까지는 가설일 뿐입니다.

성과 측정치는 악용에 대한 부분적인 해법입니다(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조). 고객이 경험하는 것에 가까운 측정치는 그들을 돕지 않고서는 개선하기 어렵고, 악용은 성과에서 먼 곳에 삽니다. 선택을 돕는 프레임워크는 따로 다룹니다(주제 1.7, 측정 프레임워크 참조).

핵심 원칙

  • 성과에서 시작해 거꾸로 일하십시오. 고객, 서비스, 조직에 바라는 변화를 이름 붙이고, 그것을 보여 줄 증거를 묻고, 더 일찍 나타날 선행 징후를 물으십시오.
  • 가치는 공동 창출되므로 소비자 쪽을 포함하십시오. 모든 집합에는 최소 하나, 제공자의 기록만이 아니라 서비스를 쓰는 사람들의 성공, 노력, 경험에서 나온 측정치가 있어야 합니다.
  • 사슬이 보이게 하십시오. 활동, 산출물, 성과, 영향을 하나의 사슬로 보여 주십시오. 팀은 산출물과 선행 지표로 조종하고 성과로 자신을 평가합니다.
  • 짝짓되 대체하지 마십시오. 성과 측정치는 산출물 측정치가 왜 중요한지 설명하고, 산출물 측정치는 성과 측정치에 어떻게 대응할지 설명합니다. 어느 쪽도 혼자서는 작동하지 않습니다.
  • 오를 수도 내릴 수도 있는 측정치를 선호하십시오. 늘기만 하는 숫자는 신호가 아니라 건수입니다.
  • 선행 지표를 가설로 다루십시오. 성과를 예측하는지 확인하고, 예측하지 못하면 버리십시오.
  • 귀속에 정직하십시오. 성과에는 많은 원인이 있습니다. 팀이 영향을 주는 것과 관찰만 하는 것을 말하십시오.

지표 정의

아래 다섯 지표는 측정 집합을 성과 쪽으로 옮기도록 골랐습니다. 쓸 형식의 예이며, 이를 채우는 서비스 및 전달 측정치는 뒤의 주제들이 정의합니다. 이 주제의 예시 임계값은 벤치마크가 아닙니다.

지표 정의 공식 단위 데이터 원천 ITIL 프랙티스 애자일 대응 주기
성과 연결률 지표 레지스트리에서 지명된 고객 또는 서비스에 대한 서면 성과에 연결된 보고 지표의 비율 서면 성과 연결이 있는 지표 수 / 해당 기간에 보고된 지표 수. 정기 보고서에 나오는 지표만 세고, 한 팀이 보관하는 작업용 화면의 측정치는 제외 퍼센트 지표 레지스트리(주제 1.4, 지표 거버넌스와 소유권 참조) 측정 및 보고, 지속적 개선 제품 목표와 전달 목표 분기
기능 도입률 릴리스 후 정해진 기간 안에 새롭거나 변경된 기능을 사용한 대상 사용자의 비율 릴리스 후 30일 안에 해당 기능을 사용한 고유 대상 사용자 수 / 해당 기간의 고유 대상 사용자 수. 시계는 일반 공개 시점에 시작하며, 내부 테스트 계정과 기능에 접근할 수 없었던 사용자는 제외 퍼센트 제품 분석, 서비스 카탈로그 사용 로그 서비스 설계, 릴리스 관리 이해관계자 검토 피드백, 제품 성과 측정치 릴리스 후 3개월은 월, 이후 분기
재접촉률 이전 접촉이 종료된 뒤 정해진 기간 안에 같은 서비스에 대해 사용자가 다시 접촉한 비율 종료된 접촉 후 14일 안에 같은 사용자가 같은 서비스에 대해 새로 접촉한 건수 / 해당 기간에 종료된 접촉 건수. 시계는 종료 시점에 시작하며, 계획된 후속 조치로 연 접촉은 제외 퍼센트 ITSM 도구의 접촉 및 티켓 이력 서비스 데스크, 인시던트 관리 유출 결함, 완료의 정의 월
선행 지표 검증률 검토 기간에 연결된 후행 지표보다 먼저 움직인 것으로 확인된 사용 중인 선행 지표의 비율 후행 지표보다 앞선다고 확인된 선행 지표 수 / 사용 중인 선행 지표 수. 팀이 문서화된 검토에서 최소 4개 기간의 데이터로 판단하며, 4개 기간 미만인 지표는 제외 퍼센트 지표 레지스트리와 추세 이력 지속적 개선 실험에 대한 회고 실행 항목 연 2회
편익 검토 완료율 합의된 지연 기간 뒤에 의도한 성과를 측정치와 대조해 검토한 자금 지원 변경 또는 개선의 비율 계획된 검토일로부터 90일 안에 성과 검토를 마친 변경 수 / 해당 기간에 검토일이 도래한 변경 수. 릴리스 전에 철회된 변경은 제외 퍼센트 변경 기록, 개선 레지스트리, 검토 메모 지속적 개선, 변경 활성화 이해관계자 검토, 제품 증분 검토 분기

성과 연결률과 편익 검토 완료율은 지표 운영 자체를 측정하며 서류 작업으로 충족하기 쉽습니다. 기능 도입률과 재접촉률은 고객에 더 가깝고 결정을 바꿀 가능성이 가장 큰 지표입니다.

권장 사항

성과에서 시작하십시오

1. 성과를 사람이나 서비스에 관한 문장으로 쓰십시오. "직원이 서비스 데스크에 전화하지 않고 스스로 비밀번호를 재설정할 수 있다"는 성과입니다. "새 ID 포털을 배포한다"는 산출물입니다. 그 문장을 레지스트리의 지표 항목 맨 위에 두고 나서 측정치를 고르십시오. 문장을 쓸 수 없다면 숫자를 고를 준비가 안 된 것입니다.

2. 활동에서 영향까지 사슬을 그리십시오. 목표마다 네 개의 상자를 그리십시오. 팀이 하는 일, 만들어 내는 것, 사용자에게 바뀌는 것, 그것이 조직에 바꾸는 것입니다. 후보 지표를 각각 한 상자에 놓으십시오. 왼쪽은 가득하고 오른쪽은 비어 있다면 성과 증거를 찾아야 한다는 신호입니다.

3. 모든 지표에 가치 공동 창출 시험을 적용하십시오. 이 지표는 누구의 가치 관점을 보여 주며, 소비자의 관점이 집합 어디에 나타나는지 물으십시오. ITIL 용어로 서비스 관계에는 제공자와 소비자가 있고, 가치는 소비자의 사용 속에서 실현됩니다. 제공자의 시계로 잰 응답 시간 측정치에는 사용자가 하던 일을 계속할 수 있었는지처럼 소비자 쪽의 짝이 필요합니다(주제 6.2, 경험 수준 협약 참조).

4. 보고서가 아니라 결정을 요구하십시오. 후보 지표마다 그것이 움직이면 누군가 내릴 결정을 적으십시오. 연결된 결정이 없는 측정치는 폐기하십시오. 이것이 허영 지표를 거르는 가장 빠른 필터이며 대시보드가 저절로 불어나는 것을 막아 줍니다.

산출물과 성과를 짝지으십시오

5. 주요 산출물 측정치마다 성과 측정치를 하나씩 고르십시오. 배포를 보고한다면 변경 실패나 사용자에게 영향을 준 인시던트처럼 배포가 서비스에 무엇을 바꿨는지 보여 주는 측정치와 짝지으십시오(주제 2.8, DORA 지표 참조). 해결한 티켓을 보고한다면 재접촉과 짝지으십시오. 짝은 같은 화면에 있어야 합니다. 산출물만 보는 팀은 산출물을 최적화합니다.

6. 팀이 영향을 줄 수 있는 성과 측정치를 고르고, 관찰만 하는 것은 이름 붙이십시오. 팀은 자기 서비스의 재접촉과 자기 기능의 도입에 영향을 줄 수 있습니다. 회사의 매출은 관찰만 할 수 있습니다. 둘 다 그림에 속하지만, 목표와 개선 작업은 영향을 줄 수 있는 측정치에 붙입니다. 차이를 이름 붙이면 팀이 일으킬 수 없었던 움직임에 대한 비난을 막을 수 있습니다.

7. 대용 지표를 공개적으로 쓰십시오. 많은 성과는 직접 측정할 수 없습니다. 대용 지표를 고르고, 그것이 대용임을 말하고, 무엇을 놓치는지 말하십시오. 재접촉률은 "문제가 정말 해결되었다"의 대용이며, 짧은 설문이나 주관식 의견 읽기로 여전히 진실을 말하는지 확인할 수 있습니다(주제 6.1, 고객 만족도 지표 참조).

선행과 후행의 짝을 만드십시오

8. 후행 지표마다 행동할 수 있는 선행 지표를 최소 하나 짝지으십시오. 중대 인시던트는 후행 지표이고, 시험을 거친 복구 런북이 있는 서비스의 비율은 그에 앞설 수 있습니다. 선행 지표는 팀에게 이번 달에 할 일을 줍니다. 적을 수 있는 이유로 믿는 선행 지표를 고른 다음, 그 믿음을 시험하십시오.

9. 되돌아보기로 선행 지표를 검증하십시오. 연 2회, 각 선행 지표를 후행 짝과 함께 최소 4개 기간에 걸쳐 그리고 움직임이 먼저 나타났는지 물으십시오. 관계가 약하다면 선행 지표를 바꾸거나 버리십시오.

10. 성과에 사용자가 보는 명확한 측정치가 있을 때 서비스 수준 목표를 쓰십시오. 잘 고른 서비스 수준 지표(SLI)는 사용자 만족의 선행 신호이고, 서비스 수준 목표(SLO)는 얼마나 좋아야 하는지를 정합니다(주제 5.2, SLI, SLO, 오류 예산 참조). 지표를 기계의 관점이 아니라 사용자의 관점에서 고를 때 가장 잘 작동합니다.

선택을 정직하게 유지하십시오

11. 성과 검토로 고리를 닫으십시오. 변경이나 개선에 자금이 지원될 때 그것이 만들어 내야 할 성과, 측정치, 누군가 확인할 날짜를 기록하십시오. 답이 불편하더라도 검토를 여십시오. 검토가 없으면 성과라는 말은 장식입니다(주제 6.5, 가치 실현과 비즈니스 성과 참조).

12. 산출물 측정치는 작업용 화면에 두고 무엇을 위한 것인지 말하십시오. 흐름, 용량, 비용 측정치는 팀의 계기이지 성적표가 아닙니다. 사이클 타임은 일이 어디에서 기다리는지 알려 줍니다(주제 2.2, 리드 타임, 사이클 타임, 흐름 효율 참조). 성과 없이 위로 보고하면 악용을 부릅니다.

악용 방식과 방호책

성과로 옮겨 간다고 악용이 없어지지는 않습니다. 모습이 바뀔 뿐입니다. 성과는 재정의될 수 있고, 대용 지표는 조종될 수 있고, 검토는 건너뛸 수 있습니다.

지표 악용되는 방식 짝을 이루는 방호책 지표 또는 실천
성과 연결률 모든 지표에 모호한 성과 문장("서비스 개선")을 써서 서류상 연결만 만듦 레지스트리를 표본 검토합니다. 문장은 사람이나 서비스와 변화를 명시해야 하며, 그 측정치 때문에 결정이 내려졌는지 확인합니다
기능 도입률 강제되거나 자동인 첫 사용을 도입으로 셈, 대상 사용자 집단을 줄임, 선택하지 않았는데도 "사용"되도록 기능을 기본값으로 만듦 기능 사용자의 작업 완료율 또는 만족도, 30일과 90일 뒤의 사용 유지, 주관식 의견 읽기
재접촉률 사용자에게 다른 채널로 새 요청을 접수하라고 안내함, 무관한 건의 중복으로 접촉을 종료함, 기간 내 재접촉을 피하려 종료를 늦춤 같은 서비스에 대한 채널별 접촉, 종료 메모의 표본 검토, 사용자가 보고한 "문제 해결" 비율
선행 지표 검증률 비공식적으로 살펴보고 선행 지표를 유효하다고 선언함, 성과와 함께 당연히 움직이는 지표를 고름 그래프로 그린 데이터가 있는 서면 검토 기록, 주기마다 팀 밖의 사람이 결과 하나에 이의를 제기하도록 초청
편익 검토 완료율 이름뿐인 검토를 열거나, 항상 충족되도록 사후에 의도한 성과를 정함 검토의 성과를 변경에 자금을 지원할 때 한 진술과 비교합니다. 계획 변경으로 이어진 검토의 비율을 추적합니다

건강한 상태란 가끔 실망스러운 성과 측정치, 가끔 변경을 끝내는 검토, 가끔 버려지는 선행 지표가 있는 모습입니다. 모든 성과가 달성되고 모든 선행 지표가 확인되는 집합은 아마 그렇게 되도록 맞춰졌을 것입니다.

상충 관계: 장점과 단점

접근 방식 강점 약점
산출물 및 활동 측정치 빠르고 저렴하며 팀이 통제할 수 있음, 흐름과 용량 결정에 좋음 부풀리기 쉬움, 누군가 이득을 보았는지는 말해 주지 않음
성과 측정치 고객과 조직이 가치 있게 여기는 것에 가까움, 돕지 않고는 개선하기 어려움 느리고 잡음이 많으며 팀의 통제 밖 요인에 영향을 받음
선행 지표 조기 경보와 행동할 거리를 줌 성과와의 연결을 시험하지 않고 가정하면 오도할 수 있음
후행 지표 실제로 일어난 일을 보고함 이번 기간의 결과를 바꾸기에는 너무 늦게 도착함
성과의 대용 지표 측정하기 어려운 성과를 보이게 함 대표하는 대상에서 멀어질 수 있고 대리 목표화를 부름
성과 중심의 작은 집합 기억하고 논의하기 쉬움, 노력을 집중시킴 선택한 성과 밖의 문제를 놓칠 수 있음
넓고 균형 잡힌 집합 서비스의 더 많은 부분을 다룸 주의가 분산되고 각 측정치가 받는 검토가 줄어듦

온 집단이 외울 수 있는 소수의 성과 측정치를 유지하고, 각각을 설명해 주는 산출물 및 선행 측정치로 뒷받침하고, 전략이 바뀔 때 집합을 다시 검토하십시오. 균형 성과표(balanced scorecard)와 목표 및 핵심 결과(objectives and key results)와 관련된 균형 접근법은 모두 일상 업무를 중요한 결과와 연결하려 합니다. 핵심 결과가 백분율이 붙은 산출물 목록이 되면 같은 방식으로 실패합니다.

팀과 논의할 질문

1. 가장 눈에 띄는 지표 다섯 개 중에서 고객의 형편이 나빠지는 동안에도 오를 수 있는 것은 무엇인가요? 다섯 개를 칠판에 적고 각각에 질문하십시오. 예를 들어 닫은 티켓 수는 재접촉도 늘면서 오를 수 있습니다. 진행자는 답이 "예"인 경우를 기록해야 합니다. 그것이 허영 지표이기 때문입니다. 마지막으로 각각 옆에 어떤 성과 측정치가 놓일지 물으십시오.

2. 이 서비스의 고객에게 좋은 한 주는 고객의 말로 어떤 모습인가요? 고객과 이야기하는 사람들에게 묻고 팀 자체의 어휘는 피하십시오. 답이 성과 문장이 되며, 문제를 두 번 설명할 필요가 없다는 것처럼 아무도 측정하지 않는 것이 드러나기도 합니다. 문장 세 개를 적고, 대용 지표를 통해서라도 측정할 수 있는 것이 무엇인지 물으십시오.

3. 우리의 선행 지표 중 예측하기로 한 결과와 대조해 본 적이 있는 것은 무엇인가요? 지표 하나를 골라 최근 여러 기간에 걸쳐 후행 짝과 함께 그려 보십시오. 무엇이 보이고 얼마나 확신하는지 물으십시오. 관계가 약하다면 무엇으로 바꿀지 논의하십시오. 버려지는 선행 지표는 실패가 아니라 학습의 정상적인 결과로 다루십시오.

4. 우리 팀은 관찰만 하는 성과를 어디서 자기 공으로 주장하고 있나요? 리더십에게 가는 보고서의 지표를 보십시오. 계절성, 캠페인, 공급업체처럼 팀의 통제 밖 요인에 좌우되는 것은 무엇입니까? 팀이 영향을 주는 것과 관찰만 하는 것을 말하는 평이한 방식에 합의하십시오. 이는 팀이 일으키지 않은 이유로 성과가 움직이는 날을 대비하게 해 줍니다.

5. 지난 두 분기에 무엇을 출시하거나 바꿨고, 효과가 있었는지 검토한 사람이 있나요? 변경 목록을 칠판에 적고 검토 기록이 있는 것에 표시하십시오. 나머지에 대해서는 기대한 성과가 무엇이었고 지금 어떻게 알아볼 수 있는지 물으십시오. 책임 추궁으로 흐르지 마십시오. 첫 검토가 늦더라도 습관을 시작하는 것이 목적입니다.

6. 어떤 산출물 측정치를 작업용 화면으로 되돌려야 할까요? 어떤 측정치는 팀에게는 유용하고 보고서에서는 오해를 부릅니다. 어느 것이 어느 쪽인지, 리더십 보고서에 남으려면 각각 옆에 무엇이 필요한지 물으십시오. 이번 분기에 옮길 측정치 하나에 합의하십시오. 측정치를 옮기는 것은 투명성에서 후퇴하는 것이 아니라 성숙의 신호입니다.

네 가지 관점

제품 및 전달 팀

전달 팀은 도구가 기본으로 보고하므로 산출물의 유혹을 받습니다. 해법은 도입과 성과 증거를 완료의 정의와 이해관계자 검토의 일부로 만드는 것입니다. 아무도 쓰지 않는 기능은 교훈이며, 그것을 일찍 알아내는 것은 애자일 실천의 이점입니다. 팀은 흐름 측정치를 작업용 화면에 두고 도입 및 실패 측정치와 짝지웁니다(주제 2.5, 전달 예측과 계획 지표 참조).

서비스 및 운영 팀

서비스 팀은 응대한 전화, 닫은 티켓, 해결 시간처럼 처리로 측정됩니다. 이는 계획과 비용에 중요하지만 사용자의 문제가 사라졌는지는 거의 말해 주지 않습니다. 운영 팀은 속도 측정치 옆에 재접촉, 같은 원인의 재발, 사용자가 보고한 해결을 추가하고, 쉬운 티켓의 건수가 늘어나는 것은 의심스럽게 보아야 합니다(주제 3.1, 서비스 데스크 지표 참조). 지식 문서 사용과 시험을 거친 런북 같은 선행 지표는 인시던트 사이에 팀이 행동할 거리를 줍니다.

리더십과 거버넌스

리더가 보여 달라고 요구하는 것이 조직에 무엇이 중요한지 가르칩니다. 성과를 요구하고, 그것이 더 느리고 잡음이 많음을 받아들이고, 그것을 확인하는 검토에 자금을 대십시오. 거버넌스 기구는 소유자와 그것이 정보를 준 결정의 기록이 있는 짧고 안정적인 성과 측정치 집합을 찾아야 합니다(주제 1.4, 지표 거버넌스와 소유권 참조). "이게 왜 빨간색입니까?"라고 묻는 리더보다 "무엇을 배웠습니까?"라고 묻는 리더가 더 좋은 데이터를 얻습니다.

고객과 사용자

고객은 성과를 직접 경험하고 산출물 건수는 거의 보지 못합니다. 그들은 집합에 대한 최종 시험입니다. 서비스가 그들이 하려던 일을 계속하게 해 주는가? 짧은 설문, 주관식 의견, 실제 작업 관찰은 제공자 쪽의 어떤 측정치보다 나은 증거입니다. 고객은 가치 공동 창출에서도 역할이 있으며, 이는 그들이 얼마나 잘 안내받고, 역량을 갖추고, 의견이 받아들여지는지가 결과에 영향을 준다는 뜻입니다(주제 6.3, 서비스 도입과 카탈로그 지표 참조).

실제 적용: 서비스 관리 사례

한 중견 온라인 소매업체에서 내부 플랫폼 팀이 약 40개 제품 팀에 셀프서비스 환경 프로비저닝 서비스를 제공하고, 소규모 서비스 데스크가 이를 지원합니다. 이 사례의 모든 숫자는 예시입니다.

월간 보고서는 처리한 요청 310건(240건에서 증가), 중앙값 처리 시간 6시간, 분기에 출시한 기능 12개를 보여 줍니다. 리더십은 만족합니다. 플랫폼 책임자는 프로비저닝에 관한 데스크 문의도 늘었음을 알아차리고, 팀에게 산출물을 바라던 성과, 즉 제품 팀이 기다리거나 도움을 요청하지 않고 환경을 얻는 것과 대조해 차트로 그려 달라고 요청합니다.

사슬 연습은 팀이 활동과 산출물을 측정했을 뿐 성과는 측정하지 않았음을 보여 줍니다. 팀은 세 가지를 추가합니다. 첫째는 재접촉률로, 프로비저닝 문의의 22퍼센트가 14일 안에 같은 서비스에 대한 또 다른 문의로 이어집니다. 둘째는 가장 새로운 기능 세 가지의 기능 도입률로, 30일 뒤 대상 팀의 9퍼센트, 14퍼센트, 61퍼센트입니다. 셋째, 선행 지표는 사람의 개입 없이 완료되는 요청의 비율로 현재 48퍼센트입니다. 팀은 이것이 재접촉률을 낮추는 방향으로 앞설 것이라는 가설을 세웁니다.

팀은 도입률이 낮은 두 기능과 비슷한 계획된 기능 두 가지를 보류하고, 그 분기를 재접촉의 가장 흔한 원인인 할당량 초과 시의 불분명한 오류 메시지에 쓰기로 결정합니다. 의도한 성과인 15퍼센트 미만의 재접촉률을 기록하고 90일 뒤로 검토일을 정합니다.

악용 위험은 두 번째 달에 나타납니다. 재접촉률이 11퍼센트로 떨어지는데, 훌륭해 보입니다. 종료된 접촉 25건의 표본에서, 서비스 데스크가 후속 질문은 채팅 채널을 쓰라고 사용자에게 요청하기 시작했고 채팅 채널은 ITSM 도구에서 집계되지 않는다는 점이 드러납니다. 팀은 보고서에 채널별 접촉을 추가하고 표본에 채팅 기록을 포함시켜 합산 비율이 17퍼센트임을 알아냅니다. 처음 수치보다 작지만 실제 개선입니다. 검토에서 책임자는 17퍼센트를 보고하고, 선행 지표가 48퍼센트에서 57퍼센트로 보조를 맞춰 올랐음을 언급하며, 검증되었다고 부르는 데 필요한 네 기간 중 두 기간 동안 가설이 유지되었다고 기록합니다.

애자일, AI, 자동화, 분석

애자일

지속적 전달은 작은 변경을 릴리스하고 사용자 성과가 움직였는지 보는 비용을 낮춥니다. 좋은 실천은 작업을 시작하기 전에 의도한 성과와 그것을 보여 줄 신호를 적고, 릴리스 후 이해관계자와 함께 그 신호를 확인하는 것입니다. 주의할 점은 잦은 릴리스가 팀으로 하여금 릴리스 횟수를 진척으로 세게 하는 유혹이 있다는 것이며, 그것은 다시 산출물입니다.

AI

AI 도구는 더 많은 코드, 더 많은 초안, 더 많은 답변처럼 산출물을 쉽게 늘립니다. 성과의 질문은 사용자가 더 나은 서비스를 받는가이므로, 산출물 건수를 AI 지원 경로의 재접촉률이나 작업 성공률 같은 성과와 짝지우십시오. 주의할 점은 AI 사용이 늘어나는 동안 개선되는 성과에도 다른 원인이 있을 수 있으므로, 비교 없이 도구가 원인이라고 주장하지 말라는 것입니다.

자동화

재접촉, 이탈, 첫 유용한 답변까지의 시간처럼 이미 존재하는 성과 신호의 수집을 자동화하십시오. 일 자체의 자동화는 그것이 풀어 주는 것과 깨뜨리는 것으로 측정해야 합니다. 주의할 점은 자주 실행되는 자동화 작업은 결과가 전혀 쓰이지 않아도 생산적으로 보인다는 것입니다.

분석

성과 데이터는 보통 산출물 데이터보다 느리고 잡음이 많습니다. 선행 지표로 조종하되, 가끔 더 느린 성과와 대조해 검증하십시오. 주의할 점은 지난해 데이터에서 산출물과 성과가 상관관계가 있다고 해서 산출물이 계속 성과를 예측한다는 뜻은 아니라는 것입니다. ITIL 5의 관점에서는, 소유자가 측정 가능한 성과에 둔 초점 덕분에 이 주제가 주제 1.8, ITIL 5 측정과 가치 성과의 토대가 됩니다.

부문별 관점

스타트업. 성과가 가까이 있습니다. 창업자는 고객과 이야기하고 그들이 남는지 볼 수 있습니다. 위험은 사용자와 기능의 증가만 측정하는 것으로, 유지와 작업 성공이 보이기 전까지는 허영 지표입니다. 고객이 알아볼 성과 측정치 하나를 고르고 매주 확인하십시오.

소규모 사업. 숫자가 통계를 내기에는 너무 작으므로 직접 대화, 추적하는 소수의 사례, 짧은 대용 지표 목록을 선호하십시오. 자기 활동을 마치 당신의 성과인 것처럼 보고하는 공급업체 대시보드를 경계하십시오.

대기업. 규모는 산출물 보고를 부릅니다. 산출물은 많은 팀에 걸쳐 비교할 수 있지만 성과는 그렇지 않기 때문입니다. 서로 다른 서비스에 하나의 성과 정의를 강요하지 마십시오. 공유되는 성과 문장의 작은 집합에 합의하고, 각 서비스가 자기 측정치를 고르게 하고, 레지스트리를 최신으로 유지하십시오.

정부 및 공공 부문. 법정 의무, 재원 규칙, 서비스 수준이 일부 측정치를 미리 정해 두며, 대개 처리한 사건 수 같은 산출물입니다. 그것을 충족하되, 사람이 찾아온 도움을 얻었는지처럼 시민과 직원에 대한 성과 측정치를 나란히 추가하십시오. 공적 보고는 정직한 성과 데이터를 더 가치 있고 더 민감하게 만들므로, 바로잡은 수치를 어떻게 설명할지 미리 합의하십시오(주제 8.5, 규제 및 정부 보고 참조).

비즈니스 케이스: 동기, ROI, TCO

성과로 옮겨 가는 비용은 대부분 노력과 인내입니다. 성과 문장을 쓰고, 짧은 설문이나 도입 이벤트 같은 몇 가지 측정치를 추가하고, 성과 검토를 여는 일입니다. 대용 지표 대부분을 이미 수집한 데이터로 만들 수 있으므로 도구 비용은 크지 않습니다. 더 큰 비용은 지연입니다. 성과 데이터는 느리게 도착하고 리더는 그것을 기다려야 하기 때문입니다.

수익은 어디에 쓸지에 대한 더 나은 선택에서 나옵니다. 아무도 쓰지 않는 일은 비싸고, 재접촉의 근본 원인이 그대로인 채 처리 측정치를 개선하는 것도 비쌉니다. 기대할 패턴은 만들어 놓고 쓰지 않는 기능이 줄고, 반복되는 원인에 더 많은 관심이 가고, 자금 지원에 대한 더 강한 근거가 생기는 것입니다. 백분율을 약속하지 마십시오. 최근 릴리스의 도입과 재접촉 같은 자체 기준선을 측정하고 몇 분기 뒤에 비교하십시오(주제 7.7, 투자 수익과 비즈니스 케이스 참조).

안티패턴과 함정

  • 세기 쉬운 것을 세기. 티켓과 배포 건수는 모든 도구에 있어 기본값이 됩니다. 또 다른 산출물 건수를 추가하기 전에 서비스마다 성과 측정치를 최소 하나 추가하십시오.
  • 성과 연극. 확인하지 않으면서 모든 지표에 성과 문장을 쓰는 것입니다. 레지스트리의 표본을 검토하고 각 측정치가 어떤 결정에 정보를 주었는지 물으십시오.
  • 시험하지 않은 선행 지표. 그럴듯한 신호를 증거로 취급하는 것입니다. 연 2회 이상 후행 결과와 함께 그려 보고, 앞서지 않는 것은 버리십시오.
  • 개인 목표로서의 성과. 성과 측정치를 한 사람에게 할당하면 주제 1.2에서 설명한 행동을 부릅니다. 성과는 팀과 서비스에 붙이십시오.
  • 제공자 쪽만 측정하기. 내부 시계와 건수로 이루어진 집합은 고객이 느끼는 것을 놓칩니다. 모든 서비스에 소비자 쪽 측정치를 포함하십시오.
  • 검토하지 않기. 약속된 편익을 근거로 변경에 자금을 대고 확인하지 않는 것입니다. 변경을 승인할 때 변경 기록에 검토일을 넣으십시오.

성숙도 모델

차원 1 시작 2 발전 3 표준화 4 관리 5 조율
측정치 선택 도구에서 구할 수 있는 건수 일부 팀이 성과 문장을 씀 보고하는 모든 지표에 서면 성과와 정보를 주는 결정이 있음 성과 집합과 산출물 집합을 분기마다 함께 검토함 팀, 공급업체, 고객 간에 성과 문장을 맞추고 전략이 바뀌면 개정함
선행 및 후행 지표 늦게 보고되는 후행 결과뿐 직관으로 고른 몇 개의 선행 지표 선행 및 후행 지표가 짝지어져 레지스트리에 기록됨 선행 지표를 연 2회 결과와 대조해 검증함 지표를 공급업체 및 고객과 공유하고 증거에 따라 집합이 진화함
성과 검토 변경이 효과가 있었는지 검토하지 않음 큰 변경 뒤에 가끔 검토함 자금을 지원한 모든 변경에 검토일이 기록됨 검토를 완료하고 결과가 다음 계획에 반영됨 검토가 일상적이고 팀 간에 이루어지며 고객 의견을 포함함
소비자 쪽 증거 일화 일부 서비스에 설문 모든 서비스에 소비자 쪽 측정치가 있음 소비자 증거를 추세로 보고 운영 데이터와 함께 읽음 고객이 성과 측정치를 정의하고 해석하는 데 참여함

체크리스트

  • 모든 서비스에 사람이나 서비스와 변화를 명시한 성과 문장이 최소 하나 있다.
  • 보고하는 각 지표를 활동에서 영향까지의 사슬에 배치했다.
  • 각 지표에 정보를 주는 결정이 지명되어 있고, 없는 것은 폐기했다.
  • 보고서의 모든 산출물 측정치 옆에 성과 측정치가 있다.
  • 모든 서비스에 소비자 쪽 측정치가 최소 하나 있다.
  • 각 후행 지표에 연결 이유가 서면으로 적힌 선행 지표가 있다.
  • 선행 지표를 연 2회 이상 결과와 대조해 확인한다.
  • 대용 지표에 대용임과 놓치는 것을 표시했다.
  • 자금을 지원한 모든 변경에 의도한 성과, 측정치, 검토일이 있다.
  • 성과 측정치는 팀과 서비스에 붙이고 개인에게는 절대 붙이지 않는다.

AI 프롬프트

산출물 지표를 성과 중심의 집합으로 바꿉니다.

우리 팀은 [팀 이름]이며 [고객 또는 사용자]에게 [서비스 또는 제품]을
제공합니다. 현재 [산출물 또는 활동 지표 목록]을 보고하고 있습니다. 성과
쪽으로 옮겨 가고 싶습니다. 각 지표에 대해, 그것이 뒷받침할 수 있는 고객 또는
서비스에 관한 성과 문장을 제안하고, 고려할 만한 성과 측정치 하나와 선행 지표
하나를 제안해 주세요. 각 제안마다 그 측정치가 무엇을 놓칠지, 어떻게 악용될 수
있을지 말해 주세요. 기준 값이나 출처를 지어내지 마세요. 가정한 내용과 내게서
필요한 사실을 나열해 주세요.

선행 지표가 믿을 만한지 시험합니다.

우리는 [선행 지표]를 [후행 성과 측정치]의 선행 지표로 사용합니다. 아래에 둘의
[개수]개 기간 데이터와 그 기간에 바뀐 사항에 대한 메모를 붙였습니다: [데이터와
메모]. 선행 지표가 후행 지표보다 먼저 움직이는 것으로 보이는지, 그리고 데이터와
일치하는 다른 설명은 무엇인지 설명해 주세요. 인과관계를 주장하지 마세요.
가정한 내용, 이만큼의 데이터가 가진 한계, 어떤 추가 데이터가 도움이 될지
나열해 주세요.

최근 변경에 대한 성과 검토를 작성합니다.

우리는 이 변경을 했습니다: [설명], 승인일은 [날짜], 의도한 성과는 [성과 문장],
측정치는 [측정치]입니다. 현재 데이터: [데이터]. 의도한 성과를 우리가 보는 것과
비교하고, 팀이 영향을 준 것과 관찰만 한 것을 구분하고, 사용자에게 할 질문을
나열하는 성과 검토 안건과 짧은 요약 구조를 작성해 주세요. 데이터가 뒷받침하는
범위를 넘어 성공 여부를 판단하지 마세요. 가정한 내용과 데이터의 공백을 나열해
주세요.

AI 스킬

핵심 정리

  • 활동, 산출물, 성과, 영향은 서로 다른 것이며, 앞의 둘로만 이루어진 대시보드는 가치를 보여 줄 수 없습니다.
  • ITIL에서 가치는 소비자와 함께 공동 창출되므로, 모든 집합에는 소비자 쪽의 측정치가 필요합니다.
  • 산출물은 성과와, 후행 지표는 시험해 본 선행 지표와 짝지우십시오.
  • 팀이 영향을 주는 것과 관찰만 하는 것을 분명히 하십시오.
  • 자금을 지원한 변경을 의도한 성과와 대조해 검토하고, 결과가 계획을 바꾸게 하십시오.
  • 성과 측정치는 악용을 줄일 뿐 끝내지는 못하므로, 각각에 여전히 방호책이 필요합니다.

참고 문헌과 더 읽을거리

  1. Seiden, J., Outcomes Over Output: Why Customer Behavior Is the Key Metric for Business Success, Sense & Respond Press, 2019.
  2. AXELOS, ITIL Foundation: ITIL 4 Edition, TSO (The Stationery Office), 2019.
  3. Vargo, S. L., and Lusch, R. F., "Evolving to a New Dominant Logic for Marketing," Journal of Marketing, 68(1), 2004.
  4. Kaplan, R. S., and Norton, D. P., "The Balanced Scorecard: Measures That Drive Performance," Harvard Business Review, January to February 1992.
  5. Doerr, J., Measure What Matters: How Google, Bono, and the Gates Foundation Rock the World with OKRs, Portfolio, 2018.
  6. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  7. Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
  8. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016.
  9. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  10. Wikipedia, ITIL.
  11. Wikipedia, Co-creation.
  12. Wikipedia, Service-dominant logic.
  13. Wikipedia, Agile software development.
  14. Wikipedia, Vanity metric.
  15. Wikipedia, Economic indicator.
  16. Wikipedia, Balanced scorecard.
  17. Wikipedia, Objectives and key results.