지속적 전달을 실천하는 팀과 IT 서비스 관리(ITSM)를 실천하는 팀은 모두 닫힌 티켓, 완료된 스토리, 이루어진 배포, 해결된 인시던트처럼 끊임없이 쏟아지는 숫자를 만들어 냅니다. 숫자를 갖는 일은 쉽습니다. 사람들이 무언가를 결정하는 데 도움이 되는 숫자를 갖는 일이 더 어렵고, 대부분의 지표 프로그램이 어려움을 겪는 지점이 바로 이 간극입니다. 이 부는 개별 지표를 정의하기에 앞서 이후의 모든 부가 기대는 공통 기초를 제공합니다. 또한 이 책 전체에 걸쳐 이어지는 관점도 더합니다. ITIL 5, AI, 자동화, 분석이 서비스 조직이 측정하는 대상을 어떻게 바꾸는가 하는 관점입니다.

이 기초는 일곱 가지 질문을 차례로 다룹니다. 애초에 왜 측정하며, 아무것도 측정하지 않거나 잘못된 것을 측정하면 어떤 대가를 치를까요? 측정치는 어떻게 목표가 되고 나서 진실을 말하지 않게 될까요? 애초에 무엇을 측정할 가치가 있을까요? 누가 각 지표를 정의하고, 소유하고, 폐기할까요? 데이터는 어디에서 오며 얼마나 신뢰할 수 있을까요? 티켓 데이터와 흐름 데이터는 치우쳐 있고 표본이 적은 경우가 많은데, 숫자를 어떻게 읽어야 할까요? 한 주제는 확립된 프레임워크가 답을 정리하는 데 어떻게 도움이 되는지 보여 주고, 마지막 주제는 소유자가 설명하는 ITIL 5가 측정에 무엇을 뜻하는지 묻고 확인할 수 있는 것과 없는 것을 구분합니다.

이 책이 처음이라면 이 부를 먼저 읽고, 이후 부의 어떤 지표가 이상하게 동작할 때마다 돌아오십시오. 이후 부의 지표 실패 대부분은 여기서 소개하는 아이디어 가운데 하나로 거슬러 올라갑니다. 이 책의 지표는 팀, 서비스, 시스템을 설명합니다. 개인의 순위를 매기는 데에는 절대 쓰지 않습니다.

이 부의 주제

  • 1.1 서비스 관리를 왜 측정하는가: 서비스를 만들고 운영하는 팀에 숫자가 필요한 이유, 애자일과 ITIL이 각각 측정에 기여하는 바, 아무것도 측정하지 않거나 잘못된 것을 측정하는 데 따르는 비용을 다룹니다.
  • 1.2 굿하트의 법칙과 지표의 심리학: 다른 모든 주제의 배후에 있는 방호책으로, 측정치가 목표가 되는 과정, 티켓과 전달 데이터에서 악용이 일어나는 방식, 이를 막는 습관을 다룹니다.
  • 1.3 산출물보다 성과: 무엇을 측정할지 고르기: 가치, 성과, 산출물, 활동, 선행 지표와 후행 지표, 그리고 좋은 지표의 시금석으로서 ITIL의 가치 공동 창출을 다룹니다.
  • 1.4 지표 거버넌스와 소유권: 지표 소유자, 정의, 검토 주기, 폐기, 누가 무엇을 볼 수 있는지를 다룹니다.
  • 1.5 데이터 원천과 계측: 원천으로서의 ITSM 도구, 이슈 트래커, 버전 관리, 지속적 통합 및 전달 파이프라인, 모니터링, 구성 관리 데이터베이스(CMDB), 설문을 다루며 데이터 품질, 타임스탬프, 상태 모델에 주목합니다.
  • 1.6 서비스 지표를 위한 통계 소양: 평균보다 백분위수, 치우친 분포, 작은 표본, 관리도, 티켓과 흐름 데이터에 대한 정직한 불확실성을 다룹니다.
  • 1.7 측정 프레임워크: 목표-질문-지표(Goal-Question-Metric), 목표와 핵심 결과(OKR), 균형 성과표, 핵심 성공 요인과 핵심 성과 지표, 그리고 이들이 ITIL 프랙티스와 결합되는 방식을 다룹니다.
  • 1.8 ITIL 5 측정과 가치 성과: 측정 가능한 가치, 디지털 제품, AI 지원 환경에 대한 ITIL 5의 공표된 강조점을 소유자의 자체 출판물에서 확인한 대로 다루고, 오늘 바로 측정할 수 있는 기반(소유권, 성과, AI 감독)을 다룹니다.

이 주제들의 상호 관계

이 주제들은 사다리가 아니라 순환 고리를 이룹니다. 주제 1.1(주제 1.1, 서비스 관리를 왜 측정하는가 참조)은 목적을 제공하고, 주제 1.3(주제 1.3, 산출물보다 성과: 무엇을 측정할지 고르기 참조)은 그 목적을 무엇을 측정할지에 대한 선택으로 바꿉니다. 성과에 초점을 두고 고른 지표에도 정의, 소유자, 검토 일자가 필요하며, 이것이 주제 1.4(주제 1.4, 지표 거버넌스와 소유권 참조)의 일입니다. 주제 1.7(주제 1.7, 측정 프레임워크 참조)에서 다루는 목표-질문-지표 같은 프레임워크는 목표에서 소수의 측정치로 옮겨 가는 반복 가능한 방법을 제공하므로 주제 1.3, 1.4와 자연스럽게 짝을 이룹니다.

데이터와 통계는 두 번째 짝을 이룹니다. 잘 고른 지표도 그 뒤에 있는 기록만큼만 좋으며, 주제 1.5(주제 1.5, 데이터 원천과 계측 참조)는 타임스탬프, 상태 모델, 도구 구성이 숫자의 의미를 어떻게 형성하는지 설명합니다. 이어서 주제 1.6(주제 1.6, 서비스 지표를 위한 통계 소양 참조)은 백분위수, 관리도, 불확실성에 대한 평이한 진술로 그 숫자를 정직하게 읽는 방법을 다룹니다. 약한 데이터는 좋은 통계를 무력화하고, 약한 통계는 좋은 데이터를 낭비하므로 두 주제는 함께 읽는 편이 좋습니다.

주제 1.8(주제 1.8, ITIL 5 측정과 가치 성과 참조)은 같은 순환 고리를 변화하는 프레임워크에 적용합니다. 어떤 버전이든 필요한 기반을 측정하고, 확인되지 않은 주장에는 그렇다는 표시를 붙여 둡니다. 주제 1.2(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조)는 방호책으로서 다른 모든 주제를 가로질러 놓여 있습니다. 주제 1.3에 따라 고르고, 주제 1.4에 따라 관리하고, 주제 1.5의 원천에서 가져온 지표라도 사람들이 그 지표로 평가받는 순간 악용될 수 있습니다. 거버넌스는 누가 무엇을 보고 지표를 어떻게 쓰는지를 제한합니다. 성과에 초점을 둔 선택은 악용의 이득을 줄입니다. 여기서 소개하고 책 전체에서 발전시키는 짝 지표는 한 숫자가 다른 숫자를 검증하게 합니다. 그래서 이후 부의 모든 지표에는 악용 방식과 방호책이 함께 나오며, 이 부는 그 이유를 설명합니다.