서비스 관리를 왜 측정하는가
서비스를 만들고 운영하는 팀에는 자신의 일이 사용자에게 도움이 되는지, 나아지고 있는지를 볼 수 있는 소수의 정직한 숫자가 필요하며, 애자일과 ITIL은 그 그림의 서로 다른 절반을 각각 제공합니다.
개요와 동기
서비스를 만들고 운영하는 모든 팀은 하루 종일 결정을 내립니다. 다음에 무엇을 할지, 릴리스가 안전한지, 서비스 데스크에 사람이 한 명 더 필요한지, 장애가 일회성이었는지 패턴인지를 정해야 합니다. 측정이 없으면 이런 결정은 기억, 일화, 그리고 마지막에 말한 사람에게 좌우됩니다. 잘못된 측정은 그보다 더 나쁠 수 있습니다. 숫자는 의견이 갖지 못한 권위를 지니기 때문입니다. 이 주제는 측정이 노력할 만한 가치가 있는 이유, 각 전통이 기여하는 바, 잘못 측정했을 때의 대가를 설명합니다.
이 책에서는 두 전통이 만납니다. 애자일 소프트웨어 개발(Agile software development)은 2001년 애자일 선언문에 담긴 가치와 실천의 모음으로, 동작하는 소프트웨어, 고객과의 긴밀한 협업, 변화에 대한 대응을 중시합니다. 애자일의 측정 습관은 경험적이고 지역적입니다. 팀이 자신의 흐름을 점검하고, 무엇을 전달했는지 살펴보고, 적응합니다. ITIL은 원래 정보 기술 인프라 라이브러리(Information Technology Infrastructure Library)의 약자이며, IT 서비스 관리(Information technology service management)(ITSM), 즉 IT 서비스를 설계하고, 제공하고, 개선하는 실천을 위한 지침 모음입니다. ITIL의 측정 습관은 서비스 지향적이고 공유됩니다. 합의된 서비스 수준, 서비스 카탈로그(ITIL의 고유 표기는 "service catalogue"), 지속적 개선이라는 규율이 그 내용입니다. 2019년판 프레임워크인 ITIL 4에서 측정 및 보고는 일반 관리 프랙티스의 하나이며, 지속적 개선은 프랙티스이자 지도 원칙입니다. 프레임워크는 계속 진화하므로 버전별 세부 사항에 의존하기 전에 프레임워크 소유자의 최신 출판물을 확인하십시오.
두 관점은 유용한 방식으로 다릅니다. 애자일은 "우리는 올바른 것을 만들고 있는가, 일이 얼마나 매끄럽게 흐르는가?"를 묻습니다. ITIL은 "서비스가 사용하는 사람들의 요구를 충족하는가, 서비스는 믿을 수 있고, 지원할 수 있고, 감당할 만한가?"를 묻습니다. 흐름만 측정하는 팀은 사용자가 불안정하다고 느끼는 서비스에 빠르게 배포할 수 있습니다. 서비스 수준만 측정하는 팀은 모든 목표를 달성하면서도 변경을 너무 느리게 전달해 서비스가 더는 적절하지 않게 될 수 있습니다. DevOps 운동은 만드는 일과 운영하는 일이 하나의 시스템이므로 그것을 설명하는 숫자도 함께 읽어야 한다는 관찰에서 비롯되었습니다. Google이 출간한 책에서 설명한 규율인 사이트 신뢰성 엔지니어링(Site reliability engineering)(SRE)은 신뢰성 목표와 변경의 속도 사이에 명시적인 연결 고리를 더합니다.
세 가지 용어가 책 전체에서 반복됩니다. 측정치(measure)는 일이나 서비스의 무언가를 설명합니다. 지표(metric)는 정의된 공식, 단위, 데이터 원천을 갖춘 측정치로, 두 사람이 계산해도 같은 답이 나옵니다. 방호책(guardrail)은 미리 선택해 둔 두 번째 측정치 또는 실천으로, 첫 번째가 악용되고 있으면 함께 움직입니다. 방호책 뒤에 있는 경고는 굿하트의 법칙(Goodhart's law)입니다. 측정치가 목표가 되면 사람들은 일이 아니라 숫자를 조종하기 시작합니다(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조).
측정은 무엇을 위한 것인가
측정은 다음 네 가지 역할 가운데 하나를 할 때 존재 가치를 얻습니다.
- 보기. 보이지 않는 일을 보이게 합니다. 아무도 들여다보지 않는 대기열, 세 팀에 걸친 인시던트 패턴, 처리 순서를 기다리며 9일을 보내는 변경이 그 예입니다.
- 결정하기. 두 선택지 사이의 결정에 정보를 줍니다. 예를 들어 요청 유형을 자동화할지, 그 요청을 일으키는 결함을 고칠지를 정하는 일입니다.
- 배우기. 믿음을 검증합니다. 새로운 리뷰 방식이 재작업을 줄일 것이라고 팀이 생각한다면 숫자가 실제로 줄었는지 말해 줄 수 있습니다.
- 설명하기. 사용자, 고객, 리더에게 서비스가 무엇을 제공하는지 정직하게 설명해 신뢰가 증거에 기반하게 합니다.
이 네 가지 역할 중 어느 것도 하지 못하는 숫자는 부담일 뿐입니다. 이후 주제에서는 각 지표 군에 이 시금석을 반복해서 적용합니다.
아무것도 측정하지 않는 비용
아무것도 측정하지 않는 팀이 숫자에서 자유로운 것은 아닙니다. 암묵적인 숫자로 움직입니다. 가장 큰 불만, 가장 최근의 장애, 사람들이 얼마나 바빠 보이는지에 대한 관리자의 감각이 그것입니다. 여기서 두 가지 비용이 따릅니다.
- 느린 피드백. 추세가 일찍 보여 주었을 문제가 뜻밖의 사건으로 닥칩니다. 반복 문의의 완만한 증가는 위기가 될 때까지 불운처럼 보입니다.
- 개선의 근거 부재. 팀은 변경이 도움이 되었는지 알 수 없으므로 어떤 변경을 되풀이해야 하는지 배울 수 없습니다.
잘못된 것을 측정하는 비용
잘못된 것을 측정하는 일은 아무것도 측정하지 않는 것보다 나쁜 경우가 많습니다. 잘못된 확신을 가지고 노력을 이끌기 때문입니다. 닫힌 티켓 수, 코드 줄 수, 완료된 스토리 포인트, 기록된 시간은 수집하기도 차트로 그리기도 쉽지만, 모두 사용자에게 돌아가는 가치가 아니라 활동의 측정치입니다. SPACE 프레임워크의 배경 연구(Forsgren 외, 2021)는 생산성을 하나의 차원으로 포착할 수 없으며 활동 수치만 단독으로 쓰면 오해를 낳는다고 주장합니다.
핵심 원칙
- 결정을 위해 측정합니다. 각 지표는 문서로 적힌 질문에 답하고 이름이 있는 선택에 정보를 줍니다. 어떤 선택인지 아무도 말하지 못한다면 그 지표를 폐기하십시오.
- 두 관점을 합칩니다. 전달 흐름과 서비스 건강 상태를 같은 화면에서 읽어, 속도가 안정성을 희생한 대가로 얻어지거나 그 반대가 되지 않게 합니다.
- 성과를 먼저, 활동을 나중에 측정합니다. 사용자의 형편이 나아졌는지가 시금석입니다. 활동 수치는 이야기를 뒷받침하지만 이야기를 대신하지는 않습니다(주제 1.3, 산출물보다 성과: 무엇을 측정할지 고르기 참조).
- 팀과 서비스를 설명하고 개인은 절대 설명하지 않습니다. 개인 순위는 데이터를 오염시키고 협업을 해칩니다.
- 작게 시작해 키웁니다. 신뢰할 수 있는 소수의 지표가 관리가 허술한 지표의 벽보다 낫습니다.
- 팀에게 먼저 보여 줍니다. 일하는 사람들이 첫 번째 독자이며 데이터가 정확한지 확인하는 가장 좋은 검증자입니다.
- 바뀔 것을 예상합니다. 정의, 지표, 목표는 더는 결정에 정보를 주지 못할 때 수정합니다.
지표 정의
아래 지표는 측정 실천 자체의 건강 상태를 설명하며, "왜 측정하는가"가 검증 가능해지는 지점입니다. 이 지표들을 보여 줄 수 있는 팀은 이유를 가지고 측정하고 있는 것입니다. 시간 기반 또는 건수 기반 공식은 모두 경계를 명시합니다.
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 |
|---|---|---|---|---|---|---|---|
| 결정 연계 지표 비율 | 문서로 적힌 질문과, 그 지표가 정보를 주는 이름 있는 결정을 갖춘 보고 지표의 비율 | 기록된 질문과 결정이 있는 지표 수 / 분기 말 대시보드에 보고된 지표 수 | 퍼센트 | 지표 등록부(주제 1.4, 지표 거버넌스와 소유권 참조) | 측정 및 보고, 지속적 개선 | 회고 실행 항목, 팀 합의 | 분기 |
| 기준선 포괄률 | 합의된 핵심 측정치마다 시작 값이 기록된 범위 내 서비스와 팀의 비율 | 최근 12개월 이내에 기준선이 기록된 서비스-측정치 쌍 수 / 범위 내 전체 서비스-측정치 쌍 수. 카탈로그 밖의 서비스는 제외 | 퍼센트 | 서비스 카탈로그와 지표 등록부 | 서비스 수준 관리, 측정 및 보고 | 이해관계자 검토, 팀 대시보드 | 분기 |
| 측정 노력 | 지표를 수작업으로 수집, 정제, 보고하는 데 쓴 직원 시간 | 해당 월에 수작업 수집과 보고에 기록된 시간, 조사 결과에 따라 행동하는 데 쓴 시간은 제외 | 팀당 월별 시간 | 시간 기록 또는 짧은 팀 설문 | 측정 및 보고 | 회고 시간 예산 | 분기 |
| 검토 시점의 데이터 연령 | 그룹이 논의하려고 모일 때 가장 최근 데이터 점이 얼마나 오래되었는가 | 검토 회의 타임스탬프 빼기 대시보드 최신 데이터 점의 타임스탬프. 지표별로 계산하며 중앙값과 85번째 백분위수로 보고 | 일 | 대시보드 갱신 로그 | 측정 및 보고 | 이해관계자 검토 | 검토마다 |
| 개선 후속 조치율 | 지표 검토에서 제기된 개선 실행 항목 가운데 합의된 기간 안에 완료되었거나 의도적으로 종료된 비율 | 제기 후 90일 이내에 완료되었거나 사유와 함께 종료된 실행 항목 수 / 해당 기간에 제기된 실행 항목 수, 개선 등록부에 기록된 날짜부터 계산 | 퍼센트 | 지속적 개선 등록부 또는 백로그 | 지속적 개선 | 회고 실행 항목 | 분기 |
측정 노력은 일부러 수작업만 셉니다. 데이터를 읽고 무엇을 할지 결정하는 데 쓴 시간은 이 활동의 목적이므로 제외하며, 그래서 수집을 자동화하면 진전으로 나타납니다.
권장 사항
목적에서 시작하십시오
1. 지표보다 이유를 먼저 적으십시오. 제안된 측정치마다 "우리는 Y를 결정하기 위해 X를 측정한다"라는 한 문장을 적습니다. 문장을 쓸 수 없다면 그 측정치는 준비가 되지 않은 것입니다. 이 습관 하나로 대부분의 허영 지표가 대시보드에 들어오기 전에 걸러집니다.
2. 독자와 결정을 명시하십시오. 같은 숫자도 팀, 서비스 소유자, 임원에게는 다른 의미입니다. 누가 읽고 어떤 선택을 뒷받침하는지 적어 두십시오. 팀의 작업용 화면에는 측정치가 스무 개 있어도 됩니다. 리더십에게 가는 것은 작고 안정적인 집합이어야 합니다(주제 11.1, 서비스 지표 대시보드 설계 참조).
두 전통을 모두 쓰십시오
3. 흐름 측정치와 서비스 측정치를 짝지으십시오. 일이 어떻게 움직이는지 보여 주는 측정치(예: 리드 타임이나 작업 항목 경과 시간, 주제 2.2, 리드 타임, 사이클 타임, 흐름 효율 참조)를 최소 하나, 서비스가 어떻게 동작하는지 보여 주는 측정치(예: 인시던트 재발이나 서비스 수준 지표, 주제 5.2, SLI, SLO, 오류 예산 참조)를 최소 하나 고르십시오. 둘을 함께 보여 주면 속도와 안정성을 서로 다른 그룹이 서로 다른 차트를 보며 관리하는 흔한 실패를 막을 수 있습니다.
4. 전달과 운영을 하나의 시스템으로 다루십시오. Accelerate(Forsgren, Humble, Kim, 2018)에 요약된 연구는 소프트웨어 전달 성과를 처리량과 안정성의 균형을 잡는 네 가지 측정치로 설명할 수 있다고 보고합니다. 팀이 어떤 집합을 채택하든 변경 관련 숫자와 인시던트 관련 숫자를 가까이 두어, 한쪽이 오르면 다른 쪽을 살펴보게 하십시오(주제 2.8, DORA 지표 참조).
정직하게 측정하십시오
5. 서로 당기는 소수의 측정치를 선호하십시오. 숫자 하나는 과도한 최적화를 부르므로 속도와 품질, 양과 성과, 비용과 경험처럼 짝을 고르십시오. 짝이 반드시 공식일 필요는 없습니다. 같은 화면에 나타나기만 하면 됩니다.
6. 무엇이든 바꾸기 전에 기준선을 기록하십시오. 시작 값이 없으면 개선 주장은 이야기일 뿐입니다. 먼저 몇 주치 데이터를 확보하고 평균뿐 아니라 값의 퍼짐도 포함하십시오(주제 1.6, 서비스 지표를 위한 통계 소양 참조). 기준선은 팀도 보호합니다. 나쁜 분기가 성과 하락이 아니라 일을 세는 방식의 변경 뒤에 왔음을 보여 주기 때문입니다.
습관을 만드십시오
7. 결정에 맞는 주기로 검토하십시오. 흐름 측정치는 주간 대화나 지속적 소프트웨어 전달의 각 단계마다 여는 대화에 어울립니다. 서비스 수준과 비용 측정치는 월간이나 분기별 대화에 어울립니다. 잘못된 리듬으로 검토하는 지표는 잡음을 만들거나 행동이 도움이 되었을 순간을 놓칩니다.
8. 개선 작업으로 고리를 닫으십시오. "흥미롭네요"로 끝나는 검토는 데이터를 낭비한 것입니다. 검토마다 이름이 있는 한두 개의 실행 항목, 소유자, 날짜로 끝내고 완료 여부를 추적하십시오. ITIL의 지속적 개선 프랙티스와 애자일 회고는 같은 규율을 부르는 두 이름입니다(주제 9.5, 지속적 개선 지표 참조).
9. 숫자를 무엇에 쓰지 않을지 말하십시오. 팀 지표를 개인의 순위를 매기거나 보상하는 데 쓰지 않으며 정의는 공개적으로 바꾸겠다고 분명히 밝히십시오. 사람들은 측정이 어떻게 쓰일지 신뢰할 때 측정에 협조합니다(주제 11.3, 두려움을 키우지 않고 지표 도입하기 참조).
악용 방식과 방호책
측정에 관한 지표도 악용될 수 있습니다. 아래 각 행은 지표와 그것이 흔히 왜곡되는 방식, 이를 드러낼 점검을 짝지어 보여 줍니다.
| 지표 | 악용되는 방식 | 짝을 이루는 방호책 지표 또는 실천 |
|---|---|---|
| 결정 연계 지표 비율 | 비율을 높이려고 모든 지표에 대해 사후에 그럴듯한 질문과 결정을 적음 | 결정 로그를 표본 조사: 그 지표 때문에 무엇이 바뀌었는지 묻고, 항목이 작성된 날짜를 지표가 처음 나타난 날짜와 대조 |
| 기준선 포괄률 | 기준선을 한 번 기록하고 다시는 갱신하지 않음, 또는 편리하게 조용한 기간을 고름 | 기준선마다 날짜 범위와 표본 크기를 명시하도록 요구, 서비스에 큰 변경이 있은 뒤 기준선 검토 |
| 측정 노력 | 기록 없이 수집 작업을 하거나 공급업체로 넘겨 장부에서 작업을 치움 | 보고에 걸리는 시간을 사람들이 어떻게 말하는지 짧은 설문과 비교, 검토에 공급업체의 노력 포함 |
| 검토 시점의 데이터 연령 | 기반 기록은 여전히 낡았는데 회의 직전에 대시보드만 갱신 | 갱신 시각뿐 아니라 원천 시스템에서 가장 최신 기록의 연령도 보고 |
| 개선 후속 조치율 | 비율을 맞추려고 "더는 해당되지 않음"이라는 사유로 항목을 종료하거나, 항목을 사소한 조각으로 쪼갬 | 분기마다 종료된 항목에 적힌 사유를 검토하고, 항목이 겨냥한 측정치가 움직였는지 추적 |
건강한 읽기란 눈에 보일 만큼 살아 있는 실천입니다. 지표는 서면 사유와 함께 등록부에 들어오고 나가며, 기준선은 최신이고, 검토에서 나온 실행 항목은 끝나거나 정직하게 철회되며, 팀은 데이터를 수집하는 것보다 데이터에 따라 행동하는 데 더 많은 시간을 씁니다. 모든 행에서 만점이 나온다면 축하할 이유가 아니라 기반 기록을 표본 조사해 보라는 신호입니다.
상충 관계: 장점과 단점
| 선택 | 장점 | 단점 |
|---|---|---|
| 적게 측정 | 비용이 낮음, 악용 위험이 낮음, 신뢰가 높음 | 사각지대, 결정이 일화에 의존 |
| 많이 측정 | 폭넓은 포괄, 여러 방면의 조기 경보 | 주의가 분산됨, 거버넌스가 허술함, 수집 비용이 커짐 |
| 통합된 관점 | 속도와 안정성의 균형, 공동 소유 지원 | 팀 간에 합의된 정의와 공통으로 볼 장소가 필요 |
| 지표에 목표 설정 | 방향과 긴박감을 줌 | 악용을 부름, 짝을 이루는 방호책이 필요 |
| 목표 없는 지표 | 정직한 논의를 장려 | 아무도 행동하지 않는 보고서로 흐를 수 있음 |
현실적인 답은 작고 통합된 집합이며, 목표는 서비스 수준 목표처럼 잘 이해되고 사용자가 요청한 조건에만 아껴서 쓰는 것입니다. 나머지는 모두 논의할 질문입니다. 목적은 결정에서 판단을 없애는 것이 아니라 판단에 더 나은 증거를 공급하는 것입니다.
팀과 논의할 질문
1. 지난 분기에 숫자가 실제로 바꾼 결정은 무엇이었나요? 그룹에게 구체적인 결정을 떠올려 보게 한 다음, 그중 어느 것이 (있다면) 데이터에 의존했는지 가려 보십시오. 목록이 짧다면 그것도 유용한 정보입니다. 현재 보고의 상당 부분이 제 몫을 하지 못한다는 뜻이기 때문입니다. 진행자는 결정을 실제로 바꾼 지표를 기록해 두십시오. 보호할 후보이기 때문입니다. 그런 다음 어떤 결정이 직관으로 내려졌는지, 숫자가 도움이 될 수 있었는지 물어보십시오.
2. 우리의 현재 숫자 중 어느 것이 활동을 설명하고, 어느 것이 사용자에게 돌아가는 가치를 설명하나요? 현재 대시보드를 화면에 띄우고 각 지표를 활동(닫힌 티켓, 실행된 빌드, 완료된 포인트)이나 성과(일할 수 있게 된 사용자, 재발하지 않는 문제)로 표시하십시오. 경계에 있는 사례를 오래 논쟁하지 마십시오. 요점은 균형을 보는 것입니다. 활동만 있는 곳에서는 그 활동이 어떤 성과를 낳아야 하는지, 팀이 그것을 어떻게 알 수 있는지 물어보십시오.
3. 전달 숫자와 운영 숫자는 지금 어디에 있고, 같은 사람들이 둘 다 보나요? 각 측정치 군이 어디에 저장되어 있고 누가 검토하는지 추적하십시오. 변경 데이터는 한 그룹이, 인시던트 데이터는 다른 그룹이 검토하고 공유하는 회의가 없다는 사실에 팀이 놀라는 경우가 많습니다. 둘을 함께 보지 않아서 놓칠 수 있는 패턴이 무엇인지 물어보십시오. 둘이 만나는 한 곳 또는 한 회의에 합의하십시오.
4. 측정하지 않아서 몰랐다면 후회할 것은 무엇인가요? 지표가 아니라 걱정을 말해 보도록 청하십시오. "우리가 ~을 알아채지 못할까 두렵다"는 식입니다. 답에서 후보 측정치로, 그것을 보여 줄 가장 저렴한 데이터로 나아가십시오. 목록은 짧게 유지하십시오.
5. 리더십에게 보여 주기 전에 우리 숫자에 대해 무엇을 믿어야 하나요? 데이터를 신뢰할 수 있게 만드는 요소를 논의하십시오. 안정적인 정의, 표본으로 확인한 정확도, 제외 항목에 대한 합의입니다. 일관되지 않게 쓰이는 상태처럼 작은 것이라도 팀이 가진 의심을 모두 나열하십시오. 더 널리 공유하기 전에 해결해야 할 의심과 숫자와 함께 공개해도 되는 의심을 정하십시오.
6. 다음 분기에 지표를 세 개만 유지할 수 있다면 무엇을, 왜 고르시겠어요? 제약이 우선순위를 강제합니다. 각자 세 개를 적게 한 다음 비교하십시오. 성과에서는 합의하고 활동 측정치에서는 의견이 갈리는지 살펴보십시오. 세 개 각각에 어떤 방호책이 필요한지 물어보십시오.
네 가지 관점
제품 및 전달 팀
전달 팀은 빠르고 지역적인 피드백에서 가장 큰 도움을 얻습니다. 일이 얼마나 기다리는지, 어디에서 대기하는지, 변경이 얼마나 자주 문제를 일으키는지가 그것입니다. 팀 자신을 위해서는 풍부한 작업용 화면을 유지하고, 바깥으로는 작은 집합만 공개해야 합니다. 팀은 산출물의 양을 가치의 대리 지표로 측정하려는 유혹을 이겨 내야 하며, 처음부터 속도 측정치를 품질 측정치와 짝지어야 합니다(주제 2.1, 흐름 측정치 참조).
서비스 및 운영 팀
운영 팀은 이미 숫자와 함께 삽니다. 처리량, 대응 및 해결 시간, 가용성이 그것입니다. 기회는 무슨 일이 있었는지 보고하는 데서, 재발, 근본 원인, 계획 외 작업의 비중을 통해 이유를 설명하는 쪽으로 옮겨 가는 데 있습니다(주제 2.9, 운영 작업과 계획 외 작업 참조). 또한 전달 팀과의 계획 논의에 자신의 데이터를 가져와, 신뢰성 작업이 불평이 아니라 증거로 주장되도록 해야 합니다.
리더십과 거버넌스
리더는 종종 우연히, 자신이 던지는 질문을 통해 인센티브를 정합니다. "왜 이게 빨간색이죠?"라고 묻는 리더는 팀에게 빨간색을 숨기도록 가르칩니다. "무엇을 배웠고 무엇이 필요한가요?"라고 묻는 리더는 팀에게 정직하게 보고하도록 가르칩니다. 거버넌스 기구는 숫자와 함께 등록부, 방호책, 개선 실행 항목을 요청해야 하며, 나쁜 숫자가 드러낸 일에 자금을 대야 합니다(주제 1.4, 지표 거버넌스와 소유권 참조).
고객과 사용자
사용자는 내부 측정치가 아니라 서비스가 동작하는지, 문제가 바로잡히는지로 서비스를 판단합니다. 설문, 불만, 의견에 담긴 사용자 자신의 말은 팀이 중요한 것을 측정하고 있는지 점검하는 수단으로서 운영 숫자 옆에 놓여야 합니다(주제 6.1, 고객 만족도 지표 참조).
실제 적용: 서비스 관리 사례
중견 온라인 소매업체가 서비스 데스크, 운영 팀, 그리고 스토어프런트, 결제, 주문 처리 서비스를 만드는 세 개의 제품 팀을 운영합니다. 아래 숫자는 예시용입니다.
리더십은 전달 팀이 매일 배포한다고 보고하고 운영 팀이 가용성이 99.9%라고 보고하는데도 고객이 느린 결제에 불만을 제기하는 이유를 묻습니다. 각 그룹은 자기 측정치로는 옳고, 아무도 이들을 함께 살펴본 적이 없습니다. 서비스 관리 책임자는 팀들이 이미 수집하는 데이터로 결제 서비스를 위한 한 쪽짜리 통합 화면을 만들자고 제안합니다.
화면은 최근 12주에 대해 네 가지를 보여 줍니다. 변경 리드 타임은 중앙값이 2일이고 85번째 백분위수가 9일입니다. 변경 실패율은 8%입니다. 결제 인시던트는 14건이며 그중 6건이 최근 릴리스에서 도입된 느린 데이터베이스 쿼리라는 하나의 원인을 공유합니다. 평균 복구 시간의 중앙값은 40분이지만 95번째 백분위수 페이지 로드 시간은 6주에 걸쳐 서서히 늘었는데, 서비스가 기술적으로는 계속 가동 중이었기 때문에 가용성 수치에는 이 패턴이 나타나지 않습니다.
그룹은 가려져 있던 것을 알아봅니다. 가용성은 "결제가 응답한다"로 측정되었지만 사용자는 "결제가 충분히 빠르게 응답한다"를 경험합니다. 제품 팀과 운영 팀은 고객 의견을 읽은 제품 소유자가 목표를 정한 결제 지연 시간 지표를 추가하고, 반복되는 인시던트 원인을 소유자가 있는 문제 기록으로 다루고, 통합 화면을 격주로 검토하기로 합의합니다. 한 가지 결정도 기록합니다. 한동안 지속적 소프트웨어 전달 중에 새 결제 기능을 멈추고 쿼리를 고치며 릴리스 파이프라인에 성능 점검을 추가하는 것입니다.
한 달 안에 악용 위험이 나타납니다. 운영 팀은 14건의 인시던트 중 2건이 "서비스 요청"으로 등록되었음을 알아챕니다. 요청 분류에는 해결 목표가 없기 때문입니다. 팀은 인시던트에 둔 목표가 경계선 사례를 요청으로 분류하도록 사람들을 부추겼음을 깨닫습니다. 팀은 재분류된 비율을 화면에 추가하고 매달 티켓 열 건을 표본 조사합니다. 이 변경 후 95번째 백분위수 페이지 로드 시간이 줄고 반복 인시던트가 감소하며, 팀은 결정을 바꿨기 때문에 이 화면을 계속 유지합니다.
애자일, AI, 자동화, 분석
애자일
지속적 전달과 지속적 이해관계자 참여는 작은 변경의 꾸준한 공급과 정기적인 피드백을 제공하며, 이는 소수의 정직한 숫자가 필요로 하는 바로 그것입니다. 유용한 실천은 정기적인 개선 대화마다 같은 소수의 측정치를 검토하고 팀이 다음에 무엇을 바꿀지 묻는 것입니다. 주의할 점은 검토를 현황 보고로 취급하지 않는 것입니다. 결정이 붙어 있지 않은 숫자는 부담입니다.
AI
AI 지원 작업은 작성된 티켓 초안, 제안된 변경, 쓰인 문서 같은 산출물 수치를 사용자가 받는 가치는 올리지 않으면서 끌어올릴 수 있습니다. AI 지원 작업의 모든 양 측정치를 품질 측정치와 짝지으십시오. 사람이 고쳐야 했던 초안의 비율이나 AI가 답한 요청의 반복 문의율이 그 예입니다. 주의할 점은 AI 사용에 관한 숫자가 이득이 아니라 도입 정도를 보여 준다는 것이므로 그 숫자가 보여 주지 못하는 바를 밝히십시오.
자동화
타임스탬프와 상태는 기록 시스템에서 자동으로 수집해 아무도 보고서에 숫자를 입력하지 않게 하십시오. 일찍 도입할 만한 실천은 누락된 타임스탬프와 불가능한 순서를 표시하는 작은 자동 점검입니다. 주의할 점은 자동화 자체도 측정해야 한다는 것입니다. 조용히 실패하는 파이프라인이나 봇은 그 아래 모든 숫자를 건강해 보이게 만듭니다.
분석
차트를 만들기 전에 질문과 결정을 먼저 정하고, 각 비율 뒤에 항목이 몇 개 있는지 보여 주십시오. 단일 평균 대신 백분위수와 추세를 쓰고, 정의가 바뀔 때마다 차트에 표시하십시오. 주의할 점은 불확실성입니다. 항목 수가 적으면 비율이 크게 움직일 수 있으므로 한 달치 데이터로 행동하지 마십시오. ITIL 5에 관해서는 주제 1.8, ITIL 5 측정과 가치 성과를 참조하십시오.
부문별 관점
스타트업. 소규모 팀은 프로세스가 적고 신뢰가 두터워 유리합니다. 위험은 필요가 생기기도 전에 대기업용 대시보드를 들여오는 것입니다. 창업자들이 매주 읽을 두세 개의 측정치(예: 변경 리드 타임, 단순한 신뢰성 지표, 사용자의 직접 피드백)로 시작하고 그 정의를 적어 두십시오.
소기업. IT를 운영하는 사람이 소유주에게 직접 보고하는 경우가 많고, 고객 불만 하나가 어떤 차트보다 무거울 수 있습니다. 집합을 작게 유지하고, 도구가 이미 만들어 내는 데이터를 쓰며, 사용자와의 대화를 우선하십시오. 공급업체가 제공하는 보고서는 공급업체 자신의 인센티브가 있으므로 어느 정도 주의해서 다루십시오.
대기업. 규모는 비교 가능한 숫자에 대한 요구와 그것을 악용하려는 압력을 함께 키웁니다. 서면 정의가 있는 작은 표준 집합을 쓰고, 팀의 작업용 화면을 상위 집계와 분리하며, 매우 다른 종류의 서비스를 운영하는 팀끼리 비교하지 마십시오. 지표 등록부, 공유된 정의, 검토 주기가 필수가 됩니다.
정부 및 공공 부문. 계약상 서비스 수준, 감사 요구 사항, 공개 보고 의무로 일부 측정치는 협상 불가능해질 수 있습니다. 이를 설계 입력으로 다루십시오. 충족하고, 옆에 방호책을 보여 주고, 사용한 정의를 밝히십시오. 공적 책임은 나쁜 소식을 숨기는 비용을 높이므로 솔직한 보고를 위한 안전한 내부 경로를 만드십시오(주제 8.5, 규제 및 정부 보고 참조).
비즈니스 케이스: 동기, ROI, TCO
측정의 동기는 더 낮은 비용으로 더 나은 결정을 내리는 것입니다. 측정은 우선순위 설정을 뒷받침하고, 낭비가 어디에 있는지 보여 주고, 서비스 저하를 조기에 경고하며, 투자 요청의 근거를 제공합니다.
비용은 여러 부분으로 이루어집니다. 도구는 이미 보유한 경우가 많습니다. 티켓 시스템, 이슈 트래커, 버전 관리, 모니터링입니다. 지표를 정의하고, 화면을 만들고, 등록부를 유지하는 직원 시간이 있습니다. 반복적으로 드는 검토 회의 비용은 가장 크고 가장 가치 있습니다. 측정 실천의 총소유비용(TCO)에는 조사 결과에 따라 행동하는 비용도 포함됩니다. 고칠 예산이 없는 통찰은 거의 수익을 내지 못하기 때문입니다.
수익을 보편적인 수치로 말하기는 어렵고, 이 책은 수치를 지어내지 않습니다. 사례를 만드는 유용한 방법은 변경 전후에 자신의 기준선을 측정하는 것입니다. 수작업 보고에 쓰는 시간, 반복 문의, 데이터가 틀려서 번복된 결정, 늦게 발견된 뜻밖의 일이 그 대상입니다. 기대할 만한 패턴은 뜻밖의 일이 줄고, 논쟁이 짧아지고, 운영 숫자와 사용자 경험이 더 잘 일치하는 것입니다. 쓴 노력과 절약한 노력을 비교하는 단순한 투자 수익률(Return on investment)(ROI) 비교가 합리적인 출발점이며, 그 방법은 주제 7.7, 투자 수익과 비즈니스 케이스에서 다룹니다.
안티패턴과 함정
- 모든 것의 대시보드. 수십 개의 차트, 소유자 없음, 결정 없음. 소수만 골라 각각이 정보를 주는 결정을 적고 나머지는 폐기하십시오.
- 한쪽만의 측정. 안정성 없는 속도, 또는 적합성 없는 안정성. 흐름 측정치를 서비스 측정치와 짝지으십시오.
- 사람 측정. 개인 순위는 데이터를 오염시키고 도움을 꺼리게 합니다. 팀과 서비스 수준에서 보고하십시오.
- 기준선보다 먼저 세우는 목표. 시작 값이 없는 목표는 추측입니다. 먼저 기준선을 기록하고 최소 한 번의 검토 주기를 거친 뒤에 목표를 정하십시오.
- 행동 없는 보고서. 변화를 낳지 않는 검토는 사람들이 그것을 무시하도록 가르칩니다. 검토마다 이름 있는 실행 항목, 소유자, 날짜로 끝내십시오.
- 조용한 정의 변경. 추세선이 무의미해집니다. 모든 변경을 사유와 함께 기록하고 차트에 표시하십시오.
성숙도 모델
| 차원 | 1 시작 | 2 발전 | 3 표준화 | 4 관리 | 5 조율 |
|---|---|---|---|---|---|
| 목적과 선택 | 도구가 제공해서 고른 지표 | 일부 지표에 명시된 목적이 있음 | 보고하는 각 지표에 서면 질문과 결정이 있음 | 지표 집합을 결정에 비추어 검토하고 쓰이지 않으면 폐기 | 공유된 성과를 중심으로 사용자 및 공급업체와 지표를 공동 설계 |
| 애자일과 ITIL의 통합된 관점 | 전달 데이터와 서비스 데이터가 분리되어 있음 | 일부 팀이 둘을 함께 봄 | 서비스별로 흐름과 서비스 건강 상태의 공통 화면이 있음 | 통합 화면이 추세로 관리되고 개선 작업과 연결됨 | 팀 간 및 공급업체 화면이 사용자 성과와 연결됨 |
| 기준선과 노력 | 기준선 없음, 수작업 수집 | 일부 서비스에 기준선, 수집 방식이 혼재 | 핵심 측정치의 기준선이 기록되고 수집이 대체로 자동 | 변경 후 기준선을 갱신하고 노력을 추적해 줄임 | 서비스가 바뀌는 대로 기준선과 정의를 지속적으로 조정 |
| 개선에서의 활용 | 숫자를 적어 두고 잊음 | 나쁜 주 이후에 가끔 행동 | 모든 검토가 이름 있는 실행 항목으로 끝남 | 실행 항목 후속 조치를 측정하고 자금을 지원 | 모두에게서 개선이 흘러나오고 팀 간에 보임 |
체크리스트
- 보고하는 각 지표에 서면 질문과, 그 지표가 정보를 주는 이름 있는 결정이 있습니다.
- 각 화면의 독자가 명시되어 있고, 팀 화면은 리더십 화면과 분리되어 있습니다.
- 흐름 측정치 하나와 서비스 측정치 하나 이상이 같은 화면에 나타납니다.
- 각 핵심 측정치에 날짜 범위와 표본 크기를 갖춘 기준선이 있습니다.
- 모든 시간 측정치가 시계가 어디서 시작하고 멈추는지 명시합니다.
- 모든 지표 옆에 방호책이 함께 표시됩니다.
- 수작업 수집 노력이 파악되어 있고, 가장 큰 수작업이 자동화 대상으로 검토되었습니다.
- 팀이 리더십보다 먼저 자신의 데이터를 봅니다.
- 개인 순위, 급여, 징계가 어떤 지표와도 연결되어 있지 않습니다.
- 각 검토가 이름 있는 개선 실행 항목, 소유자, 날짜 하나 이상으로 끝납니다.
- 지난 1년 동안 최소 하나의 지표가 폐기되거나 재정의되었습니다.
AI 프롬프트
각 지표의 목적 진술을 작성합니다.
우리는 [서비스 또는 제품]을 책임지는 [팀 이름]입니다. 현재 대시보드에는
다음 지표가 있습니다: [정의를 포함한 지표 목록]. 각 지표마다 "우리는 Y를
결정하기 위해 X를 측정한다"는 형식의 한 문장 진술을 작성하고, 제가 드린
내용으로는 결정을 추론할 수 없는 지표에는 표시해 주세요. 각 진술을 완성하기
위해 제가 답해야 할 질문을 제안해 주세요. 벤치마크 값이나 목표를 지어내지
마세요. 가정을 나열해 주세요.
전달 관점과 서비스 관점을 합칩니다.
[서비스 이름]에 대해 우리의 전달 측정치는 [정의와 데이터 원천을 포함한 목록]
이고 서비스 측정치는 [정의와 데이터 원천을 포함한 목록]입니다. 둘을 함께
보여 주고, 각 속도 측정치를 안정성 또는 품질 측정치와 짝짓고, 각각에 필요한
데이터를 적은 한 쪽짜리 레이아웃을 제안해 주세요. 두 집합 사이에서 충돌하는
정의가 있으면 찾아 주세요. 값이나 임계값을 지어내지 마세요. 가정과 판단할 수
없었던 사항을 나열해 주세요.
기준선 계획을 세웁니다.
[실천 또는 도구]를 바꾸기 전에 [서비스 또는 팀]의 [지표 이름]에 대한 기준선을
기록하려고 합니다. 데이터는 [원천]에서 옵니다. 데이터를 얼마나 오래 수집할지,
어떤 요약 통계(백분위수 포함)를 기록할지, 무엇을 왜 제외할지, 그 기간 중 일을
세는 방식이 바뀐 경우 어떻게 표시할지 제안해 주세요. 값을 가정하지 마세요.
가정과 보이는 데이터 품질 위험을 나열해 주세요.
행동으로 이어지는 검토를 준비합니다.
[청중]과 함께 [주간, 월간 또는 분기별]로 [지표 집합] 검토를 엽니다. 숫자를
읽는 데서 시작해 각각 소유자와 날짜가 있는 한두 개의 개선 실행 항목을 고르는
데까지 이어지는 안건과 짧은 진행 질문 세트를 작성해 주세요. 각 지표의
방호책에 비추어 악용 여부를 점검하는 질문을 포함해 주세요. 데이터를 지어내지
마세요. 그룹과 문화에 대한 가정을 나열해 주세요.
AI 스킬
- Service Management Metrics skill: 고려 중인 지표를 다루는 주제와 그 짝 방호책을 찾을 때 사용합니다.
- Service Management Metrics maintainer skill: 새롭거나 수정된 지표 주제가 목적 진술, 악용 방식, 방호책을 유지하는지 확인할 때 사용합니다.
핵심 정리
- 보고, 결정하고, 배우고, 설명하기 위해 측정하십시오. 이 중 어느 것도 하지 못하는 숫자는 부담입니다.
- 애자일은 흐름에 대한 빠르고 지역적인 피드백을 제공하고, ITIL은 신뢰성과 가치에 대한 공유된 서비스 수준의 관점을 제공합니다. 둘을 함께 읽으십시오.
- 아무것도 측정하지 않으면 결정이 일화에 맡겨지고, 잘못된 것을 측정하면 잘못된 확신으로 노력이 향합니다.
- 서면 목적, 기준선, 방호책을 갖춘 소수의 지표로 시작하십시오.
- 팀과 서비스를 설명하고 개인은 절대 설명하지 말며, 팀이 자신의 데이터를 먼저 보게 하십시오.
- 고리를 닫으십시오. 행동을 낳지 않는 검토는 데이터를 낭비합니다.
참고 문헌과 더 읽을거리
- Beck, K., et al., Manifesto for Agile Software Development, 2001, https://agilemanifesto.org/.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016.
- Vacanti, D., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
- Vacanti, D., Yeret, Y., et al., The Kanban Guide, 2020, https://kanbanguides.org/.
- AXELOS, ITIL Foundation: ITIL 4 Edition, TSO, 2019.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
- Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
- Wikipedia, Agile software development.
- Wikipedia, ITIL.
- Wikipedia, Information technology service management.
- Wikipedia, DevOps.
- Wikipedia, Site reliability engineering.
- Wikipedia, Goodhart's law.
- Wikipedia, Return on investment.