개요와 동기

대부분의 서비스 지표는 대시보드의 숫자 하나로 도착합니다. 평균 해결 시간, 목표 안에 해결한 인시던트의 퍼센트, 이번 주에 닫은 티켓 수가 그렇습니다. 숫자 하나는 정밀하게 느껴집니다. 그러나 대개는 어지러운 사건들의 모음을 압축한 요약이며, 그 압축이 독자가 무엇을 보는지를 결정합니다. 이 책에서 통계 소양이란 요약을 정직하게 유지하는 작은 습관의 집합입니다. 데이터의 모양에 맞는 요약을 고르고, 그 뒤에 얼마나 많은 데이터가 있는지 알고, 실제 변화와 잡음을 구분하는 것입니다.

서비스 데이터의 모양이 첫 번째 문제입니다. 해결 시간, 사이클 타임, 대기 시간 같은 시간 측정치는 0에서 시작하고 오른쪽에 긴 꼬리가 있습니다. 대부분의 항목은 빨리 끝나고 몇 건이 아주 오래 걸립니다. 이런 데이터는 치우쳐(skewed) 있고 산술 평균이 꼬리 쪽으로 끌려가므로, 막힌 티켓 한 건이 일상적인 티켓 백 건보다 평균을 더 크게 움직일 수 있습니다. 항목을 정렬했을 때 가운데 값인 중앙값(median)은 훨씬 덜 영향을 받습니다. 백분위수(percentile)는 이를 일반화합니다. 85번째 백분위수는 항목의 85퍼센트가 그 안에 끝나는 값입니다. 이런 종류의 소요 시간은 값의 로그가 대칭인 로그 정규 분포(log-normal distribution)로 모형화하는 경우가 많습니다. 교훈은 치우친 데이터에서는 "전형적인 값"과 "평균"이 다르다는 것입니다.

표본 크기가 두 번째 문제입니다. 분기에 우선순위 1 인시던트를 12건 해결하고 "목표 안 83퍼센트"라고 보고하는 팀은 12건 중 10건을 설명하고 있습니다. 한 건만 더 놓쳐도 수치가 8포인트 움직입니다. 정직한 진술에는 건수가 들어가며, 흔히 범위도 들어갑니다. 신뢰 구간(confidence interval)은 진짜 값이 관측값에서 얼마나 떨어져 있을 수 있는지를 표현하는, 데이터로 계산한 범위입니다. 구간은 표본이 작으면 넓고 크면 좁으며, 이는 인시던트가 12건인 분기에 맞는 메시지입니다.

변동이 세 번째 문제입니다. 모든 프로세스는 아무것도 바뀌지 않았는데도 주마다 흔들리는 숫자를 만들어 냅니다. 1920년대에 제조 품질을 연구한 월터 슈하트는 이런 일상적인 흔들림을 조사할 가치가 있는 신호와 구분했고, 관리도(control chart)를 우리에게 남겼습니다. 이런 차트를 프로세스에 적용하는 것을 통계적 공정 관리(statistical process control)라고 합니다. 마지막 실수의 일부는 평균으로의 회귀(regression toward the mean)입니다. 극단적인 값 다음에는 덜 극단적인 값이 오는 경향이 있으므로, 끔찍한 주 다음 주는 누가 무언가를 했든 안 했든 회복처럼 보입니다.

Kanban 가이드가 사이클 타임 백분위수와 작업 항목 경과 시간을 쓰는 것 같은 애자일 흐름 실천은 이미 분포와 가능성으로 표현한 예측을 요구합니다(주제 2.1, 흐름 측정치 참조). ITIL 4에서 측정 및 보고 프랙티스와 지속적 개선 프랙티스는 모두 보이는 대로의 의미를 가진 측정치에 의존하고, 서비스 수준 관리는 현실적인 변동에 맞춰 정한 목표에 의존합니다. 통계 소양은 이 둘 아래에 있는 공통 층입니다. 이는 주제 1.2, 굿하트의 법칙과 지표의 심리학의 방호책도 뒷받침합니다. 분포 전체를 보여 주는 팀은 조작된 평균을 숨길 곳이 더 적습니다.

공통 원인 변동은 프로세스에 내장되어 있고, 특수 원인 변동은 무언가 구체적으로 바뀌거나 잘못된 데서 옵니다. 서비스 수준 협약(SLA)은 고객에 대한 문서화된 약속이고, 서비스 수준 목표(SLO)는 측정치에 대한 목표입니다.

핵심 원칙

  • 요약을 모양에 맞추십시오. 소요 시간에는 중앙값과 백분위수를 쓰고, 결정이 중요할 때는 분포 전체를 보여 주십시오. 평균은 대체로 대칭인 데이터나 비용 같은 합계에만 쓰십시오.
  • 모든 비율에는 건수가 따릅니다. 분자와 분모가 없는 백분율은 증거가 붙지 않은 주장입니다. 정해진 최소 건수 미만이면 비율 대신 원시 항목을 보여 주십시오.
  • 일상적인 변동은 뉴스가 아닙니다. 반응하기 전에 측정치의 정상 범위를 아십시오. 모든 움직임이 아니라 신호에 반응하십시오.
  • 불확실성은 답의 일부입니다. 예측은 가능성("항목의 85퍼센트는 9일 안에 끝난다")으로, 추정은 범위로 표현하고, 거짓 정밀성을 거부하십시오.
  • 일을 소유한 팀에 분포를 보여 주십시오. 원시 항목과 히스토그램은 특이한 사례를 보이게 하고 조용한 조작을 어렵게 합니다.
  • 상관관계, 선택, 시점이 많은 "개선"을 설명합니다. 무엇이 또 바뀌었는지, 누가 데이터에서 빠졌는지, 출발점이 유난히 나빴는지 물으십시오.
  • 통계는 적정한 수준에 머물게 하십시오. 팀에는 통계 강좌가 아니라 일관되게 쓰는 소수의 기법이 필요합니다. 모든 차트를 쉬운 말로 설명하십시오.

지표 정의

아래 지표는 지표 운영의 통계적 품질과 서비스 작업의 분포를 설명합니다. 시간 측정치는 각 행에 명시된 시계를 사용하며, 정의는 뒤따르는 주제들이 재사용하도록 의도되었습니다(주제 3.3, 인시던트 대응 및 해결 시간과 주제 2.2, 리드 타임, 사이클 타임, 흐름 효율 참조).

지표 정의 공식 단위 데이터 원천 ITIL 프랙티스 애자일 대응 주기
해결 시간 중앙값 기간 중 해결된 인시던트의 해결 시간 중간값 기간 중 해결된 인시던트에 대한 (해결 타임스탬프 빼기 생성 타임스탬프)의 50번째 백분위수. 시계는 티켓 생성 시점에 시작해 해결 시점에 멈추며, 일시 정지는 빼지 않고 별도로 보고하고, 취소 및 중복 티켓은 제외 시간 또는 일 ITSM 도구 상태 이력 인시던트 관리, 측정 및 보고 사이클 타임 중앙값 주 또는 월
해결 시간 높은 백분위수 대부분의 인시던트가 그 안에 해결되는 시간으로, 백분위수를 명시함 위와 같은 경과 시간의 85번째(또는 95번째) 백분위수. 해결된 항목이 최소 20건일 때만 계산하고, 그렇지 않으면 원시 항목을 나열 시간 또는 일 ITSM 도구 상태 이력 인시던트 관리, 서비스 수준 관리 사이클 타임 백분위수 예측 주 또는 월
가장 오래된 미해결 항목 경과 시간 아직 열려 있는 가장 오래된 항목의 경과 시간과, 높은 백분위수보다 오래된 항목의 수 미해결 항목의 현재 시각 빼기 생성 타임스탬프(일시 정지는 빼지 않음). 고객 대기 중인 항목을 포함해 서비스 대기열의 모든 미해결 항목을 셈 일 ITSM 도구 또는 이슈 트래커 인시던트 관리, 문제 관리 작업 항목 경과 시간 주
비율 보고 적용률 분자, 분모, 최소 건수 확인을 보여 주는 보고 비율의 비율 건수와 표본 표시가 있는 보고 비율 수 / 보고된 비율 수. 해당 기간 검토 자료에 게시된 비율만 셈 퍼센트 지표 레지스트리(주제 1.4, 지표 거버넌스와 소유권 참조) 측정 및 보고 업무 합의 분기
관리도 신호율 팀의 서면 규칙에 따라 특수 원인 변동을 신호로 나타낸 관리도 점의 비율 규칙에 따라 표시된 점 수 / 그려진 점 수(최근 20개 이상의 점). 규칙은 미리 고정되어 기록됨 퍼센트 관리도 도구 또는 스프레드시트 지속적 개선 프로세스에 대한 회고 점검 월
구간 폭 대표 비율에 대해 명시한 불확실성 범위의 폭 해당 기간의 대표 비율에 대해, 레지스트리에 명시된 방법으로 구한 구간의 상한 빼기 하한 퍼센트 포인트 ITSM 건수로 계산 서비스 수준 관리 계획에서의 예측 범위 월

계약이 평균을 명시하는 경우에는 계약상의 수치를 보고하고, 중앙값과 백분위수를 그 옆에 함께 보여 주십시오.

권장 사항

시간 데이터를 정직하게 요약하십시오

1. 중앙값과 이름 붙인 높은 백분위수 하나를 기본으로 하십시오. 해결 시간, 사이클 타임, 이행 시간에는 중앙값과 85번째 또는 95번째 백분위수를 함께 게시하고, 지표 이름에 백분위수를 적으십시오. 중앙값은 전형적인 값을, 높은 백분위수는 고객에게 합리적으로 약속할 수 있는 값을 알려 줍니다. 약속을 위해 하나만 골라야 한다면 백분위수를 고르십시오.

2. 요약뿐 아니라 모양도 보여 주십시오. 종료일별 해결 시간의 히스토그램이나 산점도는 어떤 요약도 보여 주지 못하는 군집, 긴 꼬리, 갑작스러운 이동을 보여 줍니다. 그림과 숫자가 어긋나면 그림을 믿고 숫자를 조사하십시오.

3. 가장 오래된 미해결 항목의 경과 시간을 더하십시오. 끝난 일의 백분위수는 뒤를 보며 아직 막혀 있는 모든 것을 무시합니다. 가장 오래된 미해결 항목과 이미 높은 백분위수보다 오래된 미해결 항목의 수를 보고하십시오(주제 2.1, 흐름 측정치 참조). 이것은 어려운 항목을 방치해 개선되는 평균에 대한 가장 유용한 단일 교정책입니다.

작은 표본과 불확실성을 존중하십시오

4. 모든 비율과 함께 건수를 게시하십시오. "83퍼센트" 대신 "12건 중 10건이 목표 안에 해결"이라고 쓰십시오. 정해진 건수 미만의 항목에 근거한 비율은 건수나 기반 항목으로 보여 준다는 규칙을 추가하십시오. 임계값은 판단이므로 적고, 검토하고, 모든 곳에 적용하십시오.

5. 대표 비율과 예측에는 구간을 쓰십시오. 실패한 변경의 비율 같은 비례에는 팀이 합의한 방법으로 신뢰 구간을 계산하고 방법을 레지스트리에 적으십시오. 전달 예측에서는 표본 기반 범위(예: "주당 8건에서 14건일 가능성이 높음")가 단일 처리량 수치보다 계획 담당자에게 더 많은 것을 알려 줍니다. 구간이 너무 넓어 결정에 정보를 줄 수 없다면 그렇게 말하십시오.

신호와 잡음을 구분하십시오

6. 행동의 근거가 되는 측정치에는 관리도를 그리십시오. 단순한 개별값 차트는 각 점을 시간 순서대로 중심선과 데이터로 계산한 한계선과 함께 그리고, 한계 밖의 점이나 중심 한쪽으로 치우친 연속을 표시합니다. 주간 해결 시간 중앙값과 주간 건수에서 시작하십시오. 신호 규칙(예: 한계를 넘은 점, 또는 한쪽에 여덟 개 연속)을 한 번 적고 고정해, 팀이 차트가 기분과 맞을 때까지 규칙을 조정하지 않게 하십시오.

7. 신호에는 행동하고 공통 원인 변동은 내버려 두십시오. 점이 한계 안에 있으면 설명하려는 충동을 참으십시오. 프로세스가 평소대로 행동하는 것입니다. 신호가 나타나면 그 주에 무엇이 바뀌었는지 물으십시오. 릴리스, 인력 공백, 공급업체 장애, 새 분류가 그 예입니다. 프로세스가 안정적이지만 만족스럽지 않다면 개선은 시스템의 변경이지, 붉은 주를 보낸 사람과의 대화가 아닙니다.

8. 극단적인 기간 뒤에는 평균으로의 회귀를 예상하십시오. 한 해 중 최악의 달에 이니셔티브를 시작하면 우연히 어느 정도 개선이 따라옵니다. 이니셔티브의 공으로 돌리기 전에 더 긴 기준선, 변하지 않은 비슷한 서비스, 또는 관리 한계와 비교하십시오. 두 점의 전후 비교는 가장 약한 증거입니다.

원인과 선택에 대해 신중히 추론하십시오

9. 데이터에서 무엇이 빠졌는지 물으십시오. 설문 응답은 응답하기로 한 사람들에게서 옵니다. 종료된 티켓에는 아직 열려 있는 것이 빠져 있습니다. 결론을 내리기 전에 누가 또는 무엇이 없는지, 그것이 결과를 어떻게 기울일 수 있는지 나열하십시오.

10. 정의는 의도적으로 바꾸고 차트에 표시하십시오. 새 상태 모델, 새 우선순위 매트릭스, 새 분류 목록은 일을 바꾸지 않고 데이터를 바꿉니다. 각 변경을 차트에 주석으로 달고 그 뒤부터 관리 한계를 다시 시작하십시오(주제 1.5, 데이터 원천과 계측 참조).

악용 방식과 방호책

지표 악용되는 방식 짝을 이루는 방호책 지표 또는 실천
해결 시간 중앙값 빠른 티켓을 먼저 닫고 어려운 것은 열어 둠, 티켓을 쉬운 여러 개로 쪼갬, 고객 대기 상태에서 시계를 멈춤 해결 시간 높은 백분위수와 가장 오래된 미해결 항목 경과 시간, 일시 정지 상태에 머문 시간의 비율, 연결 티켓 비율
해결 시간 높은 백분위수 결과를 좋아 보이게 하는 백분위수를 고르거나 보고서마다 바꿈, 긴 사례를 "이상치"로 제외하거나 재분류함 레지스트리에 고정된 백분위수, 이유가 적힌 제외 항목 목록, 가장 오래된 미해결 항목 경과 시간
가장 오래된 미해결 항목 경과 시간 가장 오래된 항목을 해결하지 않은 채 닫거나 병합함, 다른 대기열이나 분류로 옮김 재개방률, 가장 오래된 종료 항목의 표본 감사, 대기열 이관 건수
비율 보고 적용률 헤드라인은 여전히 백분율로 시작하면서 작은 글씨로 건수를 붙임, 최소 건수를 너무 낮게 정해 절대 발동하지 않게 함 레지스트리가 아니라 실제 대시보드를 검토합니다. 최소 건수를 구간 폭과 함께 검토합니다
관리도 신호율 신호가 사라지도록 한계를 넓히거나, 규칙을 추가하거나, 기준선을 다시 시작함, 측정치를 바꿔 점을 옮김 변경 이력과 함께 레지스트리에 저장된 규칙과 한계, 원시 히스토그램과 비교
구간 폭 좁은 범위가 나오는 방법이나 기간을 고름, 표본을 키우려고 서로 다른 서비스를 합침 레지스트리에 명시된 방법, 요청 시 제공되는 서비스별 분해, 합산 결과와 비합산 결과 비교

건강한 상태란 중앙값과 백분위수가 사용자의 경험과 같은 방향으로 움직이고, 오래된 항목의 짧은 목록이 조용히 재분류되지 않으면서 줄어들며, 비율이 건수와 함께 나타나는 모습입니다. 관리도 신호율은 낮되 0이 아니어야 합니다. 신호를 전혀 내지 않는 차트는 낼 수 없는 것일 수 있고, 늘 신호를 내는 차트는 불안정한 프로세스나 잘못 고른 규칙을 반영합니다.

상충 관계: 장점과 단점

접근 방식 강점 약점
평균 해결 시간 단순하고, 많은 계약과 맞고, 합산하기 쉬움 꼬리에 지배되어 고객이 보통 경험하는 것을 가림
중앙값과 높은 백분위수 이상치에 강하고 고객에 대한 약속을 뒷받침함 약간의 설명이 필요하고, 백분위수가 안정되려면 충분한 항목이 필요함
건수 없는 원시 비율 간결하고 익숙함 작은 표본을 숨기고 과잉 해석을 부름
건수와 구간이 있는 비율 불확실성에 정직하고 과잉 반응을 막음 덜 단호해 보이고, 구간 방법에 합의가 필요함
관리도 신호와 잡음을 구분하고 언제 행동할지 안내함 충분한 점과 안정적인 정의가 필요하고, 한계가 오독되거나 조작될 수 있음
전후 비교 빠르고 전달하기 쉬움 평균으로의 회귀와 동시에 일어난 변경에 취약함

1년에 인시던트가 몇 건 안 되는 서비스에서는 어떤 통계도 안정적이지 않으며, 올바른 방법은 인시던트 하나하나를 읽는 것입니다. 처리량이 많은 데스크에서는 분포를 고려한 측정치가 싸게 먹히고 분명히 우월합니다. 건수와 결정의 중요도에 따라 고르십시오.

팀과 논의할 질문

1. 현재 대시보드의 숫자 중 치우친 것의 평균은 무엇이며, 중앙값과 95번째 백분위수는 무엇을 보여 줄까요? 가장 많이 보는 시간 측정치를 골라 회의 전에 같은 항목 집합으로 세 가지를 모두 계산하십시오. 평균이 들려주는 이야기가 사용자가 말하는 것과 맞는지 물으십시오. 어떤 요약이 헤드라인이 되고 나머지는 어디에 나타날지 합의하며 마무리하십시오.

2. 가장 많이 인용되는 백분율 뒤에 몇 건이 있으며, 건수를 적어도 여전히 그것을 인용할까요? 리더십이 가장 많이 읽는 백분율 세 개를 나열하십시오. 각각 옆에 지난 기간의 분자와 분모를 적으십시오. 성공이나 실패가 한 건 더 있으면 수치가 어떻게 되는지 물으십시오. 그 아래에서는 팀이 비율 대신 항목을 보여 주는 최소 건수에 합의하십시오.

3. 마지막으로 이니셔티브의 공으로 개선을 돌린 것은 언제였으며, 그때 다른 무엇이 사실이었나요? 최근 성공 사례를 하나 고르십시오. 측정치가 최악이었던 때는 언제인지, 더 긴 이력은 어떤 모습인지, 비교할 만한 서비스도 개선되었는지 물으십시오. 어조는 호기심을 유지하십시오.

4. 우리 핵심 측정치의 정상 범위는 얼마이며, 어느 주가 특이하다고 말할 수 있는 사람은 누구일까요? 하나의 측정치에 대해 최근 20주 이상의 주간 값을 그리고 중심과 한계를 그리거나 대략 계산하십시오. 범위 안에 있었는데도 팀이 반응한 주가 어느 주인지 물으십시오. 누가 차트를 소유하고 신호 규칙을 어디에 적을지 합의하십시오.

5. 우리 데이터에서 누가 또는 무엇이 빠져 있나요? 측정치의 원천을 나열하십시오. 종료된 티켓, 설문 응답, 모니터링되는 서비스, 타임스탬프가 있는 도구가 그 예입니다. 각각에 누가 왜 제외되는지 물으십시오. 각 공백을 수정 사항이나 단서로 기록하십시오.

6. 넓은 범위나 "아직 모른다"를 변명처럼 들리지 않게 리더십에게 어떻게 설명할까요? 실제 사례로 표현을 연습하십시오. "인시던트 12건 기준으로 70에서 95퍼센트 사이이며, 다음 분기 이후 좁혀질 것으로 예상합니다." 청중이 무엇을 결정해야 하는지, 범위가 결정을 바꾸는지 물으십시오. 회의에서 짧은 대본을 쓰십시오.

네 가지 관점

제품 및 전달 팀

전달 팀은 사이클 타임과 처리량으로 예측하며, 평균이 아니라 백분위수 기반 예측에서 가장 큰 이익을 얻습니다(주제 2.1, 흐름 측정치 참조). 가능성이 붙은 범위로 말한 예측은 날짜 하나보다 방어하기 쉽습니다. 한 기간의 변화를 추세로 읽는 것을 삼가십시오(주제 2.5, 전달 예측과 계획 지표 참조).

서비스 및 운영 팀

운영 팀은 티켓 데이터와 인시던트 시계를 소유하므로 중앙값, 백분위수, 가장 오래된 미해결 항목을 게시하고 일시 정지 규칙을 설명하기에 가장 좋은 위치에 있습니다. 결함이 있는 릴리스 같은 실제 변화를 나쁜 한 주와 구분할 수 있도록, 주간 건수와 해결 시간을 관리 한계와 함께 차트로 그려야 합니다. 인시던트가 적은 서비스는 비율을 계산하지 말고 하나하나 검토해야 합니다(주제 3.3, 인시던트 대응 및 해결 시간 참조).

리더십과 거버넌스

리더는 팀이 무엇을 보여 줄지 정하는 질문을 던집니다. 모든 흔들림에 "왜 올랐습니까?"라고 묻는 것은 조직이 잡음을 설명하고 숨기도록 훈련시킵니다. 리더는 움직임이 정상 범위 안에 있는지, 수치 뒤에 몇 건이 있는지, 프로세스에서 무엇이 바뀌었는지 물어야 합니다. 거버넌스 기구는 대표 비율에 건수를 요구할 수 있습니다.

고객과 사용자

고객은 평균이 아니라 개별 사례를 경험합니다. 5주 걸린 요청 하나를 기억하며, 평균 이틀이라는 수치는 그 기억을 바로잡지 못합니다. 백분위수 약속("요청 열 건 중 아홉 건은 영업일 기준 사흘 안에")은 평균 시간보다 고객의 머릿속 모형에 더 잘 맞습니다. 설문 결과는 응답 건수와 함께 보여 주고, 주관식 의견은 숫자와 함께 읽어야 합니다(주제 6.1, 고객 만족도 지표 참조).

실제 적용: 서비스 관리 사례

한 중견 온라인 소매업체에 서비스 데스크와 웹 쇼핑몰을 지원하는 운영 팀이 있습니다. 아래 수치는 예시입니다.

리더십은 월간 헤드라인을 봅니다. "평균 인시던트 해결 시간이 9.1시간에서 7.4시간으로 줄었다." 운영 책임자는 이를 확인하고 다음 목표인 6시간에 대한 계획을 발표해 달라는 요청을 받습니다. 동의하기 전에 그녀는 분석가에게 기반 항목을 뽑아 그려 달라고 합니다. 그달의 인시던트 240건(예시) 중 중앙값은 2.5시간, 85번째 백분위수는 14시간이고, 5일보다 오래되었으면서 아직 열려 있는 것이 9건입니다. 전달의 중앙값은 2.6시간이었습니다. 평균이 내려간 것은 전달의 아주 긴 인시던트 세 건(그중 하나는 11일째)이 마침 이번 기간 초반에 해결되었기 때문이고, 비밀번호 재설정 티켓 한 묶음이 빨리 닫히는 요청 유형으로 재분류되었기 때문입니다.

팀은 지난 26주의 주간 중앙값을 차트로 그립니다. 중심선은 2.6시간 근처에 있고 지난 두 달의 모든 점이 한계 안에 있습니다. 헤드라인의 하락은 신호가 아닙니다. 둘째 주의 재분류가 차트 도중에 정의를 바꾸었으므로, 팀은 이를 표시하고 그 지점부터 한계를 다시 시작합니다.

팀은 세 가지 변경을 결정합니다. 월간 보고서는 중앙값, 85번째 백분위수, 가장 오래된 미해결 항목을 각각의 뒤에 있는 인시던트 건수와 함께 보여 줍니다. 제안된 6시간 평균 목표는 새 정의 아래 한 분기 치 데이터를 모은 뒤 정할 백분위수 목표에 대한 대화로 대체합니다. 팀은 또 오래된 인시던트 9건을 소유자와 다음 단계와 함께 나열합니다.

팀이 잡아내는 악용 위험은 다음 검토에서 나옵니다. 한 관리자가 가장 오래된 항목 수치를 건강해 보이게 하려고 가장 오래된 인시던트 9건을 "더 이상 재현되지 않음"으로 닫자고 제안합니다. 레지스트리가 가장 오래된 미해결 항목 경과 시간을 재개방률 및 오래된 종료 건의 표본 감사와 짝지우고 있으므로, 팀은 닫자고 제안된 것 중 세 건을 읽어 보고 두 건이 여전히 살아 있음을 확인해 열어 둡니다. 가장 오래된 항목 수치는 한 달 더 불편한 채로 남습니다. 이것이 의도한 동작입니다.

애자일, AI, 자동화, 분석

애자일

잦은 전달은 작은 표본을 많이 만들며, 이는 변화를 보기에는 좋지만 각 표본이 작습니다. 유용한 실천은 이동 구간에 걸친 관리도를 보여 주고 정기 검토에서 모든 흔들림이 아니라 신호만 논의하는 것입니다. 주의할 점은 잡음에 반응하지 않는 것입니다. 하락할 때마다 방향을 바꾸는 팀은 어떤 변경의 효과도 결코 보지 못합니다.

AI

AI 지원 작업은 더 빠른 첫 응답과 더 들쭉날쭉한 품질처럼 분포 전체를 옮기는 경우가 많습니다. 백분위수와 가장 오래된 항목으로 전후를 비교하고, 속도를 품질 측정치와 짝지우십시오. 주의할 점은 모델 변경이 추세 도중에 데이터를 바꿀 수 있으므로 모델과 프롬프트의 변경을 차트에 표시해야 한다는 것입니다.

자동화

중앙값, 높은 백분위수, 건수, 구간의 계산과 표시를 자동화해 올바른 형식이 기본값이 되고 아무도 손으로 다시 계산하지 않게 하십시오. 자동화에도 자체 표본 크기와 실패율을 보고해야 합니다. 주의할 점은 데이터가 치우쳐 있을 때 임계값에 대한 자동 경보가 오경보를 만든다는 것이므로, 경보는 고정된 숫자가 아니라 관리 한계에 기반해야 합니다.

분석

비율 뒤에 몇 건이 있는지 항상 밝히고, 건수가 작으면 구간을 보여 주십시오. 예측은 단일 날짜가 아니라 범위로 쓰십시오. 주의할 점은 통계적 유의성이 실질적 중요성을 뜻하지 않으며, 작은 표본이 실제 문제를 가릴 수 있으므로 숫자를 실제 항목을 읽는 것과 결합해야 한다는 것입니다.

부문별 관점

스타트업. 건수가 적으므로 대부분의 비율이 몇 개 항목으로 이루어지고 구간이 넓습니다. 통계를 계산하지 말고 인시던트를 하나하나 읽고, 한두 개 측정치의 단순한 주간 차트를 유지하고, 세 점으로 추세를 선언하지 마십시오. 건수가 늘면 습관이 이미 자리 잡도록 일찍 중앙값과 백분위수로 옮겨 가십시오.

소규모 사업. IT를 운영하는 사람이 데이터도 소유하며 표본은 대개 작습니다. 드문 사건은 백분율이 아니라 건수를 보고하고, 자체의 더 긴 이력과 비교하십시오. 공급업체의 "응답 시간" 시계가 실제로 무엇을 재는지 확인하십시오.

대기업. 건수가 많으면 분포가 의미를 갖지만, 서로 다른 서비스를 섞는 상위 집계도 부추깁니다. 같은 것끼리 비교하고, 정의와 사용한 백분위수를 게시하고, 팀들이 같은 측정치를 세 가지 방식으로 계산하지 않도록 차트와 계산 규칙의 공유 라이브러리를 유지하십시오.

정부 및 공공 부문. 계약과 법정 보고는 평균이나 임계 백분율을 고정하는 경우가 많으며, 그런 정의는 협상할 수 없습니다. 요구되는 수치를 정의된 그대로 보고하고, 감독 기관이 전체 그림을 볼 수 있도록 중앙값, 백분위수, 건수를 함께 보여 주십시오. 공적 감시 속에서는 과신한 숫자를 철회하는 비용이 크기 때문에 정직한 불확실성이 더 가치 있습니다(주제 8.5, 규제 및 정부 보고 참조).

비즈니스 케이스: 동기, ROI, TCO

요약 규칙에 합의하고, 내보내기 파일로 히스토그램과 관리도를 만들고, 보고서 템플릿에 건수를 추가하는 데 몇 시간이 걸리며, 최신 상태를 유지하는 데 주기마다 몇 분이 듭니다. 대부분의 도구는 이미 백분위수를 계산합니다. 더 큰 비용은 하나의 안심되는 숫자에 익숙한 사람들과의 대화입니다.

수익은 더 나은 결정과 덜 낭비되는 반응입니다. 팀은 나쁜 한 주 뒤에 조직을 개편하지 않게 되고, 우연한 개선을 이니셔티브의 공으로 돌리지 않게 되고, 고객의 절반이 경험하지 못하는 평균을 약속하지 않게 됩니다. 수치를 빌려 오지 마십시오. 작년의 결정이 몇 번 뒤집혔는지, 얼마나 많은 "개선"이 다음 기간에 사라졌는지 세어 그 건수로 케이스의 크기를 가늠하십시오.

안티패턴과 함정

  • 치우친 소요 시간의 평균. 평균은 꼬리에 끌려가 사용자가 느끼는 것을 가립니다. 중앙값과 이름 붙인 높은 백분위수를 보고하고 가장 오래된 미해결 항목을 보여 주십시오.
  • 아주 작은 표본의 백분율. 세 건에서 나온 "100퍼센트"는 일화입니다. 건수를 보여 주고 최소 건수 규칙을 적용하십시오.
  • 모든 흔들림에 반응하기. 붉은 주마다 쫓아다니면 노력을 낭비하고 팀이 잡음을 설명하도록 가르치게 됩니다. 관리 한계와 서면 신호 규칙을 쓰십시오.
  • 전후 비교 증명. 두 점으로는 개입을 우연이나 평균으로의 회귀와 구분할 수 없습니다. 더 긴 기준선과 비교 대상을 쓰십시오.
  • 차트의 골대 옮기기. 사후에 한계, 규칙, 정의를 바꾸면 어떤 차트든 이야기에 들어맞게 됩니다. 규칙을 고정하고, 변경을 기록하고, 주석을 다십시오.
  • 기본적으로 이상치 제외. 가장 긴 사례가 대개 고객이 기억하는 것입니다. 서면 이유가 있을 때만 제외하고, 제외한 것을 나열하십시오.
  • 거짓 정밀성. 12건에서 83.3퍼센트를 보고하는 것은 데이터에 없는 지식을 암시합니다. 정직하게 반올림하고 범위를 보여 주십시오.
  • 서로 다른 작업의 합산. 비밀번호 재설정과 데이터 센터 장애를 섞은 시간은 어느 쪽도 설명하지 못합니다. 먼저 나누십시오.

성숙도 모델

차원 1 시작 2 발전 3 표준화 4 관리 5 조율
시간 데이터 요약 평균만 일부 팀이 중앙값을 보여 줌 중앙값과 이름 붙인 백분위수, 가장 오래된 미해결 항목이 표준임 분포를 방호책과 함께 검토하고 추세로 봄 고객 및 공급업체와 백분위수 약속에 합의하고 데이터에 따라 개정함
표본 크기와 불확실성 건수 없이 비율을 인용 일부 보고서에 건수를 보여 줌 모든 비율에 건수와 최소 건수 규칙이 있음 대표 비율에 구간이 있고 방법이 레지스트리에 있음 고객과 불확실성을 공개적으로 공유하고 팀 간 계획에 활용함
변동과 인과 모든 변화를 설명함 한계선이 있는 몇 개의 차트 핵심 측정치에 서면 규칙이 있는 관리도 신호가 계획된 조사를 촉발하고 이니셔티브를 기준선과 대조함 서비스 간 공유 차트 라이브러리, 순위 없이 팀 간 기준선 비교

체크리스트

  • 모든 시간 측정치가 평균만이 아니라 중앙값과 이름 붙인 높은 백분위수를 보고한다.
  • 가장 오래된 미해결 항목의 경과 시간과 높은 백분위수를 넘은 항목의 수를 보고한다.
  • 보고하는 모든 비율이 분자와 분모를 보여 준다.
  • 최소 건수 규칙이 적혀 있고 모든 비율에 적용된다.
  • 대표 비율과 예측이 범위를 보여 주며 방법이 레지스트리에 명시되어 있다.
  • 팀이 행동의 근거로 삼는 세 측정치에 서면 신호 규칙이 있는 관리도가 있다.
  • 정의 변경은 차트에 주석으로 달리고 레지스트리에 기록된다.
  • 제외한 항목이 이유와 함께 나열되어 있다.
  • 개선 주장은 반복하기 전에 더 긴 기준선과 대조해 확인한다.
  • 각 지표의 악용 방식과 방호책이 레지스트리에 있다(주제 1.4, 지표 거버넌스와 소유권 참조).

AI 프롬프트

요약이 데이터에 맞는지 점검합니다.

[서비스]의 [기간] 동안 [측정치, 예: 인시던트 해결 시간] 값이 [개수]개 있습니다.
시계는 [시작 이벤트]에서 시작해 [종료 이벤트]에서 멈춥니다. 일시 정지는
[어떻게 처리하는지]. 값은 아래에 붙였습니다.

분포의 모양을 설명하고, 평균, 중앙값, [백분위수, 예: 85번째]와 [두 번째
백분위수, 예: 95번째]를 계산한 다음, 어떤 요약이 전형적인 사례를 가장 잘
나타내고 어떤 요약이 고객에 대한 약속을 뒷받침하는지 알려 주세요. 데이터
오류처럼 보이는 값은 짚어 주되 제거하지는 마세요. 기준 값을 지어내지 마세요.
가정한 내용과 데이터로는 판단할 수 없었던 것을 나열해 주세요.

[개인 정보를 제거한 값을 붙여 넣기]

비율을 불확실성과 함께 표현합니다.

우리 팀은 [비율 이름]을 [기간]과 [서비스]에 대해 [분모] 중 [분자]로 보고합니다.
이를 건수와 함께 제시하는 방법을 보여 주고, 성공이 한 건 더 있거나 적으면 얼마나
바뀌는지 쉬운 말로 설명하고, [방법, 또는 "추천하고 이름을 밝히는 방법"]을
사용해 신뢰 구간을 계산해 주세요. 비전문가 리더가 이해할 수 있는 표현과, 비율
대신 항목을 보여 줘야 하는 최소 건수 규칙을 제안해 주세요. 비교 수치를 지어내지
마세요. 방법과 그것이 요구하는 데이터 조건을 포함해 가정한 내용을 나열해 주세요.

변화가 신호인지 잡음인지 판단합니다.

[서비스]의 연속된 [주간 또는 월간] [측정치] 값이 [개수]개 있습니다. [기간]에
변화가 있었습니다: [개입, 릴리스, 정의 변경 설명]. 중심선과 한계선이 있는
관리도를 그리거나 설명하고, 다음 신호 규칙을 적용해 어느 점이 신호인지
알려 주세요: [규칙 목록, 예: 한계를 넘은 점 하나 또는 한쪽에 여덟 개 연속].
변화가 일상적인 변동과 구분되는지, 평균으로의 회귀나 정의 변경 같은 다른
설명 중 무엇을 배제해야 하는지 말해 주세요. 인과관계를 주장하지 마세요.
가정한 내용과 도움이 될 추가 데이터를 나열해 주세요.

[값을 붙여 넣기]

AI 스킬

핵심 정리

  • 서비스 소요 시간은 치우쳐 있으므로 중앙값과 이름 붙인 높은 백분위수를 보고하고 가장 오래된 미해결 항목의 경과 시간을 더하십시오.
  • 모든 비율에는 건수가 따르며, 작은 표본은 자신 있는 백분율이 아니라 항목이나 범위로 보여 주십시오.
  • 한 주에 반응하기 전에 관리도로 측정치의 정상 범위를 아십시오.
  • 두 점으로 측정한 개선을 의심하십시오. 평균으로의 회귀와 정의 변경이 많은 개선을 설명합니다.
  • 정직한 불확실성은 보고서의 강점이며 굿하트 식 악용에 대한 방호책입니다(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조).
  • 기법은 적정한 수준으로 유지하십시오. 쉬운 말로 설명한 일관된 몇 가지 방법이 설명 없는 많은 방법보다 팀에 더 도움이 됩니다.

참고 문헌과 더 읽을거리

  1. Wheeler, D. J., Understanding Variation: The Key to Managing Chaos, 2nd edition, SPC Press, 2000.
  2. Shewhart, W. A., Economic Control of Quality of Manufactured Product, D. Van Nostrand, 1931.
  3. Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
  4. Vacanti, D., Yeret, Y., et al., The Kanban Guide, 2020, https://kanbanguides.org/.
  5. Hubbard, D. W., How to Measure Anything: Finding the Value of Intangibles in Business, 3rd edition, Wiley, 2014.
  6. Kahneman, D., Thinking, Fast and Slow, Farrar, Straus and Giroux, 2011.
  7. Tufte, E. R., The Visual Display of Quantitative Information, 2nd edition, Graphics Press, 2001.
  8. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  9. Wikipedia, Skewness.
  10. Wikipedia, Median.
  11. Wikipedia, Percentile.
  12. Wikipedia, Log-normal distribution.
  13. Wikipedia, Confidence interval.
  14. Wikipedia, Control chart.
  15. Wikipedia, Statistical process control.
  16. Wikipedia, Regression toward the mean.