지표 정의와 공식 참조
이 부록은 내용 주제에서 정의한 모든 지표를 부와 주제별로 묶어 나열합니다. 각 항목에는 원본 주제의 정의, 공식, 단위, 데이터 원천, 관련 ITIL 프랙티스, 애자일 대응, 주기가 해당 악용 방식 및 방호책과 함께 실려 있습니다. 이 부록은 각 주제의 "지표 정의" 절과 "악용 방식과 방호책" 절에서 생성되므로, 원본 주제가 기준입니다. 이곳의 항목이 주제와 다르면 주제가 옳으며, 부록은 다시 생성됩니다.
사용 방법
- 채택하기 전에 찾아보세요. 대시보드에 지표를 올리기 전에 악용 방식과 방호책을 포함한 항목을 읽고, 방호책을 지표와 함께 적용하세요 (주제 1.3, 산출물보다 성과: 무엇을 측정할지 고르기 참조).
- 팀, 서비스, 시스템을 측정하세요. 어떤 항목도 개인의 순위를 매기려는 것이 아닙니다 (주제 1.2, 굿하트의 법칙과 지표의 심리학 참조).
- 판단은 원본 주제에 맡기세요. 여기의 공식은 간략합니다. 용어 정의, 표본에 관한 메모, 실제 사례는 원본 주제에 있습니다.
- 조직의 변형을 기록하세요. 조직이 정의를 바꾸면 변경 내용과 이유를 지표 레지스트리에 남기세요 (주제 1.4, 지표 거버넌스와 소유권 참조). 지표 카드가 도움이 됩니다 (주제 12.4, 템플릿 참조).
- 예시 숫자에는 표시가 있습니다. 이 부록에는 기준 값이 없습니다. 모든 숫자는 조직 고유의 기준선에서 나와야 합니다.
제1부: 측정의 기초
1.1 서비스 관리를 왜 측정하는가
원본 주제: (주제 1.1, 서비스 관리를 왜 측정하는가 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 결정 연계 지표 비율 | 문서로 적힌 질문과, 그 지표가 정보를 주는 이름 있는 결정을 갖춘 보고 지표의 비율 | 기록된 질문과 결정이 있는 지표 수 / 분기 말 대시보드에 보고된 지표 수 | 퍼센트 | 지표 등록부(주제 1.4, 지표 거버넌스와 소유권 참조) | 측정 및 보고, 지속적 개선 | 회고 실행 항목, 팀 합의 | 분기 | 비율을 높이려고 모든 지표에 대해 사후에 그럴듯한 질문과 결정을 적음 | 결정 로그를 표본 조사: 그 지표 때문에 무엇이 바뀌었는지 묻고, 항목이 작성된 날짜를 지표가 처음 나타난 날짜와 대조 |
| 기준선 포괄률 | 합의된 핵심 측정치마다 시작 값이 기록된 범위 내 서비스와 팀의 비율 | 최근 12개월 이내에 기준선이 기록된 서비스-측정치 쌍 수 / 범위 내 전체 서비스-측정치 쌍 수. 카탈로그 밖의 서비스는 제외 | 퍼센트 | 서비스 카탈로그와 지표 등록부 | 서비스 수준 관리, 측정 및 보고 | 이해관계자 검토, 팀 대시보드 | 분기 | 기준선을 한 번 기록하고 다시는 갱신하지 않음, 또는 편리하게 조용한 기간을 고름 | 기준선마다 날짜 범위와 표본 크기를 명시하도록 요구, 서비스에 큰 변경이 있은 뒤 기준선 검토 |
| 측정 노력 | 지표를 수작업으로 수집, 정제, 보고하는 데 쓴 직원 시간 | 해당 월에 수작업 수집과 보고에 기록된 시간, 조사 결과에 따라 행동하는 데 쓴 시간은 제외 | 팀당 월별 시간 | 시간 기록 또는 짧은 팀 설문 | 측정 및 보고 | 회고 시간 예산 | 분기 | 기록 없이 수집 작업을 하거나 공급업체로 넘겨 장부에서 작업을 치움 | 보고에 걸리는 시간을 사람들이 어떻게 말하는지 짧은 설문과 비교, 검토에 공급업체의 노력 포함 |
| 검토 시점의 데이터 연령 | 그룹이 논의하려고 모일 때 가장 최근 데이터 점이 얼마나 오래되었는가 | 검토 회의 타임스탬프 빼기 대시보드 최신 데이터 점의 타임스탬프. 지표별로 계산하며 중앙값과 85번째 백분위수로 보고 | 일 | 대시보드 갱신 로그 | 측정 및 보고 | 이해관계자 검토 | 검토마다 | 기반 기록은 여전히 낡았는데 회의 직전에 대시보드만 갱신 | 갱신 시각뿐 아니라 원천 시스템에서 가장 최신 기록의 연령도 보고 |
| 개선 후속 조치율 | 지표 검토에서 제기된 개선 실행 항목 가운데 합의된 기간 안에 완료되었거나 의도적으로 종료된 비율 | 제기 후 90일 이내에 완료되었거나 사유와 함께 종료된 실행 항목 수 / 해당 기간에 제기된 실행 항목 수, 개선 등록부에 기록된 날짜부터 계산 | 퍼센트 | 지속적 개선 등록부 또는 백로그 | 지속적 개선 | 회고 실행 항목 | 분기 | 비율을 맞추려고 "더는 해당되지 않음"이라는 사유로 항목을 종료하거나, 항목을 사소한 조각으로 쪼갬 | 분기마다 종료된 항목에 적힌 사유를 검토하고, 항목이 겨냥한 측정치가 움직였는지 추적 |
1.2 굿하트의 법칙과 지표의 심리학
원본 주제: (주제 1.2, 굿하트의 법칙과 지표의 심리학 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 방호책 적용률 | 이름이 있고 추적되는 방호책이 있는 보고 지표의 비율 | 방호책이 있는 지표 수 / 보고된 지표 수 | 퍼센트 | 지표 레지스트리(주제 1.4, 지표 거버넌스와 소유권 참조) | 측정 및 보고, 지속적 개선 | 업무 합의 회고 | 분기 | 서류상으로만 방호책의 이름을 적고 실제로는 추적하지 않음 | 레지스트리를 검토합니다. 방호책의 최신 값이 같은 대시보드에 나타날 때만 인정합니다 |
| 재개방률 | 정해진 기간 안에 다시 열린 종료 티켓 또는 작업 항목의 비율 | 14일 안에 다시 열린 항목 수 / 해당 기간에 종료된 항목 수 | 퍼센트 | ITSM 도구 또는 이슈 트래커의 상태 이력 | 인시던트 관리, 문제 관리 | 완료의 정의, 유출 결함 | 월 | 티켓을 다시 열지 않고 닫은 뒤 새로 접수함, 재개방이 기간 밖에 떨어지도록 기간을 늘림 | 중복 및 연결 티켓 비율, 여러 티켓에 걸친 같은 원인의 재발 |
| 정의 변경 건수 | 기간 중 지표 정의나 상태 워크플로가 이유와 함께 변경된 횟수 | 정의 변경 로그의 항목 수 | 건수 | 지표 레지스트리 변경 로그 | 측정 및 보고 | 업무 합의 | 분기 | 건수가 낮게 유지되도록 변경을 기록하지 않음, 아무에게도 알리지 않고 워크플로를 변경함 | 검토 때마다 도구의 상태 모델을 레지스트리와 비교합니다 |
| 지표 활용률 | 해당 기간에 결정에 인용된 보고 지표의 비율 | 기록된 결정에 인용된 지표 수 / 보고된 지표 수 | 퍼센트 | 결정 로그 또는 검토 메모 | 지속적 개선 | 회고 실행 항목 | 분기 | 형식적으로 모든 지표를 결정 로그에 인용함 | 인용 때문에 무엇이 바뀌었는지 묻습니다. 로그를 표본 검토합니다 |
| 인식 격차 | 같은 서비스에 대한 만족도 설문 결과와 티켓에서 도출한 서비스 수준의 차이 | 설문 기반 비율 빼기 트래커 기반 비율 | 퍼센트 포인트 | 설문 도구와 ITSM 도구 | 서비스 수준 관리 | 이해관계자 검토 피드백 | 분기 | 만족한 사용자만 설문함, 좋은 상호작용 직후에 설문하도록 유도함 | 설문 응답률과 응답자 구성, 검토에서 소리 내어 읽는 주관식 의견 |
1.3 산출물보다 성과: 무엇을 측정할지 고르기
원본 주제: (주제 1.3, 산출물보다 성과: 무엇을 측정할지 고르기 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 성과 연결률 | 지표 레지스트리에서 지명된 고객 또는 서비스에 대한 서면 성과에 연결된 보고 지표의 비율 | 서면 성과 연결이 있는 지표 수 / 해당 기간에 보고된 지표 수. 정기 보고서에 나오는 지표만 세고, 한 팀이 보관하는 작업용 화면의 측정치는 제외 | 퍼센트 | 지표 레지스트리(주제 1.4, 지표 거버넌스와 소유권 참조) | 측정 및 보고, 지속적 개선 | 제품 목표와 전달 목표 | 분기 | 모든 지표에 모호한 성과 문장("서비스 개선")을 써서 서류상 연결만 만듦 | 레지스트리를 표본 검토합니다. 문장은 사람이나 서비스와 변화를 명시해야 하며, 그 측정치 때문에 결정이 내려졌는지 확인합니다 |
| 기능 도입률 | 릴리스 후 정해진 기간 안에 새롭거나 변경된 기능을 사용한 대상 사용자의 비율 | 릴리스 후 30일 안에 해당 기능을 사용한 고유 대상 사용자 수 / 해당 기간의 고유 대상 사용자 수. 시계는 일반 공개 시점에 시작하며, 내부 테스트 계정과 기능에 접근할 수 없었던 사용자는 제외 | 퍼센트 | 제품 분석, 서비스 카탈로그 사용 로그 | 서비스 설계, 릴리스 관리 | 이해관계자 검토 피드백, 제품 성과 측정치 | 릴리스 후 3개월은 월, 이후 분기 | 강제되거나 자동인 첫 사용을 도입으로 셈, 대상 사용자 집단을 줄임, 선택하지 않았는데도 "사용"되도록 기능을 기본값으로 만듦 | 기능 사용자의 작업 완료율 또는 만족도, 30일과 90일 뒤의 사용 유지, 주관식 의견 읽기 |
| 재접촉률 | 이전 접촉이 종료된 뒤 정해진 기간 안에 같은 서비스에 대해 사용자가 다시 접촉한 비율 | 종료된 접촉 후 14일 안에 같은 사용자가 같은 서비스에 대해 새로 접촉한 건수 / 해당 기간에 종료된 접촉 건수. 시계는 종료 시점에 시작하며, 계획된 후속 조치로 연 접촉은 제외 | 퍼센트 | ITSM 도구의 접촉 및 티켓 이력 | 서비스 데스크, 인시던트 관리 | 유출 결함, 완료의 정의 | 월 | 사용자에게 다른 채널로 새 요청을 접수하라고 안내함, 무관한 건의 중복으로 접촉을 종료함, 기간 내 재접촉을 피하려 종료를 늦춤 | 같은 서비스에 대한 채널별 접촉, 종료 메모의 표본 검토, 사용자가 보고한 "문제 해결" 비율 |
| 선행 지표 검증률 | 검토 기간에 연결된 후행 지표보다 먼저 움직인 것으로 확인된 사용 중인 선행 지표의 비율 | 후행 지표보다 앞선다고 확인된 선행 지표 수 / 사용 중인 선행 지표 수. 팀이 문서화된 검토에서 최소 4개 기간의 데이터로 판단하며, 4개 기간 미만인 지표는 제외 | 퍼센트 | 지표 레지스트리와 추세 이력 | 지속적 개선 | 실험에 대한 회고 실행 항목 | 연 2회 | 비공식적으로 살펴보고 선행 지표를 유효하다고 선언함, 성과와 함께 당연히 움직이는 지표를 고름 | 그래프로 그린 데이터가 있는 서면 검토 기록, 주기마다 팀 밖의 사람이 결과 하나에 이의를 제기하도록 초청 |
| 편익 검토 완료율 | 합의된 지연 기간 뒤에 의도한 성과를 측정치와 대조해 검토한 자금 지원 변경 또는 개선의 비율 | 계획된 검토일로부터 90일 안에 성과 검토를 마친 변경 수 / 해당 기간에 검토일이 도래한 변경 수. 릴리스 전에 철회된 변경은 제외 | 퍼센트 | 변경 기록, 개선 레지스트리, 검토 메모 | 지속적 개선, 변경 활성화 | 이해관계자 검토, 제품 증분 검토 | 분기 | 이름뿐인 검토를 열거나, 항상 충족되도록 사후에 의도한 성과를 정함 | 검토의 성과를 변경에 자금을 지원할 때 한 진술과 비교합니다. 계획 변경으로 이어진 검토의 비율을 추적합니다 |
1.4 지표 거버넌스와 소유권
원본 주제: (주제 1.4, 지표 거버넌스와 소유권 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 소유권 적용률 | 이름이 있고 현재 유효한 소유자가 있는 보고 지표의 비율 | 기간 말에 해당 역할을 여전히 맡고 있는 소유자가 있는 보고 지표 수 / 기간 말의 보고 지표 수. 한 팀의 비공개 보드에서만 쓰는 지표는 제외 | 퍼센트 | 지표 레지스트리 | 측정 및 보고 | 업무 합의 | 분기 | 100퍼센트를 채우려고 관리자나 메일링 리스트를 소유자로 적고, 지표를 설명하거나 바꿀 수 있는 사람은 없음 | 각 소유자에게 최근 숫자의 움직임 하나를 설명하게 합니다. 일주일 넘게 답이 없던 질문을 추적합니다 |
| 정의 최신성 | 합의된 간격 안에 정의를 검토한 보고 지표의 비율 | 최근 6개월 안에 검토일이 있는 지표 수 / 보고 지표 수. 시계는 마지막으로 기록된 검토에서 시작해 기간 말에 멈춤 | 퍼센트 | 지표 레지스트리 변경 로그 | 측정 및 보고, 지속적 개선 | 회고 실행 항목 | 분기 | 정의를 읽지 않고 검토일만 갱신함 | 분기마다 항목 세 개를 표본으로 뽑아 서면 정의를 도구의 실제 구성과 비교합니다 |
| 원천 일치율 | 정확히 하나의 지명된 원천에서 계산하는 보고 지표의 비율 | 하나의 권위 있는 원천이 있고 알려진 병행 계산이 없는 지표 수 / 보고 지표 수. 병행 계산은 대시보드와 보고서를 표본 조사해 찾음 | 퍼센트 | 레지스트리와 대시보드 및 보고서의 표본 | 측정 및 보고, 서비스 수준 관리 | 지표에 대한 완료의 정의 | 분기 | 스프레드시트가 여전히 돌고 서로 어긋나는데도 원천을 권위 있다고 선언함 | 표본 보고서에서 같은 지표에 대해 서로 다른 수치가 몇 개 나오는지 셉니다. 검토에서 차이를 조정합니다 |
| 폐기율 | 기간 중 폐기하거나 병합한 지표의 수를 보고된 지표에 대해 나타낸 비율 | 기간 중 폐기 또는 병합한 지표 수 / 기간 초에 보고된 지표 수. 비공개 팀 화면으로 옮긴 지표는 보고 집합에서 폐기된 것으로 셈 | 퍼센트 | 지표 레지스트리 변경 로그 | 지속적 개선 | 회고 실행 항목 | 분기 | 규율 있어 보이려고 하찮거나 쓰이지 않는 지표를 폐기하거나, 새 지표로 셈하려고 이름을 바꿈 | 폐기 로그에서 무엇이 제거되었는지 검토합니다. 보고 지표의 총수와 결정 연결률을 함께 추적합니다 |
| 접근 검토 최신성 | 제한된 지표 화면 중 간격 안에 청중 목록을 검토한 화면의 비율 | 최근 6개월 안에 청중을 검토한 제한 화면 수 / 제한 화면 수. 조직 전체에 열린 화면은 제외 | 퍼센트 | 접근 목록 또는 BI 도구 권한 내보내기 | 정보 보안 관리, 측정 및 보고 | 업무 합의 | 반기 | 기존 청중 목록을 읽지 않고 승인함 | 목록을 현재 팀 구성원과 역할에 비교합니다. 발견한 삭제 건수를 보고합니다 |
| 결정 연결률 | 레지스트리에서 정보를 주는 결정에 연결된 보고 지표의 비율 | 기록된 결정 또는 질문이 있는 지표 수 / 보고 지표 수. 결정이 최근 12개월 안에 내려진 경우에만 연결로 셈 | 퍼센트 | 지표 레지스트리와 결정 로그 | 지속적 개선 | 이해관계자 검토와 개선 성과 | 분기 | 필드를 채우려고 "서비스 개선" 같은 모호한 결정을 적음 | 날짜가 있는 결정 또는 질문을 요구하고, 결정 로그를 표본 검토해 지표가 실제로 참조되었는지 봅니다 |
1.5 데이터 원천과 계측
원본 주제: (주제 1.5, 데이터 원천과 계측 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 원천 포괄률 | 이벤트가 자동으로 지표 저장소에 도달하는 범위 내 서비스와 팀의 비율 | 자동 피드가 있는 서비스 또는 팀 / 범위 내 서비스 또는 팀. "범위 내"는 지표 등록부에 나열됨 | 퍼센트 | 지표 등록부와 파이프라인 구성 | 측정과 보고, 서비스 구성 관리 | 도구에 관한 팀 작업 합의 | 분기 | 피드가 연결되기만 하면 이벤트가 거의 없어도 포괄된 것으로 세기, 어려운 서비스를 범위에서 빼기 | 포괄된 서비스당 이벤트량을 알려진 활동과 비교, 범위 목록을 서비스 카탈로그와 대조 검토 |
| 타임스탬프 완전성 | 해당 지표의 시계에 필요한 타임스탬프를 모두 갖춘 종료 작업 항목의 비율 | 필요한 상태 변경 타임스탬프가 모두 있는 종료 항목 / 해당 기간에 종료된 항목. 아직 열린 항목은 제외 | 퍼센트 | ITSM 도구 또는 이슈 추적기 이력 | 인시던트 관리, 서비스 요청 관리 | 보드 또는 워크플로 이력 | 월 | 검증을 통과하려고 필수 타임스탬프를 종료 시각으로 채우기 | 연속된 상태 사이 간격의 분포, 종료 항목을 표본 추출하여 시각이 그럴듯한지 확인 |
| 소급 입력률 | 사후에 기록된 상태 변경의 비율. 이벤트 시각과 입력 시각의 간격으로 측정 | 이벤트 시각보다 24시간을 넘어 입력된 상태 변경 / 해당 기간의 상태 변경. 시계는 이벤트에서 시작하고 입력에서 멈춤 | 퍼센트 | 추적기의 감사 추적, 또는 파이프라인 이벤트 시각 대 입력 시각 | 변경 활성화, 인시던트 관리 | 완료의 정의 | 월 | 기준 직전에 맞춰 변경 입력하기, 기준 넓히기, 모든 변경을 일괄 갱신 한 번으로 기록하기 | 시간대별 입력 시각 패턴, 자동화가 한 변경 대 수작업 변경의 비율, 일괄 편집 감사 |
| 데이터 신선도 | 대시보드를 볼 때 가장 최신 데이터가 얼마나 오래되었는가 | 조회 시각에서 적재된 가장 최신 이벤트 시각을 뺀 값. 중앙값과 95백분위수를 보고 | 시간 | 파이프라인 실행 로그와 대시보드 로딩 로그 | 측정과 보고 | 이해관계자 검토 준비 | 주 | 가장 최신 이벤트 시각 대신 마지막 새로 고침 시각을 보여 주기 | 대시보드에 가장 최신 이벤트 시각 표시, 피드가 새 이벤트를 전달하지 않으면 경보 |
| 대조 편차 | 같은 건수에 대한 두 원천 사이의 불일치 | 두 건수의 절대 차이 / 기록 시스템 건수. 기간과 범위는 고정 | 퍼센트 | 기록 시스템과 보고 계층 | 서비스 수준 관리, 재무 관리 | 릴리스 보고서 점검 | 월 | 대조가 맞는 기간이나 범위를 고르기, 원인을 찾지 않고 보고 계층을 원천에 맞춰 조정하기 | 범위와 기간을 사전에 고정, 발견한 원인을 각각 기록하고 분기마다 원인 검토 |
| 상태 모델 이탈 | 문서화된 모델과 비교해 사용 중인 서로 다른 상태 이름 또는 전환의 수 | 해당 기간에 관찰된 문서화되지 않은 상태 또는 전환(건수). 문서화된 것은 제외 | 건수 | 추적기 워크플로 구성과 이벤트 이력 | 지속적 개선 | 워크플로에 관한 작업 합의 | 분기 | 표시되지 않도록 기존 상태를 새 의미로 재사용하기, 기록하지 않고 상태 추가하기 | 검토 때마다 워크플로 구성을 등록부와 비교, 특이한 상태에 있는 항목의 표본 읽기 |
| 설문 응답률 | 초대받은 사람 중 설문을 완료한 사람의 비율 | 완료된 응답 / 전달된 초대. 반송된 초대는 제외 | 퍼센트 | 설문 도구 | 서비스 수준 관리, 고객 경험 | 이해관계자 검토와 개선 피드백 | 설문 회차별 | 응답할 가능성이 높은 사람만 초대하기, 만족한 사용자에게 독려 메시지 보내기, 응답을 편향시키는 보상 제공하기 | 응답자 구성을 사용자 모집단과 비교, 회차별 응답 분포, 검토에서 자유 의견 읽기 |
1.6 서비스 지표를 위한 통계 소양
원본 주제: (주제 1.6, 서비스 지표를 위한 통계 소양 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 해결 시간 중앙값 | 기간 중 해결된 인시던트의 해결 시간 중간값 | 기간 중 해결된 인시던트에 대한 (해결 타임스탬프 빼기 생성 타임스탬프)의 50번째 백분위수. 시계는 티켓 생성 시점에 시작해 해결 시점에 멈추며, 일시 정지는 빼지 않고 별도로 보고하고, 취소 및 중복 티켓은 제외 | 시간 또는 일 | ITSM 도구 상태 이력 | 인시던트 관리, 측정 및 보고 | 사이클 타임 중앙값 | 주 또는 월 | 빠른 티켓을 먼저 닫고 어려운 것은 열어 둠, 티켓을 쉬운 여러 개로 쪼갬, 고객 대기 상태에서 시계를 멈춤 | 해결 시간 높은 백분위수와 가장 오래된 미해결 항목 경과 시간, 일시 정지 상태에 머문 시간의 비율, 연결 티켓 비율 |
| 해결 시간 높은 백분위수 | 대부분의 인시던트가 그 안에 해결되는 시간으로, 백분위수를 명시함 | 위와 같은 경과 시간의 85번째(또는 95번째) 백분위수. 해결된 항목이 최소 20건일 때만 계산하고, 그렇지 않으면 원시 항목을 나열 | 시간 또는 일 | ITSM 도구 상태 이력 | 인시던트 관리, 서비스 수준 관리 | 사이클 타임 백분위수 예측 | 주 또는 월 | 결과를 좋아 보이게 하는 백분위수를 고르거나 보고서마다 바꿈, 긴 사례를 "이상치"로 제외하거나 재분류함 | 레지스트리에 고정된 백분위수, 이유가 적힌 제외 항목 목록, 가장 오래된 미해결 항목 경과 시간 |
| 가장 오래된 미해결 항목 경과 시간 | 아직 열려 있는 가장 오래된 항목의 경과 시간과, 높은 백분위수보다 오래된 항목의 수 | 미해결 항목의 현재 시각 빼기 생성 타임스탬프(일시 정지는 빼지 않음). 고객 대기 중인 항목을 포함해 서비스 대기열의 모든 미해결 항목을 셈 | 일 | ITSM 도구 또는 이슈 트래커 | 인시던트 관리, 문제 관리 | 작업 항목 경과 시간 | 주 | 가장 오래된 항목을 해결하지 않은 채 닫거나 병합함, 다른 대기열이나 분류로 옮김 | 재개방률, 가장 오래된 종료 항목의 표본 감사, 대기열 이관 건수 |
| 비율 보고 적용률 | 분자, 분모, 최소 건수 확인을 보여 주는 보고 비율의 비율 | 건수와 표본 표시가 있는 보고 비율 수 / 보고된 비율 수. 해당 기간 검토 자료에 게시된 비율만 셈 | 퍼센트 | 지표 레지스트리(주제 1.4, 지표 거버넌스와 소유권 참조) | 측정 및 보고 | 업무 합의 | 분기 | 헤드라인은 여전히 백분율로 시작하면서 작은 글씨로 건수를 붙임, 최소 건수를 너무 낮게 정해 절대 발동하지 않게 함 | 레지스트리가 아니라 실제 대시보드를 검토합니다. 최소 건수를 구간 폭과 함께 검토합니다 |
| 관리도 신호율 | 팀의 서면 규칙에 따라 특수 원인 변동을 신호로 나타낸 관리도 점의 비율 | 규칙에 따라 표시된 점 수 / 그려진 점 수(최근 20개 이상의 점). 규칙은 미리 고정되어 기록됨 | 퍼센트 | 관리도 도구 또는 스프레드시트 | 지속적 개선 | 프로세스에 대한 회고 점검 | 월 | 신호가 사라지도록 한계를 넓히거나, 규칙을 추가하거나, 기준선을 다시 시작함, 측정치를 바꿔 점을 옮김 | 변경 이력과 함께 레지스트리에 저장된 규칙과 한계, 원시 히스토그램과 비교 |
| 구간 폭 | 대표 비율에 대해 명시한 불확실성 범위의 폭 | 해당 기간의 대표 비율에 대해, 레지스트리에 명시된 방법으로 구한 구간의 상한 빼기 하한 | 퍼센트 포인트 | ITSM 건수로 계산 | 서비스 수준 관리 | 계획에서의 예측 범위 | 월 | 좁은 범위가 나오는 방법이나 기간을 고름, 표본을 키우려고 서로 다른 서비스를 합침 | 레지스트리에 명시된 방법, 요청 시 제공되는 서비스별 분해, 합산 결과와 비합산 결과 비교 |
1.7 측정 프레임워크
원본 주제: (주제 1.7, 측정 프레임워크 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 목표 추적성 | 서면 목표와 질문까지 추적되는 보고 지표의 비율 | 기록된 목표와 질문이 있는 지표 수 / 보고된 지표 수 | 퍼센트 | 지표 레지스트리(주제 1.4, 지표 거버넌스와 소유권 참조) | 측정 및 보고, 지속적 개선 | 전달 목표, 제품 목표 | 분기 | 기록이 완결돼 보이도록 지표가 이미 있는 뒤에 목표와 질문을 씀, 어떤 지표든 정당화하는 모호한 목표 | 분기마다 항목 다섯 개를 표본으로 뽑아 그 질문이 다른 지표로 이어졌을 수 있는지 묻습니다. 청중과 결정이 명명되었는지 확인합니다 |
| 핵심 결과 점수 분포 | 핵심 결과의 기간 말 점수의 분포를 구간별 비율로 나타낸 것 | 각 점수 구간(예: 0.0 |
구간별 퍼센트 | OKR 추적 도구 또는 팀 문서 | 지속적 개선, 서비스 수준 관리 | 분기 계획, 검토 | 분기 | 점수가 1.0 근처에 몰리도록 쉬운 핵심 결과를 씀, 점수를 후하게 다시 매김, 이유를 기록하지 않고 잘 안 되는 핵심 결과를 폐기함 | 이유와 함께 폐기한 핵심 결과의 수, 핵심 결과를 이전 기간의 성과와 비교, 리더십과 중앙값 야심 수준을 검토 |
| 관점 포괄률 | 현재 값이 있는 측정치를 하나 이상 가진 균형 성과표 네 관점의 비율 | 지난 기간에 측정치가 보고된 관점 수 / 4 | 퍼센트 | 성과표 또는 대시보드 | 측정 및 보고, 서비스 가치 시스템 거버넌스 | 이해관계자 검토(고객 및 학습 관점) | 분기 | 포괄된 것으로 셈하려고 관점에 형식적 측정치를 추가함, 움직일 수 없는 측정치를 고름 | 각 관점의 측정치가 최근 1년 안에 값이 바뀌었고 서면 결정이 붙어 있는지 확인합니다 |
| 지표 검토 경과 시간 | 각 KPI의 정의와 목표를 마지막으로 검토한 뒤 지난 시간 | 보고일 빼기 마지막 검토일. 시계는 마지막으로 기록된 검토에서 시작해 보고일에 멈추며, 중앙값과 가장 오래된 것을 보고 | 일 | 지표 레지스트리 변경 로그 | 지속적 개선, 측정 및 보고 | 회고 실행 항목 | 분기 | 지표를 읽지 않고 검토를 기록함, 날짜만 바꿈 | 각 검토에 서면 결과(유지, 변경, 폐기)를 요구하고 로그를 표본 검토합니다 |
| CSF-KPI 포괄률 | 현재 보고되는 KPI가 하나 이상 있는 핵심 성공 요인의 비율 | 현재 KPI가 있는 CSF 수 / 서비스 또는 프랙티스에 정의된 CSF 수 | 퍼센트 | 프랙티스 또는 서비스 문서, 지표 레지스트리 | ITIL 프랙티스 가이드의 CSF와 KPI 접근법 | 완료의 정의, 업무 합의 | 분기 | 완전한 포괄률에 도달하려고 CSF와 무관한 KPI를 배정함, 실패를 드러낼 수 없는 KPI를 고름 | 각 짝에 대해 어떤 수치가 CSF의 실패를 보여 주는지 묻습니다. 한 번도 붉은색이 된 적 없는 KPI를 찾습니다 |
1.8 ITIL 5 측정과 가치 성과
원본 주제: (주제 1.8, ITIL 5 측정과 가치 성과 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 자산 소유자 포괄률 | 목록에 있는 서비스, 디지털 제품, 플랫폼, AI 시스템 중 이름이 있고 활동 중인 소유자가 있는 비율 | 최근 12개월 안에 확인된 지명 소유자가 있는 항목 수 / 기간 말에 자산 지도에 있는 항목 수 | 퍼센트 | 서비스 카탈로그, 구성 레코드, 자산 지도 | 서비스 카탈로그 관리, 거버넌스 | 제품 소유자와 팀 헌장 | 분기 | 관리자나 배포 목록을 모든 것의 소유자로 지명함, 어려운 항목을 지도에서 뺌 | 소유자 본인의 소유자 확인, 지도를 계약 및 클라우드 계정과 비교하는 탐색 점검 |
| 성과 진술 포괄률 | 서면 성과와 이름 붙인 증거 신호가 하나 이상 있는 서비스 및 제품의 비율 | 최근 12개월 안에 검토한 성과 진술과 증거 신호가 있는 서비스 및 제품 수 / 자산 지도에 있는 서비스 및 제품 수 | 퍼센트 | 서비스 카탈로그와 검토 메모 | 서비스 수준 관리, 지속적 개선 | 제품 목표와 인수 기준 | 분기 | "효율성 개선" 같은 모호한 문장을 씀, 하나의 성과를 여러 서비스에 복사함 | 고객과 함께 성과를 표본으로 뽑아 알아보는지 묻습니다. 성과 증거 경과 시간 |
| 성과 증거 경과 시간 | 각 성과에 대한 가장 최근 증거 검토의 경과 시간 | 성과 전체에 대한 (기간 말 날짜 빼기 마지막 증거 검토 날짜)의 중앙값과 85번째 백분위수 | 일 | 검토 로그 | 측정 및 보고 | 이해관계자와의 정기 검토 | 분기 | 검토하지 않고 검토일만 갱신함, 쉬운 성과만 검토함 | 표본의 검토 메모를 읽습니다. 신호가 실제로 움직였거나 변함이 없던 성과의 비율을 보고합니다 |
| AI 시스템 인벤토리 포괄률 | 알려진 AI 활용 기능 및 시스템 중 소유자, 사람의 검토 지점, 위험 레지스트리 항목이 있는 비율 | 세 가지를 모두 갖춘 AI 시스템 수 / 최근 탐색 점검에서 발견한 AI 시스템 수 | 퍼센트 | AI 인벤토리와 위험 레지스트리 | 위험 관리, 거버넌스 | AI 기능에 대한 완료의 정의 | 분기 | 팀이 신고하기로 한 시스템만 셈, AI 기능을 일반 소프트웨어로 분류함 | 독립적인 탐색 점검, 공급업체 및 계약 기록과 비교 |
| 주장 검증률 | 계획과 정책에 쓰인 ITIL 5 진술 중 소유자 자신의 발간물까지 추적되는 비율 | 날짜가 있는 소유자 인용이 있는 진술 수 / 해당 기간에 결정 문서에 쓰인 ITIL 5 진술 수 | 퍼센트 | 검증 로그 | 지식 관리, 거버넌스 | 해당 없음, 직접적인 애자일 대응이 없는 조직 수준의 프랙티스 | 분기 | 공급업체 페이지를 소유자로 인용함, 출처를 읽지 않고 주장을 확인된 것으로 기록함 | 로그 항목의 표본을 출처 페이지와 대조합니다. 소유자 전용 출처 규칙 |
제2부: 흐름과 지속적 전달 지표
2.1 흐름 측정치
원본 주제: (주제 2.1, 흐름 측정치 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 진행 중인 작업(WIP) | 시작했지만 끝나지 않은 작업 항목 | 정해진 시점(예: 매일 마감 시각)에 시작 타임스탬프가 설정되고 끝 타임스탬프가 비어 있는 항목의 수. 아직 시작하지 않은 백로그 항목과 끝난 항목은 제외 | 항목 | 이슈 트래커 또는 ITSM 도구의 상태 이력 | 인시던트 관리, 서비스 요청 관리, 변경 활성화 | WIP 제한, 진행 중인 팀 백로그 | 일일 스냅샷, 주간 검토 | 항목을 마지막 순간까지 백로그나 "준비됨" 열에 두어 시작된 것으로 세지 않음, 항목을 닫았다가 다시 엶, 보드 밖에 일을 숨김 | 보드의 항목을 접수된 요청과 대조합니다. 보드를 팀의 실제 작업과 표본 대조합니다. 첫 열에 있는 항목의 경과 시간을 추적합니다 |
| 처리량 | 단위 시간당 끝난 작업 항목 | 끝 타임스탬프가 해당 기간(예: 월요일부터 일요일까지의 달력 주) 안에 속하는 항목의 수. 끝났다가 다시 열린 항목은 새 항목일 때만 다시 셈 | 주당 항목 | 이슈 트래커 또는 ITSM 도구의 상태 이력 | 인시던트 관리, 서비스 요청 이행 | 처리량, 완료된 항목 | 주 | 항목을 아주 작은 조각으로 쪼갬, 끝나기 전에 항목을 닫음, 쉬운 항목을 먼저 고름 | 항목 크기 분포와 재개방률을 봅니다. 최근 항목과 관련된 유출 결함과 인시던트를 셉니다. 끝낸 작업 유형의 구성을 검토합니다 |
| 작업 항목 경과 시간 | 끝나지 않은 항목이 진행 중이었던 경과 시간 | 아직 진행 중인 항목에 대한 현재 시각 빼기 시작 타임스탬프. 시계는 차단된 시간 동안에도 흐르며, 아직 시작하지 않은 항목은 제외 | 일 | 이슈 트래커 또는 ITSM 도구의 상태 이력 | 인시던트 관리, 문제 관리 | 작업 항목 경과 시간, 일일 팀 점검 | 일, 팀 점검 때마다 검토 | 시계를 초기화하려고 오래된 항목을 "완료"나 새 상태로 옮김, 오래된 항목을 조용히 취소함, 오래된 항목의 새 사본을 만듦 | 뒤로 가는 상태 이동과 취소된 항목을 감사합니다. 취소된 항목과 그 경과 시간을 보고합니다. 경과 시간 한계 근처에서 생성된 중복을 확인합니다 |
| 사이클 타임 | 끝난 항목의 시작부터 끝까지의 경과 시간 | 달력 일수로 끝 타임스탬프 빼기 시작 타임스탬프(양쪽 날짜 포함). 시계는 시작 상태로의 첫 이동에서 시작해 끝 상태로의 이동에서 멈추며, 중앙값과 85번째, 95번째 백분위수를 보고 | 일 | 이슈 트래커 또는 ITSM 도구의 상태 이력 | 인시던트 관리, 서비스 요청 이행, 변경 활성화 | 사이클 타임, 항목 소요 기간 | 주, 8~12주 이동 구간 | 작업이 거의 끝났을 때만 항목을 "진행 중"으로 옮겨 시계를 늦게 시작함, 검토나 릴리스 전에 완료로 표시해 일찍 끝냄 | 시작 시간을 첫 커밋이나 첫 활동과 비교합니다. "완료"와 릴리스 사이의 시간을 보고합니다. 끝난 항목을 표본으로 뽑아 진짜 완료를 확인합니다 |
| SLE 달성률 | 팀의 서비스 수준 기대를 충족한 끝난 항목의 비율 | 사이클 타임이 SLE 이하인 끝난 항목 수 / 해당 구간에 끝난 모든 항목 수. 아직 열려 있는 항목은 제외 | 퍼센트 | 사이클 타임에서 도출 | 서비스 수준 관리 | 서비스 수준 기대 | 월 | 후한 SLE를 설정함, 어려운 항목을 "특수"라며 제외함, 한계 아래에 머물려고 항목을 닫음 | SLE를 과거 데이터의 백분위수로 유지하고 분기마다 검토합니다. 제외 항목과 이유를 보고합니다. 95번째 백분위수와 가장 오래된 미해결 항목을 읽습니다 |
| 차단 시간 비율 | 항목이 차단됨으로 표시된 채 보낸 진행 일수의 비율 | 차단 상태의 항목-일수 / 진행 중인 항목-일수(구간 기준). 둘 다 시계는 시작 타임스탬프에서 시작 | 퍼센트 | 이슈 트래커 표시 또는 ITSM 도구의 차단 상태 | 인시던트 관리, 문제 관리, 공급업체 관리 | 장애물, 일일 팀 점검에서 제기한 방해 요인 | 주 | 차단을 전혀 표시하지 않아 비율이 낮아 보이게 함, 지연을 설명하려고 모든 것을 차단으로 표시함 | 차단 비율을 진행 중인 항목의 경과 시간과 비교합니다. 차단 이유를 범주별로 검토합니다. 차단된 항목을 표본으로 뽑아 각 이유를 확인합니다 |
2.2 리드 타임, 사이클 타임, 흐름 효율
원본 주제: (주제 2.2, 리드 타임, 사이클 타임, 흐름 효율 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 리드 타임 | 요청이 도착한 때부터 요청자에게 전달된 때까지의 경과 시간 | 작업 항목별 전달 타임스탬프 빼기 요청 도착 타임스탬프. 요청이 기록될 때 시계가 시작되고 요청자가 결과를 쓸 수 있게 될 때 멈춤. 아직 열려 있는 항목과 전달 전에 취소된 항목은 제외하고 따로 집계 | 일 또는 시간 | ITSM 도구 또는 이슈 트래커 이력 | 서비스 요청 관리, 인시던트 관리, 변경 활성화 | 팀 보드의 리드 타임, 요청에서 릴리스까지의 시간 | 매주, 매월 검토 | 시계가 늦게 시작되도록 요청 레코드 생성을 미루기. 시계를 다시 시작하려고 항목을 닫았다 다시 열기. 요청 하나를 아주 작은 여러 개로 쪼개기 | 표본에서 요청 레코드와 이메일이나 채팅의 첫 접촉을 비교. 재오픈율 추적. 요청당 항목 크기와 개수 추적 |
| 사이클 타임 | 팀이 일을 시작한 때부터 일을 끝낸 때까지의 경과 시간 | 작업 항목별 완료 타임스탬프 빼기 시작 타임스탬프. 처음 활성 작업 상태로 이동할 때 시계가 시작되고 처음 완료 상태로 이동할 때 멈춤. 시작 전과 완료 상태 이후의 시간은 제외 | 일 또는 시간 | 트래커 또는 보드의 상태 이력 | 인시던트 관리, 서비스 요청 관리, 변경 활성화 | 사이클 타임 (주제 2.1, 흐름 측정치 참조) | 매주 | 거의 끝나서야 항목을 "진행 중"으로 옮겨 시계를 늦게 시작하기. 거의 끝날 때까지 항목을 보드에 올리지 않기. 그 자체로는 가치를 전달하지 못하는 조각으로 일을 쪼개기 | 열려 있는 항목의 작업 항목 나이(주제 2.1, 흐름 측정치 참조). 완료된 항목을 요청자가 쓸 수 있는지 확인. 리드 타임과 사이클 타임 비교 |
| 터치 타임 | 사람이나 자동화가 그 항목에 실제로 작업하고 있는 시간 | 활성 작업으로 분류된 상태에 항목이 머문 구간의 합. 대기 상태, 차단 상태, 대기열 상태는 제외 | 시간 | 각 상태를 활성 또는 대기로 분류한 트래커 상태 이력 | 인시던트 관리, 서비스 요청 관리 | 가치 흐름 지도의 처리 시간 | 매월 표본 | 대기 상태를 활성으로 분류하기. 바빠 보이려고 활동을 기록하기 | 매 분기 팀과 함께 상태 분류 검토. 항목을 표본 추출해 기록된 활동을 커밋, 댓글, 일정과 비교 |
| 대기 시간 | 항목이 대기열에 있거나 차단되었거나 일시 정지된 시간 | 작업 항목별 사이클 타임 빼기 터치 타임. 시작이 기록되지 않은 항목은 해당 없음 | 일 또는 시간 | 트래커 상태 이력 | 인시던트 관리, 서비스 수준 관리 | 보드의 대기 시간 또는 차단 시간 | 매월 | 대기 시간이 측정되지 않는 틈으로 빠지도록 새 상태 만들기. 대기 중인 항목을 워크플로 밖의 상태로 옮기기 | 문서화되지 않은 상태와 전환을 집계(주제 1.5, 데이터 원천과 계측 참조). 표본에서 사이클 타임이 터치 타임 더하기 대기 시간과 같은지 확인 |
| 흐름 효율 | 사이클 타임 가운데 활성 작업에 쓰인 비율 | 해당 기간에 완료된 항목의 터치 타임 합 / 사이클 타임 합. 상태 이력이 빠진 항목은 제외하고 따로 집계 | 퍼센트 | 트래커 상태 이력 | 지속적 개선, 서비스 요청 관리 | 린 실무의 흐름 효율 | 매월 | 대기를 활성으로 재분류하기. 표본에 빠른 항목만 고르기. 비율을 올리려고 쉬운 항목부터 끝내기 | 변경 이력이 있는 고정된 상태 분류. 완료된 모든 항목으로 계산. 85번째 백분위수 사이클 타임 및 열린 항목의 나이와 함께 보고 |
| 시계 정지 비율 | 공식 서비스 시계가 멈춰 있던 시간이 사이클 타임에서 차지하는 비율 | 해당 기간에 완료된 항목의 정지 기간 합 / 사이클 타임 합. 정지는 문서화된 시계 규칙에 정의된 상태를 말함 | 퍼센트 | ITSM 도구의 상태 이력 | 서비스 수준 관리, 인시던트 관리 | 차단 또는 보류 열의 시간 | 매월 | SLA를 맞추려고 내부 인수인계 같은, 고객에게 달려 있지 않은 이유로 공식 서비스 시계 멈추기 | 표본에서 정지 이유 감사. 경과 시간과 SLA 시간을 나란히 보고. 해결 시간에 대한 고객 자신의 관점 검토(주제 5.1, SLA, OLA, XLA 지표 참조) |
2.3 진행 중인 작업과 대기열
원본 주제: (주제 2.3, 진행 중인 작업과 대기열 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 진행 중인 작업 | 합의된 경계 안에서 시작했지만 끝나지 않은 항목의 수 | 스냅샷 시점에 "진행 중" 상태에 있는 항목의 수. 첫 작업 상태 이전의 백로그나 "준비됨" 대기열의 항목과 이미 끝난 항목은 제외 | 항목 | 이슈 트래커 또는 ITSM 도구의 상태 이력 | 인시던트 관리, 서비스 요청 관리 | 보드의 WIP 개수 | 일일 스냅샷, 주간 검토 | 제한 아래에 머물려고 항목을 "보류"나 "대기" 상태로 옮김, 항목을 작게 보이도록 쪼갬, 보드 밖에서 일을 시작함 | 보류 상태 항목의 수와 경과 시간, 보드를 실제 작업과 표본 대조, 진행 중인 가장 오래된 항목 보고 |
| 대기열 길이 | 작업이 시작되기를 기다리거나 단계 사이에서 기다리는 항목의 수 | 스냅샷 시점에 대기 상태(예: "신규", "분류 대기", "검토 대기")에 있는 항목의 수. 차단된 항목은 더하지 않고 별도로 보고 | 항목 | 트래커 또는 ITSM 상태 이력 | 인시던트 관리, 변경 활성화 | 보드의 준비됨 열과 대기열 열 | 일일 스냅샷, 주간 검토 | 항목을 닫았다가 다시 엶, 입구에서 새 항목을 거부함, 대기 상태 이름을 바꿔 집계에서 빠지게 함 | 대기열 길이 옆에 재개방률과 거부율, 지표 검토 때마다 상태 정의 검토 |
| 대기열 시간 | 단계별로 작업이 시작되기 전에 항목이 기다린 경과 시간 | 시계는 항목이 대기 상태에 들어갈 때 시작해 다음 활성 상태에 들어갈 때 멈춤. "고객 차단" 표시 상태의 시간은 제외하고 별도 수치로 보고하며, 중앙값과 85번째 백분위수를 보고 | 시간 또는 일 | 트래커 또는 ITSM 도구의 상태 전이 타임스탬프 | 서비스 데스크, 인시던트 관리, 변경 활성화 | 가치 흐름의 대기 시간, 대기열 열의 시간 | 주 | 작업이 준비된 뒤에 레코드를 만들어 시계를 늦게 시작함, 차단 또는 고객 대기 상태로 시계를 멈춤, 열기만 한 항목을 진행 중으로 표시함 | 차단 및 일시 정지 상태에 머문 시간의 분포, 시작된 후에 생성된 항목의 비율, 짧은 설문으로 요청자가 보고한 대기 |
| 도착률 및 출발률 | 기간당 시스템에 들어오고 나가는 항목의 수와 그 차이인 대기열 순증가 | 도착 = 기간 중 경계에 들어온 항목, 출발 = 기간 중 완료된 항목, 순증가 = 도착 빼기 출발. 다시 열린 항목은 팀이 그렇게 정의한 경우에만 도착으로 셈 | 주당 항목 | 트래커 또는 ITSM의 생성 및 해결 타임스탬프 | 모니터링 및 이벤트 관리, 인시던트 관리 | 처리량과 누적 흐름도 | 주 | 출발을 늘리려고 항목을 빨리 닫음, 두 건수를 모두 늘리려고 요청 하나를 여럿으로 쪼갬, 중복을 도착으로 셈 | 종료된 항목의 품질 및 재개방 측정치(주제 3.3, 인시던트 대응 및 해결 시간 참조), 항목 크기 분포, 고객 성과 점검 |
| 팀 부하 비율 | 계획되고 예상되는 작업이 소비할 팀 용량의 비율 | 해당 기간에 예상되는 수요 시간(도착 곱하기 항목당 평균 노력) / 휴가와 고정 약속을 뺀 가용 용량 시간. 팀이 노력을 추정하는 방법을 밝히며 개인은 절대 보고하지 않음 | 퍼센트 | 용량 계획, 트래커의 노력 이력, 당번표 | 용량 및 성능 관리, 인력 및 인재 관리 | 계획된 작업의 팀 용량 | 월, 계획 이벤트마다 | 여유 용량을 보이려고 노력을 낮게 추정하거나, 인력을 정당화하려고 수요를 부풀림, 유리한 기간의 비율을 보고함 | 항목당 추정 노력과 실제 노력을 비교, 비율을 추세 및 중단 비중과 함께 표시, 추정 방법의 동료 검토 |
| WIP 제한 초과율 | 단계나 시스템이 합의된 WIP 제한을 넘긴 날의 비율 | WIP가 제한을 넘긴 날 수 / 기간 중 근무일 수. 팀이 이유와 함께 의도적 예외를 기록한 날은 별도로 보고 | 일수 퍼센트 | 일일 WIP 스냅샷과 예외 로그 | 지속적 개선, 인시던트 관리 | WIP 제한 업무 합의 | 주 | 초과를 멈추려고 제한을 올림, 항목을 보드 밖으로 옮겨 초과를 숨김, 예외를 후하게 허용함 | 예외의 건수와 이유, 날짜가 있는 제한 변경 이력, 초과율 옆에 사이클 타임 백분위수 |
| 리틀의 법칙 일관성 비율 | 세 가지 흐름 수치가 서로 일치하는지 점검 | 같은 경계와 기간에 대한 기간 중 평균 WIP / (일일 출발 곱하기 일 단위 평균 사이클 타임). 1에 가까우면 정의가 일관됨을, 1에서 멀면 경계나 시계가 일관되지 않음을 뜻함 | 비율 | 다른 흐름 지표와 같은 트래커 데이터 | 측정 및 보고 | 회고에서의 흐름 지표 건전성 점검 | 월 | 비율이 1에 가까워지도록 경계나 기간을 조정함, 오래 사는 항목을 이상치로 제외함 | 경계와 기간을 미리 고정, 제외된 항목과 그 수를 게시, 이유와 함께 경계 변경을 검토 |
2.4 가치 흐름 지표
원본 주제: (주제 2.4, 가치 흐름 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 가치 흐름 리드 타임 | 고객의 요청부터 고객이 결과를 사용할 수 있게 될 때까지의 경과 시간 | 전달 확인 시각 빼기 요청이 기록된 시각. 취소되거나 철회된 항목은 제외하며, 중앙값과 85번째, 95번째 백분위수를 보고 | 일 | 파이프라인이나 이행 시스템의 전달 이벤트와 결합한 ITSM 도구 레코드 | 서비스 요청 관리, 변경 활성화 | 팀 보드의 리드 타임 | 월 | 요청이 아니라 분류 시점처럼 더 늦게 시계를 시작함, 고객이 쓸 수 있기 전에 항목을 닫음, 요청 하나를 여러 작은 요청으로 쪼갬 | 지표 레지스트리에 적힌 고정된 시계 규칙, 고객의 전달 확인, 재개방된 항목과 연결된 하위 항목의 수 |
| 처리 시간 | 단계별 및 흐름 전체에서 항목이 실제로 작업되는 시간 | 단계별로 항목이 활성 상태에 있는 구간의 합. 대기열, 승인 대기, 차단 상태는 제외 | 시간 또는 일 | 트래커 상태 이력, 상태가 너무 거친 곳은 시간 기록 | 인시던트 관리, 서비스 요청 관리 | "진행 중" 열의 사이클 타임 | 월 | 유휴 또는 차단 상태를 활성으로 기록해 처리 시간을 올려 흐름이 효율적으로 보이게 함, 또는 바빠 보이려고 대기를 일로 기록함 | 항목 표본의 관찰, 시간 기록이 있는 곳에서는 처리 시간과 비교, 팀과 함께 상태 정의 검토 |
| 대기 시간 | 단계별 및 흐름 전체에서 항목이 활성 작업 사이에 머무는 시간 | 단계 경과 시간 빼기 해당 단계의 처리 시간. 대기열, 승인, 인계, 차단 시간을 포함 | 일 | 트래커 상태 이력과 ITSM 도구의 상태 변경 | 변경 활성화, 서비스 데스크 | 대기열 열의 시간, 차단 시간 | 월 | 곁 대화, 스프레드시트, 시계를 멈추는 "대기 중" 상태처럼 추적되지 않는 상태로 기다림을 옮김 | 일시 정지 및 차단 상태 사용을 보고, 티켓 경과 시간을 단계 타임스탬프와 비교, 시스템 밖 대기가 있는지 항목을 표본 검토 |
| 프로세스 효율 | 리드 타임 중 처리 시간의 비율 | 단계별 처리 시간의 합 / 같은 항목의 가치 흐름 리드 타임. 아직 열려 있는 항목은 제외 | 퍼센트 | 처리 시간과 리드 타임에서 도출 | 지속적 개선 | 흐름 효율 | 분기 | 측정되는 항목에 긴급 처리를 해서 리드 타임을 줄이거나, 비율을 올리려고 처리 시간을 부풀림 | 비율 옆에 리드 타임과 처리 시간을 표시, 긴급 처리 비중을 보고, 비율 자체에 목표를 설정하지 않음 |
| 완전하고 정확한 비율(단계) | 단계가 수정, 보완, 반송 없이 쓸 수 있는 받은 항목의 비율 | 받은 그대로 인수된 항목 수 / 해당 기간에 받은 항목 수. 어떤 이유로든 반송된 항목은 인수되지 않은 것으로 셈 | 퍼센트 | 트래커나 ITSM 도구의 반송 및 재개방 이벤트, 표본 인수 검토 | 서비스 요청 관리, 변경 활성화, 문제 관리 | 준비의 정의, 재작업률 | 월 | 받는 단계가 반송을 줄이려고 인수 기준을 낮추거나, 보내는 단계가 비공식적 우회로 일을 밀어 넣음 | 서면 인수 조건, 하류의 결함 및 재작업 건수, 제3자가 검토한 인수 항목의 표본 |
| 누적 완전하고 정확한 비율 | 모든 단계를 깨끗하게 통과하는 항목의 비율 | 한 흐름과 기간에 대한 단계별 %C/A 값의 곱(예: 0.90 x 0.85 x 0.95). 흐름 밖의 단계는 제외 | 퍼센트 | 단계별 값에서 도출 | 지속적 개선 | 파이프라인 전반의 유출 결함 및 재작업률 | 분기 | 반송이 단계 안에서 일어나 인계 건수에서 사라지도록 단계를 합침, 유리한 단계 목록을 고름 | 단계 목록을 미리 고정, 단계 변경을 결정 로그에 보고, 흐름 전체의 재작업률과 비교 |
| 인계 횟수 | 항목이 팀이나 대기열 사이를 넘어간 횟수 | 요청부터 전달까지 항목별 소유 팀이나 대기열의 변경 횟수. 중앙값과 85번째 백분위수를 보고 | 건수 | ITSM 도구나 트래커의 배정 이력 | 서비스 데스크, 서비스 요청 관리 | 팀 간 의존성 | 분기 | 소유자 변경 집계를 피하려고 항목을 공유 대기열이나 포괄 소유자에게 재배정함, 여러 팀에 걸친 하나의 "팀" 안에 인계를 숨김 | 대기열별 및 역할별로 셈, 표본 항목의 배정 이력을 읽음, 항목당 재배정 횟수를 추적 |
| 택트 타임 비율 | 흐름의 속도가 수요와 맞는지 | 완료 사이의 관측된 간격의 중앙값 / 택트 타임. 택트 타임은 같은 기간의 가용 작업 시간을 요구된 항목 수로 나눈 값. 비율이 1을 넘으면 흐름이 수요보다 느린 것 | 비율 | 접수 대기열의 수요 건수와 완료 이벤트 | 용량 및 성능 관리, 서비스 수준 관리 | 수요 대비 처리량, 예측 | 분기 | 연기되거나 거부된 수요를 수요가 아닌 것으로 셈, 부분 완료를 완료로 셈 | 비율 옆에 수요, 거부된 수요, 백로그 경과 시간을 보고, 고객이 확인할 때만 완료로 셈 |
2.5 전달 예측과 계획 지표
원본 주제: (주제 2.5, 전달 예측과 계획 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 예측 적중률 | 실제 결과가 명시한 범위 안에 든 예측의 비율 | 실제 결과가 명시한 범위 안이었던 예측 수 / 한 예측 수 | 퍼센트 | 예측 로그와 전달 기록 | 용량 및 성능 관리, 지속적 개선 | 계획 대화에서의 예측 정확도 | 월 | 모든 예측이 적중하도록 아주 넓은 범위를 제시함, 사후에 다시 예측함 | 예측 범위 폭, 원래 예측을 로그에 보관, 동료 이력과 범위를 비교 |
| 예측 범위 폭 | 중앙값 예측에 대한 명시된 범위의 폭 | (상한 빼기 하한) / 중앙값 예측 | 비율 | 예측 로그 | 용량 및 성능 관리 | 불확실성의 원뿔 좁아짐 | 월 | 자신 있어 보이려고 범위를 좁힘 | 예측 적중률, 범위가 기록된 이력에서 만들어지도록 요구 |
| 전달 목표 성공률 | 해당 기간에 달성된 명시된 전달 목표의 비율을 성과로 판단 | 달성한 목표 수 / 설정한 목표 수 | 퍼센트 | 이해관계자와 합의한 목표 기록 | 서비스 수준 관리, 지속적 개선 | 이해관계자와의 성과 검토 | 월 또는 목표 릴리스마다 | 쉬운 목표를 세움, 사후에 목표를 재정의함, 산출물을 성과로 셈 | 이해관계자가 성과를 판단함, 목표 문구를 로그에 보관, 전달된 변경의 사용 데이터 확인 |
| 범위 변경률 | 예측이 이루어진 뒤 추가, 제거, 재크기 조정된 확약 작업의 비율 | 예측 후 추가되거나 제거된 항목 수 / 원래 예측의 항목 수 | 퍼센트 | 작업 트래커 변경 이력 | 변경 활성화, 서비스 수준 관리 | 피드백에 따른 백로그 적응 | 월 | 타당한 변경을 거부해 범위를 동결함, 항목 크기를 다시 매겨 범위 변경을 숨김 | 응답성에 대한 이해관계자의 만족도, 변경 이유 기록 |
| 용량 배분 | 변경, 운영 작업, 개선에 쓴 팀 용량의 비율 | 각 범주의 완료 항목 또는 시간 / 전체 완료 항목 또는 시간 | 퍼센트 | 작업 유형이 있는 작업 트래커 | 용량 및 성능 관리, 인시던트 관리 | 작업 유형 분포 | 월 | 운영 작업을 개선으로 잘못 표시함, 보드 밖에서 일해 운영 부하를 숨김 | 인시던트 및 요청 기록과 대조, 항목의 유형을 표본 검토 |
| 처리량 안정성 | 주간 처리량의 변동 | 주간 처리량의 표준편차 / 주간 처리량의 평균 | 비율 | 작업 트래커 | 용량 및 성능 관리 | 흐름의 예측 가능성 | 월 | 건수를 올리려고 항목을 사소한 조각으로 쪼갬, 끝내지 않은 채 항목을 닫음 | 항목 크기 분포, 재개방률, 전달된 가치를 표본 검토 |
| 로컬 벨로시티 | 계획 기간당 한 팀이 자체 크기 단위로 끝낸 작업 | 해당 기간에 완료의 정의를 충족한 항목의 추정치 합 | 팀이 정의한 포인트 | 작업 트래커 | 용량 및 성능 관리 | 팀 용량 계획 보조 도구 | 계획 기간마다 | 추정치를 부풀림, 포인트를 주장하려고 스토리를 쪼갬, 팀을 비교함 | 팀 사적으로 유지, 처리량 및 사이클 타임과 비교, 절대 목표를 정하지 않음 |
2.6 백로그와 정제 지표
원본 주제: (주제 2.6, 백로그와 정제 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 백로그 크기 | 특정 시점에 지명된 백로그의 열린 항목 수 | 스냅샷 날짜에 열림 또는 준비됨 상태인 항목의 수. 진행 중인 항목과 닫힌 항목은 제외 | 항목 | 이슈 트래커 또는 ITSM 도구 스냅샷 | 인시던트 관리, 서비스 요청 관리, 문제 관리 | 제품 백로그, 입력 대기열 | 주 | 항목을 폐기됨으로 일괄 닫음, 바빠 보이려고 항목을 쪼갬, 보조 목록과 스프레드시트에 일을 숨김 | 이탈 이유가 있는 백로그 폐기율, 도구와 실제 요청 목록의 주기적 비교, 버려진 항목에 대한 고객 피드백 |
| 백로그 경과 시간 | 열린 항목이 기다린 시간의 분포 | 열린 항목마다 스냅샷 날짜 빼기 백로그에 들어온 날짜. 중앙값, 85번째 백분위수, 가장 오래된 항목을 보고 | 일 | 이슈 트래커 또는 ITSM의 생성 및 상태 이력 | 인시던트 관리, 문제 관리, 지속적 개선 | 백로그 건강, 오래된 항목 검토 | 주 | 오래된 항목을 복제하거나 다시 만들어 입력 날짜를 초기화함, 백로그 사이로 항목을 옮김, 시계를 바꾸려고 다시 접수하지 않고 다시 엶 | 복제 및 이동된 항목 감사, 가장 오래된 항목 검토, 연결된 레코드에 걸쳐 최초 생성 시점부터 측정한 경과 시간 |
| 준비된 작업 깊이 | 팀이 얼마나 앞서 준비된 작업을 갖고 있는지 | 준비의 정의를 충족하는 항목 수 / 최근 6개 기간 동안 기간당 평균 완료 항목 수 | 주 | 이슈 트래커의 준비됨 표시와 처리량 이력 | 비즈니스 분석, 서비스 요청 관리 | 준비의 정의, 정제 | 계획 기간마다 | 확인 없이 항목을 준비됨으로 표시함, 가치가 낮은 작업의 상세 항목을 써서 깊이를 부풀림 | 준비의 정의에 비추어 준비된 항목을 표본 검토, 작업이 시작될 때 재작업 또는 정제로 돌아가는 비율 |
| 정제 포괄률 | 단기 구간 중 준비된 비율 | 예상 작업의 다음 두 번의 2주 단위(또는 순서상 상위 N개) 안에서 준비의 정의를 충족하는 항목 수 / 그 구간의 항목 수 | 퍼센트 | 이슈 트래커 순서, 준비됨 표시, 계획된 작업 | 비즈니스 분석, 변경 활성화(계획된 변경) | 제품 백로그 정제 | 계획 기간마다 | 숫자를 맞추려고 준비됨 표시를 채움, 더 적은 항목이 세어지도록 구간을 좁힘 | 계획 후 되돌려 보낸 항목 수, 전달 목표 성공률과 기간 중 범위 변경(주제 2.5, 전달 예측과 계획 지표 참조) |
| 백로그 유입-유출 비율 | 항목이 나가는 것보다 빨리 도착하는지 | 기간 중 추가된 항목 수 / 같은 기간에 완료나 폐기로 백로그에서 제거된 항목 수. 비율이 1을 넘으면 증가를 뜻함 | 비율 | 이슈 트래커 또는 ITSM의 생성 및 해결 이벤트 | 인시던트 관리, 서비스 요청 관리, 용량 및 성능 관리 | 도착률과 출발률 | 주 | 유출을 늘리려고 쉬운 항목을 빨리 닫음, 유입을 낮추려고 입구에서 새 항목을 거부함 | 가장 오래된 항목의 경과 시간, 폐기율, 이유 없이 거부된 요청의 비율, 고객이 보고한 충족되지 않은 필요 |
| 백로그 폐기율 | 전달 없이 제거된 떠나는 항목의 비율 | 하지 않음, 중복, 폐기됨으로 닫힌 항목 수 / 기간 중 백로그를 떠난 모든 항목 수. 완료로 닫힌 항목은 제외 | 퍼센트 | 이슈 트래커 해결 필드 | 지속적 개선, 문제 관리(알려진 오류 검토) | 백로그 가지치기, 제품 소유자의 순서 정리 | 월 | 크기를 줄이려고 사용자가 여전히 원하는 항목을 폐기함, 또는 숫자가 부드러워 보이도록 폐기를 피함 | 요청자와 함께 폐기된 항목의 표본 검토, 폐기된 항목의 재개방 및 재접수율 |
| 목표 초과 서비스 백로그 | 합의된 응답이나 해결 기간보다 오래된 열린 서비스 항목의 비율 | 경과 시간이 서비스 목표를 넘은 열린 항목 수 / 대기열의 모든 열린 항목 수. 시계는 기록 시점부터 흐르고 서면 정의가 허용하는 상태에서만 멈춤 | 퍼센트 | 서비스 수준 시계가 있는 ITSM 도구 | 서비스 수준 관리, 인시던트 관리, 서비스 요청 관리 | 긴급 처리 레인, 서비스 수준 기대 | 일 또는 주 | 고객 대기 상태로 시계를 멈춤, 우선순위를 낮춤, 기간을 초기화하려고 닫았다가 다시 엶 | 일시 정지 상태에 머문 시간의 비율, 재개방률(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조), 종료된 티켓에 대한 사용자 만족도 |
2.7 풀 리퀘스트와 코드 리뷰 지표
원본 주제: (주제 2.7, 풀 리퀘스트와 코드 리뷰 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 첫 리뷰까지의 시간 | 풀 리퀘스트가 리뷰 준비 상태가 된 시점부터 사람의 첫 실질적 응답까지의 대기 | 풀 리퀘스트가 초안 상태를 벗어나거나 처음부터 준비 상태로 열릴 때 시계가 시작되고, 작성자가 아닌 사람의 첫 리뷰 댓글, 변경 요청, 승인에서 멈춥니다. 봇과 작성자의 댓글, 단순한 레이블 변경은 제외합니다. 중앙값과 85번째 백분위수를 근무 시간으로 보고합니다 | 근무 시간 | 버전 관리 플랫폼 이벤트 이력 | 소프트웨어 개발 및 관리, 변경 활성화 | 리뷰 응답성에 관한 작업 합의, 진행 중인 작업의 흐름 | 주간 | 첫 응답으로 재빠른 "좋아 보입니다"나 이모지를 올리기, 봇이나 호의적인 리뷰어를 지정하기, 누군가 미리 봐 주기로 합의한 뒤에야 풀 리퀘스트를 준비 상태로 표시하기 | 병합 후 수정 비율, 댓글 없는 승인의 표본 조사, 첫 응답이 실질적이어야 한다는 점을 작업 합의에 요구 |
| 리뷰 사이클 타임 | 리뷰 준비 상태부터 병합까지의 총 시간 | 풀 리퀘스트가 리뷰 준비 상태가 될 때 시계가 시작되고 병합에서 멈춥니다. 병합 없이 닫힌 풀 리퀘스트는 제외하고 따로 셉니다. 중앙값과 85번째 백분위수를 근무 시간으로 보고합니다 | 근무 시간 | 버전 관리 플랫폼 이벤트 이력 | 배포 관리, 변경 활성화 | 팀 보드에서 리뷰 단계의 사이클 타임 | 주간 | 리뷰를 기다리지 않고 병합하기, 더 빨리 통과하려고 변경을 아주 작은 조각으로 나누기, 시계를 되돌리려고 풀 리퀘스트를 닫았다가 다시 열기 | 닫았다가 다시 연 풀 리퀘스트 수, 리뷰 라운드, 병합 후 수정 비율, 승인을 요구하는 보호 브랜치 규칙 |
| 풀 리퀘스트 크기 | 풀 리퀘스트에 담긴 변경의 양 | 추가된 줄 수와 삭제된 줄 수의 합이며, 저장소의 무시 규칙에 나열된 생성 파일, 락 파일, 외부 반입 코드, 단순 이름 변경은 제외합니다. 병합된 풀 리퀘스트당 중앙값과 85번째 백분위수를 보고합니다 | 변경 줄 수 | 버전 관리 플랫폼 diff 통계 | 소프트웨어 개발 및 관리 | 작은 배치 크기, 스토리 쪼개기 | 주간 | 일부 파일을 집계에서 제외하기, 따로는 이해할 수 없는 조각으로 하나의 변경을 쪼개기, 생성된 코드로 크기를 부풀리기 | 분기마다 무시 규칙 검토, 나뉜 조각이 단독으로 빌드되고 테스트를 통과하는지 확인, 가장 작은 것과 가장 큰 것의 표본 읽기 |
| 리뷰 라운드 | 병합 전에 작성자 푸시와 리뷰어 응답이 오간 횟수 | 병합된 풀 리퀘스트당 서로 다른 "변경 요청" 또는 댓글 후 푸시 주기의 수입니다. 첫 제출은 0번째 라운드이며 자동 점검 실패는 제외합니다. 중앙값과 85번째 백분위수를 보고합니다 | 횟수 | 버전 관리 플랫폼 리뷰 및 푸시 이벤트 | 지속적 개선, 소프트웨어 개발 및 관리 | 리뷰 단계의 재작업 신호, 완료의 정의 | 주간 | 횟수를 낮게 유지하려고 첫 검토에서 승인하기, 흔적이 남지 않도록 논의를 채팅으로 옮기기, 작성자가 라운드를 숨기려고 수정 사항을 한 커밋에 몰아 푸시하기 | 병합 후 수정 비율, 라운드가 0인 풀 리퀘스트의 표본 조사, 논의를 풀 리퀘스트 안에 유지 |
| 리뷰 부담 쏠림 | 리뷰 작업이 팀 안에서 얼마나 고르지 않게 분포하는지 | 최근 4주 동안 팀이 완료한 리뷰 중 가장 바쁜 두 리뷰어가 처리한 비율입니다. 자기 풀 리퀘스트의 리뷰와 봇 리뷰는 제외합니다. 팀 단위로만 보고하고 이름별로는 보고하지 않습니다 | 퍼센트 | 팀 단위로 집계한 버전 관리 플랫폼 리뷰 이벤트 | 지속적 개선, 지식 관리 | 공유 코드 소유권, 집단 소유권 | 월간 | 건수를 퍼뜨리려고 리뷰를 여러 개의 작은 승인으로 쪼개기, 시간은 있지만 지식이 없는 사람에게 리뷰를 배정하기 | 위험한 영역에 대한 리뷰어의 지식 확인, 영역별 병합 후 수정 비율 관찰, 지표를 팀 단위로 유지 |
| 정체된 풀 리퀘스트 수 | 팀이 합의한 한도보다 오래 열려 있는 풀 리퀘스트 | 아직 열려 있고 초안이 아니며 리뷰 준비 상태 이후 경과 시간이 팀 한도를 넘은 풀 리퀘스트를 스냅샷 시점에 센 값입니다. 초안은 제외합니다 | 건수 | 버전 관리 플랫폼의 열린 풀 리퀘스트 목록 | 변경 활성화, 지속적 개선 | 작업 항목 경과 시간, WIP 한도 | 주간 | 병합 없이 정체된 풀 리퀘스트를 닫기, 숨기려고 초안으로 바꾸기, 정체 한도를 올리기 | 병합 없이 닫힌 풀 리퀘스트 수, 오래 지속되는 초안 수, 분기마다 팀과 한도 검토 |
| 병합 후 수정 비율 | 병합 직후 교정 변경이 뒤따른 병합 풀 리퀘스트의 비율 | 같은 변경에 연결된 수정, 되돌리기, 핫픽스가 14일 이내에 뒤따른 병합 풀 리퀘스트 수 / 해당 기간의 병합 풀 리퀘스트 수. 그렇다고 표시된 계획된 후속 작업은 제외합니다 | 퍼센트 | 버전 관리 이력, 연결된 이슈, 인시던트 또는 변경 기록 | 변경 활성화, 인시던트 관리 | 품질 내재화, 완료의 정의 | 월간 | 연결 없이 새 작업 항목으로 수정을 기록하기, 교정 작업에 계획된 후속 작업 레이블 붙이기, 수정을 기간 뒤로 미뤄 지표를 피하기 | 인시던트 및 변경 실패 데이터와 비교, 후속 항목의 표본 조사, 사용된 레이블 감사 |
2.8 DORA 지표
원본 주제: (주제 2.8, DORA 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 변경 리드 타임 | 커밋된 변경이 운영 환경에 도달하는 시간 | 시계는 변경의 첫 커밋(또는 정의에 명시한 경우 메인 브랜치로의 병합)에서 시작해 운영 배포가 성공적으로 완료될 때 멈춤. 해당 기간에 배포된 변경의 중앙값과 85번째 백분위수를 보고. 배포되지 않은 변경은 제외하고 진행 중인 작업으로 따로 보고 | 시간 또는 일 | 배포 파이프라인에 결합한 버전 관리 | 배포 관리, 릴리스 관리, 변경 활성화 | 사이클 타임, 운영까지의 리드 타임 | 주 또는 릴리스마다, 월 검토 | 첫 커밋 대신 병합 시점처럼 시계의 시작을 늦춤, 오래 사는 브랜치로 일찍 병합함, 어려운 변경을 "코드가 아님"이라며 제외함, 중앙값을 끌어내리려고 사소한 변경을 파이프라인에 태움 | 진행 중인 작업의 백분위수와 경과 시간, 고정된 서면 시계 시작, 분기마다 가장 느린 10퍼센트 변경의 표본, 변경 크기 분포 |
| 배포 빈도 | 팀이 운영 환경에 얼마나 자주 배포하는지 | 해당 기간의 애플리케이션 성공 운영 배포 수 / 기간의 일수. 실패하거나 롤백된 배포는 성공 건수에서 제외하고 테스트 환경 배포는 제외 | 일 또는 주당 배포 | 배포 파이프라인 이벤트 로그 | 배포 관리, 릴리스 관리 | 지속적 전달, 증분 끝마다 릴리스 | 주 | 변경 하나를 사소한 배포 여러 개로 쪼갬, 변경되지 않은 빌드를 다시 배포함, 스테이징 배포나 빈 구성 변경을 셈 | 배포당 변경 크기, 사용자에게 보이는 변경이 포함된 배포의 비율, 옆에 변경 실패율과 재작업률 |
| 실패한 배포 복구 시간 | 배포가 운영 장애를 일으켰을 때 복구하는 데 걸리는 시간 | 시계는 실패가 감지되거나 보고된 때(매번 같은 규칙)에 시작해 사용자에 대한 서비스가 복구되었을 때 멈춤. 해당 기간의 실패한 배포에 대한 중앙값과 85번째 백분위수를 보고. 배포가 원인이 아닌 인시던트는 제외 | 분 또는 시간 | 배포 이벤트와 모니터링 경보에 결합한 인시던트 기록 | 인시던트 관리, 서비스 연속성 관리 | 복구 시간, 복구 작업 | 실패마다, 월 검토 | 시계를 늦게 시작하거나 인시던트를 일찍 닫음, 부분 수정 후 실패를 새 인시던트로 재분류함, "실패"의 심각도 임계값을 올림 | 명시된 기간 안의 같은 인시던트 재발, 모니터링 경보에서 가져온 시계 시작, 고객이 보고한 영향 지속 시간 |
| 변경 실패율 | 복구가 필요한 장애를 일으킨 운영 배포의 비율 | 핫픽스, 롤백, 패치, 인시던트 대응이 필요했던 배포 수 / 해당 기간의 모든 운영 배포 수. 실패를 배포에 연결하는 규칙은 적어 두고 매번 같은 방식으로 적용 | 퍼센트 | 인시던트, 롤백, 핫픽스 배포에 결합한 배포 이벤트 | 변경 활성화, 인시던트 관리 | 완료의 정의, 유출 결함 | 월 | 인시던트를 배포에 연결하지 않음, 완전한 장애를 일으킨 실패만 셈, 실패가 기간 밖에 떨어지도록 기간을 넓힘, 앞으로 고치고 새 변경이라고 부름 | 분기마다 인시던트 표본을 배포 로그와 대조 검토, 배포 연결이 기록된 인시던트의 비율 추적, 배포 재작업률 |
| 배포 재작업률 | 사용자가 보는 문제를 고치려고 계획 없이 이루어진 운영 배포의 비율 | 운영 문제에 대응해 이루어진 계획 외 배포 수 / 해당 기간의 모든 운영 배포 수. 수정을 우연히 포함한 계획된 배포는 제외하며 "계획 외"의 규칙은 적어 둠 | 퍼센트 | 배포 사유로 태그한 파이프라인 로그, 인시던트 또는 결함 레코드에 연결 | 변경 활성화, 문제 관리 | 계획 외 작업, 계획 밖에서 릴리스한 버그 수정 | 월 | 수정을 계획된 작업으로 라벨링함, 정기 릴리스에 수정을 묶음, 수정을 미뤄서 수정 배포를 피함 | 트래커의 결함 및 유출 결함 건수, 열린 운영 결함의 경과 시간, 배포 표본의 태그 감사 |
2.9 운영 작업과 계획 외 작업
원본 주제: (주제 2.9, 운영 작업과 계획 외 작업 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 계획 외 작업 비율 | 기간 시작 시점의 계획에 없던, 건수 기준 완료 작업 항목의 비율 | 기간이 시작된 뒤 보드나 백로그에 들어온 항목 중 기간 중 완료된 수 / 기간 중 완료된 모든 항목 수. 시계는 계획 이벤트에서 시작해 기간 말에 멈추며, 취소된 항목과 아직 열린 항목은 제외 | 퍼센트 | 항목 생성 시각과 계획 스냅샷이 있는 이슈 트래커 | 인시던트 관리, 서비스 요청 관리 | 범위 변경, 작업 항목 유형 | 월 | 계획된 것으로 셈하려고 항목을 계획 스냅샷에 늦게 추가함, 긴급 작업을 추적하지 않아 절대 집계되지 않게 함, 놓친 계획을 변명하려고 계획 항목을 계획 외로 태그함 | 타임스탬프가 있는 고정된 계획 스냅샷, 미분류 건수, 분기마다 종료된 항목 표본을 읽어 태그를 실제 일어난 일과 비교 |
| 용량 배분 준수도 | 변경 작업, 운영 작업, 개선 작업 사이의 명시된 분배에 실제 노력이 얼마나 가까운지 | 범주마다 실제 비율과 합의된 비율의 절대 차이를 더해 절반으로 나눔. 실제 비율은 그 범주의 완료 항목(팀이 기록하는 곳에서는 기록된 노력) / 모든 완료 항목. 범주가 없는 항목은 버리지 않고 따로 보고 | 퍼센트 포인트 | 이슈 트래커의 작업 유형 필드, 있는 곳에서는 시간 기록 | 지속적 개선, 용량 및 성능 관리 | 용량 배분 또는 용량 계획 | 월 | 합의된 분배에 맞추려고 항목을 범주 간에 옮김, 비율을 이동하려고 항목 하나를 여럿으로 쪼갬, 팀이 이미 달성하는 분배를 고름 | 업무 합의에 적힌 고정된 범주 정의, 항목 설명을 범주와 표본 대조, 계획된 확약의 신뢰도 |
| 중단율 | 계획 밖의 요구가 팀에, 그리고 계획된 작업을 하는 사람들에게 얼마나 자주 도달하는지 | 기간 중 팀이 받은 중단 수 / 기간의 근무일 수. 중단은 팀의 접수 채널에 기록되었고 아직 계획에 없는 티켓, 호출, 메시지 요청, 부탁. 같은 근본 요구의 중복은 한 번만 셈 | 근무일당 중단 | 접수 채널 로그, ITSM 대기열, 경보 시스템, 팀의 중단 로그 | 인시던트 관리, 서비스 요청 관리, 모니터링 및 이벤트 관리 | 중단 로그 또는 팀 업무 합의 | 주 | 중단을 로그에 도달하지 않는 조용한 부탁으로 바꿈, 여러 요구를 하나의 항목으로 합침, 사람들이 요청하지 못하게 낙담시킴 | 로그를 접수 채널 트래픽 및 경보 이력과 비교, 회고에서 로그가 팀의 경험과 맞는지 물음 |
| 긴급 처리율 | 긴급 처리 레인을 쓴 완료 항목의 비율 | 기간 중 긴급 처리 레인에 들어간 완료 항목 수 / 기간 중 완료된 모든 항목 수. 시계는 항목이 긴급으로 표시될 때 시작해 완료 시 멈추며, 작업이 시작되기 전에 레인에서 강등된 항목은 따로 셈 | 퍼센트 | 보드 레인 이력 또는 우선순위 필드 이력 | 인시던트 관리, 변경 활성화(긴급 변경) | 긴급 서비스 등급 | 월 | 규율 있어 보이려고 긴급 작업을 레인에 넣지 않거나, 속도를 얻으려고 모든 것을 레인에 넣음, 긴급 처리를 "중요함"으로 재정의함 | 진입 시험이 있는 레인 제한, 검토에서 시험을 충족한 긴급 항목의 비율, 계획된 작업의 밀려남 |
| 계획된 작업의 밀려남 | 계획 외 작업의 자리를 만들려고 밀려나거나 포기된 계획 항목의 수 | 기간 중 "계획 외 작업에 밀려남"이라는 기록된 이유로 기간에서 제거되거나, 연기되거나, 끝나지 않은 채 남은 계획 항목(건수). 목표가 바뀌어 제거된 항목은 제외 | 항목 수 | 이유 필드가 있는 보드 변경 이력 | 변경 활성화, 지속적 개선 | 전달 목표 보호, 범위 협상 | 월 | 밀려남을 의도적인 범위 변경으로 기록함, 이유 없이 계획 항목이 조용히 실패하게 둠, 밀려날 가능성이 큰 계획 항목을 피함 | 제거되거나 끝나지 않은 모든 항목에 이유 필드 필수, 계획된 확약의 신뢰도, 회고에서 이유 검토 |
| 반복되는 계획 외 작업 비중 | 조회 구간 안의 앞선 계획 외 항목과 원인이 일치하는 계획 외 항목의 비율 | 조회 구간(예: 90일) 안의 앞선 항목과 같은 문제 레코드, 경보 규칙, 원인 태그에 연결된, 기간 중 완료된 계획 외 항목 수 / 기간 중 완료된 모든 계획 외 항목 수. 원인 태그가 없는 항목은 별도의 미분류 건수로 보고 | 퍼센트 | ITSM 인시던트 및 문제 레코드, 트래커 원인 태그 | 문제 관리, 알려진 오류 관리 | 회고 실행 항목, 반복 결함 태그 | 월 | 거친 원인 태그로 반복을 숨기거나, 미세한 태그로 아무것도 반복되지 않게 함, 연결을 없애려고 문제 레코드를 닫음 | 분기마다 검토하는 원인 태그 분류 체계, 미분류 건수, 문제 레코드가 닫힌 뒤 재발 점검 |
| 계획된 확약의 신뢰도 | 팀이 기간에 계획한 항목 중 그 기간에 끝낸 비율 | 기간 중 끝낸 계획 항목 수 / 기간 시작 시점의 계획 항목 수. 시작 후 추가된 항목은 양쪽 건수에서 제외 | 퍼센트 | 계획 스냅샷과 트래커 완료 이력 | 서비스 수준 관리, 변경 활성화 | 예측 신뢰도 | 월 | 모두 끝내려고 작게 계획함, 추정치를 부풀림, 부분 항목을 완료로 셈, 기간이 시작되기 전에 어려운 항목을 뺌 | 시간에 따른 계획 항목의 크기와 가치 비교, 전달 목표의 성과 점검, 계획 외 작업 비율(계획이 소심했을 때 높은 값이 건강으로 읽히지 않도록) |
제3부: 서비스 데스크, 인시던트, 요청 지표
3.1 서비스 데스크 지표
원본 주제: (주제 3.1, 서비스 데스크 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 접촉량 | 채널과 기간별로 데스크가 받은 접촉의 수 | 채널별로 해당 기간에 생성된 접촉의 수. 내부 테스트 접촉, 중복 이메일 자동 회신, 데스크가 건 발신 전화는 제외 | 건수 | 전화 또는 채팅 플랫폼 로그, ITSM 도구의 접촉 레코드 | 서비스 데스크 | 백로그 정제의 수요 신호 | 주 | 상담원이 집계되지 않는 채널로 사용자를 돌려 기록을 막거나, 대기열이 바빠 보이도록 접촉 하나를 여럿으로 쪼갬, 관리자가 더 낮은 양을 목표로 삼음 | 사용자 100명당 접촉률과 전화 건수와 티켓 건수의 주기적 대조, 모든 채널을 세는 고정 규칙 |
| 접촉률 | 성장을 문제로 오인하지 않도록 서비스 대상 인구 규모에 대한 접촉 | 해당 기간의 접촉 수 / 해당 기간의 활성 사용자 또는 활성 계정 수를 100명 기준으로 환산. 사용자 수는 같은 기간에서 가져오며 "활성"의 정의는 적어 둠 | 사용자 100명당 접촉 | 접촉 레코드와 ID 또는 라이선스 시스템 | 서비스 데스크, 서비스 수준 관리 | 제품 검토의 사용량 보정 수요 | 월 | 비율이 좋아 보이도록 분모를 사후에 고름(예: "활성"의 넓은 정의) | "활성 사용자"의 날짜가 있는 서면 정의와 비율 옆에 원시 건수 표시 |
| 응답 시간 | 접촉이 대기열에 들어간 순간부터 사람이나 자동 응답이 연결될 때까지의 대기 | 시계는 접촉이 대기열에 들어갈 때 시작해 첫 사람의 응답에서 멈춤. 포기된 접촉은 이 측정치에서 제외하고 이탈에서 셈. 중앙값과 85번째 백분위수를 보고 | 초(전화, 채팅), 분 또는 시간(이메일, 포털) | 전화 플랫폼, 채팅 플랫폼, ITSM 도구 타임스탬프 | 서비스 데스크 | 응답성 업무 합의 | 검토 구간에는 일, 추세는 주 | 접촉에 자동 인사나 조용한 대기열로의 이관으로 응답하거나, 전화를 받고 보류함, 이메일 자동 회신을 응답으로 셈 | 시계를 첫 사람의 응답으로 정의하고 옆에 이탈과 재접촉을 추적 |
| 이탈률 | 사용자가 누군가 연결되기 전에 끝낸 접촉의 비율 | 첫 사람의 응답 전에 사용자가 끝낸 접촉 수 / 대기열에 들어간 접촉 수. 정의에 명시한 짧은 유예 기간(예: 5초) 안에 끝난 접촉은 우발적인 것으로 제외 | 퍼센트 | 전화 플랫폼, 채팅 플랫폼 | 서비스 데스크 | 서비스 검토의 지연 비용 신호 | 주 | 대기열에 들어가기 전에 전화를 끊음, 유예 기간을 늘림, 콜백 제안을 응답한 접촉으로 셈 | 응답 시간 백분위수, 콜백 완료율, 공개된 유예 기간 |
| 처리 시간 | 데스크가 접촉에 쓰는 시간 | 시계는 사람이 연결될 때 시작해 접촉을 마칠 때 멈추며 접촉 후 문서화 작업을 포함. 사용자를 기다리는 시간은 정의에 있을 때만 포함. 접촉 유형별로 나눠 중앙값과 85번째 백분위수를 보고 | 분 | 전화 플랫폼, 채팅 플랫폼, ITSM 도구 작업 로그 | 서비스 데스크, 인시던트 관리 | 정제와 용량 계획의 노력 신호 | 주 | 통화를 서두름, 일찍 이관함, 문제가 해결되기 전에 끝냄, 메모를 부실하게 남김, 시계가 제외하는 접촉 후 시간으로 일을 옮김 | 첫 접촉 해결, 재접촉률, 팀이 하는 문서화 품질의 표본 검토 |
| 첫 접촉 해결률 | 같은 건에 대한 이후 접촉 없이 첫 접촉에서 해결된 접촉의 비율 | 접촉 중에 해결되었고 재접촉 기간 안에 같은 사용자의 같은 문제에 대한 재접촉이 뒤따르지 않은 접촉 수 / 대상 접촉 수. 이관만 필요한 통화와 데스크가 해결하리라 기대되지 않는 통화는 제외 | 퍼센트 | ITSM 도구의 해결 및 연결 필드, 수집된 곳에서는 사용자 확인 | 서비스 데스크, 인시던트 관리 | 완료의 정의 점검, 첫 접촉에서 해결 | 월 | 결과와 상관없이 통화 중에 티켓을 닫음, "같은 건"을 좁게 읽음, 어려운 접촉을 "해결 불가"로 분류함 | 재접촉률, 한 문항 사용자 확인, 팀이 하는 제외 항목의 주기적 감사 |
| 재접촉률 | 해결된 접촉 중 같은 건에 대한 다른 접촉이 뒤따른 비율 | 재접촉 기간(예: 7일, 정의에 설정) 안에 같은 사용자가 같은 서비스나 문제에 대해 다시 접촉한 접촉 수 / 앞선 기간에 해결된 접촉 수. 새로운 문제에 대한 접촉은 제외 | 퍼센트 | ITSM 도구의 연결 및 재개방 이력, 접촉 레코드 | 서비스 데스크, 인시던트 관리 | 유출 결함률 | 월 | 후속 조치로 사용자에게 새 티켓을 열라고 요청하거나, 연결되지 않도록 후속 조치를 다른 범주로 기록함 | 도구의 연결 규칙, 연결되지 않은 반복 접촉의 표본 감사, 사용자가 보고한 해결 |
3.2 인시던트 건수와 우선순위
원본 주제: (주제 3.2, 인시던트 건수와 우선순위 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 서비스별 인시던트 건수 | 기간 중 서비스에 대해 열린 인시던트의 수 | 열린 시각이 기간 안에 있고 영향받은 서비스에 귀속된 인시던트. 서비스 요청, 상위 레코드에 병합된 중복, 오접수로 취소된 레코드는 제외 | 건수 | ITSM 도구 인시던트 레코드 | 인시던트 관리 | 팀별 운영 결함 또는 계획 외 작업 항목 | 주, 월 검토 | 인시던트를 요청으로 기록함, 무관한 티켓을 병합함, 사용자가 보고하지 못하게 낙담시킴, 중복을 "결함 없음"으로 닫음 | 인시던트 양 옆에 사용자가 보고한 접촉량과 요청량, 서비스 데스크의 만족도와 이탈, 결함처럼 읽히는 요청의 표본 |
| 정규화된 인시던트율 | 서비스 사용량에 대한 인시던트 | 해당 기간에 열린 인시던트 / 같은 기간과 범위의 사용량 측정치(서비스별로 고르고 기록하는 활성 사용자, 세션, 거래) x 1,000. 사용량 측정치는 인시던트 도구가 아닌 원천에서 와야 함 | 사용 단위 1,000당 인시던트 | ITSM 도구와 분석 또는 모니터링의 사용량 데이터 | 인시던트 관리, 서비스 수준 관리 | 릴리스당 또는 사용자당 결함 밀도 | 월 | 가장 좋은 수치를 주는 분모를 고르거나 기간 사이에 사용량 정의를 바꿈 | 레지스트리에 기록된 서비스별 고정 사용량 측정치, 비율 옆에 원시 건수 표시 |
| 우선순위 구성 | 각 우선순위 수준에서 열린 인시던트의 비율 | 열 때 기록된 우선순위의 인시던트 / 해당 기간에 열린 모든 인시던트, 수준마다 표시. 재분류된 인시던트는 열 때 우선순위로 세고 닫을 때 우선순위로 다시 표시 | 수준별 퍼센트 | 우선순위 변경 이력을 포함한 ITSM 도구 | 인시던트 관리 | 결함의 심각도 분포, 서비스 등급 구성 | 월 | 차분해 보이려고 우선순위를 낮추거나 관심을 얻으려고 올림, 대응 목표를 피하려고 낮은 우선순위를 부여함 | 우선순위 재분류율, 영향 및 긴급성 매트릭스에 비춘 월간 표본 검토, 고객이 보고한 영향 |
| 우선순위 재분류율 | 열 때와 닫을 때 사이에 우선순위가 바뀐 인시던트의 비율 | 닫을 때 우선순위가 열 때 우선순위와 다른, 기간 중 닫힌 인시던트 / 기간 중 닫힌 인시던트 | 퍼센트 | ITSM 도구 감사 추적 | 인시던트 관리 | 결함 백로그의 재선별률 | 월 | 바뀌어야 할 때 우선순위를 바꾸지 않아 비율이 안정적으로 보이게 함, 목표에 맞추려고 닫을 때만 바꿈 | 인시던트 중에 영향이 바뀐 레코드의 표본, 인시던트 타임라인 검토 |
| 범주 집중도 | 가장 큰 범주들이 차지하는 인시던트 양의 비율 | 건수 기준 상위 다섯 범주의 인시던트 / 해당 기간의 범주가 지정된 모든 인시던트. 범주가 없는 인시던트는 별도의 비중으로 보고 | 퍼센트 | ITSM 도구의 범주 및 서비스 필드 | 인시던트 관리, 문제 관리 | 구성 요소 또는 에픽별 결함 군집 | 월 | 포괄 범주를 쓰거나, 집중도를 숨기려고 큰 범주를 여럿으로 쪼갬 | 미분류 및 "기타" 레코드의 비중, 범주 목록의 주기적 검토, 범주를 해결 메모와 대조 점검 |
| 반복 인시던트율 | 명시된 기간 안에 같은 서비스, 구성 항목, 범주에서 재발하는 인시던트의 비율 | 앞선 기간(예: 30일, 한 번 정해 기록)에 같은 서비스, CI, 범주로 이미 닫힌 인시던트가 있는, 해당 기간의 인시던트 / 해당 기간에 열린 인시던트. 재개방된 레코드는 반복이 아니라 재개방으로 셈 | 퍼센트 | ITSM 도구와 CMDB 연결 | 인시던트 관리, 문제 관리 | 회귀 또는 유출 결함률 | 월 | 연결을 피하려고 다른 문구나 CI로 새 인시던트를 엶, 재개방을 피하려고 일찍 닫음 | 텍스트와 서비스별로 거의 중복되는 레코드 검토, 재개방률, 문제 레코드에 대한 연결률 |
| 재개방률 | 닫힌 뒤 다시 열린 인시던트의 비율 | 기간 중 닫힌 인시던트 중 명시된 기간(예: 7일) 안에 나중에 재개방된 것 / 기간 중 닫힌 인시던트 | 퍼센트 | ITSM 도구 상태 이력 | 인시던트 관리 | 재개방된 결함, 재작업 | 월 | 재개방하는 대신 사용자에게 새 티켓을 열라고 요청함, 재개방을 피하려고 티켓을 늦게 닫음 | 최근 닫힌 티켓을 참조하는 새 티켓의 수, 고객의 해결 확인, 종료까지 시간 분포 |
| 모니터링 감지 비중 | 사용자가 보고하기 전에 모니터링이 먼저 올린 인시던트의 비율 | 첫 이벤트가 자동 경보인 인시던트 / 해당 기간에 열린 모든 인시던트. 경보에서 사람이 연 인시던트는 경보 시각으로 셈 | 퍼센트 | ITSM 도구, 모니터링 연동 | 모니터링 및 이벤트 관리, 인시던트 관리 | 경보 기반 대 고객 보고 결함 | 월 | 인시던트를 자동으로 여는 잡음 많은 경보를 만들거나, 사람이 사용자 보고를 경보로 다시 라벨링하게 함 | 실행 가능한 경보 비중 같은 경보 품질 측정치(주제 5.5, 모니터링과 경보 품질 지표 참조), 인시던트 원천 감사 |
3.3 인시던트 대응 및 해결 시간
원본 주제: (주제 3.3, 인시던트 대응 및 해결 시간 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 탐지 시간 | 조직이 알기 전까지 결함이 사용자에게 영향을 준 시간 | 시계는 사용자 영향의 첫 순간(모니터링 데이터 또는 리뷰에 기록된 확인된 영향 시작 시점)에 시작하고, 첫 경보 또는 사용자 신고에서 멈춥니다. 서비스별 중앙값과 95번째 백분위수로 보고합니다. 시작 시점을 알 수 없는 인시던트는 버리지 않고 건수를 세어 따로 보고합니다 | 분 | 모니터링 및 경보 플랫폼, 영향 시작 필드가 있는 인시던트 기록 | 인시던트 관리, 모니터링 및 이벤트 관리 | 관측 가능성과 경보 품질 작업(주제 5.5, 모니터링과 경보 품질 지표 참조) | 월간 | 영향 시작을 실제보다 늦게 설정함, 더 적은 결함이 인시던트로 집계되도록 경보 임계값을 넓힘, 모니터가 잡은 인시던트만 집계함 | 모니터링이 아니라 사용자가 먼저 신고한 인시던트의 비율, 모니터링 데이터와 영향 시작 추정치의 주기적 대조 검토 |
| 인지 시간 | 발생한 경보나 티켓이 담당자를 얻기까지 기다린 시간 | 시계는 경보가 발생하거나 티켓이 기록될 때 시작하고, 지정된 담당자 또는 팀이 수락할 때 멈춥니다. 자동 배정은 시계를 멈추지 않습니다. 우선순위별 중앙값과 95번째 백분위수로 보고합니다 | 분 | 호출 도구, ITSM 도구의 배정 이력 | 인시던트 관리, 서비스 데스크 | SRE 순환 근무의 온콜 대응 | 월간 | 시계를 멈추기 위해 자동 배정하거나 자동 인지함, 경보를 인지만 하고 아무것도 하지 않음 | 같은 인시던트의 최초 응답 시간과 복구 시간, 이후 활동이 없는 인지된 경보의 표본 |
| 최초 응답 시간 | 사용자가 첫 번째 사람의 유용한 답변을 기다린 시간 | 시계는 인시던트가 기록될 때 시작하고, 신고 내용을 다루는 첫 사람의 메시지 또는 조치에서 멈춥니다. 자동 접수 확인과 정형화된 수신 확인은 제외합니다. 업무 시간 시계를 명시합니다 | 분 또는 업무 시간 | ITSM 도구의 커뮤니케이션 로그 | 서비스 데스크, 인시던트 관리 | 작업 합의에서와 같은 사용자에 대한 적시 피드백 | 주간 | 시계를 멈추려고 정형화된 한 단어 답장을 보냄 | 첫 답변 표본의 실질 내용 검토, 재문의와 설문 의견 |
| 복구 시간 | 사용자가 작동하는 서비스 없이 지낸 시간 | 시계는 사용자 영향이 시작될 때 시작하고, 임시 해결책이나 롤백을 포함해 사용자가 다시 서비스를 쓸 수 있게 될 때 멈춥니다. 나중에 원인을 고친 시간은 늘리지 않습니다. 우선순위별, 서비스별 중앙값과 95번째 백분위수로 보고합니다 | 분 또는 시간 | 영향 시작 및 복구 타임스탬프가 있는 인시던트 기록, 모니터링 | 인시던트 관리 | DORA 용어의 평균 복구 시간을 분포로 읽은 것(주제 2.8, DORA 지표 참조) | 월간 | 사용자가 쓸 수 있기 전에 복구되었다고 선언함, 증상을 억제해서 복구함, 장애를 계획된 유지보수로 기록함 | 기간 내 재발, 복구 시각 이후 사용자가 보고한 영향, 사후에 라벨이 바뀐 인시던트의 비율 |
| 해결 시간 | 인시던트 기록이 종료될 때까지 열려 있던 시간 | 시계는 인시던트가 기록될 때 시작하고, 복구와 사용자 확인 또는 합리적인 대기 이후 종료될 때 멈춥니다. "고객 대기" 상태의 시간은 헤드라인에서 빼지 않고 별도의 보고 비율로 보여 줍니다. 우선순위별 중앙값과 95번째 백분위수로 보고합니다 | 시간 또는 업무 시간 | ITSM 도구의 상태 이력 | 인시던트 관리 | 계획되지 않은 작업의 사이클 타임(주제 2.2, 리드 타임, 사이클 타임, 흐름 효율 참조) | 월간 | 티켓을 "고객 대기"나 "보류"로 옮김, 한 번 연락을 시도한 뒤 종료함, 상위 인시던트를 일찍 닫으려고 하위 인시던트로 쪼갬 | 일시 중지 상태에서 보낸 시간의 비율, 재개방률, 가장 오래된 열린 인시던트 경과 기간, 종료 메모 표본 읽기 |
| 가장 오래된 열린 인시던트 경과 기간 | 가장 오래 열려 있는 인시던트가 얼마나 오래 열려 있었는지 | 열린 각 인시던트에 대해 현재 시각에서 기록 시각을 뺀 값이며, 우선순위별로 가장 오래된 몇 건을 나열합니다. 일시 중지 상태는 빼지 않습니다 | 일 | ITSM 도구의 열린 인시던트 목록 | 인시던트 관리 | 팀 보드의 작업 항목 경과 기간(주제 2.1, 흐름 측정치 참조) | 주간 | 가장 오래된 티켓을 닫고 다시 발행함, 목록에서 빼려고 문제나 요청으로 재분류함 | 중복을 원본에 연결하고 연결된 경과 기간을 보고, 기간마다 문제나 요청으로 전환된 인시던트 수 |
| 활성 시간 비율 | 인시던트 경과 시간 중 대기가 아니라 실제 작업에 쓰인 비율 | 해당 기간에 종료된 인시던트에 대해 활성 상태의 시간 합계 / 기록부터 종료까지의 전체 시간입니다. 활성 상태는 사람이 인시던트를 처리하는 상태이며, 대기 상태는 정의에 나열합니다 | 퍼센트 | ITSM 도구의 상태 이력 | 인시던트 관리 | 흐름 효율(주제 2.2, 리드 타임, 사이클 타임, 흐름 효율 참조) | 분기 | 시간을 활성으로 표시하려고 짧고 무의미한 작업을 기록함, 노력 없이 활성 상태로 옮김 | 활성 시간을 복구 시간 같은 성과와 비교, 작업 메모 표본 |
| 담당 변경 횟수 | 복구 전에 인시던트의 담당 팀이 몇 번 바뀌었는지 | 기록부터 복구까지 배정 그룹이 바뀐 횟수로, 중앙값과 세 번 이상 바뀐 인시던트의 비율로 요약합니다. 서비스와 우선순위별로 세며 상담원별로는 세지 않습니다 | 건수 | ITSM 도구의 배정 이력 | 인시던트 관리, 서비스 데스크 | 인수인계 횟수(주제 9.3, 협업과 인수인계 지표 참조) | 월간 | 넘기지 않고 같은 팀에서 다시 열음, 도구에 인수인계가 드러나지 않도록 사이드 채널로 작업을 넘김 | 복구 시간과 사용자 만족도, 팀 사이에서 작업이 움직이는 방식의 주기적 관찰 |
3.4 중대 인시던트 지표
원본 주제: (주제 3.4, 중대 인시던트 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 중대 인시던트 건수 | 기간 중 서비스별로 선언된 중대 인시던트 | 선언 시각 기준으로 기간 중 선언 기준을 충족해 선언된 인시던트 수, 서비스별. 첫 1시간 안에 강등된 인시던트는 별도로 나열하고 제외 | 분기당 건수 | 중대 인시던트 표시가 있는 ITSM 도구 인시던트 레코드 | 인시던트 관리 | 팀 또는 서비스 건강 검토 | 월간 보고, 분기 추세 | 선언 임계값을 올림, 선언되지 않도록 인시던트를 "높음" 우선순위에 둠, 사건 하나를 여러 레코드로 쪼개거나 여러 개를 하나로 합침 | 고정되고 버전이 있는 기준, 고영향 일반 인시던트의 분기별 표본, 건수 옆에 추적하는 고객 영향과 선언까지의 시간 |
| 중대 인시던트 지속 시간 | 고객이 영향을 받은 시간 | 인시던트별로 서비스 복구 시각 빼기 영향 시작 시각. 영향 시작은 모니터링의 가장 이른 증거 또는 첫 사용자 보고 중 더 이른 것. 부분 복구는 별도 이벤트로 기록하고 완전 복구가 시계를 멈춤 | 분, 인시던트별 | 모니터링 타임라인, ITSM 도구의 인시던트 타임라인 | 인시던트 관리, 서비스 수준 관리 | 전달 지표의 복구 시간(주제 2.8, DORA 지표 참조) | 인시던트마다, 긴 구간의 중앙값과 최대값은 분기 | 시계를 더 늦은 영향 시작으로 되돌림, 사용자가 여전히 실패하는데 "복구됨"으로 선언함, 닫았다가 새 레코드를 다시 엶 | 모니터링에서 가져온 영향 시작, 사용자 대면 지표로 확인한 복구, 재개방 및 연결된 레코드는 하나의 인시던트로 셈 |
| 선언까지의 시간 | 영향 시작과 중대 인시던트 선언 사이의 지연 | 인시던트별로 선언 시각 빼기 영향 시작 시각. 선언되지 않은 인시던트는 일반적인 고영향 인시던트의 분기 검토로 찾아 선언 시각 n/a(선언 안 됨)로 포함 | 분, 인시던트별 | 모니터링 타임라인, ITSM 도구 감사 추적 | 인시던트 관리, 모니터링 및 이벤트 관리 | 팀 업무 합의의 에스컬레이션 준비의 정의 | 인시던트마다 | 빨라 보이려고 모든 것을 일찍 선언함, 선언을 영향 시작으로 소급함 | 나중에 강등된 선언 인시던트의 비율, 선언 시각의 감사 추적, 원시 모니터링에 비춘 타임라인의 표본 |
| 고객 영향 | 영향을 받은 사용자 수와 사용량 | 인시던트별로 영향받은 사용자(또는 실패한 요청) 곱하기 영향받은 분. 영향 구간에 서비스를 쓰려고 시도한 사용자만 셈. 계획된 유지보수는 제외 | 사용자-분 또는 실패한 요청 | 서비스 텔레메트리, 지원 접촉 레코드 | 서비스 수준 관리, 인시던트 관리 | 사용자 대면 서비스 수준 지표(주제 5.2, SLI, SLO, 오류 예산 참조) | 인시던트마다 | "영향받음"의 정의를 좁힘, 티켓을 올린 사용자만 셈, 계속 가동 중이던 의존성을 측정함 | 접촉뿐 아니라 텔레메트리에서 도출한 영향, 인시던트 검토에서 검토하는 쉬운 말의 영향 진술 |
| 소통 적시성 | 영향받은 당사자에게 제때 알렸는지 | 선언 뒤 목표 안에 첫 고객 대면 공지가 나간 중대 인시던트의 비율, 합의된 간격 안에 보낸 예정 업데이트의 비율. 시계는 선언에서 시작. 내부용 메시지는 제외 | 인시던트의 퍼센트, 업데이트의 퍼센트 | 상태 페이지 이력, ITSM 도구의 소통 로그 | 인시던트 관리, 서비스 수준 관리 | 팀 업무 합의의 이해관계자 소통 | 인시던트마다, 분기 요약 | 시계를 시작하려고 모호한 공지를 게시함, 내용 없는 업데이트를 보냄, 내부 메시지를 셈 | 업데이트 표본의 내용 점검, 명확성에 대한 고객 피드백, 고객 대면 공지만 셈 |
| 검토 완료 적시성 | 검토가 유용할 만큼 일찍 이루어졌는지 | 복구 후 합의된 영업일 안에 검토가 게시된 중대 인시던트의 비율. 시계는 첫 초안이 아니라 게시 시점에 멈춤. 아직 기간 안에 있는 인시던트는 제외 | 퍼센트 | 검토 저장소, ITSM 도구 | 지속적 개선, 문제 관리 | 개선 후속 조치 | 분기 | 날짜를 맞추려고 부실한 문서를 게시함, 검토가 "필요 없음"이라고 선언함 | 표본에 대해 동료가 읽은 검토 품질(주제 4.2, 사후 분석과 학습 지표 참조), 면제된 검토의 비율 표시 |
| 조치 항목 후속 이행 | 검토 조치가 완료되는지 | 기한까지 완료한 검토 조치 / 기간 중 기한이 도래한 검토 조치. "하지 않음"으로 닫은 조치는 숨기지 않고 이유와 함께 따로 셈 | 퍼센트, 기한 초과 건수 | 검토에 연결된 이슈 트래커 | 지속적 개선, 문제 관리 | 회고에서 나온 백로그 항목 | 월 | 닫기 쉬운 모호하거나 사소한 조치를 씀, 일을 하지 않고 조치를 닫음, "하지 않음"으로 재라벨링함 | 조치 품질의 표본, 닫힌 조치를 시스템 변경과 대조 검증, "하지 않음"의 비중과 이유 검토 |
| 반복 중대 인시던트율 | 같은 원인의 재발 | 기록된 원인이 지난 12개월의 앞선 중대 인시던트와 일치하는, 기간 중 중대 인시던트 / 기간 중 중대 인시던트. 일치는 원인 필드로 하되 사람이 검토 | 퍼센트, 건수와 함께 표시 | 검토 레코드, 문제 레코드 | 문제 관리 | 백로그의 예방 작업 | 분기 | 다른 문구를 골라 각 원인을 새로운 것으로 기록함, 모든 것을 "인적 오류"로 돌림 | 정의가 있는 짧은 원인 분류 체계, 인시던트 밖의 누군가 검토한 원인 필드, 시스템 설명 없이 "인적 오류"를 원인으로 인정하지 않음 |
3.5 서비스 요청 이행 지표
원본 주제: (주제 3.5, 서비스 요청 이행 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 요청 이행 시간 | 요청을 전달하는 데 걸린 경과 시간, 카탈로그 항목별 중앙값과 95번째 백분위수로 표시 | 시계는 사용자가 요청을 제출할 때 시작해 사용자가 전달을 확인하거나 전달이 기록될 때 멈춤. 사용자가 취소한 요청은 제외. 사용자 대기 시간은 제거하지 않고 따로 보고 | 영업일 또는 시간 | ITSM 도구 요청 이력 | 서비스 요청 관리 | 팀 보드의 사이클 타임(주제 2.2, 리드 타임, 사이클 타임, 흐름 효율 참조) | 주, 월 추세 | 사용자가 원인인지 아닌지와 상관없이 "사용자 대기"로 시계를 멈춤, 전달 전에 요청을 닫고 새 요청으로 다시 엶, 요청 하나를 여러 작은 요청으로 쪼갬 | 멈춤 사유의 표본 감사와 함께 항목별 멈춘 시간의 비중, 재개방률, 닫기 전의 사용자 전달 확인 |
| 목표 내 이행 | 카탈로그 항목에 합의된 목표 안에 전달된 요청의 비율 | 목표 안에 이행된 요청 수 / 기간 중 이행된 요청 수. 시계는 위와 같으며, 아직 열린 항목은 제외하고 백로그 경과 시간에서 셈 | 퍼센트 | ITSM 도구 요청 이력, 카탈로그 항목 목표 표 | 서비스 수준 관리 | 서비스 수준 기대 | 월 | 목표를 더 쉽게 재정의함, 끝나는 요청만 세고 오래된 열린 요청은 무시함, 목표 집합에 빠른 항목만 골라 넣음 | 열린 요청의 백로그 경과 시간, 이유와 함께 지표 레지스트리에 기록되는 목표 변경, 목표 집합이 양 기준 모든 항목을 포괄 |
| 요청 백로그와 경과 시간 | 카탈로그 항목별 열린 요청의 수와 가장 오래된 것의 경과 시간 | 기간 말의 열린 요청(건수), 열린 요청별 경과 시간 = 보고일 빼기 제출일. 건수, 경과 시간 중앙값, 가장 오래된 경과 시간을 보고 | 건수와 일 | ITSM 도구 열린 요청 대기열 | 서비스 요청 관리 | 진행 중인 작업과 오래된 작업 항목(주제 2.3, 진행 중인 작업과 대기열 참조) | 주 | 오래된 요청을 "무응답"이나 "낡음"으로 닫음, 집계되는 대기열을 벗어나도록 요청을 다른 대기열이나 범주로 옮김 | 이유별로 전달 없이 닫은 요청의 건수, 월간 회의에서 검토하는 범주와 대기열 이관 |
| 승인 대기 시간 | 요청이 승인을 기다리며 보내는 시간 | 시계는 승인이 요청될 때 시작해 승인되거나 거절될 때 멈춤. 승인 단계가 없는 요청은 제외 | 시간 | ITSM 도구 승인 로그 | 서비스 요청 관리, 변경 활성화 | 차단 시간 또는 보드의 "대기" 열 | 월 | 자기 시간을 줄이려고 읽지 않고 승인함, 기록된 대기가 짧아지도록 요청자가 시스템 밖에서 승인자를 독촉함 | 정책에 비춘 승인된 요청의 표본 검토, 승인된 항목의 재개방률과 보안 예외, 항목당 승인 단계 수 |
| 카탈로그 항목별 요청량 | 각 항목에 제출된 요청의 수와 전체 요청에서 차지하는 비중 | 기간 중 항목별로 제출된 요청 수. 식별된 경우 중복으로 다시 제출된 요청은 제외. 건수와 전체에 대한 비중을 보고 | 건수와 퍼센트 | ITSM 도구 요청 레코드 | 서비스 카탈로그 관리 | 백로그 조형을 위한 수요 분석 | 월 | 카탈로그를 찾기 어렵게 하거나 요청을 낙담시켜 양을 줄임, 요청을 인시던트나 "일반 문의"로 재분류함 | 카탈로그에 대한 사용자 만족도, "기타"로 분류된 접촉의 비중, 서비스의 도입 데이터(주제 6.3, 서비스 도입과 카탈로그 지표 참조) |
| 자동화 비중 | 제출 후 수작업 단계 없이 이행된 요청의 비율 | 자동화로 처음부터 끝까지 이행된 요청 수 / 기간 중 이행된 요청 수. 이행 단계 어느 것이든 사람이 건드린 요청은 수작업으로 셈. 정책이 요구하면 사람의 승인은 수작업 이행 단계로 셈하지 않음 | 퍼센트 | ITSM 도구 이행 레코드와 자동화 플랫폼 로그 | 서비스 요청 관리, 서비스 가치 사슬 안의 자동화 | 완료의 정의에 포함된 자동화 | 월 | 비율을 올리려고 사소한 항목을 자동화함, 사람이 여전히 손으로 확인하는 스크립트 요청을 자동화로 셈, 별도 티켓에 수작업 단계를 숨김 | 양과 제거된 실작업 시간으로 가중한 비중, 자동화 실패 및 수작업 전환 비율, "자동화된" 요청을 처음부터 끝까지 추적한 표본 |
| 요청 재개방률 | 결과가 틀렸거나 불완전해서 사용자가 재개방하거나 다시 접수한 이행된 요청의 비율 | 이행 후 7일 안에 같은 사용자가 같은 항목으로 재개방하거나 다시 접수한 요청 수 / 기간 중 이행된 요청 수. 7일 기간은 팀이 적어 두는 예시 | 퍼센트 | ITSM 도구 요청 이력 | 서비스 요청 관리 | 재작업률, 결함 유출 | 월 | 재개방을 어렵게 만들어 낙담시킴, 사용자에게 새 요청을 열라고 해서 카운터를 초기화함 | 기간 안에 같은 사용자가 같은 항목에 한 반복 요청, 항목별 사용자 만족도, 알림에서 재개방 허용 |
3.6 지식 관리 지표
원본 주제: (주제 3.6, 지식 관리 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 지식 링크율 | 해결 시점에 지식 문서가 하나 이상 첨부된 해결 케이스의 비율 | 기간 중 해결된 케이스 중 연결된 문서가 하나 이상 있는 것 / 기간 중 해결된 케이스. 해결 날짜를 세며 중대 인시던트, 중복으로 닫은 케이스, 사람의 작업 없이 자동 종료된 케이스는 제외 | 퍼센트 | ITSM 도구: 케이스 및 문서 링크 테이블 | 지식 관리, 인시던트 관리 | 배운 것의 포착을 포함하는 완료의 정의 | 팀은 주, 검토는 월 | 닫기 전에 모든 케이스에 흔히 일반적이거나 매우 인기 있는 문서를 첨부함, 사후에 일괄 링크함 | 링크된 케이스의 월간 관련성 표본, 소수의 같은 문서로 가는 링크의 비중, 해결 타임스탬프에 대한 링크 타임스탬프 |
| 재사용 비율 | 문서 링크 중 그 케이스에서 만든 것이 아니라 기존 문서를 가리키는 링크의 비율 | 케이스가 열리기 전에 존재한 문서로의 링크 / 기간 중 해결된 케이스에서 이루어진 모든 문서 링크. 케이스가 닫힌 뒤에 추가된 링크는 제외 | 퍼센트 | ITSM 도구: 케이스 열린 날짜에 대한 문서 생성 날짜 | 지식 관리, 지속적 개선 | 재작업보다 재사용, 코드베이스와 그 문서의 공동 소유 | 월 | 케이스마다 새 문서를 만들고 바로 링크해서 다음에 재사용으로 셈, 또는 아예 만들지 않아 비율을 완벽하게 보이게 함 | 주기적 검색으로 찾는 중복 문서율, "문서가 없었음"이라는 이유로 닫힌 케이스의 비중 |
| 문서 최신성 | 명시된 검토 기간 안에 검토되었거나 사용되어 올바르다고 확인된 사용 중인 문서의 비율 | 기간 안에 검토 또는 확인된 사용 날짜가 있는 사용 중 문서 / 사용 중 문서. 최근 12개월(팀의 선택) 안에 케이스에 연결되거나 독자가 조회한 문서가 사용 중이며, 초안과 폐기된 문서는 제외 | 퍼센트 | 지식 베이스 메타데이터와 조회 로그 | 지식 관리, 서비스 데스크 | 문서의 백로그 정제, 회고 실행 항목 | 월 | 확인하지 않고 문서를 검토됨으로 표시함, 사소한 편집으로 검토 날짜를 초기화함, 검토하기 쉬운 문서만 셈 | 최근 검토된 문서의 표본을 실제 서비스에 비추어 시험, 같은 문서의 도움이 됨 비율과 서술형 의견 |
| 무결과 검색률 | 문서를 하나도 반환하지 않는 지식 검색의 비율 | 결과가 0인 검색 / 모든 검색. 봇과 자동 점검의 검색은 제외하며 1분 안에 반복한 검색도 한 번으로 셈 | 퍼센트 | 지식 베이스 또는 포털 검색 로그 | 지식 관리, 서비스 데스크, 서비스 요청 관리 | 충족되지 않은 사용자 필요의 발견, 백로그 입력 | 주 | 모든 질의에 맞는 모호하거나 포괄적인 문서를 추가함, 키워드를 채움, 까다로운 검색어를 로그에서 제외함 | 클릭 후 짧은 기간 안에 같은 주제로 접촉이 이어지는 비율, 도움이 됨 비율, 상위 검색어의 수작업 읽기 |
| 도움이 됨 비율 | 문서가 도움이 되었다는 독자 피드백의 비율, 응답률과 함께 표시 | 기간 중 문서에 대한 도움이 됨 투표 / (도움이 됨 투표 + 도움이 안 됨 투표). 응답률 = 피드백 투표 / 문서 조회 | 퍼센트, 응답률과 함께 | 지식 베이스 피드백 위젯과 조회 로그 | 지식 관리, 고객 경험 | 문서에 대한 이해관계자 검토 피드백 | 월 | 만족한 독자에게만 투표를 요청함, 도움이 안 됨 옵션을 숨김, 팀 내부에서 투표함 | 비율과 함께 응답률과 응답자 구성 표시, 서술형 의견, 문서를 읽은 뒤의 접촉률 |
| 게시까지의 시간 | 문서 초안이 생성된 때부터 검토되어 대상 독자에게 보이게 될 때까지의 경과 시간 | 시계는 초안 생성 시 시작해 게시(또는 승인되어 처음 보이는 상태)에서 멈춤. "보류, 제품 릴리스 대기" 상태의 시간은 제외. 중앙값과 85번째 백분위수를 보고 | 일(중앙값과 85번째 백분위수) | 지식 베이스 워크플로 이력 | 지식 관리 | 시작부터 완료까지 작업 항목의 리드 타임(주제 2.2, 리드 타임, 사이클 타임, 흐름 효율 참조) | 월 | 시계를 멈추려고 얇은 스텁을 게시함, 문서를 조각으로 쪼갬, 초안을 시계가 제외하는 상태로 옮김 | 최근 게시된 문서의 관련성과 도움이 됨, 제외 상태에 있는 초안의 건수와 경과 시간 |
| 기여 폭 | 사람 이름을 거론하지 않고 측정한, 팀에 걸친 문서 생성과 개선의 분포 | 기간 중 문서를 만들거나 개선한 고유 기여자 / 기간 중 케이스를 해결한 팀 구성원. 팀 단위로만 보고하고 이름 목록으로는 절대 보고하지 않음 | 퍼센트 | 팀 구성원과 결합한 지식 베이스 편집 이력 | 지식 관리, 지속적 개선 | 공동 소유, 짝 작업과 스워밍 | 분기 | 모두가 기여자로 보이도록 사소한 편집을 함, 할당량을 맞추려고 사람들에게 문장 하나를 추가하게 함 | 표본 조사한 편집의 크기와 실질, 기여한 문서의 재사용과 도움이 됨, 보고서에 이름 없음 |
3.7 셀프서비스와 자동화 지표
원본 주제: (주제 3.7, 셀프서비스와 자동화 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 셀프서비스 성공률 | 직원 접촉 없이 사용자의 필요가 충족된 셀프서비스 세션의 비율 | 완료된 성과(요청 제출 후 이행, 문서에 도움이 됨 표시, 재설정 완료)로 끝나고 7일 안에 같은 필요에 대한 직원 응대 접촉이 없는 세션 수를 작업을 시작한 모든 세션 수로 나눔. 시계는 포털에서 첫 의미 있는 행동에서 시작해 완료 또는 포기에서 멈춤. 봇 트래픽, 테스트 계정, 단순 열람은 제외 | 퍼센트 | 포털 및 ID 로그, 티켓 시스템, 세션 분석 | 서비스 요청 관리, 지식 관리 | 고객 피드백 고리, 성과 기반 인수 기준 | 월 | 완료된 양식이나 페이지 조회를 성공으로 셈, 점수가 떨어질 때 "도움이 되었나요" 프롬프트를 없앰, 어려운 주제를 분모에서 제외함 | 낙하율과 사람이 읽은 종료 세션의 표본, 분모 규칙의 보고 |
| 추정 대체율 | 그렇지 않았다면 직원에게 도달했을 수요 중 레벨 0에서 해결된 것으로 추정되는 비율 | 알려진 수요 변동을 보정해, 셀프서비스 변경 전후 또는 대조 그룹에 대한 서비스의 활성 사용자 1,000명당 접촉률을 비교. 방법을 밝힌 추정치로 진술. 다른 채널로 옮겨 간 접촉은 제외 | 퍼센트(추정) | 티켓 시스템, 사용자 인구 수, 실험 또는 코호트 데이터 | 서비스 데스크, 인시던트 관리 | 대조 그룹이 있는 실험, A/B 테스트 | 분기 | 접촉 경로를 숨김, 접촉 전에 단계를 추가함, 원인과 상관없이 모든 티켓 감소를 대체로 분류함 | 활성 사용자 1,000명당 접촉, 영향받은 서비스의 사용자 만족도, 수치 옆에 적은 방법 |
| 낙하율 | 실패한 셀프서비스 시도 중 같은 필요로 직원 접촉에 이른 비율 | 같은 사용자가 같은 주제로 포기되거나 성공하지 못한 셀프서비스 세션 후 7일 안에 연 직원 응대 접촉 수를 성공하지 못한 세션 수로 나눔. 시계는 세션 종료 시 시작. 무관한 접촉은 제외 | 퍼센트 | 사용자와 주제로 티켓 시스템에 결합한 포털 로그 | 서비스 데스크, 지식 관리 | 완료의 정의의 에스컬레이션 경로, 지원에서 오는 피드백 | 월 | 복귀가 기간 밖에 떨어지도록 일치 기간을 짧게 정의함, 후속 접촉을 중복으로 닫음 | 모든 채널에 걸친 반복 접촉률, 돌아온 접촉의 표본 검토 |
| 셀프서비스 도입(포털 우선 비중) | 셀프서비스 채널로 접수된 적격 요청 및 인시던트 보고의 비율 | 포털, 봇, API로 생성된 항목을 셀프서비스 경로를 제공하는 카탈로그 항목의 모든 항목으로 나눔. 셀프서비스 경로가 없는 항목은 제외 | 퍼센트 | 티켓 시스템 채널 필드, 카탈로그 구성 | 서비스 요청 관리, 서비스 카탈로그 관리 | 릴리스 후 도입 추적 | 월 | 적합성과 상관없이 모든 요청을 포털로 강제함, 전화로 생성된 티켓을 포털 티켓으로 재라벨링함 | 셀프서비스 성공률과 사용자 노력, 쓸 만한 포털 경로가 없는 요청의 비중 |
| 자동화 포괄률 | 수작업 단계 없이 자동화로 완료된 적격한 반복 작업의 비율 | 자동화된 흐름이 처음부터 끝까지 완료한 항목을 자동화 가능하다고 판단한 유형의 모든 항목으로 나눔. 서면 후보 목록에 이름이 있는 경우에만 그 유형을 자동화 가능으로 셈. 일회성 작업과 자동화가 거부한 항목은 제외 | 퍼센트 | 티켓 시스템, 자동화 플랫폼 로그, 후보 목록 | 서비스 요청 관리, 배포 관리 | 완료의 정의의 자동화, 코드형 파이프라인 | 월 | 후보 목록에 쉬운 항목을 고름, 사소한 작업으로 분모를 키움, 부분적으로 수작업인 흐름을 자동화로 셈 | 분기마다 검토하는 서면 후보 목록, 자동화 실패 및 재작업률, 남은 항목의 수작업 소요 시간 |
| 자동화 실패 및 재작업률 | 실패했거나, 수작업 수리가 필요했거나, 나중에 고쳐진 성과를 낸 자동화 실행의 비율 | 오류가 났거나, 롤백되었거나, 7일 안에 수작업 수정이 뒤따른 자동화 실행을 모든 자동화 실행으로 나눔. 시계는 실행 시작에서 시작. 계획된 시험 실행은 제외 | 퍼센트 | 자동화 플랫폼 로그, 티켓 시스템, 변경 레코드 | 변경 활성화, 인시던트 관리 | 변경 실패율, 빌드 및 테스트 안정성 | 주 | 수작업 수리를 집계에서 제외함, 실패한 실행이 성공할 때까지 조용히 재시도하게 둠, 실패를 "계획된 시험 실행"으로 라벨링함 | 흐름에 연결된 인시던트 및 경보 레코드, 실패한 실행을 감지하는 시간, 성과의 표본 감사 |
| 요청 유형별 수작업 소요 시간 | 자동화 후보인 요청 유형에 직원이 쓴 노력 | 기간 중 해당 유형의 항목에 직원이 기록한 실작업 분을 항목당 중앙값과 85번째 백분위수로 요약. 시간이 기록되지 않는 곳에서는 표본 추출로 추정. 대기 시간은 제외 | 항목당 분 | 시간 표본 추출, 티켓 작업 로그 | 서비스 요청 관리 | 토일 추적, 가치 흐름 낭비 | 분기 | 수작업으로 보이는 항목의 시간을 기록하지 않음, 시간을 다른 범주에 배정함, 한가한 날만 표본 추출함 | 작성하고 검토한 표본 추출 계획, 같은 유형의 사이클 타임 및 대기열 경과 시간과 비교 |
| 레벨 분포(시프트 레프트 비중) | 지원 사슬의 어느 곳에서 항목이 해결되는지 | 기간 중 해결된 항목을 각 레벨(0, 1, 2, 3)에서 해결된 것과 전체 해결 항목으로 나눔. 레벨은 실작업을 한 가장 높은 계층. 분류 전에 취소된 항목은 제외 | 레벨별 퍼센트 | 티켓 시스템 해결 그룹 및 배정 이력 | 인시던트 관리, 서비스 데스크 | 스워밍과 에스컬레이션 패턴, 교차 기능 팀 | 월 | 에스컬레이션을 재분류하거나, 레벨 1에서 닫고 레벨 2에서 새 항목으로 다시 열어서 레벨 1 해결 비중을 올림 | 재개방률과 연결 티켓 비율, 해결 품질 표본, 레벨별 고객 만족도 |
제4부: 문제, 변경, 릴리스 지표
4.1 문제 관리 지표
원본 주제: (주제 4.1, 문제 관리 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 열고 닫은 문제 | 서비스별로 열린 상태로 들어오고 나가는 문제 레코드의 흐름 | 기간 중 열린 건수와 닫은 건수를 각각 종료 코드(수정됨, 위험 수용, 중복, 재현 불가)별로 셈. 중복은 표시하되 "수정됨" 건수에서 제외 | 기간당 건수 | ITSM 문제 레코드 | 문제 관리 | 백로그 유입과 처리량 | 월 | 사소한 레코드를 많이 엶, 문제 하나를 여럿으로 쪼갬, 목록을 비우려고 중복이나 "재현 불가"로 닫음 | 종료 코드의 구성, 수정 후 재발률, 분기마다 읽는 닫은 레코드의 표본 |
| 문제 백로그 경과 시간 | 열린 문제가 기다린 시간 | 열린 문제마다 스냅샷 날짜 빼기 레코드 생성 날짜. 열린 문제의 중앙값과 85번째 백분위수, 가장 오래된 것을 우선순위별로 보고 | 일 | ITSM 문제 레코드 | 문제 관리 | 보드의 작업 항목 경과 시간 | 월 | 수정 없이 가장 오래된 레코드를 닫음, 시계를 초기화하려고 새 레코드로 다시 엶, 문제를 요청으로 재분류함 | 새 레코드를 원본에 연결하고 첫 레코드부터 경과 시간을 보고, 이유별 종료 목록, 수용된 위험의 검토 |
| 인시던트-문제 연결률 | 하나가 기대되는 곳에서 문제나 알려진 오류를 가리키는 인시던트의 비율 | 기간 중 연결된 문제나 알려진 오류가 있는 인시던트 / 기간 중 우선순위가 높음 이상이거나, 재개방되었거나, 반복 범주에 속하는 인시던트. 사용자 오류나 중복으로 닫은 인시던트는 제외 | 퍼센트 | ITSM 인시던트 및 문제 레코드 | 인시던트 관리, 문제 관리 | 회고의 패턴 알아차리기 | 월 | 비율을 올리려고 모든 인시던트를 모호한 포괄 문제에 연결함 | 가장 큰 다섯 문제로 가는 연결의 비중, 실제로 일치하는지 점검하는 연결의 표본, 연결된 증상의 재발 |
| 근본 원인까지의 시간 | 진단된 문제가 기록된 원인에 이르는 데 걸리는 시간 | 시계는 문제 레코드가 생성될 때 시작해 원인이 기록되고 두 번째 사람이 검토했을 때 멈춤. 원인 없이 닫은 문제는 제외하고 따로 셈. 중앙값과 85번째 백분위수를 보고 | 일 | ITSM 문제 레코드와 그 감사 추적 | 문제 관리 | 스파이크 또는 조사 시간 상자 | 월 | 시계를 멈추려고 빠르고 얕은 원인을 기록함, "인적 오류"를 명명함, 두 번째 검토자를 건너뜀 | 수정 후 재발률, "인적 오류"만으로는 인정하지 않는 원인 분류 체계, 증거에 비춘 원인의 표본 검토 |
| 알려진 오류 재사용률 | 인시던트가 도착했을 때 알려진 오류가 얼마나 자주 쓰이는지 | 연결된 알려진 오류나 그 우회책으로 해결된 인시던트 / 증상이 당시 존재한 알려진 오류와 일치하는 기간 중 인시던트. 일치하는 알려진 오류가 없는 인시던트는 제외 | 퍼센트 | ITSM 인시던트 연결, 지식 문서 사용 | 지식 관리, 문제 관리 | 팀 런북 또는 플레이북 사용 | 월 | 인시던트가 닫힌 뒤에 추가한 연결을 셈, 서비스의 모든 인시던트에 알려진 오류를 추가함 | 인시던트 종료와 연결 사이의 시간, 항목이 도움이 되었는지에 대한 대응자 피드백, 90일 동안 쓰이지 않은 항목의 검토 |
| 영구 수정까지의 시간 | 진단부터 수정이 운영에서 돌아갈 때까지 문제가 노출된 시간 | 시계는 원인이 기록될 때 시작해 연결된 수정 변경이 구현되고 확인될 때 멈춤. 위험 수용으로 닫은 문제는 제외하고 따로 셈. 중앙값과 85번째 백분위수를 보고 | 일 | 문제 레코드, 변경 레코드 또는 파이프라인 배포 이벤트 | 문제 관리, 변경 활성화 | 수정 항목의 사이클 타임 | 월 | 수정이 확인되기 전에 변경을 구현됨으로 표시함, 일을 피하려고 위험 수용으로 닫음 | 수정 후 재발률, 소유자와 검토 날짜가 있는 위험 수용 목록, 시계가 멈추기 전의 확인 단계 |
| 수정 후 재발률 | 수정된 문제 중 연결된 증상이 돌아온 비율 | 코호트 분기에 수정으로 닫은 문제 중 수정이 적용된 후 90일 안에 새로 일치하는 인시던트가 있는 것 / 그 분기에 수정으로 닫은 문제. 90일 기간은 예시이며 차트에 명시 | 퍼센트 | ITSM 인시던트 및 문제 레코드, 배포 이벤트 | 문제 관리, 지속적 개선 | 유출 결함 또는 회귀율 | 분기 | 재발이 일치하지 않도록 증상을 좁게 정의함, 수정이 더 앞선 코호트에 속하도록 종료 기간을 넓힘, 연결을 미룸 | 소유 팀 밖의 누군가 검토하는 원인 분류 체계, 인시던트 연결률, 미리 명시한 고정 기간 |
| 우회책 전용 비중 | 우회책만으로 보호되는 알려진 문제의 비율 | 수정 일정이 없는 알려진 오류 상태의 열린 문제 / 알려진 오류 상태의 열린 문제. 지명된 소유자와 검토 날짜가 있는 위험 수용 문제는 별도 그룹으로 표시 | 퍼센트 | ITSM 문제 레코드 | 문제 관리, 위험 관리 | 기술 부채 레지스트리 | 월 | 실제 날짜 없이 자리 표시용 수정을 일정에 넣음, 문제를 위험 수용으로 옮김, 문제의 우선순위를 낮춤 | 밀린 일정 수정의 경과 시간, 지명된 임원 소유자와 함께 검토하는 위험 수용 목록, 문제별 반복 인시던트 비용 |
4.2 사후 분석과 학습 지표
원본 주제: (주제 4.2, 사후 분석과 학습 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 검토 포괄률 | 완료된 검토를 받은 적격 사건의 비율 | 합의된 기간 안에 게시된 검토가 있는 적격 사건 / 해당 기간에 종료된 적격 사건. 적격 사건은 서면 트리거를 충족하는 것. 기간 안에 있으나 기간 말에 아직 열려 있는 사건은 제외 | 퍼센트 | 검토 저장소에 결합한 ITSM 도구 인시던트 레코드 | 인시던트 관리, 문제 관리 | 정기 팀 성찰, 팀 업무 합의 | 월 | 트리거를 좁힘, 사건이 트리거 밖에 떨어지도록 심각도를 낮춤, 칸을 채우려고 한 줄짜리 "검토"를 제출함 | 검토 품질 점수, 인시던트 심각도 건수를 고객이 보고한 영향과 비교, 강등 감사 |
| 검토 품질 점수 | 게시된 검토가 짧은 서면 기준을 충족하는지 | 표본에서 체크리스트 항목을 [합의된 수] 이상 충족하는 검토 / 표본의 검토. 표본은 매 분기 무작위로 뽑은 고정된 수의 검토이며 소유 팀 밖의 누군가 점수를 매김 | 퍼센트 | 점수표가 있는 검토 저장소의 분기 표본 | 지속적 개선, 문제 관리 | 검토에 대한 완료의 정의 | 분기 | 상투적 문구로 체크리스트에 맞춰 씀, 소유 팀이 점수를 매김, 예측 가능한 표본 | 외부 채점자, 무작위 표본, 분기마다 검토 두 건을 소리 내어 읽기, 높은 점수를 받은 검토의 조치가 끝나는지 추적 |
| 조치 종료율 | 기한까지 완료된 검토 조치의 비율 | 기한까지 완료되었거나 (이유와 함께) 공식적으로 거절된 조치 / 기간 중 기한이 도래한 조치. 시계는 검토가 게시될 때 시작해 소유 팀이 조치를 완료로 표시하고 검토자가 확인했을 때 멈춤. "하지 않음"으로 닫은 조치는 따로 세어 보고 | 퍼센트 | 검토에 연결된 팀 백로그 또는 ITSM 개선 레지스트리 | 지속적 개선, 문제 관리 | 팀 백로그, 개선 조치 | 월 | 기한을 멀리 잡음, 조치를 사소한 조각으로 쪼갬, 검증 없이 조치를 닫음, 목록을 비우려고 "하지 않음"을 선언함 | 열린 조치 경과 시간, 이유와 함께 거절된 비중, 변경이 작동하는지에 대한 검토자 확인, 원인 재발률 |
| 열린 조치 경과 시간 | 아직 열려 있는 검토 조치의 경과 시간 | 열린 조치마다 오늘 빼기 그 검토의 게시 날짜. 중앙값, 85번째 백분위수, 가장 오래된 것을 보고 | 일 | 팀 백로그 또는 개선 레지스트리 | 지속적 개선 | 작업 항목 경과 시간, 오래된 진행 중인 작업 | 월 | 경과 시간을 초기화하려고 조치를 닫았다가 다시 열거나 다시 만듦, 조치를 별도의 "아이디어" 목록으로 옮김 | 새 조치를 원래 검토에 연결하고 첫 날짜를 유지, 아이디어로 옮긴 조치의 건수 |
| 원인 재발률 | 같은 서비스의 앞선 사건과 원인 분류가 일치하는 사건의 비율 | 주된 원인 분류가 같은 서비스에서 지난 12개월 안에 종료된 검토와 일치하는 기간 중 사건 / 기간 중 원인 분류가 기록된 사건. 원인 분류가 기록되지 않은 사건은 제외하고 따로 셈 | 퍼센트 | 인시던트 레코드에 결합한 검토 저장소의 원인 분류 필드 | 문제 관리, 인시던트 관리 | 유출 결함 분석, 회고 주제 | 분기 | 아무것도 일치하지 않도록 모호하거나 계속 바뀌는 원인 분류를 기록함, 넓은 "기타" 분류를 씀, 반복을 다른 분류에 연결함 | "기타"에 속한 사건의 비중, 분류별로 검토를 주기적으로 다시 읽기, 분류 목록 자체의 검토 |
| 아슬아슬한 사건 보고율 | 사람들이 보고하기로 한 아슬아슬한 사건과 약한 신호의 양 | 기간 중 기록된 아슬아슬한 사건 / 활성 서비스. 서비스별 추세로 보이고 사람별로는 절대 하지 않음. 건강한 프로그램 초기에는 오르다가 안정되는 것이 의도된 모습 | 서비스당 건수 | 아슬아슬한 사건 로그 또는 이슈 트래커의 태그 필드 | 인시던트 관리, 위험 관리 | 팀 건강 점검, 방해 요인 보드 | 월 | 숫자를 맞추려고 보고를 요청함, 사소한 사건을 기록함, 반대 방향으로는 숫자를 실패로 읽고 보고를 억제함 | 변경을 낳은 아슬아슬한 사건의 비중, 건수에 대한 목표 없음, 말하기 안전 펄스의 피드백 |
| 학습 도달 범위 | 검토가 작성한 팀을 넘어 얼마나 멀리 가는지 | 게시 후 [합의된 일수] 안에 소유 팀 밖에서 발표되거나 논의된(공유 포럼, 팀 간 세션, 의존 팀의 문서화된 읽기) 검토 / 기간 중 게시된 검토 | 퍼센트 | 포럼 또는 회의 기록과 검토 저장소 | 지속적 개선, 지식 관리 | 이해관계자 검토, 실천 공동체 | 분기 | 배포 목록에 이름을 추가함, 참석이 저조한 세션에서 발표함, 링크를 읽음으로 셈 | 참석 또는 실제 논의 메모, 마지막 검토 후 무엇을 바꿨는지 의존 팀에 묻기 |
| 회고 조치 이월 | 다음 회고까지 끝난 팀 회고 조치의 비율 | 다음 회고 전에 완료된 회고 조치 / 직전 회고에서 합의된 회고 조치. 이유와 함께 의도적으로 버린 조치는 양쪽 건수에서 제거 | 퍼센트 | 팀 백로그에 보관하는 회고 메모 또는 보드 | 지속적 개선 | 정기 팀 성찰 | 검토 기간마다, 분기 검토 | 끝내기 쉬운 사소한 조치에만 합의함, 회고를 건너뜀, 항목을 완료로 표시함 | 팀이 판단하는 조치의 영향, 회고 개최율, 같은 주제가 몇 주 동안 나타나는지 |
| 말하기 안전 펄스 | 사람들이 비난 없이 실수를 서술할 수 있다고 믿는지 | 짧은 익명 질문 집합(예: "검토에서 비난이 두려움 없이 실수를 서술할 수 있다")에서 [합의된 수준] 이상으로 응답한 응답 / 받은 응답. 익명성을 지킬 만큼 큰 그룹에 대해서만 보고 | 퍼센트 | 익명 펄스 설문 | 지속적 개선, 조직 변화 | 팀 건강 점검, 심리적 안전감 점검 | 분기 | 응답자에게 압박을 가함, 자신 있는 사람만 설문함, 점수가 낮은 그룹을 가리는 평균을 보고함 | 응답률과 응답자 구성, 최소 그룹 크기, 서술형 의견 전체 읽기, 검토 언어가 바뀌는지 |
4.3 변경 활성화 지표
원본 주제: (주제 4.3, 변경 활성화 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 유형별 변경량 | 표준, 정상, 긴급으로 나눈 완료된 변경의 수 | 승인 시점의 유형별로 묶은, 기간 중 구현됨 상태에 도달한 변경 레코드의 수. 취소되거나 철회된 변경은 제외하고 따로 보고. 사람별이 아니라 서비스별로 보고 | 유형별 주당 또는 월당 변경 | 파이프라인 배포 이벤트에 결합한 ITSM 도구의 변경 레코드 | 변경 활성화 | 완료된 작업 항목의 처리량, 증분당 릴리스 내용 | 주, 월 검토 | 바빠 보이려고 변경 하나를 여러 작은 레코드로 쪼개거나, 차분해 보이려고 여럿을 하나로 합침, 비공식 변경을 장부 밖에 둠 | 매월 건수를 파이프라인 배포 이벤트와 대조, 일치하는 변경 레코드가 없는 배포의 비중 추적 |
| 표준 변경 비중 | 사전 승인된 경로를 탄 완료된 변경의 비율 | 기간 중 완료된 표준 변경 / 기간 중 완료된 모든 변경. 사후에 재분류된 변경은 최종 유형으로 세고 재분류를 기록 | 퍼센트 | 유형과 재분류 이력이 있는 변경 레코드 | 변경 활성화 | 팀 업무 합의와 완료의 정의가 다루는 일상 작업 | 월 | 목표에 도달하려고 위험한 작업을 표준으로 재분류함, 무엇이든 덮는 넓은 표준 절차를 씀 | 분류의 분기별 표본 검토, 유형별 변경 실패율(주제 4.4, 변경 실패와 재작업 참조), 재분류 로그 |
| 승인 리드 타임 | 변경이 승인 결정을 기다리는 시간 | 시계는 요청이 평가 준비가 된 것으로 제출될 때 시작해 승인 결정이 기록될 때 멈춤. 요청자가 정보를 제공하길 기다리는 시간은 제외하고 따로 표시. 기간 중 정상 변경의 중앙값과 85번째 백분위수를 보고. 승인 단계가 없는 표준 변경은 제외 | 시간 또는 영업일 | 변경 레코드의 타임스탬프 또는 파이프라인의 승인 이벤트 | 변경 활성화 | 워크플로의 대기 시간, 리뷰 열의 시간 | 주, 월 검토 | 시계를 늦게 시작하거나 일찍 멈춤, 필요 없던 질문으로 멈춤, 읽지 않고 승인함 | 중앙값 옆의 85번째 백분위수, 실질에 대한 승인의 표본 검토, 개인이 아니라 승인자 그룹별 변경 실패율 |
| 자동 승인 비중 | 파이프라인 통제나 사전 승인된 정책이 내리고 기록한 승인 결정의 비율 | 서면 정책에 따라 기록된 자동 점검이나 기록된 동료 리뷰가 승인을 부여한 변경 / 기간 중 완료된 모든 변경. 위원회나 관리자의 수동 서명은 자동화되지 않은 것으로 셈 | 퍼센트 | 파이프라인 로그, 코드 리뷰 기록, 변경 레코드 | 변경 활성화, 배포 관리 | 자동 품질 관문, 완료의 정의의 일부인 동료 리뷰 | 월 | 항상 통과하는 자동 점검을 추가함, 의견 없는 동료 리뷰를 보증으로 셈 | 자동 및 동료 승인의 표본 검토, 자동 승인 변경의 유출 결함과 실패율, 우회 건수 |
| 승인 대기열 경과 시간 | 대기 중인 요청이 지금 얼마나 기다렸는지 | 현재 결정을 기다리는 각 변경의 경과 시간을 제출부터 스냅샷 시점까지 측정. 열린 대기열의 가장 오래된 항목과 85번째 백분위수를 보고. 완료된 승인은 제외 | 시간 또는 영업일 | 열린 승인 상태의 변경 레코드 | 변경 활성화 | 작업 항목 경과 시간, 오래된 진행 중인 작업 | 일일 스냅샷, 주간 검토 | 대기열이 짧아 보이도록 오래된 요청을 닫거나 철회함, 새 타임스탬프로 새 요청으로 옮김 | 철회 및 재제출 요청의 건수, 최초 제출부터 측정한 요청 경과 시간 |
| 변경 레코드 완전성 | 누가, 무엇을, 왜, 언제, 어느 서비스인지 답할 수 있는 완료된 변경 레코드의 비율 | 필요한 필드가 모두 채워지고 영향받은 서비스나 구성 항목에 연결된 변경 / 기간 중 완료된 모든 변경. 필요한 필드는 정의에 나열. 변경이 구현된 뒤에 만든 레코드는 표시 | 퍼센트 | 변경 레코드, 버전 관리 링크, 구성 데이터 | 변경 활성화, 서비스 구성 관리 | 커밋에서 티켓, 배포까지의 추적성 | 월 | 필수 필드를 자리 표시 텍스트로 채움, 보고서를 만족시키려고 변경 뒤에 레코드를 만듦 | 구현 후 생성된 레코드 표시, 자유 서술의 품질 표본 검토, 커밋에 대한 연결률 |
4.4 변경 실패와 재작업
원본 주제: (주제 4.4, 변경 실패와 재작업 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 변경 실패율 | 서비스 저하를 일으키거나 복구가 필요한 운영 변경의 비율 | 실패 기간 안에 롤백, 핫픽스, 롤포워드 수정, 연결된 인시던트가 필요했던 변경 / 기간 중 완료된 모든 운영 변경. 기간은 변경 완료 시 시작해 고정된 일수(예: 7일) 뒤에 멈추며 지표 레지스트리에 적음. 아직 기간 안에 있는 변경은 따로 보고하고 기간이 닫힐 때까지 비율에서 제외 | 퍼센트 | 인시던트 도구와 핫픽스 목록에 결합한 변경 레코드 또는 배포 로그 | 변경 활성화, 인시던트 관리 | 완료의 정의, 유출 결함 | 월, 90일 이동 구간 | 실패 기간을 좁힘, 인시던트를 변경에 연결하지 않음, 나쁜 변경을 "서비스 요청"이나 "유지보수"로 분류함, 앞으로 고치고 새 변경이라고 부름, 한 번의 실패가 덮도록 많은 편집을 하나의 변경에 묶음 | 변경-인시던트 연결률, 인시던트 목록에 대한 분기별 표본 감사, 실패 정의 일치도, 옆에 리드 타임과 배포 빈도 |
| 긴급 변경 비중 | 긴급 경로로 이루어진 변경의 비율 | 긴급으로 기록된 변경 / 기간 중 완료된 모든 변경. 긴급은 긴급성 때문에 정상 평가를 건너뛰었거나 단축했다는 뜻이며, 사전 승인된 표준 변경은 양쪽 건수에서 제외 | 퍼센트 | 변경 레코드 유형 필드 | 변경 활성화 | 계획 외 작업과 긴급 서비스 등급 | 월 | 긴급 작업을 거짓 위험 평가로 표준 경로로 보냄, 승인을 피하려고 일반 작업을 긴급으로 보냄, 긴급 하나를 여러 정상 변경으로 쪼갬 | 모든 긴급 변경의 분기별 읽기, 이유를 분류해 검토, 표준 변경 비중과 승인 리드 타임(주제 4.3, 변경 활성화 지표 참조) |
| 롤백률 | 이전 버전으로 되돌려진 변경의 비율 | 운영에 도달한 후 되돌려진 변경 / 기간 중 모든 운영 변경. 변경이 어떤 사용자에게도 도달하기 전에 이루어진 롤백(예: 첫 단계에서 멈춘 카나리)은 따로 셈 | 퍼센트 | 배포 로그와 릴리스 도구 | 릴리스 관리, 배포 관리 | 파이프라인과 릴리스 실천 | 월 | 롤백 기록을 피하려고 앞으로 고침, 망가진 버전을 계속 운영함, 되돌릴 것이 없도록 변경을 운영에서 보류함 | 옆에 핫픽스율과 재작업률, 복구 시간 분포, 배포 로그에 대한 인시던트 표본 |
| 핫픽스율 | 정상 릴리스 흐름 밖에서 적용한 긴급 패치인 변경의 비율 | 핫픽스로 태그되거나 분기된 변경 / 기간 중 모든 운영 변경. 분모에는 핫픽스 자체가 포함 | 퍼센트 | 버전 관리 브랜치 또는 태그와 배포 로그 | 변경 활성화, 인시던트 관리 | 계획 외 작업, 긴급 처리 | 월 | 핫픽스에 태그하지 않음, 정상 브랜치로 밀어 넣음, 핫픽스를 "작은 개선"이라고 부름 | 배포 재작업률, 브랜치와 태그 감사, 계획 외 작업 비중(주제 2.9, 운영 작업과 계획 외 작업 참조) |
| 배포 재작업률 | 앞선 배포의 문제에 대한 계획 외 수정이었던 배포의 비율 | 같은 실패 기간 안에 최근의 앞선 배포의 결함이나 실패를 고치는 운영 배포 / 기간 중 모든 운영 배포. 로드맵의 계획된 후속 작업은 제외 | 퍼센트 | "수정" 링크나 태그가 있는 배포 로그와 작업 트래커 | 변경 활성화, 지속적 개선 | 재작업, 유출 결함, 실패 수요 | 월 | 수정을 원래 배포에 연결하지 않음, 수정을 "계획됨"으로 라벨링함, 수정을 새 기능과 묶음 | 교정 배포의 필수 "수정" 링크, 계획됨으로 라벨링한 배포의 표본 검토, 옆에 변경 실패율 |
| 변경-인시던트 연결률 | 변경이 원인인지, 어느 변경인지 기록한 해결된 인시던트의 비율 | "변경으로 인함" 필드(예 또는 아니오, 예이면 변경 식별자)가 완료된 인시던트 / 기간 중 해결된 인시던트. 시계는 인시던트가 닫힐 때 멈춤 | 퍼센트 | 인시던트 도구와 변경 레코드 | 인시던트 관리, 변경 활성화 | 인시던트 사후 검토, 완료의 정의 | 월 | 확인하지 않고 필드를 "아니오"로 채움, 필드가 "아니오"로 기본값이 되게 둠, 비율을 올리려고 인시던트를 일괄 닫음 | 인시던트 사후 검토에서 "아니오" 답의 표본 점검, 기본값 없음, 표본에 대한 검토자 의견 |
| 실패 정의 일치도 | 변경 표본이 실패했는지에 대한 두 검토자 간 일치 | 서면 정의를 써서 독립적인 두 검토자가 같은 실패 평결에 이른 표본 변경 / 표본 변경. 매 분기 무작위로 최소 20건의 변경 표본을 뽑음 | 퍼센트 | 지표 레지스트리와 함께 보관하는 표본 검토 시트 | 지속적 개선, 측정 및 보고 | 회고 | 분기 | 표본에 쉬운 예를 고름, 검토자가 측정되는 사람임, 모두가 동의하도록 정의를 느슨하게 함 | 팀 밖의 누군가 뽑는 무작위 표본, 경계 사례를 일부러 포함, 불일치를 게시하고 정의를 고침 |
4.5 릴리스와 배포 지표
원본 주제: (주제 4.5, 릴리스와 배포 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 배포 빈도 | 서비스가 운영에 성공적인 배포를 얼마나 자주 받는지 | 기간 중 서비스의 성공적인 운영 배포 수 / 기간의 일수. 테스트나 스테이징 환경 배포, 실패하거나 롤백된 배포, 변경되지 않은 빌드의 재배포는 제외. 구성 전용 배포는 별도 계열로 셈 | 일 또는 주당 배포 | 배포 파이프라인 이벤트 로그 | 배포 관리 | 지속적 전달, 작동하는 증분 출시 | 주 | 변경 하나를 사소한 배포로 쪼갬, 변경되지 않은 빌드를 재배포함, 스테이징 배포를 셈, 구성 전용 배포를 주 계열에 함께 셈 | 릴리스 배치 크기와 사용자에게 보이는 변경이 있는 배포의 비중, 별도의 구성 계열, 옆에 변경 실패율 |
| 릴리스 빈도 | 사용자가 닿을 수 있는 변경을 얼마나 자주 받는지 | 기간 중 릴리스 이벤트 수 / 기간의 일수. 릴리스 이벤트는 변경 또는 변경 그룹이 의도한 사용자에게 닿을 수 있게 되는 순간(전체 사용자에게 켠 플래그, 점진적 롤아웃의 마지막 단계, 플래그가 없는 변경의 배포). 다크 런치, 부분 단계에서 멈춘 롤아웃, 내부 사용자에게만 영향을 주는 플래그 변경은 제외 | 주 또는 월당 릴리스 | 파이프라인 로그와 릴리스 달력에 결합한 플래그 서비스 감사 로그 | 릴리스 관리 | 증분 끝마다 릴리스, 제공된 잠재적 출시 가능 증분 | 주, 월 검토 | 배포를 릴리스로 재라벨링함, 내부 직원에게 켠 플래그를 릴리스로 셈, 목표를 맞추려고 빈 변경이나 겉모습 변경을 릴리스함, 롤아웃의 각 단계를 별도 릴리스로 셈 | 릴리스의 서면 정의, 분기마다 릴리스 표본을 사용자에게 보이는 변경과 대조, 배치 크기와 고객 대면 변경 건수 |
| 릴리스 리드 타임 | 끝난 변경이 사용자가 닿을 수 있게 되기 전에 기다리는 시간 | 시계는 변경이 메인 라인에 병합되고 자동 점검을 통과했을 때(또는 팀이 그렇게 적었다면 첫 커밋에서) 시작해 위에 정의한 대로 변경이 릴리스될 때 멈춤. 기간 중 릴리스된 변경의 중앙값과 85번째 백분위수를 보고. 아직 릴리스되지 않은 변경은 제외하고 기다리는 작업의 경과 시간으로 보고 | 시간 또는 일 | 파이프라인과 플래그 감사 로그에 결합한 버전 관리 | 릴리스 관리, 배포 관리 | 완료에서 전달까지의 리드 타임, 고객까지의 리드 타임 | 주, 월 검토 | 병합 대신 승인처럼 시계를 늦게 시작함, 오래 기다린 변경을 "차단됨"으로 제외함, 중앙값을 끌어내리려고 사소한 변경을 먼저 릴리스함, 시계를 배포에서 끝냄 | 85번째 백분위수와 기다리는 가장 오래된 변경의 경과 시간, 고정된 서면 시작, 가장 느린 10퍼센트 변경의 분기별 검토 |
| 배포-릴리스 간극 | 배포된 코드가 사용자가 닿을 수 있게 되기 전에 얼마나 오래 어둡게 머무는지 | 시계는 변경이 운영에 배포될 때 시작해 릴리스될 때 멈춤. 중앙값과 85번째 백분위수를 보고. 배포 시점에 릴리스된 변경은 간극이 0이며 포함. 배포되었다가 릴리스 없이 제거된 변경은 제외하고 따로 셈 | 시간 또는 일 | 플래그 감사 로그에 결합한 파이프라인 로그 | 릴리스 관리, 배포 관리 | 다크 런치, 배포와 릴리스의 분리 | 월 | 릴리스를 일찍 기록하려고 형식적 사용자에게 플래그를 켬, 오래 어두운 코드를 "릴리스 아님"이라 불러 표본에서 뺌, 긴 간극을 피하려고 어두운 코드를 삭제함 | 릴리스 시점의 노출 비율(릴리스로 셈하는 임계값), 배포되었다가 릴리스 없이 제거된 변경의 건수, 낡은 플래그 수 |
| 릴리스 배치 크기 | 하나의 릴리스에 함께 출시되는 변경의 양 | 기간 중 릴리스당 병합된 변경(풀 리퀘스트 또는 작업 항목) 수의 중앙값과 85번째 백분위수. 변경의 단위는 적어 둠. 각 변경은 그것을 닿을 수 있게 만든 릴리스에서 한 번만 셈 | 릴리스당 변경 | 릴리스 이벤트에 결합한 버전 관리와 이슈 트래커 | 릴리스 관리, 변경 활성화 | 작은 배치, 작업의 수직 슬라이스 | 릴리스마다, 월 검토 | 인위적인 풀 리퀘스트로 작업을 쪼갬, 릴리스 수를 줄이려고 무관한 변경을 하나로 합침, 묶음의 큰 변경만 셈 | 맥락 측정치로서 줄이나 파일 단위 변경 크기의 중앙값, 무관한 묶음을 찾는 릴리스 표본 검토, 옆에 빈도와 크기 |
| 기능 플래그 포괄률 | 플래그 뒤에서 릴리스된 사용자에게 보이는 변경의 비율 | 릴리스 시점에 플래그가 있었던, 기간 중 릴리스된 사용자에게 보이는 변경 / 기간 중 릴리스된 모든 사용자에게 보이는 변경. 플래그를 달 수 없는 인프라 변경과 결함 수정은 제외하며 "사용자에게 보임"의 규칙은 적어 둠 | 퍼센트 | 이슈 트래커와 릴리스 로그에 결합한 플래그 서비스 | 릴리스 관리, 변경 활성화 | 점진적 전달, 실험 주도 개발 | 월 | 비율을 올리려고 사소한 변경에 플래그를 추가함, 안전한 변경에만 플래그를 달고 위험한 것은 플래그 없이 출시함, 실제로는 끌 방법이 없는 플래그를 만듦 | 플래그 표본의 플래그 끄기 시험 결과, 낡은 플래그 수, 플래그가 없었던 인시던트 원인 |
| 낡은 플래그 수 | 목적을 다한 플래그가 얼마나 되는지 | 지키는 변경이 모든 사용자에게 도달한 뒤 명시된 일수보다 더 오래 코드나 구성에 남아 있는 릴리스 플래그 수. 영구적인 운영 플래그(킬 스위치, 권한 플래그)는 태그하고 제외. 연령 한도는 플래그 유형별로 적어 둠 | 플래그, 릴리스 플래그의 경과 일수 중앙값 | 코드 검색에 결합한 플래그 서비스 인벤토리 | 릴리스 관리, 지식 관리 | 기술 부채 정리, 플래그 제거라는 완료 기준 | 월 | 낡은 수에서 벗어나려고 릴리스 플래그를 영구로 다시 태그함, 코드에는 둔 채 플래그 레코드를 삭제함, 검토 없이 만료일을 연장함 | 레지스트리에 대한 주기적 코드 검색, 플래그 유형의 모든 변경 검토, 가장 오래된 릴리스 플래그의 경과 시간 |
4.6 기술 부채와 알려진 오류
원본 주제: (주제 4.6, 기술 부채와 알려진 오류 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 알려진 오류 백로그 경과 시간 | 열린 알려진 오류가 영구 수정을 기다린 시간 | 시계는 문제 레코드가 "알려진 오류"로 표시될 때 시작해 영구 수정이 운영에 릴리스될 때 멈춤. "위험 수용"으로 닫은 항목은 따로 보고하고 제외. 서비스별로 건수, 경과 시간 중앙값, 85번째 백분위수를 보고 | 일(분포) | ITSM 도구 문제 및 알려진 오류 레코드, 릴리스 레코드 | 문제 관리 | 오래된 작업 항목 차트, 버그 백로그 경과 시간 | 월 | 오래된 레코드를 "위험 수용"이나 "수정하지 않음"으로 닫음, 오래된 레코드 하나를 새롭고 젊은 레코드로 쪼갬, 다시 등록해 시계를 초기화함 | 같은 페이지에 보고하는 위험 수용 건수와 경과 시간, 소유 팀 밖의 누군가 하는 종료 검토, 레코드 계보 유지 |
| 우회책 포괄률 | 상담원이 따를 수 있는 문서화되고 시험된 우회책이 있는 열린 알려진 오류의 비율 | 지난 6개월 안에 검토된 우회책이 있는 열린 알려진 오류 / 열린 알려진 오류. 닫힌 항목과 위험 수용 항목은 제외 | 퍼센트 | 알려진 오류 레코드에 연결된 지식 베이스 | 문제 관리, 지식 관리 | 운영 가능성에 대한 런북 또는 완료의 정의 | 월 | 필드를 채우려고 모호한 우회책을 씀, 어떤 상담원도 시도한 적 없는 우회책을 셈 | 연결된 인시던트의 우회책 사용 및 실패율, 우회책 표본의 주기적 시험 |
| 열린 알려진 오류에 연결된 인시던트 | 원인이 열린 알려진 오류인 인시던트로, 서비스 중단으로 치른 이자의 직접 측정치 | 인시던트가 시작될 때 열려 있던 알려진 오류에 연결된 기간 중 인시던트 / 기간 중 모든 인시던트. 원인 연결이 없는 인시던트는 연결 안 됨으로 보고하고 세지 않음 | 퍼센트와 건수 | ITSM 도구 인시던트-문제 연결 | 인시던트 관리, 문제 관리 | 유출 결함, 운영 버그 유입 | 월 | 비중이 내려가도록 인시던트를 연결하지 않거나 다른 원인에 연결함 | 옆에 보고하는 연결되지 않은 인시던트 비중, 놓친 연결을 찾는 닫은 인시던트의 표본 검토 |
| 부채 재고 | 열려 있는 등록된 기술 부채 항목의 수와 추정 크기 | 기간 말에 부채 레지스트리에서 열려 있는 항목. 크기는 등록 시 부여한 대략적 노력 구간(시간, 일, 주)의 합. 등록되지 않았거나 의심되는 부채는 제외 | 건수, 노력 구간 | 서비스별로 태그한 트래커의 부채 레지스트리 | 지속적 개선, 서비스 설계 | 부채로 라벨링한 제품 백로그 항목 | 월 | 재고가 작아 보이도록 부채를 등록하지 않음, 많은 항목을 큰 항목 하나로 합침, 성실해 보이려고 사소한 것을 등록함 | 코드 리뷰와 사후 분석의 표본에 비춘 레지스트리 검토, 항목 크기와 구체성 점검 |
| 부채 이자 | 열린 부채와 알려진 오류가 일으킨 추가 작업(팀 시간) | 기간 중 부채나 알려진 오류 참조가 붙은 작업 항목에 기록된 시간(우회책, 수작업 단계, 재작업, 영향받은 변경의 추가 노력) / 기간 중 총 팀 근무 시간. 수리 작업 자체는 제외하고 용량 비중에서 셈 | 근무 시간 퍼센트 | 팀 수준으로 유지하는 작업 항목의 시간 또는 노력 태그 | 지속적 개선, 문제 관리 | 계획 외 작업과 재작업 비중 | 월 | 정밀 검토를 피하려고 작업에 덜 태그하거나, 수리 예산을 따내려고 과하게 태그함, 수치를 팀 평가로 읽음 | 태그된 항목과 태그되지 않은 항목의 표본 감사, 팀 간 비교 없는 팀 수준 관점, 인시던트 연결과 함께 이자를 읽기 |
| 부채 용량 비중 | 부채와 알려진 오류를 해소하는 데 쓴 전달 용량의 비율 | 부채 수리나 알려진 오류 수정으로 태그된 완료 작업 항목의 용량(항목 수 또는 노력) / 기간 중 완료된 모든 작업 항목. 태그가 없는 항목은 제외 | 퍼센트 | 트래커, 태그별 완료 항목 | 지속적 개선, 변경 활성화 | 용량 배분 | 계획 기간마다, 월 검토 | 일반 기능 작업을 수리로 태그함, 비율을 채우려고 쉬운 겉모습 항목을 고름 | 성과 점검: 이자가 높은 가장 오래된 항목의 경과 시간과 인시던트 연결이 줄어드는지, 순위에 비춘 수정한 것의 검토 |
| 부채 순변화 | 장부가 커지는지 줄어드는지 | 기간 중 등록된 부채 및 알려진 오류 항목 빼기 기간 중 해결된 항목. 해결은 병합이 아니라 수정이 릴리스된 것. "수정하지 않음"으로 닫은 항목은 별도 줄에 셈 | 건수(부호 있음) | 부채 레지스트리와 알려진 오류 레코드 | 지속적 개선 | 범주별 백로그 변화 | 월 | 소수의 큰 것을 상쇄하려고 아주 작은 항목을 많이 해결함, 건수를 줄이려고 "수정하지 않음"으로 닫음 | 크기 구간과 이자별 순변화, "수정하지 않음" 줄의 보고, 해결된 항목의 재발 점검 |
제5부: 서비스 수준, 가용성, 신뢰성 지표
5.1 SLA, OLA, XLA 지표
원본 주제: (주제 5.1, SLA, OLA, XLA 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| SLA 달성률 | 기간 중 명시된 SLA 목표를 충족한 측정 항목(인시던트, 요청, 시간 구간)의 비율 | 목표를 충족한 항목을 측정된 항목으로 나눔. 시계는 협약에 정의된 기록 시각(예: 티켓 생성)에서 시작해 정의된 정지 이벤트(예: 복구 확인)에서 멈춤. 제외: 중복으로 취소한 항목과 예정된 유지보수 같은 합의된 제외 시간. 비율 옆에 건수를 보고 | 퍼센트, n과 함께 | ITSM 도구 타임스탬프, 시간 기반 목표의 모니터링 데이터 | 서비스 수준 관리, 인시던트 관리, 서비스 요청 관리 | 이동 구간에 걸친 서비스 수준 목표 달성(주제 5.2, SLI, SLO, 오류 예산 참조) | 월, 주간 내부 관점 | 목표를 쉽게 정함, 티켓을 일찍 닫았다가 나중에 다시 엶, 우선순위를 낮게 재분류함, 어려운 사례를 "범위 밖"으로 제외함 | 재개방률과 우선순위 재분류율, 고객과 함께 읽는 닫은 티켓의 표본, 분기마다 제외 목록 검토 |
| 아슬아슬한 충족 비중 | 목표를 충족했으나 허용 시간의 마지막 10분의 1 안에 끝난 항목의 비율 | 목표 시간의 90퍼센트 이상에서 끝났지만 여전히 한도 안인 항목을 목표를 충족한 항목으로 나눔. SLA와 같은 시계. 시간 구간에는 해당 없음(목표까지의 시간 측정치에만 적용) | 퍼센트 | ITSM 도구 타임스탬프 | 서비스 수준 관리 | 흐름 차트에서 서비스 수준 기대에 가까운 작업의 비율(주제 2.1, 흐름 측정치 참조) | 월 | 한도 1분 전에 시계를 멈추고 기록 밖에서 작업을 계속함, 티켓을 두 개의 더 짧은 티켓으로 쪼갬 | 마지막 고객 접촉부터 확인된 복구까지의 시간, 인시던트당 연결되거나 하위인 티켓 건수 |
| 시계 멈춤 비중 | SLA 시계를 멈추는 상태에서 보낸 총 경과 티켓 시간의 비율 | 범위 안 항목의 시작부터 정지까지 총 경과 시간 대비 총 멈춤 시간. 멈춤 상태를 쓰지 않은 항목은 제외. 멈춤 상태별로 보고 | 퍼센트 | ITSM 도구 상태 이력 | 서비스 수준 관리, 인시던트 관리 | 흐름 관점의 차단 시간과 대기 시간(주제 2.4, 가치 흐름 지표 참조) | 월 | 고객을 기다리지 않는 티켓에 멈춤 상태를 씀, 집계되지 않는 상태로 작업을 옮김 | 표본에 대한 멈춤 이유 감사, 고객이 되돌린 멈춤의 비중, 멈춘 티켓의 경험 점수 |
| OLA 달성률 | 두 팀 사이의 OLA 목표를 충족한 내부 인계의 비율 | OLA 목표 안에 완료한 인계를 받은 인계로 나눔. 시계는 받는 팀이 배정될 때 시작해 항목을 돌려보내거나 닫을 때 멈춤. 제외: 잘못 재배정한 항목은 따로 셈 | 퍼센트, n과 함께 | ITSM 도구 배정 이력 | 서비스 수준 관리, 인시던트 관리 | 팀 간 인계 대기 시간과 차단된 작업(주제 9.3, 협업과 인수인계 지표 참조) | 월 | 시계를 다시 시작하려고 인계를 보낸 쪽으로 되돌림, 작업을 시작하지 않고 항목을 수락한 것으로 표시함 | 항목당 반송 건수와 팀 전체에 걸친 복구까지 총 시간, 처음부터 끝까지의 SLA 성과 |
| 인계 대기 시간(85번째 백분위수) | 항목이 작업이 시작되기 전에 받는 팀의 대기열에서 기다리는 시간 | 받는 팀에 배정된 때부터 그 팀의 첫 기록된 행동까지 시간의 85번째 백분위수. 제외: 고객을 기다리는 항목 | 시간 또는 분 | ITSM 도구 배정 및 활동 이력 | 서비스 수준 관리, 인시던트 관리 | 흐름 관점의 대기열 시간(주제 2.3, 진행 중인 작업과 대기열 참조) | 주 | 대기를 숨기려고 팀 대기열이 아니라 사람에게 배정함, 형식적인 첫 행동을 기록함 | 표본 조사한 첫 행동의 품질, 배정부터 첫 고객이 보는 업데이트까지의 시간 |
| 여정별 경험 점수 | 새 노트북 받기나 장애 복구처럼 정의된 여정에서 서비스가 어떻게 지원했는지에 대한 고객 또는 사용자의 평가 | 기간 중 완료된 여정에 대한 고정된 척도의 설문 평가의 평균과 분포. 응답률과 응답자 구성을 보고. 제외: 부분 설문. 단일 평균이 아니므로 분포를 보여 줌 | 평가 척도, 응답률과 함께 | 짧은 상호작용 후 설문, ITSM 도구의 여정 이벤트 | 서비스 수준 관리, 고객 만족 프랙티스(주제 6.1, 고객 만족도 지표 참조) | 고객 피드백과 성과 측정치 | 월, 각 조사 차수를 보여 줌 | 만족한 사용자에게만 설문을 보냄, 유도 질문을 함, 대응자가 높은 평가를 주도록 코칭함 | 모집단에 대한 응답자 구성, 점수 옆에 응답률 표시, 검토에서 읽는 서술형 의견 |
| 수박 간극 | SLA는 충족으로 읽히는데 경험 측정치나 사용자 영향 측정치는 나쁘게 읽히는 보고 기간 또는 서비스의 비율 | SLA 달성이 목표 이상이면서 경험이 합의된 수준 미만인 서비스(또는 기간)를 SLA 달성이 목표 이상인 서비스(또는 기간)로 나눔. 경험 수준은 기간에 점수를 매기기 전에 합의되어야 함 | 초록색 서비스의 퍼센트 | SLA 달성과 경험 점수를 함께 | 서비스 수준 관리, 지속적 개선 | 성과에 비춘 결과의 회고 | 분기 | 간극이 작게 유지되도록 경험 수준을 낮게 정함, 경험 측정치가 떨어지면 측정치를 바꿈 | 미리 합의한 경험 수준과 이유와 함께 기록된 변경, 분포 전체의 추세 |
| 협약 포괄률과 최신성 | SLA, OLA, 공급업체 계약이 존재하고 합의된 간격 안에 검토된 운영 중 서비스의 비율 | 세 층이 모두 문서화되고 간격 안에 검토된 서비스를 서비스 카탈로그의 운영 중 서비스로 나눔. 간격은 조직이 정함. 제외: 폐기 중인 서비스 | 퍼센트 | 서비스 카탈로그(ITIL 자체 철자로는 service catalogue)와 협약 레지스트리 | 서비스 수준 관리, 서비스 카탈로그 관리, 공급업체 관리 | 정기적으로 검토하는 업무 합의와 팀 헌장 | 분기 | 실제 검토 없이 협약을 검토됨으로 표시함, 스텁 문서를 SLA로 셈 | 검토의 증거(참석자, 변경, 결정), 실제 내용과 고객 서명을 위해 읽는 협약 표본 |
5.2 SLI, SLO, 오류 예산
원본 주제: (주제 5.2, SLI, SLO, 오류 예산 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| SLI 달성 | 한 서비스의 한 지표에 대해 좋았던 유효 이벤트의 비율 | 보고 기간의 시작부터 끝까지 구간의 좋은 이벤트 / 유효한 이벤트. SLO 문서에서 제외한 이벤트(부하 시험, SLO가 그렇게 정했다면 사전에 공지한 계획된 유지보수)는 분자와 분모 모두에서 제거 | 퍼센트 | 로드 밸런서, 애플리케이션 또는 합성 프로브 텔레메트리, 모니터링 또는 관측 가능성 플랫폼 | 서비스 수준 관리, 모니터링 및 이벤트 관리 | 운영 가능성에 대한 완료의 정의, 서비스 상태에 대한 이해관계자 검토 | 지속적, 일별 및 구간별 보고 | 실패가 빠지도록 "유효" 이벤트를 좁힘(재시도된 요청이나 오류 부류 전체를 제외하는 등), 가장 건강한 구성 요소만 측정함, 유리한 위치에서만 프로빙함 | SLO 문서에 변경 로그와 함께 SLI 정의와 제외를 공개, SLI를 지원 접촉 및 사용자 불만과 비교, 제외된 이벤트와 그 물량의 정기 검토 |
| SLO 준수 | 서비스 SLO 구간에 걸쳐 SLI가 목표를 충족했는지, 최근 몇 개 구간에서 그랬는지 | SLI 달성이 목표 이상이었던 구간 / 평가한 구간, 최근 12개월 대상. 아직 열려 있는 구간은 제외 | 구간의 퍼센트 | SLI 달성 이력 | 서비스 수준 관리, 지속적 개선 | 신뢰성에 대한 팀 목표 또는 업무 합의 | 월, 분기 추세 | 항상 통과할 만큼 목표를 낮게 정함, 나쁜 기간 뒤 구간 길이를 바꿈, 위반을 유지보수 기간으로 재정의함 | 사용자 의견으로 목표를 정하고 일정에 따라 검토, 문서에 구간 고정, 준수와 함께 보고하는 제외 건수와 계획에 없던 구간 변경 |
| 남은 오류 예산 | 현재 구간에서 아직 쓰지 않은 예산의 부분 | 1 - (지금까지의 나쁜 이벤트 / 전체 구간의 허용 나쁜 이벤트). 허용 나쁜 이벤트 = (1 - SLO) x 전체 구간의 예상 유효 이벤트. 시계는 구간 시작에서 시작해 구간 끝에서 멈춤 | 예산의 퍼센트 | SLI 달성과 물량 예측 | 서비스 수준 관리, 위험 관리 | 릴리스 준비 점검, 계획된 작업 입력 | 일별, 주간 검토 | 나쁜 이벤트를 제외로 재분류함, 허용되는 나쁜 건수가 커 보이도록 예상 물량을 부풀림, 구간을 일찍 초기화함 | 구간 끝의 실제 물량으로 계산한 허용 나쁜 이벤트, 예산 옆에 제외된 이벤트 물량 표시, 미리 고정한 구간 날짜 |
| 소진율 | 균등 소비 속도에 상대적으로 예산이 쓰이는 속도 | (되돌아본 기간의 나쁜 이벤트 / 유효한 이벤트) / (1 - SLO). 되돌아보는 기간은 예를 들어 1시간 또는 6시간으로 명시 | 비율(1은 정확히 예산대로) | 세밀한 시간 해상도의 SLI 텔레메트리 | 모니터링 및 이벤트 관리, 인시던트 관리 | 온콜 경보 규칙, 스웜 트리거 | 지속적, 경보 규칙에서 평가 | 소진이 결코 트리거되지 않도록 경보 임계값을 조정함, 빠른 소진이 평균에 묻히도록 너무 긴 되돌아보기를 씀 | 과거 인시던트로 하는 경보 포괄 시험("이 규칙이 호출했을까?"), 실행 가능한 경보 비율과 놓친 감지 건수(주제 5.5, 모니터링과 경보 품질 지표 참조) |
| 예산 정책 준수 | 오류 예산 정책의 트리거에 도달했을 때 합의된 결과를 얼마나 자주 적용했는지 | 합의된 시간 안에 정책 조치를 취한 기간 중 트리거 / 기간 중 도달한 트리거. 기록된 이유로 공식 면제한 트리거는 제거하지 않고 따로 셈 | 퍼센트 | 정책 문서, 결정 로그, 백로그 이력 | 서비스 수준 관리, 변경 활성화 | 업무 합의, 회고 후속 조치 | 분기 | 예외를 일상적으로 허용함, 도달할 수 없는 트리거로 정책을 씀, 형식적인 신뢰성 티켓을 정책 조치로 셈 | 예외를 따로 세고 검토, 기간 중 예외의 비율, 완료한 신뢰성 작업(주제 4.1, 문제 관리 지표 참조) |
| SLO 포괄률 | 현재 SLO와 작동하는 SLI가 있는 핵심 사용자 여정 또는 범위 안 서비스의 비율 | 지난 7일 안에 SLI 데이터가 도착한 SLO가 하나 이상 있는 범위 안 서비스 또는 여정 / 범위 안 서비스 또는 여정. "범위 안"은 서비스 카탈로그(ITIL 용어로는 service catalogue)에 열거 | 퍼센트 | 서비스 카탈로그, SLO 레지스트리, 모니터링 구성 | 서비스 카탈로그 관리, 서비스 수준 관리 | 팀 서비스 소유 목록 | 분기 | 비율을 올리려고 모든 서비스에 사소한 SLO를 추가함, 데이터가 흐르지 않는데 여정을 포괄된 것으로 셈 | SLI 데이터 신선도 점검(지난 7일 안에 데이터 도착), SLO가 보조 엔드포인트가 아니라 핵심 여정을 포괄하는지 검토 |
5.3 가용성 지표
원본 주제: (주제 5.3, 가용성 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 시간 기반 가용성 | 서비스가 "정상"의 서면 정의를 충족한 범위 안 시간의 비율 | (구간의 범위 안 분 - 계획에 없던 중단 분) / 구간의 범위 안 분. 시계는 나중에 사용자 영향으로 확인된 첫 실패한 프로브에서, 또는 인시던트 검토에 기록된 확인된 영향 시작에서 시작하고, 서비스가 다시 정의를 충족할 때 멈춤. 합의된 서비스 시간 안의 계획된 중단은 따로 표시하고, 합의된 서비스 시간 밖의 시간은 분모에서 제외 | 퍼센트 | 합성 모니터링 결과, 영향 시작 및 복구 타임스탬프가 있는 인시던트 레코드 | 가용성 관리, 서비스 수준 관리 | 단일 시스템의 시간 기반 SLI(주제 5.2, SLI, SLO, 오류 예산 참조) | 월 | 실제 여정이 실패하는 동안 가동 상태인 사소한 페이지를 프로빙함, 짧은 장애가 점검 사이로 빠지도록 프로브 간격을 늘림, 범위 안 시간을 줄임, 장애를 저하로 셈 | 사용자 가중 가용성과 실사용자 모니터링, 수치 옆에 명시한 프로브 간격, 모니터링 기록에 비춘 인시던트 표본 |
| 요청 기반 가용성 | 성공한 유효 요청의 비율 | 구간의 성공한 유효 요청 / 전체 유효 요청. 유효 요청은 잘못된 형식의 요청과 호출자가 일으킨 클라이언트 오류를 제외하며, 타임아웃을 포함해 서비스가 일으킨 실패는 실패로 셈. 서비스별, 사용자 여정별로 보고 | 퍼센트 | 로드 밸런서, 게이트웨이 또는 애플리케이션 로그와 지표 | 가용성 관리, 모니터링 및 이벤트 관리 | SLO와 오류 예산이 있는 성공률 SLI(주제 5.2, SLI, SLO, 오류 예산 참조) | 일별 추세, 월간 보고 | 실패를 희석하려고 쉬운 요청(상태 점검, 캐시된 자산)을 분모에 셈, 서버 오류를 클라이언트 오류로 분류함, 사용자가 실패로 경험한 재시도를 제외함 | 요청별이 아니라 핵심 여정별 성공률, 제외 목록 검토, 사용자가 보고한 인시던트와 비교 |
| 사용자 가중 가용성 | 영향받은 사용자나 여정으로 가중한 가용성으로, 피크 시간의 장애가 밤샘 장애보다 더 크게 셈 | 1 - (구간의 실패한 사용자 세션 또는 실패한 여정 / 전체 사용자 세션 또는 여정). 정의된 핵심 단계가 실패하면 세션을 실패로 셈. 부분 성공은 합치지 않고 별도의 저하 비중으로 보고 | 퍼센트 | 실사용자 모니터링, 애플리케이션 세션 로그, 분석 이벤트 | 가용성 관리, 서비스 수준 관리 | 여정 기반 SLI와 주제 6.2의 경험 측정치(주제 6.2, 경험 수준 협약 참조) | 월 | 피크 실패가 거의 중요하지 않도록 가중치를 고름, 망가진 단계도 통과할 만큼 느슨하게 "성공한" 세션을 정의함 | 가중 규칙과 여정 목록 공개, 장애 중 불만 건수와 지원 접촉에 비춰 비교 |
| 계획에 없던 중단 | 사전에 승인된 공지 없이 서비스를 쓸 수 없었던 분 | 시작 전에 변경 활성화를 통해 공지하고 승인하지 않은 장애의, 확인된 영향 시작부터 확인된 복구까지의 구간 내 장애 지속 시간 합. 같은 서비스에서 겹치는 장애는 더하지 않고 병합. 총 분, 장애 건수, 장애 지속 시간의 중앙값과 95번째 백분위수로 보고 | 분 | 영향 시작 및 복구 타임스탬프가 있는 인시던트 레코드 | 인시던트 관리, 가용성 관리 | 분포로 읽는 복구까지의 시간(주제 3.3, 인시던트 대응 및 해결 시간 참조) | 월 | 사후에 장애를 계획된 것으로 재분류함, 확인된 영향 시작을 늦춤, 더 짧아 보이도록 장애 하나를 둘로 쪼갬 | 시작한 뒤 공지한 장애는 계획에 없던 것이라는 규칙을 둔 계획된 중단 비중, 영향 시작을 모니터링 데이터와 비교 |
| 계획된 중단 비중 | 사전에 공지하고 승인한 전체 중단 시간의 비율 | 구간의 계획된 중단 분 / (계획된 분 + 계획에 없던 중단 분). 시작 전에 변경 레코드로 승인되었고 시작 및 종료 시각을 사용자에게 알린 경우에만 계획된 장애로 셈. 승인된 구간을 넘긴 초과는 구간이 끝난 순간부터 계획에 없던 것으로 재분류 | 퍼센트 | 승인된 구간이 있는 변경 레코드, 인시던트 레코드, 상태 페이지 이력 | 변경 활성화, 가용성 관리 | 무중단 배포를 선호하는 릴리스 및 유지보수 실천(주제 4.3, 변경 활성화 지표 참조) | 월 | 초과와 실패가 계획된 것으로 셈하도록 변경을 승인된 구간으로 예약함, 불필요한 유지보수를 일정에 넣어 계획된 비중을 부풀림 | 계획에 없던 것으로 재분류한 초과 분, 변경 실패율과 긴급 변경 비중(주제 4.4, 변경 실패와 재작업 참조) |
| 장애 빈도와 간격 | 장애가 얼마나 자주 시작하고 그 사이에 서비스가 얼마나 오래 운영되는지 | 구간에서 시작한 장애 수, 그리고 연속한 두 장애마다 첫 장애의 복구부터 두 번째 장애의 시작까지의 가동 분, 중앙값과 5번째 백분위수로 요약. 간격이 열 개 미만이면 단일 평균으로 보고하지 않음 | 건수, 분 | 인시던트 레코드, 모니터링 이력 | 인시던트 관리, 문제 관리 | 변경 실패율 옆의 안정성 신호(주제 4.4, 변경 실패와 재작업 참조) | 월 | 건수를 낮게 유지하려고 인시던트를 병합하거나 긴 간격 뒤에야 새 인시던트를 엶, 짧은 장애가 기록되지 않도록 경보를 억제함 | 원시 모니터링 이벤트에 비춘 경보와 인시던트 표본 조사, 모니터링 포괄과 경보 품질(주제 5.5, 모니터링과 경보 품질 지표 참조) |
| 저하 비중 | 서비스가 작동했으나 합의된 품질 아래였던 시간 | 이미 중단 시간으로 셈한 분을 제외하고 지연, 오류, 정확성 지표가 임계값을 위반한 분 / 범위 안 분. 임계값은 예를 들어 SLO에서 서비스별로 명시 | 퍼센트 | 모니터링과 SLI 측정 | 가용성 관리, 용량 및 성능 관리 | 지연 SLI(주제 5.4, 용량과 성능 지표 참조) | 월 | 느린 서비스가 결코 위반하지 않을 만큼 임계값을 느슨하게 정함, 저하 시간을 가동으로 선언함 | 수치 옆에서 검토하는 지연 백분위수와 사용자가 보고한 느림(주제 5.4, 용량과 성능 지표 참조) |
| 측정 포괄률 | 가용성 측정이 서비스의 사용자 대면 동작을 실제로 얼마나 관찰하는지 | 서비스 정의에 열거된 핵심 사용자 여정 중 활성 프로브나 실사용자 측정이 있는 여정 / 서비스 정의에 열거된 핵심 사용자 여정 | 퍼센트 | 서비스 정의, 모니터링 구성 | 모니터링 및 이벤트 관리, 가용성 관리 | 관측 가능성 포괄과 경보 품질(주제 5.5, 모니터링과 경보 품질 지표 참조) | 분기 | 프로빙하기 쉬운 여정만 나열해 포괄률이 100퍼센트로 읽히게 함, 한 번도 실행되지 않는 프로브로 여정이 포괄된 것으로 셈 | 서비스 소유자 및 사용자와 합의한 여정 목록, 분기마다 표본 조사하는 프로브 실행 이력 |
5.4 용량과 성능 지표
원본 주제: (주제 5.4, 용량과 성능 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 자원 사용률 | 한 구간 동안 쓰이는 자원 용량의 비율로, 구간 시계열의 높은 백분위수로 보고 | 1분에서 5분 구간별 바쁜 용량 / 전체 용량. 검토 구간에 걸친 중앙값과 95번째 백분위수를 보고. 자원을 비운 유지보수 구간은 제외 | 퍼센트 | 인프라 모니터링과 클라우드 플랫폼 지표 | 용량 및 성능 관리, 모니터링 및 이벤트 관리 | 완료의 정의에 있는 운영 인수 기준, SRE 자원 신호 | 주 | 피크를 숨기려고 긴 구간에 걸쳐 평균 냄, 유휴 예약 용량을 "사용"으로 셈, 가장 조용한 자원만 보고함 | 평균 옆의 피크 시간 95번째 백분위수, 포화 측정치, 서비스 맵에 비춰 검토하는 범위 안 자원 목록 |
| 포화 | 완전히 쓰이는 자원을 기다리는 작업의 양 | 구간별 큐 길이, 실행 큐, 대기 요청, 또는 스로틀된 요청. 95번째 백분위수와 대기가 하나라도 있었던 구간의 비율을 보고. 수요가 없는 구간은 제외 | 건수, 또는 구간의 퍼센트 | 애플리케이션 및 인프라 텔레메트리 | 용량 및 성능 관리, 모니터링 및 이벤트 관리 | SRE 포화 신호, 서비스 큐의 진행 중 작업 한도 | 주 | 아무것도 거부되거나 스로틀된 것으로 보고되지 않도록 큐 한도를 올림, 대기를 측정되지 않는 다른 큐로 옮김 | 같은 작업의 지연 백분위수와 오류율, 한 단계가 아니라 처음부터 끝까지의 큐 시간, 경로의 모든 큐 검토 |
| 지연 백분위수 | 사용자 대면 작업 하나의 요청에 응답하는 데 걸린 시간으로, 중앙값, p95, p99로 보고 | 엣지에서 요청을 받은 때부터 마지막 바이트를 보낼 때까지의 응답 시간, 성공한 요청별. 실패한 요청은 빠른 응답이 아니라 오류로 보고. 이동 구간에 걸쳐 측정 | 밀리초 | 로드 밸런서 또는 게이트웨이 로그, 트레이싱, 실사용자 모니터링 | 서비스 수준 관리, 용량 및 성능 관리 | SRE 지연 지표와 서비스 수준 목표 | 지속적, 주간 검토 | 평균이나 중앙값만 보고함, 표본에서 느리거나 실패한 요청을 뺌, 빠른 내부 위치에서 측정함, "이상치"를 제외함 | p95와 p99를 항상 표시, 지연 옆에 오류 및 타임아웃율 표시, 실사용자 모니터링과 서버 쪽 타이밍 비교, 원시 표본 크기 표시 |
| 여유 | 서비스가 목표를 위반하기 전에 감당할 수 있는 남은 부하 | (시험했거나 모델링한 한계 부하 - 현재 피크 부하) / 현재 피크 부하. 피크는 구간에서 가장 바쁜 시간이고, 한계 부하는 하드웨어 최대치가 아니라 시험에서 지연 목표가 처음 위반되는 부하 | 퍼센트, 또는 현재 성장률에서의 일수 | 부하 시험 결과와 트래픽 텔레메트리 | 용량 및 성능 관리, 서비스 수준 관리 | 비기능 요구 사항과 파이프라인의 성능 시험 | 월, 주요 출시 전 | 완만한 시험 워크로드를 고름, 운영보다 큰 환경에서 시험함, 한계점을 하드웨어 최대치로 정의함 | 운영 트래픽 모양에 비춘 시험 워크로드 검토, 시험과 운영의 차이 서면 목록, 관련 변경 뒤 여유 재시험 |
| 예측 오차 | 한 기간의 예측 수요와 실제 수요의 차이 | 명시된 지평에 대한 절댓값 (예측 피크 - 실제 피크) / 실제 피크. 예측은 지평 시작 시 고정하고 이후 수정하지 않음. 예측하지 못한 일회성 사건은 제거하지 않고 나열 | 퍼센트 | 예측 레지스트리와 트래픽 텔레메트리 | 용량 및 성능 관리, 서비스 재무 관리의 수요 관련 계획 | 릴리스 및 로드맵 예측, SRE 수요 예측 | 분기 | 사후에 예측을 수정함, 모든 결과가 "범위 안"이 되도록 아주 넓은 범위를 정함, 놀라움이 있던 달을 "예측하지 못한 사건"으로 제거함 | 레지스트리에 날짜와 함께 고정한 예측, 오차와 함께 보고하는 범위 폭, 제외한 모든 사건을 나열하고 검토 |
| 용량 리드 타임 | 필요가 수락된 뒤 새 용량을 서비스에 투입하는 데 필요한 시간 | 시계는 용량 요청이 승인될 때 시작해 용량이 운영 트래픽을 받을 때 멈춤. 중앙값과 85번째 백분위수를 보고. 취소된 요청은 제외 | 일 | ITSM 도구의 요청 레코드, 변경 레코드, 프로비저닝 로그 | 용량 및 성능 관리, 서비스 요청 관리, 변경 활성화 | 플랫폼 백로그 항목의 리드 타임(주제 2.2, 리드 타임, 사이클 타임, 흐름 효율 참조) | 분기 | 승인 레코드를 미뤄 시계를 늦게 시작함, 용량이 트래픽을 받을 때가 아니라 주문을 낼 때 요청을 닫음, 요청을 쪼갬 | 승인부터 트래픽을 받을 때까지로 정의한 시계, 프로비저닝 로그와 비교한 닫은 요청 표본, 다시 열린 요청 건수 |
| 성능 시험 포괄률 | 최근의 현실적인 부하 시험이 있는 핵심 서비스의 비율 | 대표적인 환경과 워크로드에서 명시된 나이보다 최근에 통과한 부하 시험이 있는 핵심 서비스 / 레지스트리의 핵심 서비스. 나이 한도는 문서화 | 퍼센트 | 시험 결과 저장소와 서비스 레지스트리 | 용량 및 성능 관리, 릴리스 관리 | 지속적 전달 파이프라인의 비기능 시험 | 분기 | 포괄을 주장하려고 사소한 시험을 실행함, 핵심 서비스 목록을 줄임, 오래된 통과 시험을 장부에 둠 | 기록한 시험 나이와 워크로드 현실성, 서비스 카탈로그와 인시던트 이력에 비춰 검토하는 핵심 서비스 목록, 통과뿐 아니라 실패한 시험도 보고 |
5.5 모니터링과 경보 품질 지표
원본 주제: (주제 5.5, 모니터링과 경보 품질 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 경보 물량 | 호출과 티켓으로 나눈, 사람에게 알린 경보의 수 | 기간 중 순환 근무나 큐에 전달된 서로 다른 알림의 수. 같은 열린 경보의 반복은 하나로 묶음. 사람에게 알리지 않고 자동화가 전부 처리한 경보는 제외. 순환 근무 주당으로 보고하고 근무 시간 외 비중은 따로 보고 | 순환 근무 주당 경보 | 호출 및 경보 라우팅 도구 | 모니터링 및 이벤트 관리 | 온콜에 대한 팀 업무 합의 | 주 | 문제가 보이지 않는 채 건수가 줄도록 임계값을 올리거나, 긴 지연을 추가하거나, 경보를 호출에서 조용한 큐로 옮김, 건수를 바꾸려고 경보를 쪼개거나 병합함 | 모니터링 감지 비중과 감지까지의 시간, 모든 강등을 이유와 함께 기록하고 한 분기 뒤 검토한다는 규칙 |
| 실행 가능한 경보 비율 | 사람이 유용한 조치를 취한 경보의 비율 | 기록된 조치(수정, 완화, 에스컬레이션, 경보 규칙 변경)가 있는 경보 / 기간 중 검토한 경보. 확인 전에 자동 해소된 경보는 실행 가능하지 않은 것으로 셈. 검토하지 않은 경보는 버리지 않고 별도의 건수로 보고 | 퍼센트 | 검토 라벨, 티켓 또는 인시던트와 결합한 경보 레코드 | 모니터링 및 이벤트 관리, 인시던트 관리 | 운영에 대한 팀 개선 조치 | 주간 검토, 월간 추세 | 사후에 경보를 실행 가능으로 라벨함, 자격을 얻으려고 사소한 조치(댓글, 확인)를 취함, 시끄러운 경보가 분모에 들어가지 않도록 검토하지 않고 둠 | 비율 옆에 표시하는 검토하지 않은 경보 건수, 순환 근무 밖의 누군가가 하는 표본 점검, 서면화된 "유용한 조치"의 정의 |
| 거짓 양성률 | 문제가 없는데 울린 경보의 비율 | 검토에서 거짓 양성으로 라벨된 경보 / 기간 중 검토한 경보. "거짓 양성"은 조건이 결함이 아니었고 아무도 알림을 원하지 않았을 것이라는 뜻이며, 조치하기에는 너무 사소한 실제 문제는 거짓 양성이 아님 | 퍼센트 | 경보 검토 라벨 | 모니터링 및 이벤트 관리 | 잡음 회고 검토 | 월 | "실제지만 무의미한" 경보가 참으로 셈하도록 거짓 양성을 좁게 정의함, 라벨 없이 시끄러운 경보를 닫음 | 따로 추적하는 실행 가능한 경보 비율과 "실제지만 호출할 가치 없음" 라벨, 닫은 경보의 주기적 표본 조사 |
| 감지 포괄률 | 사용자 대면 증상에 대한 시험된 경보가 하나 이상 있는 범위 안 서비스의 비율 | 지난 12개월 안에 시험이나 실제 사건으로 작동이 확인된 증상 경보가 있는 서비스 / 서비스 카탈로그 범위의 서비스. 범위 안 서비스의 목록은 기간 시작 시 고정 | 퍼센트 | 서비스 카탈로그, 경보 규칙 목록, 시험 기록 | 서비스 구성 관리, 모니터링 및 이벤트 관리 | 신규 서비스에 대한 완료의 정의 | 분기 | 포괄을 주장하려고 모든 서비스에 사소한 경보(핑)를 추가함, 시험한 적 없는 경보를 셈 | 경보가 사용자 대면 증상을 지켜보고 지난 12개월 안에 작동이 확인되었다는 요구, 모니터링 감지 비중 |
| 모니터링 감지 비중 | 사용자나 동료가 보고하기 전에 모니터링이 감지한 인시던트의 비율 | 첫 신호가 경보였던 인시던트 / 기간 중 인시던트. 시계는 인시던트 개시 시각이고, 기록된 첫 신호가 없는 인시던트는 감지된 것이 아니라 알 수 없음으로 보고 | 퍼센트 | 첫 신호 필드가 있는 인시던트 레코드, 경보 타임라인 | 인시던트 관리 | 인시던트 검토(인시던트 후 학습) | 월 | 사용자가 먼저 보고했는데도 모든 인시던트를 "모니터링이 감지"로 기록함, 사후에 경보를 만들고 인용함, 나쁜 숫자를 피하려고 첫 신호 필드를 비워 둠 | 비중 옆에 표시하는 알 수 없음 건수, 기억이 아니라 경보 타임라인에서 가져온 첫 신호 증거, 지원 레코드에서 연결한 고객 보고 인시던트 |
| 감지까지의 시간(TTD) | 사용자 영향의 시작과 사람에게 알린 첫 경보 사이의 경과 시간 | 사람에게 알린 첫 경보 시각 빼기 영향 시작 시각. 영향 시작은 인시던트 검토에서 확립한 서비스 수준 지표가 처음 위반된 시각. 중앙값과 95번째 백분위수를 보고. 경보가 없는 인시던트는 제외하고 따로 셈 | 분 | 인시던트 검토, 경보 타임라인, 서비스 수준 지표 이력 | 인시던트 관리, 모니터링 및 이벤트 관리 | 인시던트 후 검토 | 월, 인시던트별 | 영향 시작을 실제보다 늦게 선언함, 경보가 없는 인시던트를 제외함, 꼬리를 숨기려고 평균을 보고함 | 서비스 수준 지표 이력에서 가져온 영향 시작, 경보 없는 인시던트를 세어 보여 줌, 중앙값과 95번째 백분위수를 함께 보고 |
| 경보 집중도 | 가장 시끄러운 소수의 경보 규칙이 만든 경보 물량의 비율 | 경보가 가장 많은 규칙 다섯 개의 경보 / 기간 중 모든 경보. 같은 경보는 한 번 묶음. 규칙 수 다섯은 관례이며 팀이 이유를 밝히면 바꿀 수 있음 | 퍼센트 | 경보 규칙 목록과 호출 기록 | 지속적 개선, 모니터링 및 이벤트 관리 | 회고 개선 백로그 | 월 | 시끄러운 규칙 하나를 여럿으로 쪼개 어느 것도 상위 다섯에 들지 않게 함, 규칙 이름을 바꿈 | 규칙별뿐 아니라 근본 결함 또는 서비스별로 집중도를 보고, 옆에서 총 물량과 실행 가능한 경보 비율을 추적 |
| 경보 규칙 최신성 | 소유자, 런북 링크, 합의된 간격 안의 검토가 있는 호출 규칙의 비율 | 세 조건을 모두 충족하는 호출 규칙 / 모든 호출 규칙. 기간 중 비활성화한 규칙은 제외 | 퍼센트 | 경보 규칙 목록 | 지식 관리, 모니터링 및 이벤트 관리 | 운영 준비에 대한 업무 합의 | 분기 | 조건을 충족하려고 자리표시자 소유자, 빈 런북 링크, 형식적 검토를 추가함 | 런북 링크가 열리고 실제 대응에서 쓰였는지 표본 점검, 게임 데이에서 런북을 시험하는 실천 |
5.6 서비스 연속성 지표
원본 주제: (주제 5.6, 서비스 연속성 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| RTO 충족률 | 명시된 RTO 안에 서비스를 복원한 복구 연습의 비율 | 복원 시간 <= RTO인 연습 / 실행한 연습. 시계는 연습 실패의 선언된 시작(주입 시각 또는 시나리오 선언)에서 시작해 서비스가 실제 또는 합성 사용자에 대한 합의된 상태 점검을 통과할 때 멈춤. 테이블톱 연습과 시간을 잰 복원이 없는 연습은 제외하고 따로 셈 | 퍼센트, 연습 횟수를 함께 표시 | 연습 보고서, 모니터링의 타임라인, RTO가 있는 서비스 레지스트리 | 서비스 연속성 관리, 가용성 관리 | 게임 데이 결과, 전달 지표의 복구 시간 | 연습별, 분기마다 집계 | 작은 시험 데이터 집합, 쉬운 시나리오, 리허설된 대본을 고름, 팀이 시작한 뒤 늦게 시계를 시작함, "복원됨"이 더 빨리 오도록 상태 점검을 느슨하게 함, 모든 시험이 통과하도록 후한 RTO를 정함 | 각 결과와 함께 데이터 크기, 시나리오 놀라움, 상태 점검 정의를 기록, RTO를 BIA와 비교, 실패를 포함해 각 연습을 독립된 행으로 표시 |
| RPO 충족률 | 데이터 손실이 명시된 RPO 안에 머문 복구 연습의 비율 | 측정된 데이터 손실 길이 <= RPO인 연습 / 데이터를 복원한 연습. 데이터 손실 길이는 복구 뒤 존재하는 마지막 쓰기와 실패 순간 사이의 시간. 상태를 복원하지 않는 연습은 제외 | 퍼센트, 연습 횟수를 함께 표시 | 연습 보고서, 복원된 데이터와 원본 또는 쓰기 로그의 비교 | 서비스 연속성 관리, 정보 보안 관리 | 완료의 정의의 일부인 복원 훈련 | 연습별, 분기마다 집계 | 모든 상태가 아니라 기본 테이블에 대해서만 손실을 측정함, 부하가 없어서 동기화된 복제본을 시험함, 놓친 결과 뒤에 RPO를 재정의함 | 범위 안 모든 데이터 저장소의 쓰기 로그에 비춰 데이터 손실 검증, 현실적인 쓰기 부하에서 시험, 이유와 함께 목표의 변경 로그 유지 |
| 시험된 복구 포괄률 | 합의된 시험 간격 안에 실전형 복구 시험을 한 티어 1 및 티어 2 서비스의 비율 | 간격 안에 적격 시험이 있는 서비스 / 범위 안 서비스. 적격 시험은 실전형(테이블톱만이 아님)이고 시험 또는 운영 환경에서 서비스를 복원함. 간격은 티어별로 정함 | 퍼센트, 티어별 | 서비스 레지스트리, 연습 일정과 보고서 | 서비스 연속성 관리, 서비스 카탈로그 관리 | 게임 데이 일정 | 월 | 테이블톱 토론을 시험으로 셈, 비율을 올리려고 사소하게 작은 서비스를 시험함, 서비스를 낮은 티어로 재분류해 범위 안 목록을 줄임 | 티어 1 건수에 실전형 시험을 요구, 서비스 중요도로 가중한 포괄률을 보고, BIA에 비춰 티어 변경을 감사 |
| 마지막 성공한 복구 시험 이후 일수 | 각 핵심 서비스에서 가장 최근에 통과한 복구 시험의 경과 | 보고일 빼기 RTO와 RPO를 모두 충족한 가장 최근 시험의 날짜. 실패한 시험은 시계를 재설정하지 않음. 한 번도 시험하지 않은 서비스는 0이 아니라 "없음"으로 표시 | 서비스별 일수, 가장 오래된 것을 강조 | 연습 보고서, 서비스 레지스트리 | 서비스 연속성 관리 | 게임 데이 일정, 작업 항목 경과 시간 | 월 | 경과를 재설정하려고 쉬운 시험을 다시 실행함, 부분 시험을 통과로 라벨함, 서면 검토 뒤에 날짜를 재설정함 | 마지막으로 통과한 시험의 범위를 표시, 가장 오래된 경과와 한 번도 시험하지 않은 서비스를 표시, RTO와 RPO 모두 충족했을 것을 요구 |
| 백업 복원 성공률 | 검증된 사용 가능한 데이터로 완료된 시도된 백업 복원의 비율 | 완료되고 데이터 검증 점검을 통과한 복원 / 시도한 복원, 자동 및 수동 복원 시험에 걸쳐. 백업 작업의 성공만으로는 제외. 실행된 작업이 작동한 복원은 아니기 때문 | 퍼센트, 데이터 티어별 | 백업 시스템 로그, 자동 복원 검증 결과 | 서비스 연속성 관리, 인프라 및 플랫폼 관리 | 복원 훈련, 완료의 정의에 있는 운영 가능성 기준 | 자동 시험은 주, 검토는 월 | 백업 작업의 성공을 복원의 성공으로 보고함, 좋다고 알려진 백업만 시험함, 실패할 수 없는 점검으로 검증함 | 무작위로 표본 추출한 백업의 복원을 추적, 데이터 검증 결과를 요구, 감사마다 점검 자체를 검토 |
| 연습 발견 사항 종료율 | 복구 연습의 발견 사항 중 합의된 시간 안에 종료된 비율로, 심각도별로 나눔 | 목표 안에 종료된 발견 사항 / 기간 중 기한이 도래한 발견 사항. 시계는 발견 사항이 연습 보고서에 기록될 때 시작해 검증된 수정(재시험이나 확인하는 검토)에서 멈춤. 지명된 소유자가 위험으로 수용한 발견 사항은 따로 셈 | 퍼센트, 기한이 지난 발견 사항의 건수와 함께 | 연습 보고서, 이슈 트래커 | 서비스 연속성 관리, 지속적 개선 | 회고 조치 항목, 백로그 항목 경과 시간 | 월 | 수정 없이 발견 사항을 닫음, 기한을 늦추려고 심각도를 낮춤, 하나의 발견 사항을 쉬운 여러 개로 쪼갬, 애초에 발견 사항을 적게 기록함 | 재시험으로 종료를 검증, 줄어드는 건수는 더 무른 연습을 뜻할 수 있으므로 종료율 옆에 연습별 발견 사항을 보고, 심각도 변경을 검토 |
| 계획 최신성 | 서비스의 마지막 중대한 변경 뒤 또는 검토 간격 안에 검토된 연속성 계획과 런북의 비율 | 검토 날짜가 마지막 중대한 변경보다 늦고 간격 안인 계획 / 범위 안 계획. 중대한 변경은 아키텍처, 데이터 저장소, 의존성, 공급업체를 바꾸는 것으로 표시된 변경 레코드 | 퍼센트, 검토되지 않은 가장 오래된 계획의 경과와 함께 | 계획 저장소(버전 관리), 변경 레코드, 서비스 레지스트리 | 서비스 연속성 관리, 변경 활성화 | 완료의 정의에 런북 갱신 포함 | 분기 | 계획을 읽지 않고 검토 날짜를 갱신함, 변경을 중대하지 않은 것으로 표시함, 낡지 않는 일반적 문구로 계획을 채움 | 계획을 표본 추출해 쓰지 않은 사람과 함께 훑어봄, 중대한 변경 표시 비율을 아키텍처 변경 이력과 비교, 최신성을 시험 결과에 연결 |
5.7 토일과 온콜 지표
원본 주제: (주제 5.7, 토일과 온콜 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 교대당 호출 | 한 교대 동안 순환 근무에 전달된 호출의 수 | 교대 시작과 끝 사이에 전달된 호출 수, 교대당 한 번 세며, 같은 경보 그룹의 중복 호출은 5분 안에 병합한 뒤(병합 구간은 팀 설정). 시험 호출과 잘못 보낸 호출은 제외. 교대에 걸친 중앙값과 90번째 백분위수, 그리고 가장 바빴던 교대를 보고 | 교대당 호출 | 호출 도구, 온콜 일정 | 인시던트 관리, 모니터링 및 이벤트 관리 | 계획 외 작업 정책, 지속 가능한 속도 | 주간 검토, 월간 추세 | 건수가 줄도록 경보 임계값을 올리거나 경보를 침묵시킴, 관련 없는 경보를 하나의 호출로 병합함, 호출을 아무도 보지 않는 티켓 큐로 옮김 | 감지 포괄과 모니터링이 놓친 고객 보고 인시던트(주제 5.5, 모니터링과 경보 품질 지표 참조), 감지까지의 시간(주제 3.3, 인시던트 대응 및 해결 시간 참조) |
| 근무 시간 외 호출 비중 | 서면 근무 구간 밖에 도착하는 호출의 비율 | 기간 중 근무 구간 밖에 전달된 호출 / 전달된 모든 호출. 구간은 순환 근무마다 현지 시간으로 정하며, 공휴일은 구간 밖으로 셈 | 퍼센트 | 호출 도구, 순환 근무 달력 | 인시던트 관리, 모니터링 및 이벤트 관리 | 가용성에 대한 업무 합의 | 월 | 근무 구간을 더 넓게 재정의함, 호출을 줄이지 않고 근무 시간으로 옮기도록 작업과 배포의 일정을 다시 잡음, 호출을 "낮은 긴급도"로 재분류함 | 비중 옆의 전체 호출 물량, 변경 통제 아래의 서면 근무 구간, 무엇이 옮겨졌는지 검토 |
| 야간 방해율 | 교대가 보호된 수면 구간에 호출을 최소 한 번 포함하는 빈도 | 보호된 수면 구간(예: 현지 22:00부터 07:00, 팀이 정함)에 호출이 최소 한 번 있는 교대 / 기간 중 모든 교대. 사람의 응답 없이 자동으로 확인된 호출은 제외 | 교대의 퍼센트 | 호출 도구, 확인 로그 | 인시던트 관리, 인력 및 인재 관리 | 지속 가능한 속도, 팀 건강 점검 | 월 | 확인을 아침까지 미룸, 호출을 자동 확인함, 사람에게 닿은 호출만 셈 | 시간대별 확인 시간(주제 3.3, 인시던트 대응 및 해결 시간 참조), 사람의 응답이 없는 호출은 따로 보고, 야간 고객 영향 |
| 시간 중 토일 비중 | 순환 근무의 근무 시간 중 토일에 쓴 비율 | 순환 근무가 토일로 분류한 작업에 기록한 시간 / 한 달 동안 순환 근무가 기록한 총 근무 시간. 회의, 교육, 휴가는 분자와 분모 모두에서 제외. 분류는 팀이 적용하는 토일의 여섯 가지 특징을 따름 | 시간의 퍼센트 | 작업 트래커의 시간 표본 추출 또는 작업 라벨, 팀의 분류 검토 | 지속적 개선, 배포 관리, 서비스 요청 관리 | 계획 외 작업 비중, 계획된 작업의 용량 배분 | 월, 분류는 분기 검토 | 토일을 "엔지니어링"이나 "프로젝트 작업"으로 재분류함, 쓴 것보다 적게 기록함, 설명하기 쉬운 것만 라벨함 | 순환 근무 밖의 누군가가 하는 분류된 항목의 주기적 감사, 한 주가 어땠는지에 대한 팀 자체의 관점, 계획된 개선 작업에 쓴 시간의 비율 |
| 원천별 토일 | 수작업 재시작, 접근 요청, 인증서 갱신, 티켓 분류 같은 명명된 원천에 걸친 토일 시간의 분포 | 각 원천의 토일 시간 / 총 토일 시간, 상위 다섯 원천과 "기타" 그룹을 나열. 시간 중 토일 비중과 같은 제외 | 원천별 토일 시간의 퍼센트 | 작업 트래커의 시간 표본 추출 또는 작업 라벨 | 문제 관리, 서비스 요청 관리 | 개선 항목의 백로그 | 분기 | 눈에 띄는 것이 없도록 큰 원천을 여러 작은 것으로 쪼갬, 원천을 "기타"에 이름 없이 둠 | "기타" 그룹의 상한(예: 토일 시간의 5분의 1 미만, 팀 설정), 분기마다 "기타" 항목의 표본 조사 |
| 반복 호출률 | 명시된 구간 안에 이전에 순환 근무를 호출한 적 있는 조건이 일으킨 호출의 비율 | 경보 그룹이나 원인 코드가 30일 안의 이전 호출과 일치하는 호출 / 기간 중 모든 호출. 원인 코드는 종료 시 대응자가 설정하며, 설정되지 않은 코드는 따로 보고 | 퍼센트 | 호출 도구, 인시던트 레코드 원인 코드 | 문제 관리, 인시던트 관리 | 회고 조치, 기술 부채 백로그 | 월 | 일치를 놓치도록 매번 새 원인 코드로 호출을 닫음, 모든 것이 구별되도록 원인 코드를 넓힘, 구간을 늘이거나 줄임 | 표본에 대한 원인 코드 감사, 인시던트에 걸친 같은 경보 그룹의 재발(주제 4.1, 문제 관리 지표 참조) |
| 순환 근무 깊이 | 채워야 할 역할의 수에 비해 호출기를 나눠 맡는 자격을 갖춘 대응자가 얼마나 되는지 | 온콜 준비를 마치고 교대에 가용한 사람 수 / 순환 주기당 순환 근무의 교대 자리 수. 휴가와 파견은 가용성을 줄임. 순환 근무별 비율로 보고하며 사람별로는 하지 않음 | 비율 | 순환 근무 일정, 준비 체크리스트 | 인력 및 인재 관리 | 다기능 팀, 기술 매트릭스 | 분기 | 준비를 마치지 않은 사람을 셈, 거의 가용하지 않은 사람을 셈, 명단을 부풀림 | 명목상의 풀이 실제로 맡는 교대의 비율, 이름 없이 보고하는 자리별 실제 교대 수, 준비 체크리스트 완료 |
| 제거된 토일 | 자동화나 설계 변경으로 순환 근무의 업무에서 빠진 반복 토일 시간 | 변경 전 원천의 추정 월 토일 시간 빼기 변경 후의 같은 값, 전달 후 최소 두 주기에 걸쳐 측정. 일회성 정리로 절약한 시간은 제외 | 월당 시간 | 이전과 이후의 시간 표본 추출, 개선 티켓 | 지속적 개선, 문제 관리 | 전달된 개선 항목 | 분기 | 일회성 정리를 반복 절감으로 셈, 자동화를 만들고 유지하는 노력을 무시함, 전후 비교 없이 절감을 주장함 | 두 주기에 걸쳐 측정한 전후 시간, 자동화의 유지보수 노력, 이후 분기의 시간 중 토일 비중 |
제6부: 고객과 경험 지표
6.1 고객 만족도 지표
원본 주제: (주제 6.1, 고객 만족도 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| CSAT | 정의된 상호작용 유형에서 만족한 응답의 비율 | 5점 척도에서 4점 또는 5점으로 평가한 응답 수 / 유효 응답 수 | 퍼센트 | 티켓이나 릴리스에 연결된 상호작용 후 설문 | 서비스 데스크, 인시던트 관리, 서비스 수준 관리 | 이해관계자 리뷰 피드백 | 주간 또는 월간 | 담당자가 사용자에게 최고점을 주도록 유도함, 쉬운 티켓 뒤에만 설문을 보냄, 어려운 티켓은 설문 없이 닫음 | 자격 있는 모든 티켓에 자동 설문, 응답률과 응답자 구성, 재오픈율 |
| NPS | 정의된 서비스와 대상에 대한 추천 고객에서 비추천 고객을 뺀 값 | 9점 또는 10점으로 답한 비율 빼기 0점에서 6점으로 답한 비율 | 포인트, 범위 -100~100 | 고정된 간격으로 보내는 관계 설문 | 지속적 개선, 서비스 수준 관리 | 제품 성과 리뷰 | 분기 | 우호적인 사용자에게만 설문함, 좋은 일 뒤로 설문 시점을 맞춤, 대면으로 물음, 척도 이름표를 바꿈 | 등록부에 고정된 대상과 일정, 응답자 포괄도, 비추천 고객의 댓글 읽기 |
| CES | 어떤 일을 해내기가 얼마나 쉬웠는지에 대한 평균 평가 또는 긍정 응답 비율 | 긍정 응답 수 / 유효 응답 수, 또는 평균 평가 | 퍼센트 또는 평균 | 티켓, 요청, 릴리스에 연결된 상호작용 후 설문 | 서비스 요청 관리, 서비스 데스크 | 정제 과정의 사용성 피드백 | 월간 | 일을 다른 곳으로 옮기는 방식으로 양식의 단계를 줄임, 매끄러웠던 요청 뒤에만 물음 | 이슈당 접촉 횟수, 요청 이행 시간과 재작업(주제 3.5, 서비스 요청 이행 지표 참조) |
| 설문 응답률 | 초대받은 사용자 중 응답한 사용자의 비율 | 수신한 응답 수 / 전달된 설문 수 | 퍼센트 | 설문 도구와 티켓 시스템 | 측정 및 보고 | 리뷰에서의 피드백 참여 | 월간 | 응답할 가능성이 높은 사람만 초대함, 매번 다른 목록으로 설문을 보냄 | 문서화된 초대 규칙, 초대 대상과 사용자 집단 비교 |
| 응답자 포괄도 | 응답자 구성이 합의된 차원에서 사용자 집단과 얼마나 비슷한지 | 집단별로 응답자 중 해당 집단 비율과 사용자 중 해당 집단 비율의 비교 | 퍼센트 포인트 | 사용자 디렉터리나 티켓 데이터와 결합한 설문 도구 | 측정 및 보고 | 이해관계자 지도 | 분기 | 접근하기 어려운 집단을 비교에서 뺌, 알리지 않고 가중치를 다시 부여함 | 차원과 방법을 공개, 가중치를 적용한 결과 옆에 적용하지 않은 결과를 표시 |
| 댓글 주제 비중 | 자유 서술 댓글 중 각 주제에 배정된 비율 | 해당 주제의 댓글 수 / 코딩된 댓글 수 | 퍼센트 | 코딩된 설문 댓글 | 지속적 개선 | 회고 주제 | 월간 | 나쁜 주제를 피하도록 댓글을 코딩함, 어떤 주제도 크게 보이지 않도록 주제를 합침 | 두 번째 사람이 표본을 코딩, 주제 목록을 안정적으로 유지하고 변경을 기록 |
| 비추천 고객 후속 조치 시간 | 낮은 평가부터 사용자와의 문서화된 접촉까지 걸린 시간 | 후속 메모의 타임스탬프 빼기 낮은 평가의 타임스탬프, 중앙값과 85번째 백분위수 | 시간 또는 일 | 설문 도구와 티켓 시스템 | 인시던트 관리, 지속적 개선 | 작업 합의서의 피드백 고리 | 월간 | 사용자에게 연락하지 않고 메모만 남김, 더 나은 점수를 부탁하려고 사용자에게 연락함 | 후속 메모의 내용 점검, 다음 설문에서 누군가 연락했는지 사용자에게 질문 |
6.2 경험 수준 협약
원본 주제: (주제 6.2, 경험 수준 협약 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 경험 점수 | 서비스와 대상에 대해 합의된 경험 진술의 평균 평가 | 고정된 척도에서 한 진술에 대한 유효 응답의 평균 평가 | 척도 점수 | 일정에 따라 보내는 짧은 펄스 설문 | 서비스 수준 관리, 지속적 개선 | 이해관계자 검토 피드백, 제품 성과 검토 | 월 | 만족한 사용자에게만 설문함, 좋은 일 뒤에 설문 시기를 맞춤, 동의하기 더 쉽게 진술의 표현을 바꿈 | 응답률과 응답자 구성, 안정된 문구 로그, 의견 읽기 |
| 감성 추세 | 서비스에 대한 자유 서술 의견의 어조 방향 | 기간별로 긍정으로 코딩한 의견의 비율 빼기 부정으로 코딩한 의견의 비율 | 퍼센트 포인트 | 코딩한 설문 의견과 티켓 의견 | 지속적 개선 | 회고 주제 | 월 | 추세가 오르도록 도구나 주제 목록을 조정함, 부정적인 경로를 제외함 | 월간 표본의 사람 점검, 고정된 코딩 가이드를 두고 변경을 기록 |
| 사용자당 마찰 사건 | 사용자가 문제에 부딪혔다는 신호의 건수를 활성 사용자로 정규화한 값 | (반복 접촉 + 다시 열린 항목 + 정해진 횟수를 넘은 로그인 실패 + 중단한 요청) / 활성 사용자 | 사용자당 사건 | 티켓 시스템, 신원 로그, 요청 포털 | 서비스 데스크, 인시던트 관리 | 사용 중 발견된 결함 | 월 | 더 적게 세도록 사건을 재정의함, 서비스 데스크를 닿기 어렵게 만들어 반복 접촉을 막음 | 경로별 접촉 물량, 서비스 데스크의 포기율(주제 3.1, 서비스 데스크 지표 참조) |
| IT 문제로 잃은 시간 | 기간 중 서비스 문제로 사용자가 잃는 추정 시간 | 사용자당 자체 보고한 잃은 분, 또는 영향받은 사용자로 가중한 저하 상태에서 측정한 시간 | 사용자당 분 | 펄스 설문, 사용자 수와 결합한 모니터링 | 가용성 관리, 인시던트 관리 | 차단 요인으로 잃은 사이클 타임 | 분기 | 낮은 추정을 유도하는 방식으로 물음, 주요 인시던트만 셈 | 자체 보고한 시간을 측정한 저하 시간과 비교, 설문 문구 검토 |
| 여정 완료율 | 중단하거나 도움을 구하지 않고 정의된 여정을 마친 사용자의 비율 | 도움 접촉 없이 여정을 완료한 사용자 / 여정을 시작한 사용자 | 퍼센트 | 포털 분석, 티켓 연결 | 서비스 요청 관리, 서비스 카탈로그 관리 | 사용성 시험의 과업 성공 | 월 | 실패가 범위 밖이 되도록 여정을 좁게 정의함, 어려운 사례를 다른 경로로 유도함 | 레지스트리의 여정 정의, 도움 접촉률과 에스컬레이션 |
| XLA 달성 | 기간 중 합의된 경험 목표 중 충족한 비율 | 충족한 목표 / 합의한 목표 | 퍼센트 | XLA 레지스트리 | 서비스 수준 관리 | 전달 목표 달성 | 분기 | 이미 충족한 목표를 정함, 아주 작은 목표 집합을 정의함 | 사용자와 목표 설정 검토, 추세와 목표 이력과 함께 달성을 표시 |
| 경험 간극 | 같은 서비스의 SLA 달성과 경험 점수의 차이 | 서비스 간 SLA 달성 순위 빼기 경험 점수 순위, 또는 서면 비교 | 순위 차이 또는 메모 | SLA 보고서와 펄스 설문 | 서비스 수준 관리 | 완료의 정의 대 사용자 피드백 | 분기 | 가장 좋아 보이는 서비스나 기간을 고름, 비교하는 SLA를 바꿈 | 미리 합의한 고정 비교 집합, 모든 서비스를 표시 |
6.3 서비스 도입과 카탈로그 지표
원본 주제: (주제 6.3, 서비스 도입과 카탈로그 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 도입률 | 기간 중 서비스를 한 번 이상 쓴 대상 사용자의 비율 | 완료된 사용이 최소 한 번 있는 서로 다른 대상 사용자 / 대상 사용자 | 퍼센트 | 사용자 디렉터리와 결합한 서비스 사용 로그 | 서비스 카탈로그 관리, 서비스 수준 관리 | 기능 도입, 제품 성과 검토 | 월 | 사용을 의무화함, 로그인이나 페이지 조회를 사용으로 셈, "대상 사용자"를 이미 쓰는 사람으로 좁힘 | 완료된 성과의 정의, 만족도 및 노력 평가와 비교, 대상 사용자 규칙 공개 |
| 활성 사용률 | 시간이 지나도 계속 쓰는 도입자의 비율 | 기간 중 활성이면서 이전 기간에도 서비스를 쓴 사용자 / 이전 기간의 활성 사용자 | 퍼센트 | 사용 로그, 코호트 표 | 지속적 개선 | 제품 분석의 유지율 | 월 | 활성으로 보이도록 사용자를 자동 등록함, 활동으로 셈하는 알림을 보냄 | 사용자가 시작한 완료된 행동만 셈, 이탈한 사용자 표본 인터뷰 |
| 카탈로그 포괄률 | 임시 경로가 아니라 카탈로그를 통해 도착하는 요청의 비율 | 카탈로그를 통해 생성된 요청 / 모든 경로의 모든 요청 | 퍼센트 | 요청 관리 도구, 메일함과 채팅 태그 | 서비스 요청 관리, 서비스 카탈로그 관리 | 서면 정의가 있는 백로그 항목 | 월 | 모든 요청을 일반 카탈로그 항목에 밀어 넣음, 이메일 요청을 "포털을 사용하세요"로 닫음 | 요청 포기율과 만족도, 다른 경로로 다시 제기된 요청 수 |
| 요청 포기율 | 사용자가 제출하지 않는 시작된 요청의 비율 | 24시간 안에 시작했으나 제출하지 않은 요청 / 시작한 요청 | 퍼센트 | 포털 분석 | 서비스 요청 관리 | 사용성 시험의 과업 포기 | 월 | 필요한 양식 필드를 제거해 일을 이행으로 넘김, 긴 구간 뒤에야 포기한 요청을 셈 | 이행 단계의 재작업 및 명확화 비율(주제 3.5, 서비스 요청 이행 지표 참조) |
| 검색 성공률 | 요청이나 확인한 답으로 끝나는 카탈로그 검색의 비율 | 같은 세션 안에 요청 또는 지식 조회가 뒤따른 검색 / 검색 | 퍼센트 | 포털 검색 로그 | 지식 관리, 서비스 카탈로그 관리 | 사용자 조사의 찾기 쉬움 | 월 | 아무 클릭이나 성공으로 셈, 모든 질의에 일치하는 무관한 문서를 추가함 | 결과가 쓰였는지 점검(요청이 이루어졌거나 문서가 도움이 된다고 평가됨), 결과 없는 검색 읽기 |
| 낡은 항목 비중 | 검토 날짜가 지났거나 정해진 기간 동안 사용이 없는 카탈로그 항목의 비율 | 검토가 밀렸거나 12개월 동안 요청이 0인 항목 / 카탈로그의 항목 | 퍼센트 | 카탈로그 레지스트리 | 서비스 카탈로그 관리 | 백로그 경과 시간과 가지치기 | 분기 | 읽지 않고 항목을 검토됨으로 표시함, 검토 날짜를 일괄 재설정함 | 검토된 항목의 정확성 표본 점검, 마지막 실제 변경 날짜 표시 |
| 요청 집중도 | 가장 많이 요청된 항목이 차지하는 요청의 비율 | 상위 다섯 항목의 요청 / 모든 카탈로그 요청 | 퍼센트 | 요청 관리 도구 | 서비스 요청 관리 | 유형별 작업의 파레토 | 분기 | 인기 있는 항목을 여러 개로 쪼갬, 꼬리 수요를 숨기려고 무관한 항목을 병합함 | 변경 로그가 있는 고정 항목 분류 체계, 범주별 꼬리 보기 |
6.4 사용자 및 직원 경험
원본 주제: (주제 6.4, 사용자 및 직원 경험 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 첫날 준비율 | 장치, 계정, 접근 권한이 시작 시각에 완비되어 작동하는 신입 직원의 비율 | 시작 시 합의된 모든 항목이 작동하는 신입 직원 / 기간 중 신입 직원 | 퍼센트 | 온보딩 요청, 신원 시스템, 신입 직원 확인 | 서비스 요청 관리, 서비스 카탈로그 관리 | 온보딩에 대한 팀 업무 합의 | 월 | 합의된 목록을 줄임, 작동하기 전에 항목을 준비됨으로 표시함, 공식 시작일을 미룸 | 레지스트리의 서면 목록, 신입 직원 확인, 생산성 도달까지의 시간 |
| 생산성 도달까지의 시간 | 시작일부터 신입 직원이 첫 실제 과업에 필요한 모든 것을 갖추는 시점까지의 경과 시간 | 시작일부터 신입 직원과 그 관리자의 확인까지 일수의 중앙값과 85번째 백분위수 | 일 | 온보딩 트래커, 짧은 확인 질문 | 서비스 요청 관리, 지속적 개선 | 새 팀원이 첫 변경을 하기까지의 시간 | 월 | 시계의 시작을 더 늦게 표시함, 온보딩 레코드를 일찍 닫음 | 레지스트리의 시계 정의, 관리자와 신입 직원 모두의 확인 |
| 임시방편 유병률 | 공식 서비스를 우회하려고 승인되지 않은 도구나 수작업 단계를 쓰는 설문 응답 직원의 비율 | 서비스에 대한 임시방편을 보고한 응답자 / 유효 응답자 | 퍼센트 | 펄스 설문, 승인된 도구 탐색 보고서 | 서비스 수준 관리, 지속적 개선 | 일일 팀 점검에서 제기된 장애물 | 분기 | 결과를 암시해 정직한 답을 막음, 만족한 그룹에게만 물음 | 익명성 진술, 응답률과 응답자 구성, 개인정보 보호 장치 준수 |
| 강제 방해 분 | 강제 재시작, 업데이트, 로그인 프롬프트 같은 계획된 IT 조치로 사람들이 방해받는 시간 | 계획된 조치가 일으킨 총 방해 분 / 그룹의 활성 사용자 | 사람당 월 분 | 그룹별로 집계한 엔드포인트 관리 로그 | 변경 활성화, 릴리스 및 배포 관리 | 방해 없는 작업 시간 | 월 | 일부 종류의 방해만 셈, 측정하지 않는 그룹으로 방해를 옮김 | 계획된 모든 방해 유형을 정의, 원격 및 교대 직원을 포함해 그룹별로 보고 |
| 접근성 요청 해결 시간 | 접근성 필요와 관련된 요청을 해결하는 데 걸리는 시간 | 요청부터 작동이 확인된 해법까지 시간의 중앙값과 85번째 백분위수 | 시간 | 접근성 태그가 있는 요청 시스템 | 서비스 요청 관리, 인시던트 관리 | 포용적인 완료의 정의 | 월 | 부분적 수정으로 요청을 닫음, 시계를 피하려고 요청을 다른 것으로 태그함 | 해법이 작동한다는 요청자의 확인, 태그되지 않은 요청 검토 |
| 도구 펄스 점수 | 짧은 합의된 질문에 대한 명명된 도구 또는 서비스 하나의 평가 | 도구별 유효 응답에 걸친 평균 평가 또는 호의적 응답 비율 | 척도 점수 또는 퍼센트 | 도구를 돌아가며 묻는 펄스 설문 | 서비스 수준 관리, 지속적 개선 | 팀원이 자기 도구에 대해 주는 피드백 | 분기 | 만족한 사용자에게만 설문함, 질문을 바꿈, 직원이 잘 답하도록 훈련함 | 안정된 문구 로그, 응답률과 구성, 의견 읽기 |
| 개인정보 보호 장치 준수 | 숨김 및 집계 규칙을 충족하는 경험 보고서의 비율 | 규칙을 충족하는 보고서 / 공표한 보고서 | 퍼센트 | 개인정보 규칙에 비춘 공표된 보고서 검토 | 정보 보안 관리, 측정 및 보고 | 데이터 사용에 대한 업무 합의 | 분기 | 독립 검토 없이 준수를 보고함, 문제를 숨기려고 그룹을 넓힘 | 팀 밖의 누군가가 하는 주기적 검토, 규칙(k 값과 숨김) 공개 |
6.5 가치 실현과 비즈니스 성과
원본 주제: (주제 6.5, 가치 실현과 비즈니스 성과 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 이익 실현율 | 합의된 검토 날짜에 관찰된 기대 이익의 비율 | 측정 결과가 합의된 임계값 이상인 이익 / 기간 중 검토 날짜가 있는 기대 이익 | 퍼센트 | 소유자, 기준선, 검토 날짜가 있는 이익 레지스트리 | 지속적 개선, 서비스 가치 체계 거버넌스 | 이해관계자와의 성과 검토 | 분기 | 낮은 임계값을 정함, 검토 날짜를 옮김, 사후에 이익을 재정의함 | 승인 시 고정한 임계값과 날짜, 증거 품질 비중, 전달 팀 밖의 소유자 |
| 첫 가치까지의 시간 | 작업 시작부터 사용자에게 첫 측정 가능한 이익이 생기기까지의 시간 | 첫 작업 시작부터 이익 지표가 기대한 대로 처음 움직인 날까지의 일수 | 일 | 작업 트래커와 이익 지표 | 서비스 설계, 릴리스 및 배포 관리 | 가치의 지속적 전달 | 이니셔티브별 | 엉뚱한 이유로 움직이는 이른 지표를 고름, 시계를 늦게 시작함 | 레지스트리에 정의한 지표와 시계, 이익 소유자와 확인 |
| 가설 확인율 | 명시된 가치 가설을 출시 뒤에 확인한 출시 변경의 비율 | 출시 뒤 확인이 기록된 변경 / 가설을 가진 채 출시한 변경 | 퍼센트 | 릴리스 레코드에 연결된 가설 로그 | 지속적 개선, 변경 활성화 | 출시된 작업에서의 학습 | 월 | 항상 통과하는 모호한 가설을 씀, 성공한 변경만 확인함 | 시험 가능성에 대한 가설 표본 조사, 검토에 무효 및 실패 결과 포함 |
| 증거 품질 비중 | 기준선과 명시된 비교 방법이 있는 주장된 이익의 비율 | 기준선과 방법이 있는 이익 주장 / 보고한 이익 주장 | 퍼센트 | 이익 레지스트리 검토 | 측정 및 보고 | 성과의 정직한 보고 | 분기 | 기준선을 소급해서 채움, 아무 비교나 방법이라고 설명함 | 변경 이전 날짜의 기준선, 팀 밖의 누군가가 하는 검토 |
| 성과 지표 변화 | 선택한 성과 지표의 기준선과, 가능한 곳에서는 비교와 견준 변화 | (이후의 지표 빼기 이전의 지표)와 함께 나란히 보고하는 비교 그룹의 변화 | 지표 단위 | 제품 분석, 서비스 데이터, 재무 | 서비스 수준 관리, 지속적 개선 | 핵심 결과 진척 | 월 | 유리한 기간이나 그룹을 고름, 교란 요인을 무시함 | 사전 등록한 기간과 그룹, 고려한 교란 요인 목록 |
| 비즈니스 영향 시간 | 서비스 문제 때문에 비즈니스 프로세스가 저하되거나 멈춘 시간 | 프로세스 소유자가 IT 서비스 원인으로 귀속시킨 저하되거나 멈춘 프로세스의 시간 | 시간 | 프로세스 소유자 확인과 결합한 인시던트 레코드 | 인시던트 관리, 가용성 관리 | 비즈니스 영향 검토 | 월 | 프로세스 소유자가 귀속을 부풀리거나 줄임, 귀속을 피하려고 인시던트를 재분류함 | 서면으로 기록한 귀속 규칙, 인시던트 및 가용성 기록과 비교 |
| 성과 연계 용량 비중 | 명시된 성과에 연결된 작업에 쓴 팀 용량의 비율 | 기록된 성과에 연결된 항목의 용량 / 총 용량 | 퍼센트 | 성과 필드가 있는 작업 트래커 | 서비스 가치 체계, 포트폴리오 거버넌스 | 제품 목표에 맞춘 작업 | 분기 | 모든 작업에 일반적 성과를 태그함, 일상 작업에 성과를 지어냄 | 이해관계자와 검토하는 성과 목록, 연결 품질을 위한 항목 표본 조사 |
제7부: 자산, 구성, 재무 지표
7.1 IT 자산 관리 지표
원본 주제: (주제 7.1, IT 자산 관리 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 인벤토리 정확도 | 기록이 실제 발견된 것과 일치하는 표본 자산의 비율 | 합의된 모든 필드에서 기록이 물리적 또는 기술적 증거와 일치하는 표본 자산 수 / 표본으로 뽑은 자산 수 | 퍼센트 | 자산 대장 및 탐색 데이터와 비교한 감사 표본 | IT 자산 관리, 구성 관리 | 완료의 정의에 자산 등록이 포함됨 | 분기별 | 쉬운 자산만 표본으로 뽑기, 정리 작업 후에만 감사하기, 더 적은 필드로 일치를 세기 | 팀 밖의 사람이 추출한 무작위 표본, 고정된 필드 목록, 양방향 표본 추출 |
| 탐색 범위 | 해당 기간에 탐색으로 확인된, 존재해야 하는 자산의 비율 | 최근 30일 동안 하나 이상의 탐색 원천에서 확인된 자산 수 / 탐색이 볼 수 있는 대장 내 자산 수 | 퍼센트 | 대장과 결합한 탐색 도구 보고서 | IT 자산 관리, 모니터링 및 이벤트 관리 | 코드형 인프라 상태가 현실과 일치함 | 월별 | "존재해야 하는 자산"을 탐색이 볼 수 있는 것으로 좁히기, 스캔하기 어려운 네트워크 제외하기 | 제외 항목 문서화, 구매 및 클라우드 청구와 비교 |
| 대조율 | 독립적인 원천들 사이에서 일치하는 자산의 비율 | 대장과 두 번째 원천(예: 구매, 신원 관리, 클라우드 청구) 양쪽에서 일치한 자산 수 / 둘 중 어느 한쪽에 있는 자산 수 | 퍼센트 | 대장, 구매, 신원 관리, 클라우드 청구 내보내기 | IT 자산 관리, 공급업체 관리 | 환경에 대한 단일 진실 공급원 | 월별 | 첫 번째 원천에서 파생된 두 번째 원천 고르기, 약한 키로 자동 일치시키기 | 진정으로 독립적인 원천 사용, 일치 항목을 수작업으로 표본 점검 |
| 소유자 없는 자산 비율 | 지정되고 유효한 소유자가 없는 자산의 비율 | 소유자가 없거나 소유자가 퇴사한 자산 수 / 대장 내 자산 수 | 퍼센트 | 인사 디렉터리와 결합한 대장 | IT 자산 관리, 정보 보안 관리 | 서비스와 구성 요소의 명확한 소유권 | 월별 | 포괄적 팀을 소유자로 지정하기, 자리 표시용 인물 입력하기 | 포괄적 팀이 소유한 자산 수, 소유자 확인 표본 |
| 수명 주기 단계 완전성 | 현재 수명 주기 단계와 그 단계에 필요한 날짜가 있는 자산의 비율 | 단계와 필요한 날짜가 기록된 자산 수 / 대장 내 자산 수 | 퍼센트 | 대장 | IT 자산 관리, 릴리스 및 배포 관리 | 파이프라인에서 추적하는 환경 수명 주기 | 월별 | 기본 날짜 채우기, 모든 자산을 "사용 중"으로 설정하기 | 감사에서 단계를 증거와 비교, 사용 연한 분포 확인 |
| 기록 소요 시간 | 자산 변경과 대장 갱신 사이의 지연 | 변경 이벤트부터 대장 갱신까지 걸린 시간 또는 일수의 중앙값과 85번째 백분위수 | 일 | 대장 타임스탬프와 비교한 변경, 구매, 파이프라인 이벤트 | IT 자산 관리, 변경 활성화 | 파이프라인의 자동 등록 | 월별 | 변경 이벤트 날짜 소급하기, 이벤트 시각을 기록 시각으로 입력하기 | 원천 시스템 타임스탬프와 비교, 수정 이력 감사 추적 |
| 확인 불가 자산 비율 | 감사에서 위치를 찾거나 설명할 수 없는, 존재해야 하는 자산의 비율 | 있어야 하지만 발견되지 않았고 승인된 폐기로도 설명되지 않는 자산 수 / 있어야 하는 자산 수 | 퍼센트 | 감사 결과 | IT 자산 관리, 정보 보안 관리 | 분실 물품에 대한 회고 발견 사항 | 감사 때마다 | 승인 없이 자산을 상각 처리하기, 폐기된 것으로 재분류하기 | 폐기 승인 및 증거 비율, 상각 처리를 재무 기록과 비교 |
7.2 소프트웨어 자산과 라이선스 지표
원본 주제: (주제 7.2, 소프트웨어 자산과 라이선스 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 유효 라이선스 상태 | 보유한 사용 권리와 확인된 사용량의 비교로, 제품별로 라이선스 자체의 세는 단위로 | 제품별 보유한 사용 권리 빼기 확인된 배포 또는 사용자 | 단위(잉여는 양수, 부족은 음수) | 사용 권리 레코드, 탐색 도구, 신원 시스템 | IT 자산 관리, 공급업체 관리 | 팀을 위한 눈에 보이는 카탈로그와 사용 데이터 | 핵심 제품은 월, 나머지는 분기 | 유리한 단위로 셈, 탐색에서 그림자 배포를 빼놓음 | 라이선스 자체의 단위로 셈, 경비 및 신원 데이터와 비교, 세는 규칙의 법무 검토 |
| 라이선스 활용률 | 지불한 사용 권리 중 활발히 쓰이는 비율 | 최근 90일 안에 활동이 있는 사용 권리 / 지불한 사용 권리 | 퍼센트 | 공급업체 사용 보고서, 신원 로그, 사용 권리 레코드 | IT 자산 관리, 재무 관리 | 도구 가치에 대한 회고 | 월 | 활동 구간을 줄임, 봇이나 서비스 계정의 로그인을 사용으로 셈 | 레지스트리의 고정 구간, 사람이 아닌 계정 제외, 공급업체 사용 보고서와 비교 |
| 쓰이지 않는 라이선스 비용 | 지불했지만 쓰이지 않는 사용 권리의 연간 비용 | (쓰이지 않는 사용 권리 곱하기 단가)의 합 | 연간 통화 | 사용 권리 레코드, 사용 데이터, 청구서 | IT 자산 관리, 재무 관리 | 도구 체인의 낭비 감소 | 분기 | 숫자를 줄이려고 검토 직전에 재협상하거나 취소함, 카드로 결제한 구독을 무시함 | 모든 지출 원천을 포함, 통보 구간 시작 시점의 비용을 추적 |
| 비승인 애플리케이션 수 | 승인된 카탈로그에 없는데 쓰이는 소프트웨어 애플리케이션의 수 | 경비 데이터, 싱글 사인온 로그, 네트워크 데이터에서 보이는 애플리케이션 중 카탈로그에 없는 것 | 건수 | 경비 보고서, 신원 제공자, 네트워크 및 엔드포인트 데이터 | IT 자산 관리, 정보 보안 관리 | 눈에 보이는 지원과 함께 도구를 고르는 팀 | 월 | 건수를 줄이려고 모든 것을 카탈로그에 승인함, 개인 계정을 써서 사용을 숨김 | 카탈로그 검토 기준, 지출 및 신원 데이터 확인, 팀에게 필요한 것을 물음 |
| 갱신 준비 | 통보 날짜 전에 사용 검토를 마친 갱신의 비율 | 통보 날짜 최소 90일 전에 사용 검토를 마친 갱신 / 기간 중 도래한 갱신 | 퍼센트 | 계약 레지스트리와 검토 기록 | 공급업체 관리, 재무 관리 | 변화를 위한 사전 계획 | 분기 | 형식적 검토를 함, 통보 날짜를 더 늦게 설정함 | 필수 입력이 있는 검토 체크리스트, 조달이 보관하는 계약 날짜 |
| SBOM 포괄률 | 최신 소프트웨어 자재 명세서가 있는 운영 서비스의 비율 | 지난 릴리스 주기에 생성한 SBOM이 있는 서비스 / 운영 서비스 | 퍼센트 | 빌드 파이프라인 산출물, 서비스 카탈로그 | IT 자산 관리, 정보 보안 관리 | 완료의 정의에 의존성 가시성 포함 | 월 | 전이적 의존성을 뺀 SBOM을 생성함, 릴리스되지 않은 빌드 산출물을 셈 | 레지스트리에 깊이를 정의, 배포된 산출물에 비춰 SBOM 표본 점검 |
| 오픈 소스 검토 포괄률 | 라이선스 식별과 정책 결정이 기록된 운영 구성 요소의 비율 | 라이선스와 결정이 기록된 구성 요소 / SBOM에서 발견된 구성 요소 | 퍼센트 | 소프트웨어 구성 분석 도구, 정책 레지스트리 | IT 자산 관리, 공급업체 관리 | 파이프라인의 의존성 검토 | 월 | 결정 없이 구성 요소를 검토됨으로 표시함, "알 수 없는" 라이선스를 받아들임 | 라이선스를 알 수 없는 구성 요소를 셈, 결정의 표본 검토 |
7.3 하드웨어 자산 수명 주기 지표
원본 주제: (주제 7.3, 하드웨어 자산 수명 주기 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 연식 프로파일 | 부류별 장치 연식의 분포와 계획 수명을 넘은 비율 | 연식의 중앙값과 85번째 백분위수, 부류의 계획 수명보다 오래된 장치의 비율 | 년, 퍼센트 | 자산 레지스트리의 구매 및 배포 날짜 | IT 자산 관리, 용량 및 성능 관리 | 기술 건강 검토 | 분기 | 평균을 낮추려고 멀쩡한 장치를 교체함, 오래된 장치를 예비로 재분류해 제외함 | 연식 구간별 고장률, 유휴 장치 비중, 재분류 검토 |
| 정시 교체율 | 계획된 교체 시점에 도달한 장치 중 계획된 구간 안에 교체한 비율 | 구간 안에 교체한 장치 / 기간 중 계획된 교체에 도달한 장치 | 퍼센트 | 자산 레지스트리와 교체 계획 | IT 자산 관리, 서비스 요청 관리 | 작업 환경의 계획된 유지보수 | 분기 | 계획된 구간을 넓힘, 계획을 수정해 계획된 날짜를 미룸 | 이유와 함께 기록한 계획 변경, 고장 및 사용자 피드백과 비교 |
| 모델별 고장률 | 모델과 연식 구간별로 연간 장치 100대당 고장 수 | 기간 중 하드웨어 고장 / 운영 중인 평균 장치 수, 1년으로 환산해 100을 곱함 | 연간 100대당 고장 | 레지스트리와 결합한 인시던트 및 수리 레코드 | 인시던트 관리, IT 자산 관리 | 작업 환경의 결함 | 분기 | 고장을 사용자 손상이나 소프트웨어 결함으로 코딩함, 수리 기록을 미룸 | 고장 코딩의 표본 조사, 수리 레코드를 인시던트 레코드와 비교 |
| 유휴 장치 비중 | 정해진 기간 동안 활동이 없는 지급된 장치의 비율 | 60일 동안 로그인이나 네트워크 활동이 없는 장치 / 지급된 장치 | 퍼센트 | 부류별로 집계한 엔드포인트 관리 로그 | IT 자산 관리, 재무 관리 | 낭비 감소 | 월 | 예약된 백그라운드 활동을 사용으로 셈, 유휴 장치를 유령 사용자에게 재배정함 | 활동 신호로 사람의 로그인을 사용, 배정을 표본 점검 |
| 교체 리드 타임 | 고장 나거나 분실한 장치를 작동하는 장치로 교체하는 데 걸리는 시간 | 보고부터 사용자가 작동하는 장치를 갖기까지 시간 또는 일수의 중앙값과 85번째 백분위수 | 일 | 인시던트 및 요청 레코드 | 인시던트 관리, 서비스 요청 관리 | 팀원의 막힘을 푸는 시간 | 월 | 발송 시점에 시계를 멈춤, 사용자가 작동하는 장치를 갖기 전에 요청을 닫음 | 사용자 확인에서 끝나는 시계, 최근 교체에 대한 설문 |
| 안전한 폐기 완료 | 데이터 삭제나 파기의 기록된 증거가 있는 폐기 장치의 비율 | 삭제 또는 파기의 증거가 있는 폐기 장치 / 폐기한 장치 | 퍼센트 | 폐기 기록과 초기화 인증서 | 정보 보안 관리, IT 자산 관리 | 장비 폐기에 대한 완료의 정의 | 월 | 증거 없이 삭제를 기록함, 인증서가 일련번호와 일치하지 않음 | 인증서를 일련번호와 대조, 폐기 파트너와 표본 감사 |
| 재사용 및 재활용률 | 승인된 경로로 재사용, 재정비, 재활용한 폐기 장치의 비율 | 승인된 경로로 재사용, 재정비, 재활용한 장치 / 폐기한 장치 | 퍼센트 | 폐기 및 파트너 기록 | IT 자산 관리, 공급업체 관리 | 계획에서의 지속 가능성 목표 | 분기 | 하류 처리를 알 수 없는 중개인에게 보낸 장치를 재활용으로 셈 | 인증된 파트너와 하류 보고 요구, 표본 감사 |
7.4 구성 및 CMDB 품질 지표
원본 주제: (주제 7.4, 구성 및 CMDB 품질 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| CI 완전성 | 모든 필수 속성이 유효한 값으로 채워진 범위 안 CI의 비율 | 모든 필수 속성이 유효한 범위 안 CI / 범위 안 CI | 퍼센트 | CMDB, 속성 규칙 | 서비스 구성 관리, IT 자산 관리 | 완료의 정의에 서비스 설명 포함 | 월 | 필수 속성을 기본값이나 자리표시자로 채움, 필수 목록을 좁힘 | 기본값과 자리표시자 값을 셈, 고정된 필수 목록, 정확성 표본 |
| CI 정확성 | 필수 속성에서 레코드가 증거와 일치하는 표본 추출 CI의 비율 | 모든 필수 속성이 일치하는 표본 CI / 표본 추출한 CI | 퍼센트 | 실제 시스템과 비교한 감사 표본 | 서비스 구성 관리 | 코드형 인프라 상태가 현실과 일치 | 분기 | 쉬운 부류를 표본 추출함, 정리 뒤에 감사함 | 양쪽 방향에서 독립적으로 뽑은 무작위 표본, 고정된 방법 |
| 의존성 포괄률 | 상류 및 하류 의존성이 지도로 그려지고 검토된 핵심 서비스의 비율 | 최근 90일 안에 검토한 의존성 지도가 있는 핵심 서비스 / 핵심 서비스 | 퍼센트 | CMDB 관계와 검토 기록 | 서비스 구성 관리, 가용성 관리 | 아키텍처 및 서비스 소유권 검토 | 분기 | 읽지 않고 지도를 검토됨으로 표시함, 사소한 의존성만 지도로 그림 | 영향 예측 적중률, 실제 트래픽에 비춰 지도 표본 점검 |
| 영향 예측 적중률 | 실제로 영향받은 서비스가 CMDB의 예측 영향에 있었던 인시던트와 변경의 비율 | 영향받은 모든 서비스가 예측된 인시던트 또는 변경 / 검토한 인시던트 또는 변경 | 퍼센트 | CMDB 쿼리와 비교한 인시던트 후 검토 및 변경 레코드 | 인시던트 관리, 변경 활성화 | 빠진 의존성에 대한 비난 없는 검토 발견 | 분기 | 잘 풀린 인시던트를 고름, 영향받은 서비스를 좁게 기록함 | 모든 중대한 인시던트 검토, 소유 팀 밖의 검토자 |
| 중복 CI 비율 | 다른 CI를 중복하는 CI의 비율 | 매칭 규칙이 중복으로 표시하고 검토에서 확인된 CI / 범위 안 CI | 퍼센트 | CMDB 매칭 보고서와 검토 표본 | 서비스 구성 관리 | 단일 진실 원천 | 월 | 비율을 낮추려고 서로 다른 CI를 병합함, 매칭 규칙을 느슨하게 함 | 병합의 정확성 표본 조사, 병합 규칙 기록 |
| 갱신 지연 | 현실에서 CI가 바뀐 때부터 CMDB에서 갱신되기까지의 지연 | 변경 이벤트부터 CMDB 갱신까지 시간 또는 일수의 중앙값과 85번째 백분위수 | 시간 또는 일 | CMDB 타임스탬프와 비교한 변경 이벤트 및 파이프라인 이벤트 | 서비스 구성 관리, 변경 활성화 | 파이프라인의 자동 등록 | 월 | 변경 이벤트의 날짜를 소급함, 자동화된 갱신만 셈 | 원천 시스템의 이벤트와 갱신 타임스탬프 비교, 감사 추적 |
| CMDB 사용률 | CI를 참조하는 인시던트와 변경의 비율, 그리고 그 중 사용자가 레코드가 도움이 되었다고 보고하는 비율 | 유효한 CI를 참조하는 레코드 / 기간 중 인시던트와 변경, 그리고 CI 데이터가 도움이 된 검토 레코드의 비율 | 퍼센트 | ITSM 도구, 짧은 피드백 프롬프트 | 인시던트 관리, 변경 활성화 | 작업에서 공유 레코드를 쓰는 팀 | 월 | 형식적으로 CI 참조를 추가함, 아무 값이나 넣도록 필드를 필수로 만듦 | 참조된 CI가 관련 있는지 점검, 도움이 되었는지 묻는 피드백 질문 |
7.5 서비스 비용과 단위 경제성
원본 주제: (주제 7.5, 서비스 비용과 단위 경제성 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 서비스별 비용 | 문서화된 배분 규칙으로 계산한, 이름이 있는 서비스의 완전 부담 연간 비용 | 해당 기간 서비스의 직접 비용 + 배분된 공유 비용 | 연간 통화 단위 | 총계정원장, 비용 센터 데이터, 클라우드 및 라이선스 청구서, 시간 또는 활동 데이터 | 서비스 재무 관리, 서비스 카탈로그 관리 | 상설 제품 팀과 그 플랫폼의 비용 | 분기 | 배분 규칙으로 비용을 다른 서비스에 떠넘김, 불리한 비용을 배분하지 않고 남겨 둠 | 배분 범위, 소유자가 공개하고 검토하는 규칙, 총계를 원장과 비교 |
| 단위 원가 | 활성 사용자당, 거래당, 해결된 요청당처럼 사용자가 가치 있게 여기는 단위당 비용 | 해당 기간 서비스별 비용 / 해당 기간 전달된 단위 수 | 단위당 통화 단위 | 서비스별 비용과 물량 데이터 | 서비스 재무 관리, 서비스 수준 관리 | 성과당 서비스 제공 비용 | 분기 | 가치가 낮은 단위로 분모를 키움, 비용을 줄이려 품질을 깎음, 단위를 바꿈 | 품질 짝 지표, 고정된 단위 정의, 성과 점검 |
| 배분 범위 | 이름이 있는 서비스에 귀속되었거나 공유 간접비로 선언된 IT 지출의 비율 | 서비스에 귀속되었거나 간접비로 선언된 지출 / 전체 IT 지출 | 백분율 | 총계정원장과 배분 모델 | 서비스 재무 관리 | 각 팀 업무의 가시적 비용 | 분기 | 귀속을 피하려고 큰 금액을 공유 간접비로 선언 | 간접비 비중 보고, 무엇을 왜 간접비로 선언했는지 검토 |
| 운영, 변경, 개선 비중 | 서비스 운영, 서비스 변경, 서비스 개선에 쓰인 지출 또는 역량의 비율 | 각 범주의 지출 또는 역량 / 합계 | 백분율 | 원장 태그, 작업 추적기의 작업 유형 | 서비스 재무 관리, 지속적 개선 | 작업 유형별 역량 배분 | 분기 | 운영 작업을 개선이나 변경으로 이름 바꿈, 기간 말에 태그를 붙임 | 접수 시점에 태그 부착, 항목 표본의 유형 확인, 인시던트 및 요청 데이터와 비교 |
| 예측 편차 | 서비스별 예측 비용과 실제 비용의 차이 | (실제 - 예측) / 예측 | 백분율 | 예측 기록과 원장 | 서비스 재무 관리 | 예측 정확도 | 월 | 예측에 여유분을 덧붙임, 기간 후반에 예측을 수정 | 기간 시작 시 예측을 기록, 시간에 걸쳐 예측 범위를 실제와 비교 |
| 쇼백 이의 제기율 | 서비스 소유자가 이의를 제기해 실제로 변경된 쇼백 또는 차지백 항목의 비율 | 이의 제기 후 변경된 항목 수 / 발행된 항목 수 | 백분율 | 쇼백 시스템과 이의 제기 기록 | 서비스 재무 관리 | 공유 비용에 대한 회고 | 분기 | 이의 제기를 단념시킴, 규칙 변경 없이 항목만 바꿈 | 이의 제기와 결과 검토, 반복된 이의 제기 후 규칙이 바뀌었는지 확인 |
| 상설 팀 자금 비중 | 서비스를 위한 안정적인 팀 역량으로 자금이 조달되는 전달 및 운영 지출의 비율 | 상설 서비스 팀 지출 / 전체 전달 및 운영 지출 | 백분율 | 원장과 조직도 | 서비스 재무 관리, 조직 변화 | 서비스와 동기 부여된 사람들을 중심으로 꾸린 팀 | 연 | 자금 조달이나 소유권을 바꾸지 않고 프로젝트를 상설 팀으로 이름만 바꿈 | 시간에 걸친 팀 안정성과 소유권 확인, 서비스 건강 지표 |
7.6 FinOps와 클라우드 비용 지표
원본 주제: (주제 7.6, FinOps와 클라우드 비용 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 배분 포괄률 | 소유 팀이나 선언된 공유 풀에 귀속된 클라우드 지출의 비율 | 유효한 소유자 및 서비스 태그가 있거나 선언된 공유 풀에 있는 지출 / 총 클라우드 지출 | 퍼센트 | 클라우드 청구 내보내기, 태그 정책 | 서비스 재무 관리, IT 자산 관리 | 자신이 운영하는 것에 대한 팀 소유권 | 주 | 모든 것을 포괄적 소유자에게 태그함, 많은 금액을 공유로 선언함 | 포괄적 소유자가 소유한 지출의 비율, 공유 풀의 크기와 검토, 소유자 확인 표본 |
| 클라우드 단위 비용 | 사용자가 가치 있게 여기는 어떤 단위당 클라우드 자원의 비용 | 기간 중 서비스의 클라우드 비용 / 기간 중 전달한 단위 | 단위당 통화 | 서비스 물량과 결합한 청구 데이터 | 서비스 재무 관리, 서비스 수준 관리 | 성과당 서비스 비용 | 월 | 싸게 커지는 단위를 고름, 비용을 줄이려고 신뢰성을 깎음 | 고정된 단위 정의, 신뢰성과 품질의 짝 |
| 낭비율 | 유휴 상태이거나 확실히 과대한 자원에 쓰는 지출의 비율 | 합의된 규칙에 따른 유휴 또는 과대 자원에 대한 지출 / 범위 안 자원에 대한 총 지출 | 퍼센트 | 사용률 지표와 청구 | 용량 및 성능 관리, 재무 관리 | 도구 체인의 낭비 감소 | 주 | 유휴의 정의를 좁힘, 낭비를 범위 밖의 계정으로 옮김 | 레지스트리의 규칙, 모든 계정을 스캔, 규칙이 제외한 자원의 표본 조사 |
| 약정 포괄률 | 할인된 약정이 포괄하는 대상 안정 사용량의 비율 | 약정이 포괄하는 대상 사용량 / 대상 사용량 | 퍼센트 | 청구와 약정 보고서 | 서비스 재무 관리, 공급업체 관리 | 예측 가능한 수요에 대한 계획 | 월 | 높은 퍼센트를 쫓아 부풀려진 기준선으로 약정함 | 약정 활용률, 사용 이력에 비춰 기준선 점검 |
| 약정 활용률 | 구매한 약정 중 쓰인 비율 | 사용한 약정 시간 / 구매한 약정 시간 | 퍼센트 | 약정 보고서 | 서비스 재무 관리, 공급업체 관리 | 계획된 투자의 가치 | 월 | 약정을 채우려고 필요하지 않은 대상 사용을 추가함 | 실제 수요 성장과 비교, 단위 비용 |
| 예측 편차 | 팀별 및 전체의 예측과 실제 클라우드 지출의 차이 | (실제 빼기 예측) / 예측 | 퍼센트 | 예측 로그와 청구 데이터 | 서비스 재무 관리 | 예측 정확성 | 월 | 예측에 여유분을 더함, 늦게 수정함 | 시작 시 예측을 기록, 범위 폭과 적중률을 추적 |
| 이상 징후 확인 시간 | 비용 이상 징후 경보부터 소유자의 기록된 결정까지의 시간 | 경보부터 소유자 응답까지 시간의 중앙값과 85번째 백분위수 | 시간 | 이상 징후 경보와 티켓 기록 | 모니터링 및 이벤트 관리, 인시던트 관리 | 운영 신호에 대한 응답성 | 월 | 보지 않고 경보를 확인함, 경보를 자동으로 닫음 | 결정과 결과를 기록, 대응 품질을 위한 경보 표본 조사 |
7.7 투자 수익과 비즈니스 케이스
원본 주제: (주제 7.7, 투자 수익과 비즈니스 케이스 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 투자 수익률 | 명시된 기간 동안 비용에 상대적인 순이득 | 기간 중 (총이익 빼기 총비용) / 총비용 | 퍼센트 | 비즈니스 케이스, 원장, 이익 레지스트리 | 서비스 재무 관리, 지속적 개선 | 자금 대비 성과 검토 | 결정 시와 각 검토 시 | 긴 기간을 고르거나 연성 이익을 셈, 운영 비용을 뺌 | 기간과 비용 범위의 고정 규칙, 이익 증거 품질, 독립 검토 |
| 총소유비용 | 명시된 기간 동안 서비스나 자산의 전 수명 비용 | 기간 중 취득 + 운영 + 지원 + 변경 + 교육 + 폐기 비용 | 통화 | 원장, 비용 모델, 공급업체 계약 | 서비스 재무 관리, IT 자산 관리 | 상설 팀과 그 플랫폼의 비용 | 결정 시와 매년 | 지원, 교육, 변경 노력, 폐기를 빠뜨림, 낙관적 물량을 씀 | 비용 범주의 체크리스트, 유사한 과거 작업의 실제 TCO와 비교 |
| 회수 기간 | 누적 순이익이 초기 투자와 같아지는 데 걸리는 시간 | 누적 이익 빼기 누적 비용이 0에 도달하는 시점 | 월 | 비즈니스 케이스 현금 흐름 | 서비스 재무 관리 | 첫 가치까지의 시간, 비용 회수로 확장 | 결정 시와 각 검토 시 | 시작을 늦게 정의함, 실현되지 않은 이익을 셈 | 고정된 시계 정의, 이익 추정 정확성과 비교 |
| 순현재가치 | 명시된 할인율에서 기대 이익의 현재 가치 빼기 비용의 현재 가치 | 기간에 걸친 (이익 빼기 비용) / (1 + 할인율)의 기간 제곱의 합 | 통화 | 비즈니스 케이스 현금 흐름, 할인율에 대한 재무 정책 | 서비스 재무 관리 | 가치 기반 우선순위 | 결정 시 | 낮은 할인율을 고름, 지평을 늘림 | 재무 정책이 정하는 할인율, 민감도 분석 표시 |
| 비용 추정 정확성 | 완료된 이니셔티브의 추정 비용 대비 실제 비용의 비율 | 이니셔티브별 및 분포로서 승인 시 추정 비용 대비 실제 비용 | 비율 | 비즈니스 케이스 기록과 원장 | 서비스 재무 관리, 지속적 개선 | 예측 정확성 | 분기 | 사후에 기준 추정을 수정함, 초과를 범위 변경으로 제외함 | 승인 시 고정한 추정, 승인과 함께 범위 변경 기록, 완료까지의 총비용 표시 |
| 이익 추정 정확성 | 이익의 증거 규칙을 사용한, 완료된 이니셔티브의 기대 이익 대비 실현 이익의 비율 | 이니셔티브별 및 분포로서 승인 시 기대 이익 대비 실현 이익 | 비율 | 비즈니스 케이스 기록과 이익 레지스트리 | 지속적 개선, 서비스 가치 체계 거버넌스 | 이해관계자와의 성과 검토 | 분기 | 측정하지 않은 이익을 셈, 이익을 재정의함 | 이익 레지스트리 규칙, 전달 팀 밖의 소유자가 확인 |
| 증거 기반 중단율 | 증거가 그림을 바꾸어 단계 관문에서 중단하거나 재구성한 자금 지원 이니셔티브의 비율 | 관문에서 증거에 따라 중단하거나 재구성한 이니셔티브 / 관문에 도달한 이니셔티브 | 퍼센트 | 단계 관문 결정 로그 | 지속적 개선, 포트폴리오 거버넌스 | 출시된 작업에서의 학습 | 분기 | 비율을 부풀리려고 가치 낮은 작업을 중단함, 아무것도 중단하지 않음 | 정확성 측정치와 함께 읽기, 중단과 계속의 이유 검토 |
제8부: 보안, 위험, 규정 준수, 공급업체 지표
8.1 보안 인시던트와 취약점 지표
원본 주제: (주제 8.1, 보안 인시던트와 취약점 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 노출 기간 | 알려진 취약점이 범위 안 자산에서 우선순위 구간별로 열려 있는 시간 | 자산에 적용되는 것으로 알려진 날부터 수정이나 수용된 완화가 검증된 날까지 일수의 중앙값과 85번째 백분위수 | 일 | 취약점 스캐너, 티켓 시스템, 변경 레코드 | 정보 보안 관리, 문제 관리 | 백로그의 결함을 고치는 시간 | 주 | 검증 없이 발견 사항을 닫음, 시작 날짜를 바꿈, 심각도를 재분류함 | 수정 팀 밖의 누군가가 하는 검증 단계, 레지스트리의 시작 날짜 규칙, 심각도 변경 로그 |
| 패치 준수 | 부류별 패치 정책 구간을 충족하는 범위 안 자산의 비율 | 정책 구간 안에 패치한 자산 / 기간 중 패치가 필요했던 범위 안 자산 | 퍼센트 | 엔드포인트 및 서버 관리 도구, 자산 레지스트리 | 정보 보안 관리, 릴리스 및 배포 관리 | 파이프라인에서 최신으로 유지되는 의존성 | 주 | 패치하기 어려운 자산을 범위에서 제외함, 시스템을 재시작하지 않았는데 패치를 적용한 것으로 셈 | 범위 변경 기록, 티켓이 아니라 자산에서 설치된 버전을 검증 |
| 기한이 지난 핵심 발견 사항 | 정책 기한을 넘긴 핵심 우선순위 발견 사항의 건수와 경과 | 기한을 넘긴 핵심 발견 사항 수, 가장 오래된 것의 경과 | 건수, 일 | 취약점 관리 시스템 | 정보 보안 관리, 위험 관리 | 합의된 한도를 넘는 보안 결함 | 주 | 발견 사항을 쪼개거나 병합함, 심각도를 낮춤 | 고유한 취약점과 자산별로 셈, 모든 심각도 변경 검토 |
| 스캔 포괄률 | 요구되는 간격 안에 평가된 범위 안 자산의 비율 | 지난 간격에 성공적으로 스캔한 자산 / 범위 안 자산 | 퍼센트 | 자산 레지스트리와 결합한 스캐너 보고서 | 정보 보안 관리, IT 자산 관리 | 모든 빌드에서 실행되는 파이프라인 점검 | 주 | 더 좁은 집합을 스캔함, 인증에 실패한 스캔을 셈 | 자산 레지스트리에 비춘 포괄, 스캔 품질(인증됨, 완전함) |
| 격리까지의 시간 | 확인된 보안 인시던트의 탐지부터 격리까지의 시간 | 탐지부터 격리까지 시간의 중앙값과 85번째 백분위수 | 시간 | 인시던트 레코드 | 인시던트 관리, 정보 보안 관리 | 실패 뒤 서비스를 복구하는 시간 | 인시던트별, 월간 검토 | 시계를 더 늦게 시작함, 격리를 일찍 선언함 | 시계는 첫 탐지 신호에서 시작, 증거로 격리를 검증 |
| 위험 예외 경과 | 수용된 위험 예외의 경과와 검토 날짜를 넘은 비율 | 승인 후 일수, 검토 날짜를 넘은 예외 / 열린 예외 | 일, 퍼센트 | 예외 레지스트리 | 위험 관리, 정보 보안 관리 | 기술 부채 검토 | 월 | 예외를 자동으로 갱신함, 경과를 줄이려고 예외를 쪼갬 | 이유와 함께 예외 갱신 검토, 새 증거 없는 갱신에 상한 |
| 보안 신고율 | 신고 문화의 지표로서, 확인된 보안 이벤트에 상대적인 직원이 신고한 의심스러운 이벤트의 비율 | 기간 중 직원의 신고 / 기간 중 확인된 의심스러운 이벤트, 그룹 수준 추세와 함께 | 비율 | 보안 메일함, 인시던트 레코드 | 정보 보안 관리, 인시던트 관리 | 장애물을 공개적으로 제기하기 | 월 | 가치 낮은 신고를 장려함, 다른 수치를 개선하려고 신고를 막음 | 신고의 품질, 의견 읽기, 신고가 안전하다고 느끼는지에 대한 설문 |
8.2 위험과 통제 지표
원본 주제: (주제 8.2, 위험과 통제 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 위험 검토 최신성 | 합의된 간격 안에 소유자가 검토한 열린 위험의 비율 | 간격 안에 검토한 위험 / 열린 위험 | 퍼센트 | 위험 레지스트리 검토 날짜 | 위험 관리, 지속적 개선 | 계획과 검토 대화에서 검토하는 위험 | 월 | 논의 없이 위험을 검토됨으로 표시함, 간격을 바꿈 | 내용에 대한 검토 표본 조사, 레지스트리의 고정된 간격 |
| 소유자 포괄률 | 소유권을 수락한 지명된 현재 소유자가 있는 열린 위험의 비율 | 확인된 현재 소유자가 있는 위험 / 열린 위험 | 퍼센트 | 사람 디렉터리와 결합한 위험 레지스트리 | 위험 관리 | 백로그의 팀 소유 위험 | 월 | 본인이 모르는 채 소유자를 배정함, 권한이 없는 고위 인사를 지명함 | 소유자 확인, 소유자가 대응에 따라 행동할 수 있는지 점검 |
| 통제 시험 포괄률 | 필요한 주기 안에 작동을 시험한 핵심 통제의 비율 | 주기 안에 시험한 핵심 통제 / 핵심 통제 | 퍼센트 | 통제 레지스트리와 시험 기록 | 위험 관리, 정보 보안 관리 | 파이프라인의 자동 점검 | 분기 | 쉬운 통제를 시험함, 설계 검토를 작동 시험으로 셈 | 제3자가 고정한 핵심 통제 목록, 기록한 시험 유형 |
| 통제 효과율 | 설계대로 작동하는 것으로 확인된 시험된 통제의 비율 | 효과적인 것으로 확인된 통제 / 시험한 통제 | 퍼센트 | 시험 결과 | 위험 관리, 지속적 개선 | 올바른 이유로 통과하는 자동화 시험 | 분기 | 작은 표본을 시험함, 통과하는 표본을 고름 | 소유자와 독립적인 표본 방법, 기록한 표본 크기 |
| KRI 위반 대응 시간 | 핵심 위험 지표가 임계값을 넘은 때부터 기록된 결정까지의 시간 | 위반부터 결정까지 시간 또는 일수의 중앙값과 85번째 백분위수 | 시간 또는 일 | KRI 모니터링과 결정 로그 | 위험 관리, 모니터링 및 이벤트 관리 | 운영 신호에 대한 반응 | 월 | 위반 뒤에 임계값을 바꿈, 내용 없는 결정을 기록함 | 임계값 변경 로그, 결정 내용의 표본 |
| 처리 계획 적시성 | 약속한 날짜까지 완료한 위험 처리의 비율 | 날짜까지 완료한 처리 / 기간 중 기한이 도래한 처리 | 퍼센트 | 위험 레지스트리와 조치 트래커 | 위험 관리, 지속적 개선 | 전달된 개선 조치 | 분기 | 쉬운 날짜를 정함, 완료를 재정의함 | 승인 시 소유자와 합의한 날짜, 위험 평가가 움직였는지 점검 |
| 위험 기반 변경 비중 | 통제 증거를 첨부해 위험 기반 경로로 승인한 변경의 비율 | 필요한 증거와 함께 위험 기반 경로로 승인한 변경 / 기간 중 변경 | 퍼센트 | 변경 레코드 | 변경 활성화, 위험 관리 | 자동화된 점검과 함께 지속적으로 전달되는 변경 | 월 | 검토를 피하려고 변경을 낮은 위험으로 분류함, 통제가 만들지 않은 증거를 첨부함 | 규칙에 비춘 분류의 표본 조사, 파이프라인의 자동화된 증거 |
8.3 규정 준수와 감사 지표
원본 주제: (주제 8.3, 규정 준수와 감사 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 의무 포괄률 | 소유자와 증거 원천이 있는 통제에 대응된 해당 의무의 비율 | 소유자와 증거 원천이 있는 통제에 최소 하나 대응된 의무 / 해당 의무 | 퍼센트 | 의무 레지스트리와 통제 레지스트리 | 거버넌스, 정보 보안 관리, 위험 관리 | 완료의 정의에 통제 증거 포함 | 분기 | 의무를 약하거나 무관한 통제에 대응시킴, 의무를 좁게 정의함 | 제3자가 하는 통제 관련성 검토, 통제 시험(주제 8.2, 위험과 통제 지표 참조) |
| 증거 자동화율 | 기록 시스템에서 자동으로 수집한 범위 안 통제 증거의 비율 | 자동으로 수집한 통제 증거 항목 / 필요한 증거 항목 | 퍼센트 | 통제 레지스트리, 파이프라인 및 시스템 로그 | 정보 보안 관리, 변경 활성화 | 파이프라인이 검토, 시험, 배포를 자동으로 기록 | 분기 | 스크린샷이나 내보내기를 자동으로 셈, 가치 낮은 증거를 먼저 자동화함 | 자동을 시스템이 생성하고 변조에 강한 것으로 정의, 위험으로 순위를 매김 |
| 증거 응답 시간 | 감사자나 평가자가 요청한 증거를 제공하는 데 걸리는 시간 | 요청부터 수락된 증거까지 일수의 중앙값과 85번째 백분위수 | 일 | 감사 요청 트래커 | 거버넌스, 정보 보안 관리 | 이해관계자 질문에 대한 응답성 | 감사별 | 부분적 증거를 빨리 제공함, 요청 문구를 협상함 | 수락된 증거만 셈, 후속 요청을 추적 |
| 발견 사항 종료 시간 | 심각도별로 감사 발견 사항을 닫는 데 걸리는 시간 | 발견 사항이 발행된 때부터 검증된 종료까지 일수의 중앙값과 85번째 백분위수 | 일 | 발견 사항 트래커 | 지속적 개선, 위험 관리 | 결함을 고치는 시간 | 월 | 검증 없이 발견 사항을 닫음, 심각도를 재분류함 | 독립 검증, 심각도 변경 로그 |
| 반복 발견 사항 비율 | 이전 감사나 검토에서 재발한 발견 사항의 비율 | 이전의 종료된 발견 사항과 실질적으로 일치하는 발견 사항 / 기간 중 발견 사항 | 퍼센트 | 원인 연결이 있는 발견 사항 트래커 | 지속적 개선, 문제 관리 | 수정 뒤 재발하는 결함 | 감사 주기별 | 일치하지 않도록 발견 사항을 다시 표현함, 이전 발견 사항을 다른 유형으로 닫음 | 기록된 규칙으로 원인별로 대응, 내부 감사의 검토 |
| 직무 분리 충돌 | 분리 규칙을 위반하는 접근이나 승인 조합의 건수와 해결 시간 | 탐지한 충돌, 해결까지 일수의 중앙값 | 건수, 일 | 신원 및 접근 관리 도구, 변경 레코드 | 정보 보안 관리, 변경 활성화 | 변경의 독립 검토 | 월 | 충돌을 범위 밖의 시스템으로 옮김, 기록되지 않는 임시 접근을 부여함 | 민감한 프로세스가 있는 모든 시스템 포괄, 임시 접근 검토 |
| 감사 노력 | 범위 단위당 감사 주기를 준비하고 지원하는 데 조직이 쓰는 사람-시간 | 감사 준비 및 지원에 기록한 시간 / 범위 안 통제 또는 시스템 | 단위당 시간 | 시간 기록 또는 노력 추정 | 거버넌스, 지속적 개선 | 전달 외 작업의 비용 | 감사 주기별 | 시간을 기록하지 않음, 노력을 다른 예산으로 옮김 | 시간 기록의 표본 조사, 팀 설문과 비교 |
8.4 공급업체와 계약 지표
원본 주제: (주제 8.4, 공급업체와 계약 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 공급업체 서비스 수준 달성 | 같은 서비스의 경험 측정치와 짝지은, 공급업체가 충족한 계약상 서비스 수준 측정치의 비율 | 기간 중 충족한 측정치 / 계약한 측정치. 서비스의 사용자 경험 점수 옆에 보고 | 퍼센트 | 공급업체 보고서, 자체 모니터링, 설문 데이터 | 공급업체 관리, 서비스 수준 관리 | 목표에 대한 파트너의 기여 검토 | 월 | 공급업체가 이벤트를 측정에서 제외함, 시계 멈춤, 좁은 정의 | 자체 모니터링, 경험 측정치, 제외 감사 |
| 공급업체 귀속 인시던트 시간 | 공급업체의 구성 요소나 행동에 귀속된 서비스 영향 시간 | 공급업체의 실패가 확인된 원인인 인시던트의 영향 시간의 합 | 시간 | 원인 분석이 있는 인시던트 레코드, 공급업체 인시던트 보고서 | 인시던트 관리, 공급업체 관리 | 외부 장애물로 잃은 시간 | 월 | 귀속에 이의를 제기함, 공급업체 결함을 고객 쪽으로 분류함 | 공동 원인 검토, 분쟁을 위한 중립 검토자, 분쟁 비율 추적 |
| 계약 레지스트리 포괄률 | 현재 계약, 지명된 내부 소유자, 일정된 검토가 있는 공급업체의 비율 | 셋 모두 있는 공급업체 / 범위 안 공급업체 | 퍼센트 | 계약 레지스트리, 조달 기록 | 공급업체 관리, 재무 관리 | 외부 의존성의 분명한 소유권 | 분기 | 모르는 소유자를 지명함, 날짜 없이 계약을 나열함 | 소유자 확인, 검토 회의가 열리는지 점검 |
| 실사 최신성 | 위험 평가가 검토 주기 안에 있는 핵심 공급업체의 비율 | 주기 안에 평가한 핵심 공급업체 / 핵심 공급업체 | 퍼센트 | 공급업체 위험 평가 | 공급업체 관리, 위험 관리, 정보 보안 관리 | 위험의 정기 검토 | 분기 | 설문지로만 평가함, 공급업체가 자체 인증함 | 핵심 공급업체의 증거 요구, 표본 검증 |
| 이탈 준비 | 합의된 기간 안에 시험한 문서화된 이탈 계획이 있는 핵심 공급업체의 비율 | 시험한 이탈 계획이 있는 핵심 공급업체 / 핵심 공급업체 | 퍼센트 | 이탈 계획과 시험 기록 | 공급업체 관리, 서비스 연속성 관리 | 의존성의 연습된 복구 | 연 | 계획을 쓰고 시험했다고 부름, 실제 단계 없는 연습 | 연습한 것을 기록, 연습의 독립 검토 |
| 집중도 | 시험된 대안 없이 단일 공급업체에 의존하는 핵심 서비스의 비율 | 단일 공급업체 의존성이 있고 시험된 대안이 없는 핵심 서비스 / 핵심 서비스 | 퍼센트 | 의존성 지도, 공급업체 레지스트리 | 공급업체 관리, 위험 관리 | 단일 장애 지점 회피 | 분기 | 서류상 한 공급업체를 여러 법인으로 쪼갬 | 궁극적 제공자까지의 의존성 지도, 공유 플랫폼 검토 |
| 공동 조치 종료율 | 공급업체와의 공동 검토에서 합의한 조치 중 기한까지 닫은 비율 | 기한까지 닫은 공동 조치 / 기한이 도래한 공동 조치 | 퍼센트 | 검토 회의록과 조치 트래커 | 공급업체 관리, 지속적 개선 | 전달된 회고 조치 | 분기 | 쉬운 조치를 정함, 효과 없이 닫음 | 조치 품질 검토, 의도한 문제가 개선되었는지 점검 |
8.5 규제 및 정부 보고
원본 주제: (주제 8.5, 규제 및 정부 보고 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 보고 의무 포괄률 | 지명된 소유자, 명시된 정의, 데이터 원천, 달력 항목이 있는 보고 의무의 비율 | 넷을 모두 갖춘 의무 / 범위 안 보고 의무 | 퍼센트 | 의무 레지스트리 | 측정 및 보고, 거버넌스 | 정보 필요에 대한 이해관계자와의 업무 합의 | 분기 | 의무를 좁게 다룸, 합의 없이 소유자를 나열함 | 규정 준수나 내부 감사의 레지스트리 검토, 소유자의 확인 |
| 보고서 적시성 | 기한까지 제출한 필수 보고서의 비율 | 기한 당일 또는 이전에 제출한 보고서 / 기간 중 기한이 도래한 보고서 | 퍼센트 | 보고 달력과 제출 기록 | 측정 및 보고 | 이해관계자에 대한 약속 충족 | 월 | 날짜를 맞추려고 불완전한 보고서를 제출함, 초안을 제출로 셈 | 제출 시 완전성 점검, 수락된 보고서만 셈, 정정률 |
| 정정률 | 이후에 정정된 제출 보고서 또는 수치의 비율 | 제출 후 정정한 보고서 또는 수치 / 제출한 보고서 또는 수치 | 퍼센트 | 제출 로그와 정정 로그 | 측정 및 보고, 지속적 개선 | 빠져나간 결함 | 분기 | 정정을 억제함, 정정을 조용히 함 | 독립적인 독자가 검토하는 정정 로그, 낮은 비율은 추적성과 함께 읽기 |
| 추적성 포괄률 | 문서화된 단계를 통해 기록 시스템까지 추적할 수 있는 보고 수치의 비율 | 기록 시스템까지 문서화된 계보가 있는 수치 / 보고한 수치 | 퍼센트 | 계보 문서, 보고서 명세 | 측정 및 보고, 지식 관리 | 재현 가능한 빌드 | 분기 | 계보를 피상적으로 문서화함, 단순한 수치만 포함함 | 원천에서 계산을 다시 수행해 계보를 표본 조사 |
| 정의 정렬 | 법정 정의와 내부 정의가 문서화되고 대조된 보고 측정치의 비율 | 문서화된 대조가 있는 측정치 / 법정 정의가 있는 보고 측정치 | 퍼센트 | 지표 레지스트리 | 측정 및 보고, 서비스 수준 관리 | 공유된 완료의 정의 | 분기 | 대조 없이 정의가 정렬되었다고 선언함, 보고서에서만 법정 정의를 채택함 | 대조 문서 검토, 두 수치를 나란히 표시 |
| 보고 노력 | 반복되는 보고서를 만드는 데 쓴 사람-시간 | 보고 주기당 기록한 시간, 수작업 추출과 조립의 비율과 함께 | 시간 | 시간 추정, 노력 로그 | 측정 및 보고, 지속적 개선 | 전달 외 작업의 비용 | 보고 주기별 | 시간을 기록하지 않음, 일을 다른 팀으로 옮김 | 팀 피드백과 비교, 추정에 모든 기여자를 포함 |
| 공표 접근성 적합도 | 요구되는 접근성 표준을 충족하는 공표 보고서와 데이터 집합의 비율 | 접근성 점검을 통과한 공표 항목 / 공표 항목 | 퍼센트 | 접근성 시험 결과 | 측정 및 보고, 지식 관리 | 포용적인 완료의 정의 | 분기 | 일부 문제만 찾는 점검기를 돌림, 뒤처지는 별도의 접근 가능한 버전을 공표함 | 보조 기술로 하는 수작업 시험, 버전 사이의 동등성 점검 |
제9부: 사람, 팀, 개선 지표
9.1 팀 건강과 개발자 경험
원본 주제: (주제 9.1, 팀 건강과 개발자 경험 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 피드백 고리 시간 | 고리 유형별로, 흔한 행동의 결과를 사람이 얻는 데 걸리는 시간 | 팀별 빌드, 시험 실행, 코드 리뷰 대기, 배포의 분 또는 시간의 중앙값과 85번째 백분위수 | 분 또는 시간 | 팀별로 집계한 파이프라인 및 리뷰 도구 타임스탬프 | 릴리스 및 배포 관리, 지속적 개선 | 지속적 전달의 빠른 피드백 | 주 | 느린 경우를 제외함, 대부분의 작업이 타지 않는 빠른 경로를 측정함 | 85번째 백분위수 보고, 레지스트리에 각 고리의 시작과 끝을 정의 |
| 집중 시간 비중 | 팀이 보고한, 합의된 최소 길이의 방해받지 않는 블록에 쓴 근무 시간의 비율 | 짧은 펄스로 수집한 팀 보고 집중 블록 시간 / 근무 시간 | 퍼센트 | 팀 펄스, 달력 데이터는 팀이 동의하고 집계한 경우에만 | 지속적 개선, 지식 관리 | 깊은 작업을 위한 보호된 시간 | 월 | 집중하지 않으면서 달력 시간을 막음, 관리자를 기쁘게 하려고 집중을 부풀려 보고함 | 팀이 소유하는 펄스, 방해 원인과 비교, 개인별 보고 없음 |
| 인지 부하 평가 | 명명된 시스템이나 프로세스를 이해하고 바꾸는 것이 얼마나 어려운지에 대한 팀의 평가 | 시스템별로 짧은 합의된 척도의 평균 평가와 분산 | 척도 점수 | 시스템이나 프로세스에 연결된 짧은 펄스 | 서비스 설계, 지식 관리 | 작업에 대한 공유된 이해 | 분기 | 정밀 검토를 피하려고 시스템을 낮게 평가함, 평가할 쉬운 시스템을 고름 | 시스템의 고정 목록을 평가, 온보딩 시간과 인시던트 패턴과 비교 |
| 장애물 해결 시간 | 팀이 장애물을 제기한 때부터 제거되거나 제거하지 않기로 한 기록된 결정까지의 시간 | 제기부터 해결 또는 결정까지 일수의 중앙값과 85번째 백분위수 | 일 | 장애물 목록 또는 트래커 | 지속적 개선, 문제 관리 | 제거된 장애물 | 월 | 고치지 않고 장애물을 닫음, 장애물 기록을 거부함 | 팀이 해결을 확인, 다시 열린 장애물의 비율 |
| 팀 건강 점검 추세 | 팀이 고른 차원에 대한 팀 자신의 평가를 시간에 따라 추적한 것 | 점검 사이의 팀이 고른 차원 평가의 변화 | 척도 점수 | 팀이 소유하는 팀 건강 점검 | 지속적 개선 | 더 효과적이 되는 방법에 대한 팀의 돌아보기 | 월 또는 분기 | 관리자가 좋은 점수를 압박함, 주목을 피하려고 팀이 점수를 조정함 | 팀이 결과를 소유, 팀의 동의가 있을 때만 추세를 공유 |
| 도구와 프로세스 만족도 | 매일 쓰는 도구와 프로세스에 대한 만족의 팀 평가 | 명명된 각 도구나 프로세스의 평균 평가 또는 호의적 응답 비율 | 척도 점수 또는 퍼센트 | 짧은 펄스 | 서비스 수준 관리, 지속적 개선 | 작업에 대한 환경의 적합성 | 분기 | 행복한 사용자에게 설문함, 직원이 잘 답하도록 훈련함 | 응답률과 구성, 의견 읽기, 시스템 측정치에 연결 |
| 차원 포괄 | 팀이 실제로 쓰는 측정치가 포괄하는 SPACE 차원의 수 | 쓰고 있는 측정치가 최소 하나 있는 다섯 차원의 수 | 건수(0에서 5) | 지표 레지스트리 | 측정 및 보고, 거버넌스 | 균형 잡힌 측정치 | 연 | 형식적인 측정치로 차원을 셈 | 셈한 각 측정치가 결정에 쓰이는지 점검 |
9.2 만족도와 웰빙 지표
원본 주제: (주제 9.2, 만족도와 웰빙 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 지속 가능한 속도 평가 | 현재 속도를 무기한 유지할 수 있는지에 대한 팀의 평가 | "우리는 이 속도로 무기한 계속 일할 수 있다"라는 진술에 대한 합의된 척도의 평균 평가와 분산 | 척도 점수 | 익명 팀 펄스 | 지속적 개선, 인력 및 인재 관리 | 일정한 속도를 무기한 | 월 | 관리자가 좋은 점수를 압박함, 팀이 기대되는 것을 보고함 | 익명성과 그룹 크기 규칙, 업무량 사실과 비교, 의견 읽기 |
| 심리적 안전 평가 | 문제를 제기하고 대인 관계의 위험을 감수하는 것이 얼마나 안전한지에 대한 팀의 평가 | 팀별로 짧은 검증된 진술 집합의 평균 평가 | 척도 점수 | 익명 팀 펄스 | 지속적 개선, 인력 및 인재 관리 | 신뢰와 열린 돌아보기 | 분기 | 안전한 팀에만 설문함, 점수를 올리는 문구 변경 | 고정된 문구 로그, 응답률과 구성, 인시던트와 실수의 보고율과 비교 |
| 욕구 지원 평가 | 일에서의 자율성, 유능감, 관계성에 대한 팀의 평가 | 팀별로 세 진술 각각의 평균 평가 | 척도 점수 | 익명 팀 펄스 | 인력 및 인재 관리, 지속적 개선 | 필요한 환경이 있는 의욕 있는 개인 | 분기 | 진술을 재정의함, 답을 코칭함 | 안정된 문구, 팀이 소유하는 해석, 의견 |
| 업무량 부담 평가 | 용량에 비해 업무량이 얼마나 부담스러운지에 대한 팀의 평가 | 평균 평가와, 업무량을 지속 불가능하다고 평가한 비율 | 척도 점수, 퍼센트 | 익명 팀 펄스 | 용량 및 성능 관리, 인력 및 인재 관리 | 지속 가능한 개발 | 월 | 정밀 검토를 피하려고 보고된 부담을 낮춤, 서류상 범위를 조정함 | 계획 외 작업과 순환 근무 부하와 비교, 숨은 일 점검 |
| 지속된 연장 근무 주 | 순환 근무나 팀이 평소 시간을 훨씬 넘어 일한 주의 비율로, 순환 근무나 팀 수준에서 셈 | 팀 수준에서 연장 근무가 있었던 기간 중 주 / 기간 중 주 | 퍼센트 | 팀별로 집계한 순환 근무 기록과 온콜 로그, 팀 보고, 선택적 참여 | 인시던트 관리, 용량 및 성능 관리 | 과부하의 신호로서의 초과 근무 | 월 | 시간을 기록하지 않음, 순환 근무 기록에서 일을 옮김 | 인시던트 로그와 팀 의견과 비교, 벌 없이 보고하게 허용 |
| 자발적 이직과 퇴직 주제 | 기간 중 자발적으로 떠나는 팀원의 비율과 퇴직 대화의 주제 | 자발적 퇴직자 / 평균 인원, 동의한 퇴직자에서 나온 주제 건수 | 퍼센트, 건수 | 인사 기록, 퇴직 대화 | 인력 및 인재 관리 | 경험 있는 사람의 유지 | 분기 | 사직을 비자발적으로 재분류함, 퇴직 대화를 유도함 | 분명한 분류 규칙, 독립된 퇴직 대화, 긴 기간을 봄 |
| 웰빙 피드백에 대한 조치 시간 | 팀이 웰빙 우려를 제기한 때부터 기록된 대응까지의 시간 | 우려부터 기록된 결정 또는 조치까지 일수의 중앙값과 85번째 백분위수 | 일 | 팀 피드백 로그 | 지속적 개선 | 팀 돌아보기에 대한 신속한 대응 | 분기 | 조치 없이 대응을 기록함, 우려를 빨리 닫음 | 대응이 의미 있는지 팀이 확인, 평가가 바뀌는지 추적 |
9.3 협업과 인수인계 지표
원본 주제: (주제 9.3, 협업과 인수인계 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 인수인계 횟수 | 작업 항목이 완료되기 전에 담당 팀이 바뀐 횟수 | 항목 유형별로 완료된 항목당 팀 간 이관 횟수의 중앙값과 85번째 백분위수 | 항목당 이관 횟수 | ITSM 또는 트래커의 담당 이력을 팀별로 집계 | 인시던트 관리, 서비스 요청 관리, 변경 활성화 (change enablement) | 일을 처음부터 끝까지 맡는 교차 기능 팀 | 월간 | 다른 팀이 일하는데도 항목을 한 팀에 배정해 둠, 횟수를 피하려고 공용 대기열로 재배정 | 팀별 실제 활동 확인, 배정만이 아니라 활동 기준으로 인수인계 집계 |
| 인수인계 대기 비율 | 인수인계 후 일이 재개되기 전까지 기다리느라 쓴 시간이 항목의 경과 시간에서 차지하는 비율 | 인수인계 시점부터 받는 팀의 첫 조치까지의 시간 / 전체 경과 시간, 항목 전체의 중앙값 | 퍼센트 | 담당 지정 및 활동 타임스탬프 | 인시던트 관리, 서비스 요청 관리 | 흐름 효율, 대기열 시간 | 월간 | 단순한 접수 확인만을 첫 조치로 기록, 올바른 팀에 늦게 배정 | "첫 조치"를 실질적인 단계로 정의, 만족도 및 해결 시간과 비교 |
| 재배정 비율 | 팀 사이에서 두 번을 넘게 넘겨지거나 이전 팀으로 되돌아온 항목의 비율 | 두 번을 넘게 재배정되었거나 되돌아온 항목 / 완료된 항목 | 퍼센트 | 담당 이력 | 인시던트 관리, 문제 관리 | 재작업과 튕겨 다니는 일 | 월간 | 틀린 경우에도 재배정 거부, 항목을 닫았다가 다른 팀 이름으로 다시 열기 | 해결 품질과 재개 비율, 튕긴 항목 표본 점검 |
| 의존성 지연 | 항목이 다른 팀을 기다리며 막혀 있는 시간 | 다른 팀에 막힘 상태로 머문 일수의 중앙값과 85번째 백분위수, 의존 대상을 명시 | 일 | 트래커의 막힘 상태와 의존성 필드 | 변경 활성화, 릴리스 및 배포 관리 | 막힌 작업 항목의 경과 기간 | 월간 | 막힘 상태를 기록하지 않음, 잘못된 의존 대상 명시 | 사이클 타임 및 항목 경과 기간과 비교, 팀과 함께 의존성 필드 검토 |
| 협업 해결률 | 순차적 에스컬레이션 없이 여러 팀 사람들이 실시간으로 함께 일하여 해결한 인시던트의 비율 | 실시간 협업(예: 공유 채널이나 통화)이 기록되었고 추가 인수인계 없이 해결된 인시던트 / 대상 우선순위의 인시던트 | 퍼센트 | 협업 태그가 있는 인시던트 기록 | 인시던트 관리, 중대 인시던트 관리 | 문제에 함께 달려드는 스워밍 | 월간 | 모든 인시던트에 협업 태그 부여, 실제 작업 없는 공유 채널 개설 | 통화나 채널에 해결할 사람들이 참여했는지 확인, 해결 시간과 결과 |
| 지식 커버리지 | 정해진 수 이상의 팀원이 운영하고 변경할 수 있는 핵심 구성 요소의 비율 | 운영하고 변경할 수 있는 사람이 목표 수 이상인 핵심 구성 요소 / 핵심 구성 요소 | 퍼센트 | 팀이 관리하는 기술 및 소유권 지도 | 지식 관리, 서비스 연속성 관리 | 공동 소유권과 코드 공동 소유 | 분기 | 이론상 할 수 있는 사람을 나열, 지도를 부풀림 | 짝 작업 또는 훈련의 증거, 마지막 변경을 실제로 누가 수행했는지 질문 |
| 이해관계자 응답 시간 | 팀이 이해관계자에게 질문한 시점부터 쓸 만한 답을 받을 때까지의 시간 | 질문 기록부터 답 기록까지 걸린 시간(시간 단위)의 중앙값과 85번째 백분위수 | 시간 | 질문 로그 또는 미해결 질문용 트래커 필드 | 서비스 수준 관리, 비즈니스 관계 관리 | 이해관계자의 지속적 참여 | 월간 | 질문을 늦게 기록, 쓸 수 없는 답을 받은 것으로 표시 | 이해관계자가 답이 쓸 만하다고 확인, 질문 표본 점검 |
9.4 기술과 학습 지표
원본 주제: (주제 9.4, 기술과 학습 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 보호된 학습 시간 비중 | 따로 떼어 두고 실제로 학습에 쓴 팀 용량의 비율 | 팀 수준에서 근무 시간에 학습에 쓴 시간 또는 용량 비중 / 총 근무 용량 | 퍼센트 | 팀 용량 계획과 작업 트래커의 작업 유형 | 인력 및 인재 관리, 지속적 개선 | 돌아보기와 기술적 탁월함을 위한 시간 | 월 | 일상 업무를 학습으로 기록함, 일정을 잡았다가 취소함 | 쓴 시간만 셈, 작업 유형 기록 및 팀 의견과 비교 |
| 교차 교육 깊이 | 지난 기간에 최소 두 사람이 수행한 핵심 작업의 비율 | 기간 중 두 명 이상이 수행한 핵심 작업 / 핵심 작업 | 퍼센트 | 최근 작업으로 검증한 팀 작업 및 소유권 지도 | 지식 관리, 서비스 연속성 관리 | 작업의 공동 소유 | 분기 | 그 작업을 한 적 없는 사람을 나열함, 한 번의 관찰을 셈 | 최근 작업의 증거, 훈련 결과 |
| 첫 기여까지의 시간 | 새 팀원이 첫 실제 변경이나 해결한 사례를 완료하는 데 걸리는 시간 | 시작일부터 운영에서 첫 완료한 실제 작업 항목까지 일수의 중앙값과 85번째 백분위수 | 일 | 온보딩 트래커와 작업 트래커 | 인력 및 인재 관리, 지식 관리 | 새 팀원이 첫 변경을 하기까지의 시간 | 채용별, 분기 검토 | 사소한 변경을 셈, 시계를 늦게 시작함 | 레지스트리에 "실제" 작업을 정의, 새 구성원과 그 버디에게 물음 |
| 공동체 참여 | 기간 중 본인이 고른 실천 공동체에 참여한 팀원의 비율 | 기간 중 참석하거나, 기여하거나, 발표한 팀원 / 팀원, 팀 수준 | 퍼센트 | 자발적인 공동체 기록 | 지식 관리, 지속적 개선 | 실천 공동체 | 분기 | 참석을 의무화함, 등록을 셈 | 자발적일 때만, 공동체가 무엇을 만들었는지 물음 |
| 교육 적용률 | 학습자나 그 팀이 90일 안에 학습을 일에 썼다고 보고하는 교육 경험의 비율 | 적용했다고 보고한 학습 경험 / 완료한 학습 경험 | 퍼센트 | 학습자에게 보내는 짧은 후속 질문, 팀으로 익명화 | 인력 및 인재 관리, 지속적 개선 | 일에 적용된 학습 | 분기 | 학습자에게 적용했다고 말하도록 압박함, 열성적인 사람에게만 물음 | 익명 집계, 팀 수준의 후속 조치, 관찰 가능한 변화를 봄 |
| 관련 자격증 포괄률 | 법적, 계약상, 입문 이유로 자격증이 필요한 역할 중 요건이 충족된 비율 | 필요한 자격증을 가진 역할 / 자격증이 필요한 역할 | 퍼센트 | 역할 요건 레지스트리, 자격증 기록 | 인력 및 인재 관리, 거버넌스 | 계약 또는 규제의 입문 요건 충족 | 연 | 필요 없는 역할의 자격증을 모음, 자격증을 역량으로 취급함 | 진정한 요건으로 범위를 한정, 다른 증거로 실무 역량 점검 |
| 팀 간에 공유된 교훈 | 원래 팀 밖에 공유되어 다른 팀이 쓴 인시던트나 개선의 교훈 수 | 기간 중 다른 팀의 기록된 사용이 있는 공유된 교훈 | 건수 | 교훈 레지스트리와 검토 메모 | 지식 관리, 지속적 개선 | 팀 간에 공유되는 학습 | 분기 | 사소한 교훈을 공유함, 게시물을 셈 | 다른 팀의 기록된 사용 요구, 품질 검토 |
9.5 지속적 개선 지표
원본 주제: (주제 9.5, 지속적 개선 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 조치 이행률 | 검토에서 합의한 개선 조치 중 합의된 날짜까지 완료한 비율 | 날짜까지 완료한 조치 / 기간 중 기한이 도래한 조치 | 퍼센트 | 개선 레지스트리 또는 팀 백로그 | 지속적 개선 | 전달된 돌아보기 조치 | 월 | 사소한 조치에 합의함, 기한을 옮김, 하지 않고 닫음 | 조치의 크기와 가치 검토, 날짜 변경 기록, 효과 점검률 |
| 개선 백로그 경과 | 열린 개선 항목의 경과, 가장 오래된 것에 주의 | 열린 항목의 경과 일수의 중앙값과 85번째 백분위수, 가장 오래된 것의 경과 | 일 | 개선 레지스트리 | 지속적 개선 | 백로그 경과 | 월 | 결정 없이 오래된 항목을 "하지 않음"으로 닫음, 경과를 초기화하려고 항목을 쪼갬 | 종료 이유 기록, 조치 없이 닫은 항목 추적, 가장 오래된 것 검토 |
| 효과 점검률 | 기준선에 비춰 효과를 점검한 완료된 개선의 비율 | 기록된 전후 점검이 있는 완료된 개선 / 완료된 개선 | 퍼센트 | 기준선과 결과 필드가 있는 개선 레지스트리 | 지속적 개선, 측정 및 보고 | 실험에서의 학습 | 분기 | 기준선 없이 점검을 기록함, 성공만 점검함 | 변경 이전 날짜의 기준선, 무효 및 부정적 결과 포함 |
| 아이디어에서 시험까지의 시간 | 개선 아이디어가 제기된 때부터 실제 업무에서 첫 시험까지의 시간 | 제기부터 첫 시험까지 일수의 중앙값과 85번째 백분위수 | 일 | 개선 레지스트리 | 지속적 개선 | 변경에 대한 빠른 피드백 | 월 | 계획을 시험이라고 부름, 사소한 변형을 시험함 | 시험을 실제 업무의 변경으로 정의, 시험한 아이디어의 중요도를 봄 |
| 현장 아이디어 비중 | 일을 하는 사람들이 제기한 개선 아이디어의 비율, 팀 수준에서 셈 | 일을 하는 팀원이 제기한 아이디어 / 제기된 아이디어 | 퍼센트 | 개선 레지스트리 | 지속적 개선 | 자기 조직화 팀 | 분기 | 관리자가 직원 이름으로 아이디어를 올림, 의무적인 아이디어 할당량 | 팀 수준에서 기록한 저자별 아이디어, 할당량 없음, 팀에게 물음 |
| 반복 문제 비율 | 원인을 제거하려는 개선 뒤에 재발한 문제의 비율 | 관련 개선이 닫힌 뒤 명시된 기간 안에 재발한 문제 / 관련 원인이 있는 닫힌 개선 | 퍼센트 | 원인으로 연결된 인시던트, 문제, 개선 레코드 | 문제 관리, 지속적 개선 | 수정 뒤 빠져나간 결함 | 분기 | 같은 문제에 다른 원인을 기록함, 이전 레코드를 다른 유형으로 닫음 | 기록된 규칙으로 원인별 대응, 팀 밖의 누군가가 검토 |
| 개선 용량 비중 | 개선 작업에 쓴 팀 용량의 비율 | 개선으로 태그된 용량 또는 완료 항목 / 총 용량 또는 완료 항목 | 퍼센트 | 작업 트래커의 작업 유형 | 지속적 개선, 용량 및 성능 관리 | 돌아보기와 기술적 탁월함을 위한 시간 | 월 | 일상 업무를 개선으로 태그함, 일정을 잡았다가 전달에 씀 | 유형에 대한 항목 표본 조사, 실제 쓴 시간과 비교 |
9.6 조직 변화와 도입 지표
원본 주제: (주제 9.6, 조직 변화와 도입 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 목적 명확성 | 실천의 목적과 그것이 작동하는지 알 방법을 자기 말로 진술할 수 있는 팀원의 비율 | 짧은 익명 점검에서 분명한 목적과 지표를 준 구성원 / 질문받은 구성원, 팀 수준 | 퍼센트 | 팀별로 집계한 짧은 익명 점검 | 조직 변화 관리, 지속적 개선 | 왜 이렇게 일하는지에 대한 팀의 이해 | 분기 | 사람들이 목적을 암송하도록 코칭함, 유도 질문을 함 | 익명 점검, 어떻게 알지에 대한 예 요청, 성과 변화와 비교 |
| 실천 도입 폭 | 참석이 아니라 관찰 가능한 행동으로 정의한, 정의된 실천을 쓰는 팀의 비율 | 지난 기간에 정의된 행동을 보이고 팀과 관찰자가 확인한 팀 / 범위 안 팀 | 퍼센트 | 관찰로 확인한 팀 자체 평가 | 조직 변화 관리 | 실천의 확산 | 분기 | 보드와 회의를 셈, 팀이 관찰자를 위해 연기함 | 행동과 목적으로 정의, 팀 밖의 누군가가 관찰, 성과 변화 |
| 비교에 비춘 성과 변화 | 같은 기간 비슷한 비도입 팀과 비교한, 도입한 팀의 성과 측정치 변화 | 도입한 팀의 성과 변화 빼기 비교 팀의 변화 | 성과 단위 | 팀별 성과 측정치(흐름, 안정성, 경험) | 지속적 개선, 측정 및 보고 | 실험에서의 학습 | 분기 | 유리한 비교 그룹이나 기간을 고름, 다른 변경을 빼놓음 | 비교와 기간을 미리 고름, 다른 변경을 나열, 불확실성을 보여 줌 |
| 변화 부하 | 한 팀에 동시에 영향을 주는 중대한 변화의 수 | 기간 중 팀이 일하는 방식을 바꾸도록 요구하는 중대한 변화 이니셔티브의 수, 팀별 | 건수 | 변화 포트폴리오와 팀 입력 | 조직 변화 관리, 변경 활성화 | 지속 가능한 속도 | 분기 | 이니셔티브를 작은 조각으로 쪼갬, 비공식적으로 오는 변경을 세지 않음 | 팀 업무에 미치는 영향으로 셈, 팀에게 흡수하는 것을 나열하게 함 |
| 이해관계자 참여율 | 영향받는 사람들이 설계와 검토에 참여한 변화 이니셔티브의 비율 | 영향받는 사람들의 참여가 기록된 이니셔티브 / 이니셔티브 | 퍼센트 | 이니셔티브 기록과 영향받는 팀의 확인 | 조직 변화 관리, 이해관계자 참여 | 지속적인 이해관계자 참여 | 분기 | 사람들을 브리핑에 초대하고 참여라고 부름, 참석만 기록함 | 영향받는 팀이 설계에 영향을 주었다는 확인, 대응으로 이루어진 변경을 기록 |
| 자발적 수용 비중 | 지시받은 것이 아니라 실천을 선택한 도입 팀의 비율 | 실천을 선택했다고 보고한 도입 팀 / 도입 팀 | 퍼센트 | 팀 보고 | 조직 변화 관리 | 자기 조직화 팀 | 연 | 의무를 선택으로 제시함, 해야 한다고 느꼈는데 선택했다고 말하는 팀 | 익명 보고, 거부했다면 무슨 일이 일어났을지 물음 |
| 복귀율 | 도입한 지 1년 안에 실천을 버린 팀의 비율 | 12개월 안에 멈춘 팀 / 도입한 팀 | 퍼센트 | 시간에 걸친 팀 기록 | 조직 변화 관리, 지속적 개선 | 도움이 안 되어 버린 실천 | 연 | 실천을 버리는 것을 비싸게 하거나 숨김, 버린 실천의 이름을 바꿈 | 버린 이유 검토, 안전한 철회 허용 |
제10부: AI, 자동화, 분석을 위한 지표
10.1 서비스 관리 측정에서의 AI
원본 주제: (주제 10.1, 서비스 관리 측정에서의 AI 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 기준선 완전성 | 주요 지표에 대해 기록된 도입 전 기준선이 있는 계획된 AI 사용 사례의 비율 | 날짜가 있는 기준선이 있는 사용 사례 / 계획된 사용 사례 | 퍼센트 | 사용 사례 레지스트리 | 지속적 개선, 측정 및 보고 | 실험 전의 기준선 | 분기 | 사후에 기준선을 기록함, 편리한 지표를 씀 | 날짜가 찍힌 기준선, 기준선 방법의 독립 검토 |
| AI 사용 포괄률 | 사용 사례별로 AI를 쓴 적격 작업 항목 또는 과업의 비율 | AI 지원을 쓴 항목 / 적격 항목, 도구 로그 또는 사용자 태그에서, 팀 수준 | 퍼센트 | 도구 사용 로그, 태그 | 서비스 데스크, 인시던트 관리, 릴리스 및 배포 관리 | 기꺼이 하는 팀의 도구 도입 | 월 | 사용을 의무화함, 사소하거나 자동적인 호출을 셈 | 결코 목표가 아님, 성과 변화와 비교, 의미 있는 사용을 셈 |
| 제안 수락 및 재정의율 | 그대로 수락, 수정, 거부한 AI 제안의 비율 | 각 범주의 제안 / 제시된 제안 | 퍼센트 | 팀별로 집계한 도구 로그 | 서비스 데스크, 지식 관리 | 기계 제안의 검토 | 월 | 수락을 보상함, 거부를 번거롭게 만듦 | 목표 없음, 검토된 출력 정확성, 사용자에게 경험을 물음 |
| 검토된 출력 정확성 | 자격 있는 검토자가 올바르고 목적에 맞다고 판단한 표본 AI 출력의 비율 | 올바르다고 판단한 출력 / 표본 추출한 출력 | 퍼센트 | 표본 검토 기록 | 품질 보증, 지식 관리 | 산출물에 대한 완료의 정의 | 월 | 쉬운 출력을 표본 추출함, 관대한 검토자 | 독립 검토자의 무작위 표본, 서면 기준, 검토자 순환 |
| 기준선에 비춘 과업 시간 | 기준선이나 비교 그룹과 견준, AI를 쓴 정의된 과업의 완료 시간 | AI를 쓴 과업 시간의 중앙값과 85번째 백분위수 빼기 기준선이나 비교의 같은 값 | 분 또는 시간 | 시간을 잰 과업, 티켓 타임스탬프 | 서비스 데스크, 인시던트 관리 | 과업의 사이클 타임 | 분기 | 생성만 시간을 잼, 쉬운 과업을 고름 | 점검된 결과까지의 시간, 과업을 무작위로 표본 추출, 검토와 재작업 포함 |
| AI 지원 과업당 비용 | 검토와 재작업을 포함한 과업당 AI 지원 작업의 총비용 | (라이선스 및 사용 비용 + 검토와 재작업 시간 비용) / AI로 완료한 과업 | 과업당 통화 | 공급업체 청구서, 시간 추정, 작업 트래커 | 서비스 재무 관리 | 성과당 서비스 비용 | 분기 | 검토 시간이나 거버넌스 비용을 뺌 | 전체 비용 체크리스트, 시간 연구와 비교 |
| 비교에 비춘 성과 변화 | 비슷한 비지원 작업과 비교한 AI 지원 작업의 성과 지표 변화 | AI 지원 그룹의 지표 변화 빼기 비교 그룹의 변화 | 지표 단위 | 사용 사례별 성과 측정치(품질, 만족도, 재개방률, 결함) | 지속적 개선 | 실험에서의 학습 | 분기 | 유리한 그룹이나 기간을 고름, 다른 변화를 무시함 | 미리 합의한 비교와 기간, 다른 변화의 목록 |
10.2 AI 지원 작업 측정
원본 주제: (주제 10.2, AI 지원 작업 측정 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 유지율 | 정해진 기간이 지난 뒤에도 실질적으로 변하지 않고 남아 있는 AI 지원 변경의 비율 | 30일 뒤 수정되거나 되돌려진 비율이 정해진 수준 미만인 AI 지원 변경 / 30일 전에 병합된 AI 지원 변경 | 백분율 | 지원 태그와 결합된 버전 관리 이력(팀 수준) | 릴리스 및 배포 관리, 변경 활성화 | 정착되는 작업, 낮은 재작업 | 월간 | 숫자를 유지하려고 필요한 변경을 피함, 성공한 변경만 지원받은 것으로 태그함 | 작성자의 선택이 아니라 도구 로그로 태그, 유출 결함 및 재작업과 짝짓기 |
| 병합 후 재작업 | 짧은 기간 안에 후속 수정이 필요한 변경의 비율(지원 변경과 비교 변경 각각) | 14일 안에 연결된 후속 수정이 있는 변경 / 병합된 변경(그룹별) | 백분율 | 버전 관리, 이슈 트래커, 변경 기록 | 변경 활성화, 문제 관리 | 유출 결함, 재작업 | 월간 | 연결되지 않은 다른 티켓이나 새 변경에서 수정함, 기간을 넘기도록 수정을 미룸 | 등록부의 연결 규칙, 더 긴 기간 확인, 운영 환경 결함 |
| 리뷰 부하 | 변경당 리뷰어의 노력(지원 변경과 비교 변경 각각) | 변경당 리뷰 시간과 리뷰 횟수의 중앙값과 85번째 백분위수(그룹별) | 시간, 횟수 | 리뷰 도구 타임스탬프(팀별 집계) | 릴리스 및 배포 관리 | 피드백과 학습으로서의 리뷰 | 월간 | 측정 시간을 줄이려고 서두른 리뷰, 의견 없는 승인 | 리뷰 깊이 표본 조사, 유출 결함, 리뷰어 설문 |
| 유출 결함률 | 변경당 운영 환경에서 발견된 결함(지원 변경과 비교 변경 각각) | 릴리스 후 발견되어 한 변경에 귀속된 결함 / 릴리스된 변경(그룹별) | 변경당 결함 수 | 변경과 연결된 결함 트래커 | 인시던트 관리, 문제 관리 | 릴리스된 것의 품질 | 분기 | 결함을 변경에 귀속하지 않음, 결함을 개선 사항으로 재분류함 | 귀속 규칙, 결함 분류의 독립 표본 검토 |
| 설명 점검 통과율 | 표본으로 뽑은 AI 지원 변경 중 작성자가 리뷰에서 접근 방식과 상충 관계를 설명할 수 있는 비율 | 작성자가 리뷰어가 만족할 만큼 설명한 표본 변경 / 표본 변경 | 백분율 | 표본 리뷰 메모 | 지식 관리, 변경 활성화 | 코드에 대한 공유된 이해 | 분기 | 작성자가 점검을 대비해 연습함, 관대한 리뷰어 | 예고 없는 무작위 표본, 리뷰어 순환, 설계 이유에 초점 |
| 지원 받은 지원 업무의 품질 | AI가 지원한 응답과 지원 없는 응답을 비교한 재오픈율과 사용자 만족도 | 재오픈된 지원 티켓 / 지원 티켓, 그리고 호의적 평가 / 평가(그룹별) | 백분율 | ITSM 도구, 설문 | 서비스 데스크, 인시던트 관리 | 서비스 성과의 품질 | 월간 | 쉬운 티켓에만 지원을 사용함, 사용자가 높게 평가하도록 유도함 | 유형과 난이도로 티켓 매칭, 응답률과 구성, 의견 읽기 |
| 도구 없는 자신감 평가 | 도구 없이 핵심 업무를 해낼 수 있다는 팀의 자신감 평가 | 합의된 척도에서의 평균 평가와 분산(팀별) | 척도 점수 | 익명 팀 펄스 | 인력 및 인재 관리, 지식 관리 | 팀의 역량과 학습 | 분기 | 면밀한 검토를 피하려고 평가를 부풀림, 더 많은 도구를 주장하려고 낮게 평가함 | 익명성, 훈련에서 관찰한 실제 수행과 비교, 의견 읽기 |
10.3 AI 에이전트와 챗봇 지표
원본 주제: (주제 10.3, AI 에이전트와 챗봇 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 검증된 해결률 | 사용자가 문제가 해결되었다고 확인했거나 명시된 기간 안에 돌아오지 않은 봇 대화의 비율 | 확인된 해결이 있거나 7일 안에 재접촉이 없는 대화 / 해결 가능한 의도로 시작한 대화 | 퍼센트 | 대화 로그, 사용자 확인, 티켓 및 접촉 데이터 | 서비스 데스크, 지식 관리 | 사용자를 위한 동작하는 성과 | 주 | 대화의 아무 끝이나 해결로 셈, 유도하는 확인 질문을 함 | 확인을 중립적으로 정의, 재접촉률, 대화 표본 조사 |
| 재접촉률 | 봇이 끝낸 대화 뒤에 어떤 경로로든 같은 문제에 대한 접촉이 뒤따른 비율 | 7일 안에 관련 접촉이 뒤따른 대화 / 인계 없이 끝난 대화 | 퍼센트 | 티켓과 접촉 기록에 결합한 대화 로그 | 서비스 데스크, 인시던트 관리 | 빠져나간 결함 | 주 | 한 경로로만 측정함, 짧은 기간 | 모든 경로를 결합, 점검으로 더 긴 기간 사용, 재접촉 표본 조사 |
| 인계 맥락 완전성 | 사용자에게 반복하게 하지 않고 사람이 필요한 정보를 가진 사람으로의 인계 비율 | 받는 상담원이 완전하다고 판단한 표본 인계 / 표본 추출한 인계 | 퍼센트 | 표본 인계, 상담원 피드백 | 서비스 데스크, 지식 관리 | 경계를 넘는 매끄러운 협업 | 월 | 요약 대신 긴 대화록을 넘김, 쉬운 인계를 표본 추출함 | 받는 상담원 평가, 무작위 표본, 인계 후 해결까지의 시간 |
| 사람까지의 시간 | 사용자가 사람을 요청하거나 봇이 인계를 결정한 때부터 사람이 넘겨받기까지의 시간 | 분의 중앙값과 85번째 백분위수 | 분 | 대화 로그, 큐 데이터 | 서비스 데스크, 인시던트 관리 | 사용자가 도움이 필요할 때의 응답성 | 주 | 메뉴 뒤에 시계를 시작함, 큐 확인 응답을 인수로 셈 | 시계는 요청에서 시작, 인수는 사람이 대화에서 활동 중임을 뜻함 |
| 답변 정확성 | 자격 있는 검토자가 올바르고, 완전하고, 안전하다고 판단한 표본 봇 답변의 비율 | 올바르다고 판단한 답변 / 표본 추출한 답변 | 퍼센트 | 표본 검토 | 지식 관리, 품질 보증 | 답변에 대한 완료의 정의 | 월 | 쉬운 대화를 표본 추출함, 관대한 검토자 | 독립 검토자의 무작위 표본, 적대적 시험 사례 |
| 봇 만족도와 노력 | 대화 뒤 만족도와 용이성에 대한 사용자의 평가와 의견 | 호의적 평가 / 평가, 평균 노력 평가 | 퍼센트, 척도 점수 | 대화 뒤 짧은 설문 | 서비스 데스크, 고객 경험 | 동작하는 소프트웨어에 대한 피드백 | 주 | 완료된 대화에만 설문함, 행복한 사용자만 닿는 곳에 설문을 둠 | 포기한 대화에도 설문, 응답률과 구성, 의견 읽기 |
| 에이전트 행동 되돌림률 | AI 에이전트가 취한 행동 중 정정되거나, 취소되거나, 에스컬레이션되어야 했던 비율 | 되돌리거나 정정한 행동 / 취한 행동, 행동 유형과 위험 등급별 | 퍼센트 | 행동 감사 로그, 변경 레코드 | 변경 활성화, 인시던트 관리 | 재작업과 롤백 | 주 | 되돌림을 기록하지 않음, 정정을 새 작업으로 재분류함 | 변조에 강한 감사 로그, 되돌림을 행동에 연결, 인시던트 검토 |
10.4 지표 인플레이션과 품질 희석
원본 주제: (주제 10.4, 지표 인플레이션과 품질 희석 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 산출 대 성과 비율 | 산출이 만들어 내려던 성과에 상대적인 산출의 물량 | 같은 기간의 산출 건수(티켓, 문서, 변경) / 성과 측정치(해결한 문제, 사용된 문서, 유지된 변경), 추세로 추적 | 비율 | 작업 트래커, 지식 베이스, 성과 측정치 | 지속적 개선, 측정 및 보고 | 문서 물량보다 동작하는 소프트웨어 | 월 | 물량과 함께 오르는 성과 측정치를 고름, 기간을 바꿈 | 레지스트리에 고정한 성과, 만족도와 재개방률과 비교 |
| 유용한 항목 비중 | 자격 있는 검토자가 유용하다고 판단한 표본 항목의 비율 | 유용하다고 판단한(올바르고, 관련 있고, 중복이 아닌) 표본 항목 / 표본 추출한 항목 | 퍼센트 | 무작위 표본 검토 | 지식 관리, 품질 보증 | 콘텐츠에 대한 완료의 정의 | 월 | 쉬운 항목을 표본 추출함, 관대한 기준, 생산자의 영향을 받는 검토자 | 무작위 표본, 서면 기준, 독립적이고 순환하는 검토자 |
| 검증 부담 | 산출 단위당 생성된 작업을 점검하고 정정하는 데 쓴 사람의 시간 | 검토와 정정 시간 / 산출 단위, 추세로 추적 | 단위당 시간 | 시간 추정, 검토 도구 데이터 | 서비스 재무 관리, 지속적 개선 | 제약으로서의 검토 용량 | 월 | 검토 시간을 기록하지 않음, 점검을 하류 팀으로 옮김 | 하류 재작업 포함, 검토자에게 부하를 물음 |
| 콘텐츠 중복률 | 다른 것과 중복되거나 실질적으로 겹치는 지식 항목의 비율 | 검토나 매칭으로 중복 또는 겹침으로 표시된 항목 / 지식 베이스의 항목 | 퍼센트 | 지식 베이스 검토, 매칭 보고서 | 지식 관리 | 단일 진실 원천 | 분기 | 중복을 놓치는 좁은 매칭 규칙, 서로 다른 항목을 병합함 | 중복을 손으로 표본 조사, 병합 규칙 기록 |
| 생성된 지식의 검토 비중 | 게시 전에 자격 있는 사람이 검토하고 승인한 AI 생성 지식 항목의 비율 | 승인된 검토와 함께 게시한 생성 항목 / 게시한 생성 항목 | 퍼센트 | 지식 베이스 메타데이터 | 지식 관리, 변경 활성화 | 릴리스 전의 검토 | 월 | 읽지 않고 검토를 완료로 표시함, 일괄 검토 | 검토의 실질을 표본 조사, 검토당 시간, 게시 항목의 오류율 |
| 해결에 비춘 백로그 유입 | AI의 영향을 받는 큐에서 해결된 일의 증가에 상대적인, 도착하는 일의 증가 | (생성된 항목의 변화) / (해결된 항목의 변화), AI 이전 기준선과 비교 | 비율 | 티켓과 트래커 이력 | 인시던트 관리, 서비스 요청 관리 | 흐름 균형 | 월 | 항목을 자동으로 닫음, 항목을 쪼갬 | 해결 품질 점검, 재개방률, 닫은 항목 표본 조사 |
| 지표 표류 표시 | AI 도입 뒤 정의나 분포가 눈에 띄게 바뀌어 검토하고 주석을 단 지표의 수 | 검토에서 표시된 지표 / 레지스트리의 지표 | 건수, 퍼센트 | 지표 레지스트리 검토, 분포 점검 | 측정 및 보고 | 측정에 대한 회고 | 분기 | 일을 피하려고 표시하지 않음, 모든 것을 표시함 | 분기마다 모든 지표 검토, 각 표시에 결정 요구 |
10.5 AI 거버넌스와 위험 지표
원본 주제: (주제 10.5, AI 거버넌스와 위험 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| AI 사용 레지스트리 포괄률 | 독립적 수단으로 찾은 AI 사용 중 소유자와 위험 등급이 있는 레지스트리의 비율 | 소유자와 위험 등급이 있는 레지스트리의 사용 / 독립적 탐색(조달, 경비, 신원, 네트워크, 직원 보고)으로 찾은 사용 | 퍼센트 | 레지스트리, 조달 및 경비 데이터, 신원 로그, 설문 | 거버넌스, IT 자산 관리, 위험 관리 | 눈에 보이는 작업과 분명한 소유권 | 분기 | 비율을 올리려고 사소한 사용을 등록함, 분모를 등록된 것으로 한정함 | 분모를 위한 독립적 탐색, 레지스트리 항목의 품질 표본 조사, 미등록 사용에 대한 사면 |
| 위험 평가 최신성 | 요구되는 주기 안에 위험 평가가 있는 중간 및 높은 위험 사용의 비율 | 주기 안에 평가한 사용 / 중간 및 높은 위험 사용 | 퍼센트 | 위험 평가 | 위험 관리, 정보 보안 관리 | 위험에 대한 정기적 돌아보기 | 분기 | 항상 통과하는 가벼운 평가, 위험이 낮은 사용을 평가함 | 평가 깊이 검토, 위험 등급이 기준과 맞는지 점검 |
| 변경 통제 포괄률 | 필요한 시험과 함께 변경 통제를 거친 운영 중인 모델, 프롬프트, 도구, 데이터 원천에 대한 변경의 비율 | 변경 레코드, 시험, 위험에 비례하는 승인이 있는 변경 / 탐지된 변경 | 퍼센트 | 버전 이력 및 공급업체 릴리스 노트와 비교한 변경 레코드 | 변경 활성화, 릴리스 및 배포 관리 | 작고, 통제되고, 되돌릴 수 있는 변경 | 월 | 공급업체 변경을 탐지하지 않음, 변경을 사후에 기록함 | 버전 이력과 공급업체 공지를 통한 탐지, 릴리스 전 타임스탬프가 찍힌 변경 레코드 |
| 평가 최신성 | 현재의 평가(정확성, 안전, 해당하는 곳의 공정성)가 있고 결과가 허용 범위 안인 운영 사용의 비율 | 주기 안에 평가가 있고 결과가 수용 가능한 사용 / 범위 안 운영 사용 | 퍼센트 | 평가 기록 | 품질 보증, 위험 관리 | 행동에 대한 완료의 정의 | 분기 | 쉬운 사례로 평가함, 결과를 본 뒤 허용 범위를 정함 | 독립적 제3자가 검토하는 시험 집합, 미리 정한 임계값 |
| 사람 감독 증거율 | 기록된 실질적인 사람의 검토가 있는 표본 중대 출력 또는 결정의 비율 | 결과를 바꿀 수 있었던 문서화된 검토가 있는 표본 항목 / 표본 추출한 항목 | 퍼센트 | 표본 결정 기록 | 위험 관리, 거버넌스 | 릴리스 전의 검토 | 월 | 읽지 않고 승인을 누름, 결과를 바꿀 수 없었던 검토를 문서화함 | 검토의 실질을 표본 조사, 알려진 오류를 심어 둠, 검토자 부하 |
| AI 인시던트율과 격리까지의 시간 | AI가 관련된 인시던트(해로운 출력, 데이터 노출, 안전하지 않은 행동)의 사용당 건수와 격리까지의 시간 | 분기당 운영 사용별 인시던트, 탐지부터 격리까지 시간의 중앙값과 85번째 백분위수 | 건수, 시간 | AI로 태그한 인시던트 레코드 | 인시던트 관리, 정보 보안 관리 | 비난 없는 대응과 학습 | 분기 | 인시던트를 보고하지 않음, 정의를 좁힘 | 쉽고 비난 없는 보고, 사용자 불만과 감사 지적과 비교 |
| 공급업체 AI 실사 최신성 | 핵심 서비스에 AI 기능을 제공하는 공급업체 중 AI 특화 평가가 최신인 비율 | 최신 AI 평가가 있는 공급업체 / AI 기능이 있는 핵심 공급업체 | 퍼센트 | 공급업체 평가 | 공급업체 관리, 위험 관리 | 의존성의 정기 검토 | 분기 | 마케팅이 답한 설문, 증거 없는 평가 | 핵심 공급업체의 증거 요구, 독립적 검증 |
10.6 자동화와 오케스트레이션 지표
원본 주제: (주제 10.6, 자동화와 오케스트레이션 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 자동화 실행 성공률 | 완료되어 의도한 결과를 달성했고 실행 후 점검으로 확인된 자동화 실행의 비율 | 성공한 실행 후 점검이 있는 실행 / 기간 중 시작한 실행, 실행 후 점검이 없는 실행은 제외하고 따로 보고 | 퍼센트 | 오케스트레이션 및 자동화 플랫폼 로그 | 서비스 요청 관리, 릴리스 관리 | 자동화된 작업에 대한 완료의 정의 | 월 | 깨끗이 끝나면 성공으로 셈, 실패한 실행을 로그에서 삭제함 | 독립적인 실행 후 점검, 로그를 하류 레코드와 비교 |
| 과업 자동화 포괄률 | 자동화된 적격 반복 과업의 비율 | 합의된 적격 목록에서 자동으로 실행되는 과업 / 적격 목록의 과업, 적격 목록은 분기마다 검토 | 퍼센트 | 과업 목록과 런북 레지스트리 | 지속적 개선 | 자동화 후보의 백로그 | 분기 | 포괄률이 오르도록 적격 목록을 줄임, 사소한 과업을 먼저 자동화함 | 적격 목록을 다른 팀과 검토, 물량과 시간으로 가중 |
| 수동 개입률 | 사람이 개입하거나 고쳐야 했던 자동화 실행의 비율 | 시작 후 수동 단계가 추가된 실행 / 시작한 실행 | 퍼센트 | 자동화 로그와 티켓 연결 | 인시던트 관리 | 자동화된 작업에서 빠져나간 결함 | 월 | 실행이 깨끗해 보이도록 수동 수정을 별도의 티켓으로 기록함 | 티켓을 실행 식별자에 연결, 숨은 수정을 위한 실행 표본 조사 |
| 자동화가 일으킨 인시던트율 | 자동화된 행동에 귀속된 인시던트, 1,000회 실행당 | 자동화 원인이 확인된 인시던트 / 자동화 실행 x 1,000 | 1,000회 실행당 건수 | 실행 식별자에 연결된 인시던트 레코드 | 인시던트 관리, 문제 관리 | 자동화된 변경의 변경 실패율 | 월 | 자동화 실패를 사람이나 도구에 귀속함, 인시던트를 실행에 연결하지 않음 | 인시던트 레코드에 실행 식별자 요구, 놓친 연결을 위한 인시던트 표본 조사 |
| 롤백 시간 | 필요를 인식한 뒤 자동화된 행동을 되돌리는 데 걸리는 시간 | (되돌림이 완료된 시각 빼기 되돌리기로 결정한 시각)의 중앙값과 95번째 백분위수 | 분 | 자동화 로그와 인시던트 타임라인 | 변경 활성화 | 완료의 정의에 있는 롤백 능력 | 분기 | 쉬웠던 롤백만 측정함, 시계를 늦게 시작함 | 가장 어려운 자동화의 훈련에서 롤백 연습, 시계의 시작 정의 |
| 검증된 절약 시간 | 표본 조사로 점검한 수작업의 제거된 시간 | 자동화한 과업 x (시간 표본의 수작업 과업 시간 중앙값 빼기 남은 수작업 시간 중앙값), 기간 동안, 표본 날짜를 밝힘 | 시간 | 시간 표본과 실행 건수 | 지속적 개선 | 작업 항목당 전달된 가치 | 분기 | 낙관적인 과업 시간을 씀, 유지보수와 실패 비용을 무시함 | 팀 밖의 누군가가 하는 시간 표본, 구축 및 유지보수 비용 포함 |
| 자동화 소유권 최신성 | 소유자가 소유권을 확인하고 지난 12개월 안에 자동화를 검토한 자동화의 비율 | 12개월 안에 확인된 소유자와 검토가 있는 자동화 / 레지스트리의 자동화 | 퍼센트 | 자동화 레지스트리 | 거버넌스, 자산 및 구성 관리 | 팀 헌장과 소유권 | 분기 | 배포 목록이나 이전 직원을 소유자로 명명함 | 소유자가 서면으로 확인, 소유자가 활동 중인지 점검 |
10.7 파이프라인과 자동화된 변경 지표
원본 주제: (주제 10.7, 파이프라인과 자동화된 변경 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 파이프라인 성공률 | 파이프라인 또는 그 환경이 원인인 실패 없이 끝난 파이프라인 실행의 비율 | 통과했거나 실제 코드 결함 때문에만 실패한 실행 / 시작된 실행. 사용자가 취소한 실행은 제외하고 따로 보고 | 퍼센트 | 파이프라인 플랫폼 로그 | 릴리스 관리, 변경 활성화 | 지속적 통합의 건강 상태 | 주간 | 인프라 실패를 취소로 재분류함. 초록불이 될 때까지 재실행하고 마지막 실행만 셈 | 모든 시도를 세고, 변경당 재실행 횟수를 보고 |
| 파이프라인 소요 시간 | 변경이 파이프라인을 통과하는 데 걸리는 시간 | 배포에 도달한 실행에 대해 (마지막 단계가 끝난 시각 - 실행이 시작된 시각)의 중앙값과 85번째 백분위수 | 분 | 파이프라인 플랫폼 로그 | 릴리스 관리 | 짧은 피드백 고리 | 주간 | 느린 단계를 측정 구간 밖으로 옮김. 단계를 건너뜀 | 커밋부터 배포까지 처음부터 끝까지 측정. 실행된 단계와 필요한 단계를 비교 |
| 불안정한 테스트 비율 | 코드 변경 없이 재실행하면 통과하는 테스트 실패의 비율 | 재실행에서 통과한 실패 / 테스트 실패 | 퍼센트 | 테스트 결과와 재실행 로그 | 릴리스 관리 | 완료의 정의, 테스트 관행 | 월간 | 불안정한 테스트를 삭제하거나 무음 처리함. 실패를 알려진 것으로 표시함 | 테스트 수와 커버리지 추세. 격리된 테스트를 날짜와 함께 검토 |
| 자동 승인 비중 | 사람의 승인 단계 없이 파이프라인 정책으로 승인된 변경의 비율 | 정책만으로 승인된 변경 / 배포된 변경 | 퍼센트 | 파이프라인 및 변경 기록 | 변경 활성화 | 자동화된 점검을 갖춘 트렁크 기반 개발 | 월간 | "표준" 범주를 넓혀 위험한 변경까지 포함시킴 | 자동 승인된 변경의 변경 실패율. 승인된 변경의 표본 점검 |
| 우회율 | 파이프라인을 거치지 않은 운영 변경의 비율 | 파이프라인 밖에서 이루어진 운영 변경(배포 기록과 파이프라인 기록을 비교해 찾음) / 전체 운영 변경 | 퍼센트 | 배포 기록, 구성 감사, 파이프라인 로그 | 변경 활성화, 구성 관리 | 작업 합의 | 월간 | 긴급 수동 배포를 파이프라인 실행으로 기록함. 운영 환경과 대조하지 않음 | 운영 상태를 파이프라인 기록과 대조. 배포 표본 점검 |
| 증거 완전성 | 기록에 필수 증거가 있는 파이프라인 배포 변경의 비율 | 필수 증거 항목(테스트, 검토, 스캔, 승인)이 모두 연결된 변경 / 배포된 변경 | 퍼센트 | 파이프라인 및 변경 기록 | 변경 활성화, 거버넌스 | 완료의 정의 | 월간 | 비어 있거나 무관한 증거를 첨부함. 일반 보고서를 연결함 | 증거 내용 표본 점검. 변경과 일치하는지 확인 |
| 정책 게이트 실패율 | 정책 점검에 막힌 실행의 비율. 실제 위반과 정책 오류로 나누어 봄 | 정책 게이트에 막힌 실행 / 시작된 실행. 사유는 표본 추출로 분류 | 퍼센트 | 파이프라인 로그와 게이트 기록 | 변경 활성화, 위험 관리 | 인수 기준 | 월간 | 실패를 줄이려고 정책을 느슨하게 함. 실제 위반을 정책 오류로 분류함 | 막힌 실행의 표본 점검. 유출 결함률과 감사 지적 사항 |
10.8 분석과 데이터 품질 지표
원본 주제: (주제 10.8, 분석과 데이터 품질 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 필수 필드 완전성 | 그것을 쓰는 지표에 필요한 모든 필드가 있는 레코드의 비율 | 모든 필수 필드가 있고 유효한 레코드 / 범위 안 레코드 | 퍼센트 | 원천 시스템 추출과 데이터 품질 점검 | 측정 및 보고, 지식 관리 | 레코드에 대한 완료의 정의 | 월 | 자리표시자나 기본값으로 필드를 채움, 필드를 선택 사항으로 만듦 | 내용에 대한 유효성 점검, 실제 값을 위한 레코드 표본 조사 |
| 데이터 신선도 | 보고서를 읽는 시점에 데이터셋에서 가장 최근 데이터의 나이 | 데이터셋 전반의 (보고서를 읽은 시각 빼기 적재한 최신 레코드의 시각)의 중앙값과 최댓값 | 시간 | 파이프라인 로그와 데이터셋 메타데이터 | 측정 및 보고 | 빠른 피드백 | 주 | 사건이 아니라 적재에 타임스탬프를 찍음, 빈 업데이트를 적재함 | 사건 시각을 적재 시각과 비교, 적재당 행 수 |
| 조정 편차 | 같은 양에 대해 일치해야 하는 두 원천 사이의 차이 | 원천 A와 원천 B의 절대 차이 / 원천 A, 밝힌 양의 표본과 기간에 대해 | 퍼센트 | 두 원천 시스템 | 측정 및 보고, 재무 관리 | 정의에 대한 작업 합의 | 분기 | 우연히 일치하는 양을 고름, 일치하도록 한 원천을 조정함 | 양을 순환, 조정의 감사 추적 유지 |
| 계보 포괄률 | 원천, 변환, 소유자가 문서화된 보고 지표의 비율 | 계보가 문서화된 레지스트리의 지표 / 보고한 지표 | 퍼센트 | 지표 레지스트리와 데이터 카탈로그 | 거버넌스 | 팀 합의 | 분기 | 계보를 피상적으로 문서화함, 항목 사이에 텍스트를 복사함 | 항목 표본 조사, 지표 하나를 처음부터 끝까지 추적 |
| 파이프라인 실행 실패율 | 실패하거나 불완전한 데이터를 적재한 데이터 파이프라인 실행의 비율 | 실패했거나 불완전한 데이터를 적재한 데이터 파이프라인 실행 / 시작한 실행 | 퍼센트 | 데이터 파이프라인 로그 | 측정 및 보고 | 데이터에 대한 지속적 통합 | 주 | 실패한 실행을 재시도 또는 성공으로 표시함, 로그를 삭제함 | 레코드 수를 원천과 비교, 간극에 경보 |
| 분석 검토율 | 사용 전에 다른 사람이 검토한 발표된 분석물의 비율 | 기록된 검토가 있는 분석물 / 의사결정 청중에게 발표한 분석물 | 퍼센트 | 분석 레지스트리와 검토 로그 | 측정 및 보고, 지속적 개선 | 동료 검토 | 분기 | 도장만 찍는 검토, 결정 뒤의 검토 | 검토자 메모 점검, 사용 전 검토 요구 |
| 결정 사용률 | 기간 중 기록된 결정에서 인용된 보고 지표의 비율 | 결정 로그 항목에서 인용된 지표 / 보고한 지표 | 퍼센트 | 결정 로그와 지표 레지스트리 | 지속적 개선 | 회고 조치 | 분기 | 결정에 영향 없이 로그에 지표를 인용함 | 무엇이 바뀌었는지 묻기, 항목 표본 조사 |
10.9 예측과 예측 분석 지표
원본 주제: (주제 10.9, 예측과 예측 분석 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 예측 구간 포괄률 | 실제 결과가 밝힌 예측 구간 안에 들어온 비율 | 구간 안에 든 결과 / 평가한 예측, 평가한 예측은 결과가 알려진 것 | 퍼센트 | 예측 로그와 실제 값 | 용량 및 성능 관리, 재무 관리 | 처리량에서 나오는 범위로 예측 | 분기 | 포괄률이 좋아 보일 때까지 구간을 넓힘, 쉬운 예측만 평가함 | 포괄률과 함께 구간 폭을 보고, 기록된 모든 예측을 평가 |
| 예측 오차 | 예측과 실제 사이 차이의 전형적인 크기 | 평가한 예측에 대한 절대 오차의 중앙값과 85번째 백분위수, 절대 오차 = (예측 빼기 실제)의 절댓값 / 실제 | 퍼센트 | 예측 로그와 실제 값 | 용량 및 성능 관리 | 계획 검토 | 분기 | 결과 직전에 예측을 수정함, 평가 구간을 고름 | 기록된 원래 예측을 씀, 구간을 미리 고정 |
| 기준 대비 기량 | 단순한 기준에 비해 예측 방법이 보인 개선 | 1 빼기 (방법의 절대 오차 중앙값 / 기준의 절대 오차 중앙값), 같은 예측에 대해 | 비율 | 예측 로그, 기준 로그, 실제 값 | 지속적 개선 | 실험하고 비교 | 분기 | 약한 기준을 고름, 평가 데이터로 방법을 조정함 | 기준을 미리 합의, 조정에 쓰지 않은 데이터로 평가 |
| 보정 간극 | 밝힌 확률과 관찰된 빈도 사이의 차이 | 각 확률 구간에 대해 (밝힌 확률 빼기 관찰된 비중)의 절댓값을 구간에 걸쳐 평균, 밝힌 수보다 적은 사례의 구간은 따로 보고 | 퍼센트포인트 | 확률 예측 로그와 결과 | 위험 관리, 변경 활성화 | 추정에 대한 회고 | 분기 | 구간이나 사례를 적게 씀, 간극을 숨기려고 구간을 합침 | 구간당 사례 수를 보고, 최소 사례 수 |
| 경보 정밀도와 재현율 | 예측 경보나 점수에 대해, 맞은 경보의 비율과 포착한 사건의 비율 | 정밀도 = 참 양성 / (참 양성 + 거짓 양성), 재현율 = 참 양성 / (참 양성 + 거짓 음성) | 퍼센트 | 예측 로그와 결과 | 인시던트 관리, 이벤트 관리 | 모델에 대한 완료의 정의 | 월 | 사후에 사건을 재정의함, 중복을 셈 | 사건 정의를 미리 고정, 중복 제거, 경보 표본 조사 |
| 예측 표류 신호 | 기준 기간에 비교한 시간에 따른 오차의 상승 | 최근 구간의 절대 오차 중앙값 빼기 기준 구간의 절대 오차 중앙값, 구간 크기를 밝힘 | 퍼센트포인트 | 예측 로그와 실제 값 | 지속적 개선, 용량 관리 | 점검하고 적응 | 월 | 기준 기간을 재설정함, 느린 표류를 무시함 | 기준 구간을 고정하고 일정에 따라 검토 |
| 예측 결정 연결 | 기록된 결정에서 인용된 예측의 비율 | 결정 로그에서 인용된 예측 / 발표한 예측 | 퍼센트 | 결정 로그와 예측 로그 | 지속적 개선, 거버넌스 | 검토 조치 | 분기 | 결정에 영향 없이 로그에 예측을 인용함 | 무엇이 바뀌었는지 묻기, 항목 표본 조사 |
10.10 관측 가능성과 텔레메트리 지표
원본 주제: (주제 10.10, 관측 가능성과 텔레메트리 지표 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 계측 포괄률 | 합의된 핵심 신호를 내보내는 서비스와 핵심 사용자 여정의 비율 | 합의된 표준을 충족하는 로그, 지표, 트레이스가 있는 서비스 또는 여정 / 서비스 카탈로그의 서비스 또는 여정 | 퍼센트 | 서비스 카탈로그와 텔레메트리 플랫폼 목록 | 모니터링 및 이벤트 관리, 서비스 구성 관리 | 새 서비스에 대한 완료의 정의 | 분기 | 표준을 통과하려고 모든 서비스에 최소한의 신호를 더함, 어려운 서비스를 카탈로그에서 제외함 | 트레이스 완전성과 사각지대 인시던트, 카탈로그의 누락 검토 |
| 트레이스 완전성 | 진입부터 마지막 의존성까지 끊김 없는 트레이스가 있는 표본 요청의 비율 | 트레이스가 기대한 모든 홉에 걸치는 요청 / 점검한 표본의 요청 | 퍼센트 | 트레이싱 플랫폼과 표본 점검 | 모니터링 및 이벤트 관리 | 기능에서의 관측 가능성 시험 | 월 | 단순한 요청만 표본 추출함, 부분 트레이스를 완전한 것으로 셈 | 요청 유형별로 점검 표본을 정의, 의존성 포괄 점검 |
| 신호 상관율 | 로그, 지표, 트레이스를 식별자로 연결할 수 있었던 인시던트의 비율 | 타임라인 검토에서 연결이 작동한 인시던트 / 검토한 인시던트 | 퍼센트 | 인시던트 검토와 트레이싱 플랫폼 | 인시던트 관리, 문제 관리 | 회고 조치 | 분기 | 잘 풀린 인시던트만 검토함, 서류상으로만 있는 연결을 셈 | 인시던트의 무작위 표본 검토, 연결 훈련 실행 |
| 이해까지의 시간 | 탐지부터 원인에 대한 기록된 작동하는 설명까지의 시간 | 원인이 기록된 인시던트에 대한 (첫 작동하는 원인이 기록된 시각 빼기 인시던트가 탐지된 시각)의 중앙값과 85번째 백분위수 | 분 | 인시던트 타임라인과 검토 메모 | 인시던트 관리 | 비난 없는 검토 | 분기 | 원인을 일찍 느슨하게 기록함, 어려운 사례는 원인을 비워 둠 | 원인 기록의 품질 검토, 원인 없는 인시던트를 따로 보고 |
| 서비스당 텔레메트리 비용 | 서비스의 사용 단위당 서비스에 귀속된 텔레메트리 지출 | 서비스에 배분된 텔레메트리 비용 / 요청 1,000건 같은 밝힌 사용 단위 | 단위당 통화 | 텔레메트리 청구 및 사용 데이터 | 재무 관리 | 설계 입력으로서의 비용 | 월 | 비용을 줄이려고 신호를 빼 버림, 비용을 다른 계정으로 옮김 | 사각지대 인시던트와 이해까지의 시간, 총지출 조정 |
| 텔레메트리 속 민감 데이터 | 있어서는 안 될 데이터가 들어 있는 확인된 레코드의 수 | 기간 중 스캔이나 검토로 찾은 확인된 사례 | 건수 | 텔레메트리 스캔과 검토 | 정보 보안 관리 | 완료의 정의, 개인정보 검토 | 월 | 너무 좁게 스캔함, 발견을 보고하지 않음 | 스캔 포괄과 독립적 검토, 제거까지의 시간 추적 |
| 사각지대 인시던트 | 사용자가 먼저 보고했고 텔레메트리에 징후가 없었던 인시던트 | 관련 경보나 신호 없이 사용자가 먼저 보고한 인시던트 / 기간 중 인시던트 | 퍼센트 | 인시던트 레코드와 검토 메모 | 인시던트 관리, 모니터링 | 회고 조치 | 분기 | 사용자가 보고한 뒤에 경보가 울렸는데 탐지된 것으로 셈, 신호를 넓게 정의함 | 첫 신호와 첫 사용자 보고의 타임스탬프 비교, 표본 검토 |
제11부: 지표 프로그램 구축
11.1 서비스 지표 대시보드 설계
원본 주제: (주제 11.1, 서비스 지표 대시보드 설계 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 질문 포괄률 | 대시보드가 정의된 지표로 답할 수 있는, 나열된 청중 질문의 비율 | 지표와 정의가 있는 질문 수 / 청중이 나열한 질문 수 | 퍼센트 | 이해관계자 세션의 질문 목록, 지표 카드 | 지속적 개선, 서비스 수준 관리 | 이해관계자의 지속적 참여 | 분기 | 기존 지표가 이미 답하는 좁은 질문을 쓰거나 어려운 질문을 빼 버립니다 | 프로그램 팀 밖의 이해관계자를 포함하고, 답하지 못한 질문을 명시적으로 검토합니다 |
| 정의 완비율 | 최신 서면 정의, 데이터 원천, 소유자, 알려진 한계를 모두 갖춘 표시 지표의 비율 | 네 가지를 모두 갖춘 지표 수 / 표시된 지표 수 | 퍼센트 | 지표 카드 또는 카탈로그 | 정보 및 기술 관리, 지식 관리 | 공유된 이해, 가시적인 작업 | 분기 | 필드를 상투적 문구로 채우거나 아무도 읽지 않는 정의를 씁니다 | 팀 밖의 사람과 함께 정의가 명확한지 표본 점검하고, 정의가 실제 계산과 일치하는지 확인합니다 |
| 데이터 최신성 | 예상 주기 안에 갱신된 표시 지표의 비율 | 제때 갱신된 지표 수 / 표시된 지표 수 | 퍼센트 | 파이프라인 로그, 대시보드 메타데이터 | 모니터링 및 이벤트 관리 | 빠른 피드백 | 주 | 오래된 원천을 같은 데이터로 새로 고치거나, 원천 피드가 실패했는데 새로 고침을 성공으로 셉니다 | 새로 고침 시각뿐 아니라 원천 타임스탬프를 확인하고, 레코드 수와 예상 물량을 비교합니다 |
| 결정 연계율 | 최근 검토가 기록된 결정, 조치, 또는 의도적으로 아무것도 하지 않기로 한 선택으로 이어진 검토 지표의 비율 | 해당 기간에 연계된 결정이 있는 지표 수 / 검토한 지표 수 | 퍼센트 | 검토 메모, 개선 등록부 | 지속적 개선 | 정기적 성찰 | 분기 | 칸을 채우려고 사후에 결정을 기록하거나, 빈칸을 피하려고 조치를 지어냅니다 | "아무것도 하지 않기로 했다"를 기록된 결정으로 인정하고, 연계가 실제 사전 논의에 근거하는지 표본 점검합니다 |
| 화면 크기 | 청중별 화면에 놓인 지표 수 | 화면당 개수 | 지표 | 대시보드 구성 | 지속적 개선 | 단순함 | 분기 | 보조 탭에 지표를 숨기거나 한 화면을 여러 개로 쪼갭니다 | 모든 탭에 걸쳐 청중당 지표를 세고, 청중이 실제로 쓰는 숫자가 몇 개인지 묻습니다 |
| 폐기율 | 의사 결정에 더 이상 쓰이지 않아 해당 기간에 제거하거나 교체한 지표 | 폐기한 지표 수 / 기간 초 표시 지표 수 | 퍼센트 | 대시보드 변경 기록 | 지속적 개선 | 지속적 진화 | 연 | 나쁜 결과를 보여 주는 불편한 지표를 폐기합니다 | 폐기 목록에서 추세가 불리한 지표를 검토하고, 명시된 사유를 요구합니다 |
| 청중 도달(서술용) | 해당 기간에 자기 화면을 연 대상 팀 또는 역할의 비율 | 화면을 본 고유 팀 또는 역할 수 / 대상 팀 또는 역할 수 | 퍼센트 | 팀이나 역할 단위로 집계한 대시보드 접근 로그 | 정보 및 기술 관리 | 이해관계자의 지속적 참여 | 분기 | 수치를 올리려고 페이지를 열거나, 회의에서 열람을 의무화합니다 | 서술용으로 유지하고, 결정 연계율과 함께 읽으며, 개인별 열람은 보고하지 않습니다 |
11.2 도구 지형
원본 주제: (주제 11.2, 도구 지형 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 원천 포괄률 | 합의된 측정치에 필요한 기록 시스템 중 지표 저장소에 자동으로 공급하는 것의 비율 | 연결되고 시험된 원천 / 합의된 측정치에 필요한 원천 | 퍼센트 | 원천 목록, 파이프라인 구성 | 정보 및 기술 관리, 서비스 구성 관리 | 파이프라인의 지속적 전달 | 분기 | 쉽거나 관련 없는 원천을 연결함, 쓸 만한 데이터를 싣지 않는 연결을 셈 | 합의된 측정치로 세기, 원천별 데이터 완전성 점검 |
| 파이프라인 신뢰성 | 점검을 통과하며 제시간에 완료되는 예약된 데이터 적재의 비율 | 점검을 통과하며 제시간에 한 적재 / 예약된 적재 | 퍼센트 | 파이프라인 로그와 시험 결과 | 모니터링 및 이벤트 관리 | 자동화된 시험과 빠른 피드백 | 주 | 적재가 항상 통과하도록 점검을 느슨하게 함, 적재를 덜 예약함 | 점검의 강도 검토, 조정과 원천 행 수 추적 |
| 새 측정치까지의 시간 | 새 측정치에 대해 승인된 요청부터 정의 카드와 함께 이용할 수 있게 되기까지 경과한 시간 | 승인부터 발표까지의 일수, 중앙값과 85번째 백분위수 | 일 | 요청 및 릴리스 레코드 | 서비스 요청 관리, 변경 활성화 | 가치의 작은 증분 | 분기 | 정의나 시험 없이 발표함, 새 측정치로 치는 범위를 좁힘 | 완료에 정의 카드와 조정 점검을 요구 |
| 조정률 | 표본 점검에서 지표 저장소와 원천 시스템이 일치하는 핵심 수치의 비율 | 허용 오차 안에서 일치하는 수치 / 점검한 수치 | 퍼센트 | 조정 점검 | 정보 및 기술 관리 | 신뢰할 수 있는 피드백 | 월 | 점검하기 쉬운 수치를 고름, 놓친 뒤에 허용 오차를 넓힘 | 점검 전에 표본을 고름, 허용 오차를 미리 고정, 어려운 수치 포함 |
| 수작업 노력 비중 | 반복 보고서에 쓴 노력 중 수작업 수집과 정제에 쓴 비율 | 수작업 단계의 시간 / 반복 보고서의 총 시간 | 퍼센트 | 시간 추정, 팀 설문 | 지속적 개선 | 토일 제거 | 분기 | 수작업을 축소해 말함, 다른 예산에 노력을 숨김 | 일하는 사람에게 묻기, 각 보고 주기 말미에 쓴 시간과 비교 |
| 이탈 준비도 | 정의, 이력, 대시보드를 문서화된 사용 가능한 형태로 내보낼 수 있는지 | 시험되고 완전한 내보내기 / 계획한 내보내기 시험 | 퍼센트 | 내보내기 시험 기록 | 공급업체 관리, 서비스 연속성 관리 | 지속 가능한 선택 | 연 | 부분적인 내보내기를 시험함, 문서화된 계획을 준비도로 셈 | 표본을 다른 도구로 완전히 복원해 보기, 정의와 이력 검증 |
| 지원 팀당 도구 비용 | 프로그램 도구의 연간 전체 비용을 그것이 섬기는 팀으로 나눈 값 | (라이선스 + 인프라 + 유지 노력) / 섬기는 팀 | 팀당 통화 | 재무 및 노력 기록 | 서비스 재무 관리 | 지속 가능한 속도 | 연 | 유지 노력을 제외함, 서류상으로 팀을 더함 | 직원 시간 포함, 자신의 관점을 적극 쓰는 팀을 셈 |
11.3 두려움을 키우지 않고 지표 도입하기
원본 주제: (주제 11.3, 두려움을 키우지 않고 지표 도입하기 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 사용 헌장 포괄률 | 측정치가 무엇에 쓰이고 절대 무엇에 쓰이지 않는지에 대한 서면 진술에 합의한 참여 팀의 비율 | 합의된 헌장이 있는 팀 / 참여 팀 | 퍼센트 | 프로그램이 보관하는 헌장 | 거버넌스, 조직 변화 관리 | 작업 합의 | 분기 | 형식적으로 헌장에 서명함, 리더가 그것을 무시함 | 실제 헌장 사용 점검, 개인 대상 사용 사건 보고, 팀과 헌장 검토 |
| 팀 소유 비중 | 팀이 정의를 쓰는 데 도움을 주었거나 승인한 팀에 표시된 측정치의 비율 | 팀의 승인이 있는 측정치 / 팀에 표시된 측정치 | 퍼센트 | 지표 카탈로그, 승인 기록 | 지속적 개선 | 자기 조직화 팀 | 분기 | 팀이 읽지 않은 정의를 승인함, 프로그램이 서명용으로 완성된 정의를 제시함 | 정의가 어떻게 개발되었는지 표본 조사, 팀이 요청하고 반영된 변경 추적 |
| 솔직함 신호 | 측정치를 도입한 뒤에 문제와 아슬아슬한 사건의 보고가 유지되거나 오르는지 | 팀당 분기별 아슬아슬한 사건 또는 문제 보고, 전후 및 추세 | 보고 | 인시던트, 아슬아슬한 사건, 사후 분석 기록 | 인시던트 관리, 지속적 개선 | 비난 없는 돌아보기 | 분기 | 팀에게 더 많거나 더 적게 보고하라고 압박함, 범주 이름을 바꿈 | 심각도와 사후 분석의 내용과 함께 읽기, 고객이 보고한 문제와 비교 |
| 이의 제기 처리 시간 | 사람이나 팀이 숫자에 이의를 제기한 때부터 그들에게 보이는 해결까지의 시간 | 이의 제기부터 해결까지 일수의 중앙값과 85번째 백분위수 | 일 | 이의 제기 로그 | 지속적 개선, 지식 관리 | 피드백에 응답하기 | 분기 | 눈에 보이는 해결 없이 이의 제기를 닫음, 이의 제기를 단념시킴 | 눈에 보이는 응답 요구, 이의 제기자 설문, 반복되는 이의 제기 추적 |
| 측정에 대해 인지한 안전(설문) | "우리 일에 대한 데이터는 우리를 돕는 데 쓰인다" 같은 진술에 대한 팀 수준 설문 동의 | 팀 설문에서 동의한 퍼센트, 응답률을 표시 | 퍼센트 | 집계한 익명 팀 설문 | 조직 변화 관리 | 신뢰와 의욕 있는 개인 | 연 2회 | 응답자를 코칭함, 낮은 응답률이 불만스러운 팀을 숨김 | 익명성과 최소 집단 크기, 응답률 표시, 팀과 직접 대화 |
| 개인 대상 사용 사건 | 헌장에 반해 데이터를 개인의 순위를 매기거나 평가하는 데 보여 주거나 쓴 경우 | 분기별 보고된 경우의 수, 결과와 함께 | 건수 | 프로그램에 대한 보고, 대시보드와 검토의 검토 | 거버넌스 | 사람에 대한 존중 | 분기 | 보고하지 않음, 사건을 다른 것으로 재분류함, 보고한 사람을 비난함 | 쉬운 익명 보고, 보고자 보호, 개인 데이터에 대한 검토와 대시보드의 검토 |
| 자발적 도입 | 의무 부과 전에 기간 중 프로그램을 받아들이기로 선택한 적격 팀의 비율 | 참여를 택한 팀 / 초대한 적격 팀 | 퍼센트 | 프로그램 기록 | 조직 변화 관리 | 시범과 학습 | 분기 | 초대로 포장한 압력, 정밀 조사를 피하려고 참여한 팀을 셈 | 팀에게 참여한 이유 묻기, 실제 사용 점검, 기간을 의무 부과로부터 자유롭게 유지 |
11.4 지표 프로그램을 위한 성숙도 모델
원본 주제: (주제 11.4, 지표 프로그램을 위한 성숙도 모델 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 평가 참여 | 자체 논의와 함께 자기 평가를 마친 참여 팀의 비율 | 마치고 논의한 팀 / 참여 팀 | 퍼센트 | 평가 기록 | 지속적 개선 | 돌아보기와 회고 | 연 2회 | 할당량을 채우려고 양식을 작성함, 한 사람이 팀을 대신해 채움 | 팀 논의 요구, 각 주장 뒤의 증거 요청 |
| 차원별 프로필 | 각 차원에서 팀이 자기 평가한 단계의 분포, 단일 점수가 아니라 범위로 표시 | 차원별로 각 단계의 팀 수 | 단계별 팀 | 집계한 자기 평가 | 지속적 개선, 거버넌스 | 눈에 보이는 작업 | 연 2회 | 좋아 보이려고 단계를 부풀림, 도움을 받으려고 낮춤 | 자금이나 지위와 연결하지 않기, 증거 요청, 공개적으로 보정 |
| 평가에서 나온 개선 조치 | 합의한 다음 걸음 중 완료했거나, 이유와 함께 접었거나, 진행 중인 비율 | 닫았거나 이유를 밝힌 조치 / 합의한 조치 | 퍼센트 | 개선 레지스트리 | 지속적 개선 | 작은 실험 | 분기 | 닫으려고 사소한 걸음을 고름, 하지 않고 닫음 | 걸음의 크기와 가치 검토, 다음 평가에서 결과 점검 |
| 결정의 증거 | 팀이 지난 분기에 그 측정치가 정보를 준 결정이나 숙고한 선택을 명명할 수 있는, 표본 측정치의 비율 | 명명된 결정이 있는 측정치 / 표본 추출한 측정치 | 퍼센트 | 팀 인터뷰, 검토 메모 | 지속적 개선 | 의식보다 증거 | 분기 | 사후에 결정을 지어냄, 영향 없는 결정을 나열함 | 날짜와 관련자 요청, "아무것도 하지 않기로 선택함"을 결정으로 인정 |
| 정의와 데이터에 대한 신뢰 | 정의가 분명하고 데이터가 올바르다는 팀 수준의 동의 | 짧은 팀 설문에서 동의한 퍼센트, 응답률 표시 | 퍼센트 | 익명 팀 설문 | 지식 관리, 정보 관리 | 공유된 이해 | 연 2회 | 응답자를 코칭함, 낮은 응답이 불만을 숨김 | 익명성과 최소 집단 크기, 응답률 표시, 팀과 직접 대화 |
| 다음 단계까지의 시간(서술적) | 팀이 선택한 경우 한 차원을 한 단계 올리는 데 걸린 경과 시간 | 합의된 걸음부터 팀의 재평가까지 개월 수의 중앙값 | 개월 | 평가 이력 | 지속적 개선 | 지속 가능한 속도 | 연 | 진전의 주장을 서두름, 퇴보를 숨김 | 서술적으로 유지, 증거와 함께 읽기, 벌 없이 퇴보를 기록 |
| 평가 부담 | 평가가 팀당 걸리는 시간 | 팀당 시간의 중앙값 | 시간 | 팀의 시간 추정 | 지속적 개선 | 지속 가능한 속도 | 연 2회 | 시간을 줄이려고 논의를 건너뜀 | 시간을 참여 및 증거의 품질과 함께 추적 |
11.5 단계적 도입 로드맵
원본 주제: (주제 11.5, 단계적 도입 로드맵 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 | 악용 방식 | 방호책 |
|---|---|---|---|---|---|---|---|---|---|
| 첫 유용한 결과까지의 시간 | 프로그램 시작부터 시범 팀이 변경을 하는 데 도움이 되었다고 말하는 첫 측정치까지 경과한 시간 | 시작부터 팀이 확인한 첫 도움이 된 사용까지의 일수 | 일 | 프로그램 로그, 팀 확인 | 지속적 개선 | 가치의 이른 지속적 전달 | 한 번, 이후 새 팀마다 | 사소한 변경을 유용하다고 선언함, 전시용 작품을 서두름 | 팀에게 무엇이 바뀌었는지 묻기, 변경이 지속되었는지 점검 |
| 측정치를 적극 쓰는 팀 | 기간 중 자기 설명에 따라 검토에서 자기 측정치를 쓴, 초대한 팀의 비율 | 검토에서 측정치를 쓴 팀 / 초대한 팀 | 퍼센트 | 팀 확인, 검토 메모 | 조직 변화 관리 | 이해관계자의 지속적 참여 | 월 | 칸을 채우려고 검토를 엶, 일어나지 않은 사용을 주장함 | 내린 결정을 요청, 검토 메모 표본 조사, 팀과 대화 |
| 측정치로 거슬러 추적한 개선 | 측정치가 보여 준 것에 이유와 함께 귀속된, 팀이 만든 변경의 수 | 측정치에 대한 밝힌 연결이 있는 팀 보고 변경의 건수 | 건수 | 개선 레지스트리 | 지속적 개선 | 증거에 기반한 실험 | 분기 | 건수를 채우려고 연결을 지어냄, 관련 없는 변경의 공을 주장함 | 서술적으로 유지, 팀에게 추론을 요청, 불확실한 연결은 그대로 인정 |
| 폐기한 측정치와 보고서 | 결정에 정보를 주지 못하게 되어 중단한 측정치나 보고서 | 분기별 폐기 건수 | 건수 | 카탈로그 변경 로그 | 지속적 개선 | 지속적인 발전 | 분기 | 불편한 측정치를 폐기함, 폐기하고 새 이름으로 다시 도입함 | 폐기 목록에서 불리한 추세 검토, 밝힌 이유 요구 |
| 기준선 포괄률 | 적어도 몇 달의 기록된 기준선이 있는 합의된 측정치의 비율 | 기준선이 있는 측정치 / 합의된 측정치 | 퍼센트 | 지표 카탈로그 | 서비스 수준 관리, 지속적 개선 | 의견보다 증거 | 분기 | 이력을 조작함, 나중 결과에 유리한 기간을 씀 | 원천과 기간을 기록, 원시 데이터 유지, 변경 전에 기준선 선택 |
| 프로그램 노력 비중 | 참여 팀의 시간 중 측정 업무에 쓴 비율 | 수집, 보고, 검토의 시간 / 총 팀 시간, 추정으로 | 퍼센트 | 팀 시간 추정 | 지속적 개선 | 지속 가능한 속도 | 분기 | 노력을 축소함, 집계 밖의 사람들에게 일을 옮김 | 일하는 사람들에게 묻기, 주기 말미의 초과 근무와 비교 |
| 단계 검토 완료 | 변경을 기록하며 팀과 연 계획된 단계 검토의 비율 | 변경을 기록하며 연 검토 / 계획한 검토 | 퍼센트 | 프로그램 기록 | 지속적 개선 | 정기적 돌아보기 | 단계마다 | 짧고 형식적인 검토, 일어나지 않을 변경을 기록함 | 변경이 수행되었는지 점검, 검토가 시간을 쓸 가치가 있었는지 팀에게 묻기 |