인시던트 대응 및 해결 시간
인시던트의 시간 지표는 사용자가 각 단계에서 얼마나 기다리는지를 보여 주므로, 시계(clock)를 명시한 분포로 보고하고 평균 하나로 보고하지 말며, 모든 속도 수치에는 해결이 유지되었는지를 보여 주는 지표를 짝지어야 합니다.
개요와 동기
IT 서비스 관리(ITSM)에서 인시던트는 서비스의 계획되지 않은 중단 또는 품질 저하를 뜻합니다. 인시던트 관리(Incident management)는 정상 서비스를 안전한 범위에서 가능한 한 빨리 복구하는 실천 방식입니다. ITIL 4에서 이 실천 방식은 인시던트 관리라고 하며, ITIL 프레임워크의 서비스 관리 실천 방식 가운데 하나입니다. 애자일 쪽의 대응물은 계획되지 않은 작업을 일급 작업 흐름으로 다루는 팀의 습관과, 사이트 신뢰성 엔지니어링(site reliability engineering)(SRE, 소프트웨어 엔지니어링 방법으로 서비스를 운영하는 분야)에서 나온 온콜 및 비난 없는 리뷰 실천입니다.
시간은 인시던트를 설명하는 가장 자연스러운 방법이면서 가장 흔히 잘못 쓰이는 방법이기도 합니다. 하나의 인시던트는 여러 단계를 거칩니다. 무언가 고장 나고, 모니터나 사용자가 알아차리고, 누군가 경보를 인지하고, 누군가 작업을 시작하고, 사용자에게 서비스가 복구되고, 원인이 처리되거나 이월된 뒤 티켓이 종료됩니다. 이 사건들 사이의 각 간격은 서로 다른 소유자, 서로 다른 지연 원인, 서로 다른 해결책을 가진 별개의 지표입니다. 이 모두를 "해결 시간"이라고 부르면 지연이 어디에 있는지 가려집니다.
이 주제는 인시던트를 처음부터 끝까지 따라가는 경과 시간 지표를 다룹니다. 탐지 시간, 인지 시간, 최초 응답 시간, 복구 시간, 해결 시간이 그것입니다. 또한 열려 있는 인시던트의 경과 기간, 인시던트가 담당자를 바꾼 횟수, 가장 잘 알려진 요약 지표인 평균 복구 또는 해결 시간(MTTR)의 통계적 문제도 다룹니다. 건수, 분류, 우선순위는 다른 곳에서 다룹니다(주제 3.2, 인시던트 건수와 우선순위 참조). 규모가 크거나 이례적인 인시던트에는 별도의 지표가 있습니다(주제 3.4, 중대 인시던트 지표 참조).
이 주제에서 쓰는 용어
- 탐지 시간(Time to detect, TTD). 결함이 사용자에게 영향을 주기 시작한 때부터 조직이 모니터링이나 사용자 신고로 그 사실을 알게 될 때까지의 경과 시간입니다.
- 인지 시간(Time to acknowledge, TTA). 경보나 티켓이 발생한 때부터 지정된 담당자 또는 팀이 소유권을 받아들일 때까지의 경과 시간입니다.
- 최초 응답 시간(Time to first response). 인시던트가 기록된 때부터 영향을 받은 사용자에게 첫 의미 있는 조치나 메시지가 전달될 때까지의 경과 시간입니다. 자동 회신은 포함하지 않습니다.
- 복구 시간(Time to restore). 사용자 영향이 시작된 때부터 사용자가 다시 서비스를 쓸 수 있게 될 때까지의 경과 시간입니다. 근본 원인을 임시로만 우회한 경우에도 해당합니다.
- 해결 시간(Time to resolve). 인시던트가 기록된 때부터, 서비스가 복구되고 사용자가 확인했거나 확인할 합리적인 기회를 얻은 뒤 인시던트가 종료될 때까지의 경과 시간입니다.
- 평균 복구 또는 해결 시간(Mean time to restore or resolve, MTTR). 이러한 기간 중 하나를 인시던트 집합에 대해 산술 평균한 값입니다. 문자 R은 말하는 사람에 따라 수리(repair), 회복(recovery), 복구(restore), 해결(resolve), 대응(respond)으로 읽히며, 이것이 이 약어의 첫 번째 문제입니다. 평균 수리 시간에 관한 위키백과 문서(Mean time to repair)에 변형들이 정리되어 있습니다.
- 서비스 수준 협약(Service level agreement, SLA). 서비스 수준 협약(Service-level agreement)은 제공자와 고객 사이에 서비스 수준에 관해 맺는 약속으로, 우선순위별 목표 응답 시간과 해결 시간을 포함하는 경우가 많습니다.
평균이 요약값으로 부적절한 이유
인시던트 지속 시간은 대칭적이지 않습니다. 대부분의 인시던트는 짧고 소수가 매우 길며, 긴 것들이 모든 평균을 좌우합니다. 이런 종류의 지속 시간은 로그 정규 분포(log-normal distribution) 같은 오른쪽으로 치우친 형태로 잘 설명되는 경우가 많습니다. 치우친 데이터에서는 평균이 전형적인 인시던트의 모습보다 한참 위에 놓일 수 있고, 한 번의 긴 장애가 한 달 치 개선보다 평균을 더 크게 움직일 수 있습니다.
Google의 SRE 팀은 이 문제에 대한 분석을 발표했습니다. 이 분석은 연구한 인시던트 데이터 집합에서 지속 시간의 편차가 매우 커서 MTTR이 실제 개선을 가리거나 잡음에 불과한 변화를 보여 줄 수 있다고 주장하며, 대신 분포를 보라고 권고합니다(Davidovič, 2021, 참고 문헌 참조). 이 논리는 잘 알려진 통계에 기반하므로 누구의 결론도 믿지 않고 자신의 데이터로 확인할 수 있습니다. 인시던트 지속 시간을 그려 보고, 평균과 중앙값(median)을 계산해서 둘이 얼마나 벌어져 있는지 확인하십시오(주제 1.6, 서비스 지표를 위한 통계 소양 참조).
대안은 백분위수(percentile)입니다. 중앙값은 전형적인 사용자가 얼마나 기다렸는지를 말해 줍니다. 85번째 또는 95번째 백분위수는 운이 나빴던 사용자가 얼마나 기다렸는지를 말해 줍니다. 고객은 평균이 아니라 긴 대기를 기억하므로, "이 우선순위 인시던트 열 건 중 아홉 건을 정해진 시간 안에 복구한다" 같은 백분위수 약속이 평균보다 고객의 경험에 훨씬 잘 맞습니다.
ITIL과 애자일 관점의 차이
ITIL 관점은 흔히 우선순위와 목표에서 출발합니다. 영향도와 긴급도가 우선순위를 정하고, 우선순위가 목표 응답 시간과 해결 시간을 정하며, 서비스 수준 협약은 이를 놓쳤을 때의 결과를 붙일 수 있습니다. 이는 질서 있고 감사하기 쉽지만, 목표가 부르는 악용에 취약합니다(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조).
애자일 및 SRE 관점은 사용자 영향과 흐름에서 출발합니다. 팀이 피해를 얼마나 빨리 제한하는지, 인시던트 경과 시간 가운데 얼마가 실제 작업이고 얼마가 대기였는지, 팀이 무엇을 배웠는지를 묻습니다. 티켓 상태보다 영향 지표(영향받은 사용자 수, 서비스가 저하된 분 수)를 선호하고, 티켓 시계는 편리하지만 불완전한 대리 지표로 취급합니다. 두 관점은 양립할 수 있습니다. 무엇을 누구를 위해 측정할지 정할 때는 ITIL의 우선순위 구조를 쓰고, 그 수치가 의미가 있는지 판단할 때는 흐름과 영향 관점을 쓰십시오.
핵심 원칙
- "해결"이 아니라 단계를 지목하십시오. 탐지, 인지, 응답, 복구, 해결은 소유자가 다른 서로 다른 질문입니다. 각각을 자기 이름으로 보고하십시오.
- 두 시계를 모두 문서로 남기십시오. 모든 시간 지표는 어떤 사건이 시작하고, 어떤 사건이 멈추며, 어떤 상태가 시계를 멈추는지 밝혀야 합니다. 악용의 대부분은 이 경계에 있습니다.
- 분포를 보고하십시오. 중앙값, 높은 백분위수, 가장 오래된 열린 인시던트의 경과 기간을 보여 주십시오. 치우친 데이터에서는 신뢰하기 어려운 평균 하나만 쓰지 마십시오.
- 복구와 종료를 따로 측정하십시오. 사용자가 신경 쓰는 것은 서비스가 언제 돌아왔는지입니다. 티켓은 원인을 처리한 뒤 나중에 종료될 수 있습니다.
- 속도에 지속성을 짝지으십시오. 다음 날 같은 인시던트가 되돌려 버리는 빠른 복구는 개선이 아닙니다. 모든 시간 지표 옆에 재발률과 재개방률을 보여 주십시오.
- 팀, 서비스, 시스템을 설명하십시오. 응답 시간이나 해결 시간으로 개별 상담원이나 엔지니어의 순위를 매기지 마십시오.
- 비교하기 전에 나누십시오. 우선순위별, 서비스별로 같은 것끼리 비교하십시오. 합산한 수치는 비밀번호 재설정과 데이터베이스 장애를 뒤섞습니다.
지표 정의
각 행은 자신의 시계를 밝힙니다. 달력 시간과 업무 시간은 다르므로 어느 것을 쓰는지 명시하십시오. 백분위수를 쓰는 지표는 표에 50번째와 95번째를 제시하며, 팀이 85번째를 추가해도 됩니다.
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 실천 방식 | 애자일 대응물 | 주기 |
|---|---|---|---|---|---|---|---|
| 탐지 시간 | 조직이 알기 전까지 결함이 사용자에게 영향을 준 시간 | 시계는 사용자 영향의 첫 순간(모니터링 데이터 또는 리뷰에 기록된 확인된 영향 시작 시점)에 시작하고, 첫 경보 또는 사용자 신고에서 멈춥니다. 서비스별 중앙값과 95번째 백분위수로 보고합니다. 시작 시점을 알 수 없는 인시던트는 버리지 않고 건수를 세어 따로 보고합니다 | 분 | 모니터링 및 경보 플랫폼, 영향 시작 필드가 있는 인시던트 기록 | 인시던트 관리, 모니터링 및 이벤트 관리 | 관측 가능성과 경보 품질 작업(주제 5.5, 모니터링과 경보 품질 지표 참조) | 월간 |
| 인지 시간 | 발생한 경보나 티켓이 담당자를 얻기까지 기다린 시간 | 시계는 경보가 발생하거나 티켓이 기록될 때 시작하고, 지정된 담당자 또는 팀이 수락할 때 멈춥니다. 자동 배정은 시계를 멈추지 않습니다. 우선순위별 중앙값과 95번째 백분위수로 보고합니다 | 분 | 호출 도구, ITSM 도구의 배정 이력 | 인시던트 관리, 서비스 데스크 | SRE 순환 근무의 온콜 대응 | 월간 |
| 최초 응답 시간 | 사용자가 첫 번째 사람의 유용한 답변을 기다린 시간 | 시계는 인시던트가 기록될 때 시작하고, 신고 내용을 다루는 첫 사람의 메시지 또는 조치에서 멈춥니다. 자동 접수 확인과 정형화된 수신 확인은 제외합니다. 업무 시간 시계를 명시합니다 | 분 또는 업무 시간 | ITSM 도구의 커뮤니케이션 로그 | 서비스 데스크, 인시던트 관리 | 작업 합의에서와 같은 사용자에 대한 적시 피드백 | 주간 |
| 복구 시간 | 사용자가 작동하는 서비스 없이 지낸 시간 | 시계는 사용자 영향이 시작될 때 시작하고, 임시 해결책이나 롤백을 포함해 사용자가 다시 서비스를 쓸 수 있게 될 때 멈춥니다. 나중에 원인을 고친 시간은 늘리지 않습니다. 우선순위별, 서비스별 중앙값과 95번째 백분위수로 보고합니다 | 분 또는 시간 | 영향 시작 및 복구 타임스탬프가 있는 인시던트 기록, 모니터링 | 인시던트 관리 | DORA 용어의 평균 복구 시간을 분포로 읽은 것(주제 2.8, DORA 지표 참조) | 월간 |
| 해결 시간 | 인시던트 기록이 종료될 때까지 열려 있던 시간 | 시계는 인시던트가 기록될 때 시작하고, 복구와 사용자 확인 또는 합리적인 대기 이후 종료될 때 멈춥니다. "고객 대기" 상태의 시간은 헤드라인에서 빼지 않고 별도의 보고 비율로 보여 줍니다. 우선순위별 중앙값과 95번째 백분위수로 보고합니다 | 시간 또는 업무 시간 | ITSM 도구의 상태 이력 | 인시던트 관리 | 계획되지 않은 작업의 사이클 타임(주제 2.2, 리드 타임, 사이클 타임, 흐름 효율 참조) | 월간 |
| 가장 오래된 열린 인시던트 경과 기간 | 가장 오래 열려 있는 인시던트가 얼마나 오래 열려 있었는지 | 열린 각 인시던트에 대해 현재 시각에서 기록 시각을 뺀 값이며, 우선순위별로 가장 오래된 몇 건을 나열합니다. 일시 중지 상태는 빼지 않습니다 | 일 | ITSM 도구의 열린 인시던트 목록 | 인시던트 관리 | 팀 보드의 작업 항목 경과 기간(주제 2.1, 흐름 측정치 참조) | 주간 |
| 활성 시간 비율 | 인시던트 경과 시간 중 대기가 아니라 실제 작업에 쓰인 비율 | 해당 기간에 종료된 인시던트에 대해 활성 상태의 시간 합계 / 기록부터 종료까지의 전체 시간입니다. 활성 상태는 사람이 인시던트를 처리하는 상태이며, 대기 상태는 정의에 나열합니다 | 퍼센트 | ITSM 도구의 상태 이력 | 인시던트 관리 | 흐름 효율(주제 2.2, 리드 타임, 사이클 타임, 흐름 효율 참조) | 분기 |
| 담당 변경 횟수 | 복구 전에 인시던트의 담당 팀이 몇 번 바뀌었는지 | 기록부터 복구까지 배정 그룹이 바뀐 횟수로, 중앙값과 세 번 이상 바뀐 인시던트의 비율로 요약합니다. 서비스와 우선순위별로 세며 상담원별로는 세지 않습니다 | 건수 | ITSM 도구의 배정 이력 | 인시던트 관리, 서비스 데스크 | 인수인계 횟수(주제 9.3, 협업과 인수인계 지표 참조) | 월간 |
데이터에 관한 두 가지 참고 사항이 있습니다. 첫째, 복구 시간은 시작 시각만큼만 정확합니다. 많은 인시던트 기록은 누군가 티켓을 입력한 시각을 담고 있으며, 이는 실제 영향 시작보다 몇 시간 늦을 수 있습니다. 도구에 영향 시작 필드가 없다면 추가하고, 추정된 시작은 추정치로 취급하십시오(주제 1.5, 데이터 원천과 계측 참조). 둘째, 기간을 비교할 때는 우선순위 정의를 동일하게 유지해야 하며, 그렇지 않으면 추세선이 재분류를 반영하게 됩니다.
권장 사항
시계를 정의하십시오
1. 각 시간 지표마다 시계 명세서를 작성하십시오. 각 단계마다 시작 사건, 종료 사건, 시계를 멈추는 상태, 시간 기준(달력 또는 업무 시간), 제외 항목을 나열하십시오. 이를 지표 등록부에 보관하십시오(주제 1.4, 지표 거버넌스와 소유권 참조).
2. 복구와 종료를 분리하십시오. 서비스가 사용자에게 돌아온 시점을 티켓이 종료된 시점과 별개의 타임스탬프로 기록하십시오. 복구는 사용자가 느끼는 것이고, 종료에는 검증, 문서화, 원인 처리가 포함됩니다. 둘에 하나의 타임스탬프를 쓰는 팀은 티켓을 일찍 닫으면 보상받고 신중하게 후속 조치를 하면 불이익을 받습니다.
3. 기록 시각만이 아니라 영향 시작을 기록하십시오. 대응자에게 사용자가 처음 영향을 느낀 시각을, 가능하면 모니터링 데이터를 사용해 채우도록 요청하십시오. 추정인 경우 필드에 그렇게 표시하십시오. 탐지 시간은 이것 없이는 의미가 없고, 복구 시간은 이것이 없으면 왜곡됩니다.
4. 일시 중지 상태를 제한하고 사용 현황을 보고하십시오. 고객이나 공급업체를 기다리는 것은 때로 정당합니다. 짧고 이름이 붙은 일시 중지 상태 목록만 허용하고, 사유를 필수로 하며, 각 상태에서 보낸 인시던트 시간의 비율을 보여 주십시오. 일시 중지 시간 비율의 상승은 속도가 아니라 표류의 신호입니다.
정직하게 보고하십시오
5. 평균을 중앙값과 높은 백분위수로 바꾸십시오. 단계마다, 우선순위별로 50번째와 95번째 백분위수를 시계열로 보여 주십시오. 각 지점 뒤의 인시던트 건수를 함께 보여 주십시오. 열 건의 백분위수는 약한 수치이기 때문입니다. 건수가 적으면 요약선을 생략하고 개별 인시던트를 점으로 그리십시오.
6. 가장 오래된 열린 인시던트의 경과 기간을 보여 주십시오. 종료된 인시던트 지속 시간 차트는 아직 열려 있는 인시던트, 즉 가장 나쁜 것들을 보지 못합니다. 매주 우선순위별로 가장 오래된 열린 인시던트를 나열하십시오. 작업을 끝내지 않고는 개선하기 어려우므로 모든 해결 시간 차트에 유용한 짝이 됩니다.
7. 우선순위와 서비스별로 나누십시오. 모든 종류의 인시던트를 더 빨리 처리하더라도, 복잡한 인시던트 쪽으로 구성이 바뀌면 합산한 해결 시간은 늘어납니다. 우선순위 안에서, 서비스 안에서 비교하고 구성 비율을 시간 옆에 보여 주십시오(주제 3.2, 인시던트 건수와 우선순위 참조). 구성이 바뀐 달로부터 결론을 끌어내지 마십시오.
8. 관리 한계로 신호와 잡음을 구분하십시오. 인시던트 지속 시간은 아무것도 바뀌지 않아도 주마다 크게 변합니다. 안정된 기간에서 계산한 한계를 가진 관리도는 변화가 설명할 가치가 있을 만큼 큰지 보여 줍니다(주제 1.6, 서비스 지표를 위한 통계 소양 참조).
속도에 지속성을 짝지으십시오
9. 모든 시간 지표 옆에 재개방률과 재발률을 보여 주십시오. 재개방률은 정해진 기간 안에 다시 열린 인시던트의 비율입니다. 재발은 같은 서비스와 증상이 기간 안에 다시 나타나는 것입니다. 복구 시간이 줄어드는데 재발이 늘어난다면 팀은 임시 땜질을 하고 있는 것입니다. 반복되는 인시던트는 문제 관리로 보내십시오(주제 4.1, 문제 관리 지표 참조).
10. 시간이 실제로 가는 곳인 대기와 인수인계를 측정하십시오. 대부분의 서비스에서 인시던트 경과 시간의 큰 부분은 작업이 아니라 사람, 결정, 공급업체를 기다리는 시간입니다. 활성 시간 비율과 담당 변경 횟수가 어디를 봐야 할지 알려 줍니다. 긴 해결 시간의 해법은 더 빠른 타이핑이 아니라 더 명확한 라우팅 규칙이나 공유 온콜인 경우가 많습니다.
11. 목표는 백분위수에 두고, 사람이 개입하게 하십시오. 목표가 필요하다면 "우선순위 2 인시던트 열 건 중 아홉 건을 정해진 시간 안에 복구한다"처럼 우선순위별 백분위수 약속으로 정하고, 이를 달성할 사람들과 합의하십시오. 위반은 온콜 담당자의 잘못이 아니라 시스템에 대한 질문으로 검토하십시오(주제 5.1, SLA, OLA, XLA 지표 참조).
12. 사용자에게 경험을 물으십시오. 종료된 인시던트 표본에 대한 짧은 설문과 의견 읽기는 수치가 대기의 체감과 일치하는지 알려 줍니다. 사용자는 정확한 복구 시각보다 적시의 소통을 더 중시하는 경우가 많습니다(주제 6.1, 고객 만족도 지표 참조).
악용 방식과 방호책
| 지표 | 악용되는 방식 | 짝지을 방호책 지표 또는 실천 |
|---|---|---|
| 탐지 시간 | 영향 시작을 실제보다 늦게 설정함, 더 적은 결함이 인시던트로 집계되도록 경보 임계값을 넓힘, 모니터가 잡은 인시던트만 집계함 | 모니터링이 아니라 사용자가 먼저 신고한 인시던트의 비율, 모니터링 데이터와 영향 시작 추정치의 주기적 대조 검토 |
| 인지 시간 | 시계를 멈추기 위해 자동 배정하거나 자동 인지함, 경보를 인지만 하고 아무것도 하지 않음 | 같은 인시던트의 최초 응답 시간과 복구 시간, 이후 활동이 없는 인지된 경보의 표본 |
| 최초 응답 시간 | 시계를 멈추려고 정형화된 한 단어 답장을 보냄 | 첫 답변 표본의 실질 내용 검토, 재문의와 설문 의견 |
| 복구 시간 | 사용자가 쓸 수 있기 전에 복구되었다고 선언함, 증상을 억제해서 복구함, 장애를 계획된 유지보수로 기록함 | 기간 내 재발, 복구 시각 이후 사용자가 보고한 영향, 사후에 라벨이 바뀐 인시던트의 비율 |
| 해결 시간 | 티켓을 "고객 대기"나 "보류"로 옮김, 한 번 연락을 시도한 뒤 종료함, 상위 인시던트를 일찍 닫으려고 하위 인시던트로 쪼갬 | 일시 중지 상태에서 보낸 시간의 비율, 재개방률, 가장 오래된 열린 인시던트 경과 기간, 종료 메모 표본 읽기 |
| 가장 오래된 열린 인시던트 경과 기간 | 가장 오래된 티켓을 닫고 다시 발행함, 목록에서 빼려고 문제나 요청으로 재분류함 | 중복을 원본에 연결하고 연결된 경과 기간을 보고, 기간마다 문제나 요청으로 전환된 인시던트 수 |
| 활성 시간 비율 | 시간을 활성으로 표시하려고 짧고 무의미한 작업을 기록함, 노력 없이 활성 상태로 옮김 | 활성 시간을 복구 시간 같은 성과와 비교, 작업 메모 표본 |
| 담당 변경 횟수 | 넘기지 않고 같은 팀에서 다시 열음, 도구에 인수인계가 드러나지 않도록 사이드 채널로 작업을 넘김 | 복구 시간과 사용자 만족도, 팀 사이에서 작업이 움직이는 방식의 주기적 관찰 |
건강한 수치는 중앙값과 꼬리 백분위수가 함께 움직이고, 일시 중지 시간의 비율이 작고 안정적이며, 사용자가 먼저 신고하는 인시던트가 적고, 재발이 줄어들며, 설문 의견이 티켓 데이터와 맞아떨어지는 모습입니다. 헤드라인 개선이 혼자 나타나면 악용 검토를 시작하라는 신호로 받아들이십시오.
상충 관계: 장점과 단점
| 접근 방식 | 강점 | 약점 |
|---|---|---|
| 평균 복구 시간 | 익숙함, 숫자 하나, 추세를 보기 쉬움 | 소수의 긴 인시던트가 좌우함, 실제 변화를 가림, 작은 표본에 부적합 |
| 중앙값과 높은 백분위수 | 전형적인 경험과 운이 나쁜 경험을 모두 설명함, 이상치에 강함 | 충분한 인시던트 수가 필요함, 설명할 숫자가 두 개임 |
| 모든 인시던트를 그리기 | 전체 형태와 이상치를 보여 줌, 적은 건수에서 정직함 | 건수가 많으면 읽기 어려움, 진행자가 필요함 |
| 우선순위별 목표 | 기대가 명확함, 계약과 에스컬레이션을 뒷받침함 | 재분류와 시계 정지를 부름, 노력이 목표 경계에 쏠릴 수 있음 |
| 티켓 시계 지표 | 저렴하고 모든 ITSM 도구에 있음 | 사용자의 경험이 아니라 티켓을 측정함, 상태 워크플로에 민감함 |
| 영향 기반 지표 | 사용자가 느끼는 것에 가까움, 티켓 꼼수에 강함 | 모니터링 데이터와 영향 시작 필드가 필요함, 감사하기 더 어려움 |
현실적인 답은 모든 도구에 있으므로 티켓 시계를 유지하고, 모니터링이 허용하는 곳에서는 영향 기반 복구 타임스탬프를 추가하며, 둘 다 분포로 쓰는 것입니다. 평균은 안정적이고 규모가 크며 서로 비슷한 인시던트 집합을 대략 설명하는 용도로는 괜찮지만, 페이지에 있는 유일한 숫자여서는 안 됩니다.
팀과 논의할 질문
1. 우리 인시던트에서 어느 단계가 가장 오래 걸리며, 그것을 어떻게 알 수 있을까요? 영향 시작부터 종료까지의 단계를 보드에 인시던트 타임라인으로 그려 보십시오. 최근 인시던트 열 건을 골라 도구 데이터와 대응자의 기억을 바탕으로 각 단계에 걸린 시간을 표시합니다. 진행자는 시간이 몰리는 단계를 찾아야 하며, 그곳은 기술 작업이 아니라 인수인계나 결정을 기다리는 구간인 경우가 많습니다. 어느 단계를 먼저 살펴볼지 합의하십시오.
2. 우리의 시계는 어디서 시작하고 어디서 멈추며, 누가 그렇게 정했을까요? 각자에게 인시던트가 언제 "시작"되었고 언제 "끝났다"고 믿는지 말해 보게 하십시오. 답은 다를 것이고, 그 차이가 발견 사항입니다. 이를 도구의 필드와 상태 워크플로와 비교하십시오. 합의한 정의를 지표 등록부에 남기고, 도구가 아직 지원하지 못하는 부분을 기록하십시오.
3. 우리의 중앙값과 95번째 백분위수는 평균이 가리고 있는 무엇을 보여 줄까요? 회의 전에 지난 분기 인시던트의 평균, 중앙값, 95번째 백분위수를 우선순위별로 계산해 두십시오. 나란히 보여 주고 지속 시간을 그려 보십시오. 각각으로부터 팀이 어떤 결론을 내릴지 물어보십시오. 진행자는 한두 건의 인시던트가 평균을 움직이는지 살피고, 중앙값이 전형적인 사용자의 대기를 대표한다고 팀이 믿는지 논의해야 합니다.
4. 우리는 일하는 시간보다 기다리는 시간을 얼마나 쓰며, 그 이유는 무엇일까요? 긴 인시던트 세 건을 골라 상태 이력을 추적하십시오. 활성 상태의 시간과 대기 상태의 시간을 세고, 누구 또는 무엇을 기다렸는지 기록합니다. 어떤 대기를 결정, 더 명확한 에스컬레이션 경로, 공유 온콜로 줄일 수 있을지 물어보십시오.
5. 해결 시간을 4분의 1 줄이라는 요청을 받는다면, 사용자에게 도움이 되지 않고 어떻게 달성할 수 있을까요? 이는 축소판 악용 검토입니다. 서비스는 개선하지 않으면서 수치만 개선하는 모든 방법, 예컨대 시계 정지, 일찍 닫기, 우선순위 재라벨링을 나열하십시오. 각 방법에 대해 방호책이 그것을 잡아낼지 물어보십시오. 이 목록은 악용 방식 열의 출발점이 되며 정의를 어디에서 더 조여야 하는지 보여 줍니다.
6. 더 빨라진 복구가 진짜였음을 어떻게 알 수 있을까요? 근거를 요청하십시오. 재발, 재개방, 사용자 의견, 같은 증상의 이후 인시던트가 근거가 됩니다. 최근의 개선 사례 하나를 골라 한 달 뒤에도 유지되었는지 물어보십시오. 진행자는 그룹이 지속 가능한 해결로 향하도록 이끌어야 합니다. 어느 지속성 지표를 대시보드에 추가할지 정하며 마무리하십시오.
네 가지 관점
제품 및 전달 팀
자기 서비스를 직접 운영하는 제품 팀은 인시던트 시간을 계획된 작업을 밀어내는 계획 외 작업의 비용으로 봅니다. 각 흐름 기간 중 인시던트가 차지하는 비중을 추적하고, 반복되는 인시던트는 담당 팀의 백로그 항목으로 다루십시오. 롤백을 빠르게 해 주는 릴리스 실천은 복구를 단축하므로, 인시던트 시간은 부분적으로 전달 지표이기도 합니다(주제 2.9, 운영 작업과 계획 외 작업 참조).
서비스 및 운영 팀
운영 팀은 시계를 소유하며 목표의 압박을 느낍니다. 이들은 시계 명세서를 공개하고, 일시 중지 상태 사용을 감사하며, 우선순위별로 중앙값과 꼬리 백분위수를 보고하고, 가장 오래된 열린 인시던트 목록을 매주 유지해야 합니다. 온콜 부하와 경보 품질이 인지 시간과 탐지 시간을 좌우하므로 함께 살펴보십시오(주제 5.7, 토일과 온콜 지표 참조).
리더십과 거버넌스
리더는 수치가 왜 빨간색인지가 아니라 어느 단계가 가장 느리고 그에 대해 무엇을 하고 있는지를 물어야 합니다. 백분위수 보고, 모든 속도 지표 옆의 지속성 지표, 정의가 바뀔 때의 설명을 기대해야 합니다. 모니터링, 런북, 문제 관리 작업에 대한 자금 지원은 대응자에 대한 압박보다 더 큰 성과를 내는 경우가 많습니다. 대응자가 통제할 수 없는 지연을 줄여 주기 때문입니다.
고객과 사용자
사용자는 대기, 소통의 질, 문제가 다시 돌아오는지를 경험합니다. 단계 이름은 거의 보지 못합니다. 이들에게 정직한 최초 응답을 주고, 무엇을 기대해야 하는지 알려 주며, 일정에 따라 업데이트하십시오. 사용자의 설문 의견과 재문의는 티켓 시계가 진실을 말하는지 확인하는 가장 좋은 점검입니다.
실제 적용: 서비스 관리 사례
중견 온라인 소매업체가 주문 플랫폼, 고객 계정 서비스, 내부 창고 시스템을 운영합니다. 제품 팀이 각자의 서비스를 소유하고 소규모 운영 그룹과 온콜 순환을 공유합니다. 이 사례의 모든 수치는 예시용(illustrative)입니다.
리더십은 우선순위 2 인시던트에 대해 "평균 해결 시간 4시간 미만"이라는 목표를 세웁니다. 첫 분기에 대시보드는 평균 3.8시간을 보여 주고 목표가 달성된 것처럼 보입니다. 창고 직원들은 일부 장애가 하루 종일 가는 것 같다고 말합니다. 운영 책임자가 그 분기의 우선순위 2 인시던트 41건(예시용)을 그려 보니 중앙값은 1.5시간, 95번째 백분위수는 11시간입니다. 긴 꼬리의 대부분은 세 건이 차지합니다.
그녀는 긴 인시던트 세 건을 추적합니다. 각각 대부분의 시간을 "공급업체 대기" 또는 "고객 대기"에서 보냈습니다. 두 건에서는 원래 티켓이 "위반"되자 닫고 새 인시던트로 다시 발행해 시계가 초기화되었습니다. 세 번째는 이틀 동안 팀 사이에서 네 번 담당이 바뀌었습니다. 종료 메모 표본을 보면 검토한 티켓 30건 중 6건(예시용)이 사용자에게 연락을 한 번 시도한 뒤 닫혔습니다.
팀은 네 가지를 바꿉니다. 인시던트 양식에 영향 시작 필드와 복구 타임스탬프를 추가합니다. 우선순위별 중앙값, 85번째와 95번째 백분위수, 그리고 가장 오래된 열린 인시던트를 매주 보고합니다. 일시 중지 상태의 시간 비율과 재발률을 같은 페이지에 보여 줍니다. 그리고 다시 발행된 티켓을 원본에 연결해 경과 기간이 이어지게 합니다.
다음 검토에서 헤드라인 평균은 4.6시간으로 올랐습니다. 다시 발행된 티켓이 이제 온전히 집계되기 때문입니다. 팀은 이 상승을 보정이라고 리더십에 설명합니다. 이제 팀이 매달리는 숫자는 95번째 백분위수와 가장 오래된 열린 티켓이며, 담당 변경 횟수는 주문 서비스와 창고 시스템 사이의 라우팅 공백을 가리킵니다. 팀은 공유 온콜 별칭을 추가하고, 곧바로 새 목표를 세우는 대신 다음 분기 동안 효과를 검토하기로 합의합니다.
애자일, AI, 자동화, 분석
애자일
중요한 인시던트마다 이해관계자가 참여하는 짧은 피드백 루프를 두면 팀이 시계를 개선하는 데 도움이 됩니다. 주의할 점은 응답 시간 목표가 빠르지만 내용 없는 인지를 낳는다는 것이므로, 복구 시간을 짝지으십시오.
AI
AI는 최초 응답을 빠르게 하고, 해결책을 제안하고, 인시던트를 요약할 수 있어 최초 응답 시간은 줄어도 복구 시간은 바뀌지 않을 수 있습니다. 둘 다 보고하고, AI 제안이 사용된 인시던트의 비율과 그중 재발한 비율도 보고하십시오. 주의할 점은 틀린 AI의 빠른 답변이 일을 늘린다는 것이므로 재개방된 인시던트를 세십시오.
자동화
모든 시계를 도구의 이벤트 타임스탬프로 계산하되 일시 중지 사유를 기록하고, 자동 진단과 자동 복구는 절약한 시간뿐 아니라 잘못된 조치로도 측정하십시오. 주의할 점은 원인을 기록하지 않고 서비스를 복구하는 자동화가 문제 기록을 감춘다는 것입니다.
분석
각 시계에 대해 중앙값과 높은 백분위수를 가장 오래된 열린 인시던트와 함께 보고하고, 그 뒤에 인시던트가 몇 건 있는지 보여 주십시오. 이 수치가 알려 주는 결정은 사용자가 가장 오래 기다리는 곳이 어디인가입니다. 주의할 점은 시계 정의가 도구마다 다르므로, 팀을 비교하기 전에 시작 및 종료 사건을 문서로 남겨야 한다는 것입니다.
부문별 관점
스타트업. 건수가 적어 백분위수에 잡음이 많으므로 요약보다 인시던트별 점 그래프가 낫습니다. 한 사람이 탐지, 대응, 복구를 모두 하는 경우가 많아 단계 분리보다 각 인시던트의 문서화된 타임라인이 더 중요합니다. 모든 사후 작성 문서에 영향 시작 메모를 추가하고, 인시던트가 충분히 쌓이면 간단한 중앙값을 계산하십시오.
소규모 사업체. 관리형 서비스 제공업체나 한 명의 IT 만능 담당자가 인시던트를 처리할 수 있으며, 제공업체의 계약이 응답 및 해결 목표를 정의할 수 있습니다. 계약 시계는 사용자의 경험과 다른 경우가 많으므로 주의해서 읽으십시오. 중요한 인시던트에 대해 영향 시작과 복구를 짧은 로그로 남기고, 요약 수치는 시계를 가리므로 제공업체에 원본 기록을 요청하십시오.
대기업. 많은 팀, 공급업체, 우선순위 체계 때문에 비교는 솔깃하지만 오해를 부릅니다. 조직 전체에서 시계 정의와 우선순위 의미를 표준화하고, 평균이 아니라 분포를 공개하며, 서비스별로 나누십시오. 보고 계층이 늘수록 커지는 일시 중지 상태의 표류와 재분류를 경계하십시오.
정부 및 공공 부문. 계약, 법정 보고, 감사가 시계와 우선순위 정의를 고정할 수 있습니다. 그 의무는 문서대로 이행하되, 규정 준수가 나쁜 경험을 가리지 않도록 사용자 중심의 두 번째 관점을 나란히 유지하십시오. 정의와 시계 규칙이 바뀔 때의 수정 사항에 대해 투명하게 공개하십시오(주제 8.5, 규제 및 정부 보고 참조).
비즈니스 케이스: 동기, ROI, TCO
이 주제의 비용은 대부분 설계와 규율입니다. 시계 명세서를 쓰는 데 몇 시간, 영향 시작 필드와 복구 타임스탬프를 추가하는 구성 작업, 백분위수 보고서를 만드는 약간의 노력이 듭니다. ITSM 도구나 모니터링 플랫폼에 이미 타임스탬프가 있다면 추출은 일회성 작업입니다. 반복 비용은 월간 검토와 종료된 인시던트의 분기별 표본 조사입니다.
수익은 더 나은 결정과 줄어든 재작업에서 나옵니다. 분포 보고는 개선이 효과가 있었는지 보여 주고, 단계별 보고는 인수인계, 탐지 공백, 공급업체 대기 같은 실제 지연에 노력을 집중하게 합니다. 지속성 지표는 반복 인시던트로 돌아오는 빠른 땜질의 가짜 절감을 막아 줍니다. 한 분기 동안 자신의 기준선을 측정하고, 한 가지를 바꾸고, 분포를 비교하십시오.
안티패턴과 함정
- 경영진 대시보드의 단일 MTTR. 치우친 데이터의 평균은 오해를 부릅니다. 중앙값, 높은 백분위수, 가장 오래된 열린 인시던트를 보여 주고 각 지점 뒤의 인시던트 건수를 밝히십시오.
- 우선순위와 서비스를 뒤섞기. 구성 변화가 성과 변화처럼 보입니다. 우선순위와 서비스별로 나누고 구성 비율을 보여 주십시오.
- 일시 중지 상태로 시계 멈추기. 시간이 "대기"와 "보류"로 사라집니다. 허용 상태를 나열하고, 사유를 필수로 하며, 각 상태의 시간 비율을 보고하십시오.
- 티켓을 닫고 다시 발행하기. 경과 기간이 초기화되어 긴 인시던트가 가려집니다. 다시 발행된 티켓을 원본에 연결하고 연결된 경과 기간을 보고하십시오.
- 복구와 종료에 하나의 타임스탬프 쓰기. 팀이 성급한 종료에 보상받거나 신중한 후속 조치에 불이익을 받습니다. 둘 다 기록하고 둘 다 보고하십시오.
- 해결 시간으로 상담원이나 엔지니어의 순위 매기기. 쉬운 티켓과 골라 잡기에 보상하고 도움 요청과 에스컬레이션을 막습니다. 팀과 서비스 단위로만 보고하십시오.
- 지속성 지표 없는 목표. 내일 실패할 빠른 땜질이 성공처럼 보입니다. 모든 목표 옆에 재발률과 재개방률을 보여 주십시오.
- 작은 표본을 추세로 취급하기. 몇 건의 인시던트로 구한 95번째 백분위수는 추측입니다. 개별 인시던트를 그리고, 선을 긋기 전에 더 많은 데이터를 기다리십시오.
성숙도 모델
| 차원 | 1 시작 | 2 발전 | 3 표준화 | 4 관리 | 5 조율 |
|---|---|---|---|---|---|
| 정의와 시계 | 사람마다 다르게 측정하며 "해결 시간"이 하나뿐임 | 일부 팀에 시계가 문서화되어 있고 단계가 부분적으로 분리됨 | 일시 중지 상태를 나열한, 모든 단계에 대한 하나의 시계 명세서 | 정의를 검토하고 변경을 사유와 함께 기록함 | 정의를 공급업체 및 고객과 정렬하고, 결정에 도움이 되지 않을 때 수정함 |
| 데이터 품질 | 수작업 메모, 영향 시작을 알 수 없음 | 티켓 기록 및 종료의 도구 타임스탬프 | 우선순위 인시던트에 영향 시작과 복구를 기록함 | 표본 추출로 데이터를 감사하고 추정치를 표시함 | 모니터링과 ITSM 데이터를 자동으로 결합하며 팀 전반에서 신뢰함 |
| 통계적 실천 | 평균만 사용 | 평균과 중앙값을 제시 | 우선순위와 서비스별 중앙값과 높은 백분위수 | 관리 한계를 쓰고 지속성 지표를 짝지음 | 분포를 사용자 경험과 연결하고 어디에 투자할지 결정하는 데 씀 |
| 개선에서의 활용 | 개인을 쫓는 데 수치를 씀 | 팀이 자기 수치를 봄 | 팀이 단계별 시간과 대기를 매달 검토함 | 느린 단계가 자금이 지원되는 개선 작업으로 이어짐 | 개선을 팀과 공급업체가 공유하고 지표가 진화함 |
체크리스트
- 각 단계(탐지, 인지, 응답, 복구, 해결)에 문서화된 시작, 종료, 일시 중지 규칙이 있습니다.
- 우선순위 인시던트에 대해 영향 시작과 복구 시각이 별도 필드로 기록됩니다.
- 보고서가 우선순위별, 서비스별로 중앙값과 높은 백분위수를 보여 줍니다.
- 보고된 각 지점 뒤의 인시던트 건수가 표시됩니다.
- 가장 오래된 열린 인시던트가 매주 나열됩니다.
- 일시 중지 상태는 짧고 이름이 붙은 목록이며 그 시간 비율이 보고됩니다.
- 모든 시간 지표 옆에 재개방률과 재발이 표시됩니다.
- 다시 발행된 티켓이 원본에 연결되어 경과 기간이 이어집니다.
- 어떤 시간 지표도 개별 상담원이나 엔지니어의 순위를 매기는 데 쓰이지 않습니다.
- 종료된 인시던트의 표본을 매 분기 읽어 정직성을 확인합니다.
- 고객 설문 의견을 티켓 데이터와 함께 읽습니다.
AI 프롬프트
인시던트 지속 시간의 평균과 백분위수를 비교합니다.
I will paste incident records for [service or team] covering [period]. Fields:
[list fields such as logged time, impact start, restore time, closed time,
priority, status history]. Compute the median, the 85th percentile, the 95th
percentile, and the mean of [stage name, for example time to restore] by
[priority], and show how many incidents sit behind each figure. Describe how far
the mean differs from the median and which incidents drive that difference. Do
not invent data or benchmark values. List your assumptions, any rows you
excluded, and anything the data could not tell you.
[paste incident data with personal data removed]
인시던트 시간 지표를 위한 시계 명세서 초안을 작성합니다.
Draft a clock sheet for [team name] covering time to detect, time to
acknowledge, time to first response, time to restore, and time to resolve. Our
ITSM tool is [tool name], our monitoring is [monitoring tool], and our status
workflow is [list of statuses]. For each stage, give the start event, stop
event, pause states, time basis ([calendar or business hours]), exclusions, and
a gaming vector with a guardrail. Mark every item you had to assume and list
questions I should answer to complete the sheet. Do not invent targets.
긴 인시던트 몇 건에서 경과 시간이 어디로 가는지 찾습니다.
Here is the status history for [number] long incidents from [service]. For each
incident, list the time spent in each status, mark the active and waiting
states using this rule: [which statuses count as active], and note every
reassignment between [teams or groups]. Report patterns across incidents, not
individuals, and suggest which stage deserves attention first. Do not guess at
causes the data does not show. List your assumptions and what extra fields
would help.
[paste status histories with personal data removed]
인시던트 시간 목표에 대한 악용 검토를 실행합니다.
We report [metric name] for [priority or service], defined as [definition with
start and stop events]. The target is [target] and the audience is [audience].
List realistic ways the number could improve without helping users, such as
clock pausing, early closure, relabelling, or re-raising tickets. For each way,
propose a guardrail measure or practice that would reveal it, and state how that
guardrail could itself be gamed. Do not invent benchmarks or statistics. List
your assumptions.
AI 스킬
- Service Management Metrics skill: 보고하려는 인시던트 시간 지표와 관련된 주제 및 짝지을 방호책을 찾을 때 사용하십시오.
- Service Management Metrics maintainer skill: 이 주제의 변경이 템플릿, 악용 방식 표, 상호 참조의 일관성을 유지하는지 확인할 때 사용하십시오.
핵심 정리
- 인시던트에는 단계가 있고, 각 단계에는 고유한 시계, 소유자, 해결책이 있습니다. 측정하는 단계를 지목하십시오.
- 인시던트 지속 시간은 치우쳐 있으므로 평균은 오해를 부릅니다. 중앙값, 높은 백분위수, 가장 오래된 열린 인시던트의 경과 기간을 보고하십시오.
- 각 시계가 어디서 시작하고 멈추는지 문서로 남기고, 영향 시작과 복구를 티켓 종료와 별도로 기록하며, 일시 중지 상태를 제한하십시오.
- 모든 속도 지표에 재발률과 재개방률 같은 지속성 지표를 짝지으십시오.
- 개별 상담원이 아니라 팀과 서비스를 설명하고, 종료된 인시던트 표본을 읽어 수치가 정직한지 확인하십시오.
참고 문헌과 더 읽을거리
- Davidovič, Š., Incident Metrics in SRE: Critically Evaluating MTTR and Friends, O'Reilly Media, 2021, https://sre.google/resources/practices-and-processes/incident-metrics-in-sre/.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
- AXELOS, ITIL Foundation: ITIL 4 Edition, TSO (The Stationery Office), 2019.
- ISO/IEC 20000-1:2018, Information technology: Service management: Part 1: Service management system requirements, International Organization for Standardization.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Incident management.
- Wikipedia, ITIL.
- Wikipedia, Site reliability engineering.
- Wikipedia, Mean time to repair.
- Wikipedia, Service-level agreement.
- Wikipedia, Log-normal distribution.
- Wikipedia, Median.
- Wikipedia, Percentile.