중대 인시던트 지표
중대 인시던트를 순위표가 아니라 배워야 할 드물고 비싼 사건으로 측정하십시오. 건수를 세고, 정직하게 시간을 재고, 고객 영향의 크기를 가늠하고, 사람들에게 알렸는지 확인하고, 후속 조치가 실제로 이루어졌는지 증명하십시오.
개요와 동기
중대 인시던트는 일상적인 대응을 넘어선 대응이 필요할 만큼 심각한 인시던트입니다. IT 서비스 관리에서 가장 잘 알려진 프레임워크인 ITIL은 인시던트 관리(incident management)를 정상적인 서비스 운영을 가능한 한 빨리 복구하는 것으로 설명하며, 조직이 가장 심각한 인시던트를 별개의 더 조율된 경로로 처리하기를 기대합니다. 조직이 그 선을 어떻게 긋는지는 자체 결정입니다. 흔한 선택은 많은 사용자나 핵심 서비스에 영향을 주고 한 명의 조정자 아래 여러 팀이 함께 일해야 하는 인시던트입니다. 이 주제의 모든 지표가 그에 의존하므로 자체 정의를 적어 두십시오.
중대 인시던트는 드뭅니다. 팀은 한 주에 수십 건의 일반 인시던트를 보고 분기에 두세 건의 중대 인시던트를 볼 수 있습니다. 이는 측정 방식을 바꿉니다. 인시던트 양과 해결 시간의 일반 통계(주제 3.2, 인시던트 건수와 우선순위와 주제 3.3, 인시던트 대응 및 해결 시간 참조)는 많은 사건을 가정하고 평균을 보상합니다. 기간당 중대 인시던트가 몇 건이면 평균은 나쁜 밤 하나가 지배하고, 추세선은 대부분 잡음이며, 백분위수(percentile)는 데이터 포인트 다섯 개에서는 무의미합니다(주제 1.6, 서비스 지표를 위한 통계 소양 참조). 정직한 접근은 모든 중대 인시던트를 자체 타임라인이 있는 한 행으로 보여 주고, 더 긴 구간에 대해서만 요약하는 것입니다.
애자일 관점과 ITIL 관점은 여기서 이 책의 어느 곳보다 더 직접적으로 만납니다. ITIL은 구조를 제공합니다. 선언된 중대 인시던트, 지명된 조정자, 영향받는 당사자에 대한 정의된 소통, 사후 검토입니다. 애자일(agile)과 사이트 신뢰성 엔지니어링(SRE, site reliability engineering) 전통은 습관을 제공합니다. 대응을 이끄는 인시던트 지휘관(incident commander), 무슨 일이 있었는지에 대한 비난 없는 검토, 지속적 개선으로 이어지는 학습에 대한 초점입니다. 구글의 Site Reliability Engineering은 인시던트 지휘 패턴과 사후 분석 검토 실천을 모두 설명합니다(참고 문헌 참조). 이런 의미의 사후 분석(postmortem)은 인시던트, 그 원인, 후속 조치에 대한 서면 기록이며, 여기서는 "인시던트 사후 검토"와 같은 뜻으로 씁니다.
이 주제는 다섯 가지 질문을 다룹니다. 중대 인시던트는 얼마나 자주 일어나는가? 얼마나 지속되며, 그중 누군가 선언하기 전에 보낸 시간은 얼마인가? 얼마나 많은 사용자, 어떤 사용자가 그것을 느꼈는가? 사람들이 제때, 꾸준한 리듬으로 우리에게서 소식을 들었는가? 약속한 후속 조치가 이루어졌는가? 관련 주제들은 그 주변을 다룹니다. 가용성(주제 5.3, 가용성 지표 참조), 서면 검토의 품질(주제 4.2, 사후 분석과 학습 지표 참조), 기저 원인(주제 4.1, 문제 관리 지표 참조), 그리고 흔히 중대 인시던트를 촉발하는 변경(주제 4.4, 변경 실패와 재작업 참조)입니다.
이 주제에서 쓰는 용어입니다.
- 중대 인시던트: 서면 선언 기준을 충족하고 중대 인시던트 프로세스를 촉발하는 인시던트.
- 선언: 권한이 있는 누군가 중대 인시던트 프로세스를 공식적으로 발동하는 순간.
- 복구 시간: 고객 영향의 시작부터 사용자에 대해 서비스가 복구되는 순간까지의 시간. 서비스를 복구하는 순간은 근본 원인(root cause)을 찾는 것과 같지 않습니다.
- 인시던트 지휘관: 대응을 조율하고, 작업을 배정하고, 결정하는 역할. 인시던트 기간 동안의 역할이지 직함이 아닙니다.
- 인시던트 사후 검토: 서비스가 복구된 뒤 인시던트에 대한 구조화된 비난 없는 검토.
- 조치 항목: 검토에서 이어지는 구체적이고, 소유자가 있고, 날짜가 있는 변경.
핵심 원칙
- 사건을 보여 주고 요약하십시오. 드문 사건은 개별 타임라인을 가질 자격이 있습니다. 각 중대 인시던트를 따로 보고하고, 요약 통계는 건수를 옆에 두고 긴 구간에 대해서만 쓰십시오.
- 인지가 아니라 영향 시점에서 시계를 시작하십시오. 누군가 알아차린 때 시작하는 지속 시간은 감지의 간극을 가리며, 그것이 이야기에서 가장 큰 부분인 경우가 많습니다.
- 팀의 노력이 아니라 사용자의 경험을 측정하십시오. 고객 영향이 프로세스가 존재하는 이유입니다. 대응자의 노력 시간은 추적할 비용이지 점수가 아닙니다.
- 소통은 복구의 일부입니다. 서비스가 복구되었는데 사용자가 여전히 추측하고 있다면 절반만 고쳐진 것입니다. 업데이트의 적시성을 대응의 측정치로 다루십시오.
- 조치가 끝나야 검토가 끝난 것입니다. 열린 조치가 있는 완성된 문서는 아무것도 바꾸지 못했습니다. 검토의 존재만이 아니라 후속 이행을 측정하십시오.
- 사람의 순위를 매기지 말고, 선언을 벌하지 마십시오. 중대 인시던트를 선언하는 것이 보고서에서 선언자의 팀에 불리하게 작용하면 선언이 줄어들고 서비스는 나빠지는데 지표는 좋아집니다.
- 선언 기준을 안정적으로 유지하십시오. 임계값을 옮기면 이 주제의 모든 지표가 바뀝니다. 각 변경을 이유와 날짜와 함께 기록하십시오.
지표 정의
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 |
|---|---|---|---|---|---|---|---|
| 중대 인시던트 건수 | 기간 중 서비스별로 선언된 중대 인시던트 | 선언 시각 기준으로 기간 중 선언 기준을 충족해 선언된 인시던트 수, 서비스별. 첫 1시간 안에 강등된 인시던트는 별도로 나열하고 제외 | 분기당 건수 | 중대 인시던트 표시가 있는 ITSM 도구 인시던트 레코드 | 인시던트 관리 | 팀 또는 서비스 건강 검토 | 월간 보고, 분기 추세 |
| 중대 인시던트 지속 시간 | 고객이 영향을 받은 시간 | 인시던트별로 서비스 복구 시각 빼기 영향 시작 시각. 영향 시작은 모니터링의 가장 이른 증거 또는 첫 사용자 보고 중 더 이른 것. 부분 복구는 별도 이벤트로 기록하고 완전 복구가 시계를 멈춤 | 분, 인시던트별 | 모니터링 타임라인, ITSM 도구의 인시던트 타임라인 | 인시던트 관리, 서비스 수준 관리 | 전달 지표의 복구 시간(주제 2.8, DORA 지표 참조) | 인시던트마다, 긴 구간의 중앙값과 최대값은 분기 |
| 선언까지의 시간 | 영향 시작과 중대 인시던트 선언 사이의 지연 | 인시던트별로 선언 시각 빼기 영향 시작 시각. 선언되지 않은 인시던트는 일반적인 고영향 인시던트의 분기 검토로 찾아 선언 시각 n/a(선언 안 됨)로 포함 | 분, 인시던트별 | 모니터링 타임라인, ITSM 도구 감사 추적 | 인시던트 관리, 모니터링 및 이벤트 관리 | 팀 업무 합의의 에스컬레이션 준비의 정의 | 인시던트마다 |
| 고객 영향 | 영향을 받은 사용자 수와 사용량 | 인시던트별로 영향받은 사용자(또는 실패한 요청) 곱하기 영향받은 분. 영향 구간에 서비스를 쓰려고 시도한 사용자만 셈. 계획된 유지보수는 제외 | 사용자-분 또는 실패한 요청 | 서비스 텔레메트리, 지원 접촉 레코드 | 서비스 수준 관리, 인시던트 관리 | 사용자 대면 서비스 수준 지표(주제 5.2, SLI, SLO, 오류 예산 참조) | 인시던트마다 |
| 소통 적시성 | 영향받은 당사자에게 제때 알렸는지 | 선언 뒤 목표 안에 첫 고객 대면 공지가 나간 중대 인시던트의 비율, 합의된 간격 안에 보낸 예정 업데이트의 비율. 시계는 선언에서 시작. 내부용 메시지는 제외 | 인시던트의 퍼센트, 업데이트의 퍼센트 | 상태 페이지 이력, ITSM 도구의 소통 로그 | 인시던트 관리, 서비스 수준 관리 | 팀 업무 합의의 이해관계자 소통 | 인시던트마다, 분기 요약 |
| 검토 완료 적시성 | 검토가 유용할 만큼 일찍 이루어졌는지 | 복구 후 합의된 영업일 안에 검토가 게시된 중대 인시던트의 비율. 시계는 첫 초안이 아니라 게시 시점에 멈춤. 아직 기간 안에 있는 인시던트는 제외 | 퍼센트 | 검토 저장소, ITSM 도구 | 지속적 개선, 문제 관리 | 개선 후속 조치 | 분기 |
| 조치 항목 후속 이행 | 검토 조치가 완료되는지 | 기한까지 완료한 검토 조치 / 기간 중 기한이 도래한 검토 조치. "하지 않음"으로 닫은 조치는 숨기지 않고 이유와 함께 따로 셈 | 퍼센트, 기한 초과 건수 | 검토에 연결된 이슈 트래커 | 지속적 개선, 문제 관리 | 회고에서 나온 백로그 항목 | 월 |
| 반복 중대 인시던트율 | 같은 원인의 재발 | 기록된 원인이 지난 12개월의 앞선 중대 인시던트와 일치하는, 기간 중 중대 인시던트 / 기간 중 중대 인시던트. 일치는 원인 필드로 하되 사람이 검토 | 퍼센트, 건수와 함께 표시 | 검토 레코드, 문제 레코드 | 문제 관리 | 백로그의 예방 작업 | 분기 |
모든 행은 신뢰하기 전에 서면 시계 규칙이 필요합니다. 영향 시작과 복구 시각에 대한 분쟁은 흔하며 미리 정리해 두는 것이 최선입니다(주제 1.5, 데이터 원천과 계측 참조).
권장 사항
무엇이 인시던트를 중대하게 만드는지 적어 두십시오
온콜인 누구나 적용할 수 있는 선언 기준을 게시하십시오. 기준은 보통 영향(영향받은 사용자, 저하된 핵심 서비스, 안전이나 법적 위험)과 조율의 필요(둘 이상의 팀이 필요)를 결합합니다. 예시가 있는 짧은 목록이 긴 매트릭스보다 낫습니다. 누가 선언할 수 있는지 밝히고, 선의로 선언하는 것은 인시던트가 가벼운 것으로 드러나더라도 절대 실수가 아님을 분명히 하십시오.
모든 인시던트 레코드에 기준의 버전을 기록하십시오. 임계값이 움직이면 추세도 따라 움직입니다. 각 레코드의 버전 번호나 날짜는 같은 것끼리 비교하고 규칙 변경에서 온 건수의 점프를 설명할 수 있게 합니다.
건수를 목표로 바꾸지 않고 세고 분류하십시오
건수를 맥락과 함께 보고하십시오. 분기당 중대 인시던트 수를 서비스, 트리거(변경, 용량, 의존성, 보안, 기타), 기준 버전 옆에 보여 주십시오. 맥락 없는 건수는 "분기당 세 건 미만" 같은 목표를 부르고, 이는 사람들에게 선언하지 말라고 가르칩니다. 건수의 감소는 선언까지의 시간과 고객 영향이 안정적일 때만 좋은 소식으로 다루십시오.
선언됨, 강등됨, 놓침을 분리하십시오. 선언되었다가 강등된 인시던트를 추적하십시오. 기준이 합리적인지 보여 주기 때문입니다. 분기마다 일반 인시던트의 표본을 검토해 선언되었어야 할 것을 찾으십시오. 놓친 것들이 가장 많은 정보를 줍니다.
사용자 쪽에서 인시던트의 시간을 재십시오
고객이 영향받는 때 시계를 시작하십시오. 가장 이른 신뢰할 수 있는 증거를 사용하십시오. 첫 티켓보다 앞서는 모니터링 신호인 경우가 많습니다. 시작이 불확실하면 누군가 알아차린 시각이 아니라 추정치와 그 출처를 기록하십시오. 영향 시작과 선언 사이의 간극은 그 자체로 하나의 지표이며 대개 개선하는 데 가장 싼 것입니다.
타임라인을 단계로 나누십시오. 감지, 선언, 진단, 완화, 완전 복구는 각각 지연의 원인과 소유자가 다릅니다. 인시던트별 단계 분해는 평균 없이도 시간이 어디로 갔는지 보여 줍니다. 우회책으로 서비스를 복구하는 것과 원인을 고치는 것은 별개의 사건이며, 후자는 문제 관리에 속합니다.
긴 구간에 대해 중앙값과 최악의 경우를 건수와 함께 쓰십시오. 일 년 치 데이터라면 중앙값과 가장 긴 지속 시간을 보고하고 몇 건에서 나온 것인지 말하십시오. 중대 인시던트에 단일 평균 복구 시간을 쓰는 것은 피하십시오. 사건이 몇 건 안 되면 불안정하고 하나의 긴 장애가 왜곡합니다(주제 1.6, 서비스 지표를 위한 통계 소양 참조).
사용자가 알아볼 용어로 고객 영향의 크기를 가늠하십시오
서버 기반 영향보다 사용자 기반 영향을 선호하십시오. 실패한 요청, 영향받은 사용자, 영향받은 거래는 사람들에게 일어난 일을 설명합니다. 구성 요소의 저하된 서비스 분 수는 기계에 일어난 일을 설명합니다. 서비스 수준 지표가 있는 곳에서는 그것을 쓰고(주제 5.2, SLI, SLO, 오류 예산 참조) 인시던트를 가용성 그림에 연결하십시오(주제 5.3, 가용성 지표 참조).
각 레코드에 쉬운 말의 영향 진술을 추가하십시오. 누가 영향을 받았고 무엇을 할 수 없었는지 명명한 한두 문장입니다. 지원 접촉, 소셜 미디어 언급, 고객 에스컬레이션은 진술의 증거이지 극대화할 지표가 아닙니다.
소통을 대응의 일부로 측정하십시오
청중별로 소통 목표를 정하십시오. 영향받은 고객, 내부 이해관계자, 경영진에게는 서로 다른 시점에 서로 다른 메시지가 필요합니다. 선언 뒤 첫 공지의 목표와 업데이트의 꾸준한 리듬에 합의하고, 인시던트마다 준수를 측정하십시오. 내용보다 리듬이 더 중요합니다. "변화 없음, 다음 업데이트는 30분 뒤"라는 업데이트가 제때 도착하는 것이 침묵보다 더 많은 신뢰를 쌓습니다.
대응과 소통을 다른 사람의 손에 두십시오. 소통 책임자는 인시던트 지휘관이 진단에 집중하게 해 줍니다. 작은 팀은 체크리스트와 미리 작성한 템플릿을 대신 쓸 수 있습니다.
학습의 고리를 닫으십시오
검토를 일찍 열고 게시하십시오. 기억은 흐려지므로 검토의 기간을 정하고 지켰는지 측정하십시오. 검토의 완료는 검토가 바꾸는 것보다 덜 중요하므로 후속 이행과 짝지우십시오. 구글의 Site Reliability Engineering은 비난 없는 검토와 그것을 글로 쓰는 것을 옹호하며(참고 문헌 참조), 주제 4.2(사후 분석과 학습 지표)는 검토의 품질을 다룹니다.
조치를 끝까지 추적하고 정직한 "하지 않음"을 허용하십시오. 각 조치를 소유 팀이 이미 쓰는 백로그에 소유자와 날짜와 함께 두십시오. 거절된 조치는 썩게 두지 말고 이유와 함께 기록하십시오. 운영 또는 서비스 검토에서 기한이 지난 조치를 검토하고 무엇이 막고 있는지 물으십시오. 검토당 조치의 수에 상한을 두어 남은 것이 중요한 것이 되게 하십시오.
인시던트 전반의 패턴을 찾아 문제 관리로 보내십시오. 반복되는 원인, 흔한 트리거, 반복되는 감지 공백은 개별 검토가 놓치는 신호입니다. 이를 문제 및 알려진 오류 프로세스(주제 4.1, 문제 관리 지표 참조)와 서비스를 소유한 팀의 계획에 공급하십시오. 늘어나는 반복률을 평결이 아니라 조사의 촉구로 다루십시오.
악용 방식과 방호책
| 지표 | 악용되는 방식 | 짝을 이루는 방호책 지표 또는 실천 |
|---|---|---|
| 중대 인시던트 건수 | 선언 임계값을 올림, 선언되지 않도록 인시던트를 "높음" 우선순위에 둠, 사건 하나를 여러 레코드로 쪼개거나 여러 개를 하나로 합침 | 고정되고 버전이 있는 기준, 고영향 일반 인시던트의 분기별 표본, 건수 옆에 추적하는 고객 영향과 선언까지의 시간 |
| 중대 인시던트 지속 시간 | 시계를 더 늦은 영향 시작으로 되돌림, 사용자가 여전히 실패하는데 "복구됨"으로 선언함, 닫았다가 새 레코드를 다시 엶 | 모니터링에서 가져온 영향 시작, 사용자 대면 지표로 확인한 복구, 재개방 및 연결된 레코드는 하나의 인시던트로 셈 |
| 선언까지의 시간 | 빨라 보이려고 모든 것을 일찍 선언함, 선언을 영향 시작으로 소급함 | 나중에 강등된 선언 인시던트의 비율, 선언 시각의 감사 추적, 원시 모니터링에 비춘 타임라인의 표본 |
| 고객 영향 | "영향받음"의 정의를 좁힘, 티켓을 올린 사용자만 셈, 계속 가동 중이던 의존성을 측정함 | 접촉뿐 아니라 텔레메트리에서 도출한 영향, 인시던트 검토에서 검토하는 쉬운 말의 영향 진술 |
| 소통 적시성 | 시계를 시작하려고 모호한 공지를 게시함, 내용 없는 업데이트를 보냄, 내부 메시지를 셈 | 업데이트 표본의 내용 점검, 명확성에 대한 고객 피드백, 고객 대면 공지만 셈 |
| 검토 완료 적시성 | 날짜를 맞추려고 부실한 문서를 게시함, 검토가 "필요 없음"이라고 선언함 | 표본에 대해 동료가 읽은 검토 품질(주제 4.2, 사후 분석과 학습 지표 참조), 면제된 검토의 비율 표시 |
| 조치 항목 후속 이행 | 닫기 쉬운 모호하거나 사소한 조치를 씀, 일을 하지 않고 조치를 닫음, "하지 않음"으로 재라벨링함 | 조치 품질의 표본, 닫힌 조치를 시스템 변경과 대조 검증, "하지 않음"의 비중과 이유 검토 |
| 반복 중대 인시던트율 | 다른 문구를 골라 각 원인을 새로운 것으로 기록함, 모든 것을 "인적 오류"로 돌림 | 정의가 있는 짧은 원인 분류 체계, 인시던트 밖의 누군가 검토한 원인 필드, 시스템 설명 없이 "인적 오류"를 원인으로 인정하지 않음 |
건강한 수치란 선언된 인시던트의 적당하고 상당히 안정적인 건수에 가끔의 강등과 검토에서 발견한 가끔의 놓침이 있는 모습입니다. 선언까지의 시간은 짧고 줄고 있으며, 인시던트당 고객 영향은 파악되고 예방 작업이 이루어진 곳에서 줄고, 거의 모든 고객 대면 업데이트가 일정대로입니다. 검토는 제때 게시되고 조치는 대부분 끝났으며 거절된 조치의 작고 정직한 집합이 있습니다. 모든 것이 완벽해 보이면 기준이 어긋났는지, 사람들이 선언을 그만두었는지 물으십시오(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조). 찰스 굿하트의 이름을 딴 법칙은 여기서 가장 쉽게 보입니다. 나쁜 숫자의 비용이 경보를 울리려는 의지의 감소이기 때문입니다.
상충 관계: 장점과 단점
| 선택 | 강점 | 약점 |
|---|---|---|
| 각 인시던트를 한 행으로 보여 주기 | 맥락을 유지하고 적은 건수의 오해를 부르는 평균을 피함 | 리더를 위해 요약하기 어려움, 인시던트당 짧은 서술이 필요함 |
| 중대 인시던트의 건수 보고 | 단순하고, 익숙하고, 리더십에 보임 | 목표로 바꾸기 쉬움, 기준 변경에 반응함 |
| 영향 시작부터의 시간 | 사용자의 경험을 반영하고 감지의 간극을 드러냄 | 영향 시작이 불확실할 때가 있어 판단이 필요함 |
| 선언부터의 시간 | 포착하고 비교하기 쉬움 | 느린 감지와 느린 선언을 가림 |
| 영향의 사용자-분 | 인시던트와 서비스 간에 비교 가능 | 텔레메트리가 필요하고 모든 사용자와 분을 같게 다룸 |
| 검토 완료율 | 수집하기 쉽고 습관을 북돋움 | 학습이 아니라 문서를 보상함 |
| 조치 후속 이행률 | 검토를 변경에 연결함 | 사소한 조치로 악용될 수 있음, 소유자와 백로그가 필요함 |
하나를 최적화하는 대신 전체 주기(선언, 복구, 알림, 학습, 완료)를 다루는 소수의 측정치를 쓰십시오. 텔레메트리가 있을 때만 영향 측정치를 추가하십시오. 텔레메트리가 없는 곳에서는 지어낸 숫자보다 신중하게 쓴 영향 서술이 더 도움이 됩니다.
팀과 논의할 질문
1. 여기서 정확히 무엇이 인시던트를 중대하게 만들며, 온콜인 모두가 동의하나요? 정의가 다른 모든 숫자의 토대입니다. 세 사람에게 같은 최근 인시던트를 분류하게 하고 답을 비교하십시오. 불일치는 기준이 모호한 곳을 보여 줍니다. 진행자는 서면 기준에 추가할 예시를 기록하고 누가 선언할 수 있는지 합의해야 합니다. 나중에 인시던트가 강등되더라도 선의의 선언은 언제나 괜찮다는 것을 확인하며 마무리하십시오.
2. 마지막 중대 인시던트에서 영향 시작과 선언 사이의 시간은 얼마였나요? 기억이 아니라 모니터링에서 타임라인을 재구성하십시오. 간극은 예상보다 큰 경우가 많고 가장 긴 단계일 때도 있습니다. 어떤 신호가 있었고 누가 보았는지, 간극이 불분명한 기준, 누락된 경보, 선언을 꺼리는 마음 중 어디서 왔는지 물으십시오. 그것을 줄일 변경 하나를 고르고 어떻게 알지 결정하십시오.
3. 누가 영향을 받았고, 어떻게 아나요? 당시 팀이 믿었던 것을 나중에 텔레메트리와 지원 접촉이 보여 주는 것과 비교하십시오. 어느 고객이 다른 고객보다 더 큰 영향을 받았는지, 그들이 비즈니스에 가장 중요한 고객이었는지 가장 대처하기 어려운 고객이었는지 물으십시오. 영향 진술이 고객이 알아볼 만한 것인지 논의하십시오. 다음에 믿을 만하게 수집할 수 있는 영향 측정치 하나에 합의하십시오.
4. 필요할 때 사람들이 우리에게서 소식을 들었으며, 메시지가 유용했나요? 첫 공지와 각 업데이트를 합의된 리듬과 대조해 확인하십시오. 실제 메시지를 고객처럼 읽어 보십시오. 알려진 것, 알려지지 않은 것, 다음 업데이트가 언제 올지를 말했는지 물으십시오. 인시던트 중 소통을 누가 소유하며 그 사람이 그 일을 할 여유가 있는지 논의하십시오.
5. 지난 세 번의 검토에서 나온 조치들은 어떻게 되었나요? 조치를 하나의 목록으로 가져와 각각을 완료, 진행 중, 기한 초과, 거절됨으로 표시하십시오. 기한이 지난 것에 대해서는 용량, 소유권, 우선순위, 불분명한 범위 중 무엇이 막고 있는지 물으십시오. 다음 운영 또는 계획 회의에서 기한이 지난 조치를 어떻게 제기할지 결정하십시오.
6. 중대 인시던트의 수로 평가받는다면 우리는 무엇을 다르게 할까요, 그리고 고객은 더 나아질까요? 이 질문은 악용 방식이 일어나기 전에 드러냅니다. 그룹에게 임계값, 라벨, 누가 선언하는지 중 무엇을 바꿀지 솔직히 말해 달라고 하십시오. 그다음 더 나은 목표가 무엇인지 물으십시오. 좋은 답은 고객 영향, 선언까지의 시간, 후속 이행으로 향하며, 이들은 사용자를 돕지 않고서는 악용하기 더 어렵습니다. 답을 방호책으로 기록하십시오.
네 가지 관점
제품 및 전달 팀
제품 팀은 중대 인시던트를 계획된 작업의 중단이자 자기 변경에 대한 피드백으로 만납니다. 분명한 영향 수치, 자기 인시던트 타임라인에 대한 빠른 접근, 일할 여유가 있는 백로그에 들어오는 검토 조치에서 가장 큰 이득을 얻습니다. 인시던트 후속 조치를 위한 용량을 확보하고 조치를 기능과 같은 위상의 작업으로 다루십시오. 반복되는 트리거가 실천의 변경으로 이어지도록 원인 범주를 공유하십시오(주제 2.9, 운영 작업과 계획 외 작업 참조).
서비스 및 운영 팀
운영 팀은 대응을 수행하고 심야 작업의 비용을 짊어집니다. 새벽 3시에 적용할 수 있는 기준, 인력을 배치할 수 있는 지휘관 및 소통 역할, 나중에 기억이 아니라 사건이 진행되는 동안 타임라인을 포착하는 도구가 필요합니다. 중대 인시던트가 소수의 사람에게 주는 부하를 지켜보고(주제 5.7, 토일과 온콜 지표 참조), 이 주제의 지표를 대응자를 비교하는 데가 아니라 예방 작업을 요청하는 데 써야 합니다.
리더십과 거버넌스
리더는 사람들이 빨리 선언하고 정직하게 보고하는지를 결정하는 분위기를 만듭니다. 각 중대 인시던트의 이야기와 일 년의 추세를 요청하고, 건수에 대한 목표를 피하고, 고객 영향, 감지 공백, 완료된 조치에 대해 물어야 합니다. 검토가 권고하는 예방 작업에 자금을 대고 전달 계획과 같은 자리에서 검토하십시오. 그러면 거버넌스가 교훈이 변경으로 이어지는지 볼 수 있습니다(신뢰성과 투자를 연결하는 방법은 주제 5.2, SLI, SLO, 오류 예산 참조).
고객과 사용자
고객은 중대 인시던트를 얼마나 오래 영향받았는지, 소식을 들었는지, 다시 일어나는지로 판단합니다. 늦고 다듬어진 공지보다 이르고 정직한 공지가 그들에게 더 도움이 됩니다. 상태 채널, 의지할 수 있는 리듬, 무슨 일이 있었고 무엇이 바뀔지에 대한 사후의 분명한 설명을 제공하십시오. 계약이 적용되는 곳에서는 서비스 수준 협약에서 합의한 용어로 보고하십시오(주제 5.1, SLA, OLA, XLA 지표 참조). 인시던트 후 만족도는 물어볼 가치가 있습니다(주제 6.1, 고객 만족도 지표 참조).
실제 적용: 서비스 관리 사례
한 중견 온라인 소매업체가 각각 제품 팀이 소유하는 스토어프론트, 결제 서비스, 주문 관리 서비스를 운영하고 공유 플랫폼 팀이 온콜을 맡습니다. 소규모 서비스 관리 그룹이 중대 인시던트 프로세스를 운영합니다. 이 사례의 모든 숫자는 예시입니다.
지난 두 분기에 소매업체는 중대 인시던트 다섯 건(예시)을 선언했습니다. 서비스 관리 그룹은 각각을 영향 시작, 선언 시각, 복구 시각, 추정 실패 주문, 첫 고객 공지 시각, 검토 상태가 있는 한 행으로 보여 줍니다. 영향 시작과 선언 사이 간극의 중앙값이 38분(예시)으로, 선언부터 복구까지의 시간 중앙값 52분(예시)과 거의 비슷하게 긴 것을 알아차립니다. 다섯 건이므로 두 숫자를 대략적인 것으로 다루고 타임라인을 읽습니다. 다섯 건 중 세 건에서 일찍 발동된 모니터링 경보가 공유 채널에서 확인되지 않은 채 있었습니다.
팀은 그 경보 부류를 온콜 호출기로 라우팅하고, 지속적인 결제 실패 신호만으로도 티켓을 기다리지 않고 선언할 수 있다는 줄을 기준에 추가하기로 결정합니다. 또 선언 후 20분(예시) 안의 첫 고객 공지 목표를 정하고 인시던트마다 확인합니다. 다섯 건 중 두 건이 충족했습니다. 배포 팀은 소통 책임자가 압박 속에서 채울 수 있는 상태 페이지 템플릿을 추가합니다.
같은 검토 중에 악용 위험을 발견합니다. 한 제품 팀의 관리자가 "중대 인시던트 두 건 이하"라는 분기 목표를 제안했습니다. 서비스 관리 그룹은 직전 분기에 고객이 결제에서 실패하는 가운데 높은 우선순위로 네 시간 머물렀지만, 팀이 한도에 가까웠기 때문에 선언되지 않은 인시던트가 하나 있었음을 지적합니다. 그들은 목표를 세 가지 측정치로 대체합니다. 선언까지의 시간, 인시던트당 실패한 주문, 제때 완료된 검토 조치의 비율입니다. 소유 팀 밖의 누군가가 읽는 고우선순위 인시던트의 분기 표본이라는 방호책을 추가합니다. 다음 분기에 선언 건수는 넷(예시)으로 오르고, 선언까지의 시간 중앙값은 줄고, 표본 검토는 놓친 선언을 찾지 못합니다.
애자일, AI, 자동화, 분석
애자일
각 중대 인시던트 뒤에 이해관계자와 함께 비난 없는 검토를 열고 조치를 정기 주기로 끝까지 추적하십시오. 주의할 점은 중대 인시던트를 줄이는 목표가 선언을 줄이도록 부추기므로 선언까지의 시간과 고객 영향도 측정해야 한다는 것입니다.
AI
AI는 중대 인시던트 중 감지, 요약, 소통을 돕고 검토의 첫 버전 초안을 작성할 수 있습니다. 소통 적시성을 소통한 내용의 정확성과 짝지우고, 검토의 어느 부분을 AI가 초안으로 쓰고 사람이 확인했는지 표시하십시오. 주의할 점은 인시던트에 대한 AI의 자신 있는 요약이 틀릴 수 있으므로 최종 기록은 사람이 소유해야 한다는 것입니다.
자동화
검토가 사실에서 시작하도록 채팅, 호출, 모니터링에서 타임라인 포착을 자동화하고, 호출 실패 같은 인시던트 도구 자체를 측정하십시오. 주의할 점은 자동 상태 게시가 필요한 사람들에게 닿지 않은 채 소통처럼 보일 수 있다는 것입니다.
분석
중대 인시던트는 드물므로 비율과 평균이 아니라 건수, 타임라인, 고객 영향을 쓰십시오. 이는 무엇을 고치고 무엇을 훈련할지에 정보를 줍니다. 주의할 점은 적은 숫자가 과잉 해석을 부르므로 몇 건의 사건으로 추세를 주장하지 말아야 한다는 것입니다.
부문별 관점
스타트업. 스타트업에는 공식적인 중대 인시던트 프로세스가 없고 깨어 있는 사람만 있을 수 있습니다. 한 단락의 정의, 각 사건의 지명된 조정자, 타임라인을 기록하는 공유 문서로 시작하십시오. 인시던트를 세고 영향은 한 문장으로 적으십시오. 검토는 반 쪽짜리 메모일 수 있고 후속 조치는 팀 백로그의 항목입니다.
소규모 사업. 소규모 사업은 서비스의 상당 부분을 공급업체에 의존하는 경우가 많아서, 타임라인에 공급업체를 기다리는 시간이 포함됩니다. 공급업체 접촉과 응답 시간을 인시던트 타임라인에 기록하십시오. 지속 시간의 많은 부분을 설명하고 계약 논의의 증거가 되기 때문입니다. 고객 소통은 단순하게 유지하십시오. 채널 하나, 담당자 하나, 명시된 업데이트 간격입니다.
대기업. 대기업은 많은 서비스를 운영하고 기간마다 많은 인시던트가 있으므로 서비스별 건수와 상위 집계가 모두 유용합니다. 위험은 사업부 간 불일치하는 기준과 선언을 늦출 만큼 무거운 프로세스입니다. 정의를 맞추고, 처음 15분 동안 프로세스를 가볍게 유지하고, 영향과 소통을 비교할 수 있도록 공통 레코드 형식을 쓰십시오.
정부 및 공공 부문. 공공 기관은 규제 기관이나 대중에게 알리는 것 같은 법정 의무가 있고, 대안이 없는 시민에게 실패의 비용이 더 높은 경우가 많습니다. 통지 의무 준수와 취약 집단에 대한 영향 측정치를 추가하고, 감사와 공공 정보 요청을 견디는 기록을 유지하십시오. 조달 주기가 조치 항목을 지연시킬 수 있으므로 막힌 조치를 추적하고 에스컬레이션하십시오.
비즈니스 케이스: 동기, ROI, TCO
동기는 가장 큰 상처를 입히는 인시던트의 비용을 줄이는 것입니다. 잃어버린 매출이나 서비스, 훼손된 신뢰, 직원 번아웃, 규제 노출입니다. 작고 일관된 중대 인시던트 측정치 집합은 그 비용이 어디서 오는지, 감지와 소통이 개선되고 있는지, 예방에 대한 투자가 효과를 내는지 보여 줍니다. 건수만 보여 주는 측정치는 비용을 인시던트를 숨기는 쪽으로 밀어냅니다.
데이터가 이미 ITSM 도구, 모니터링 시스템, 이슈 트래커에 있다면 수집 비용은 적당합니다. 주된 비용은 정의에 합의하고, 인시던트 레코드를 모니터링과 조치 백로그에 연결하고, 각 검토를 쓰는 데 드는 시간입니다. 지표 자체는 레코드를 일관되게 만드는 것 이상의 비용이 거의 들지 않습니다.
수익은 더 짧은 선언까지의 시간, 더 분명한 소통, 더 적은 반복 인시던트, 더 적은 재작업으로 나타납니다. 보편적인 수치는 없으므로 자체를 추정하십시오. 지난 한 해의 중대 인시던트를 가져와 재무와 함께 서비스마다 영향 한 시간의 비용을 추정하고, 반복 원인을 막는 데 필요한 후속 작업의 비용과 비교하십시오. 총소유비용에는 검토자의 시간, 타임라인 및 상태 페이지 도구, 후속 조치를 위해 따로 둔 용량이 포함되며, 대부분의 프로그램이 여기에 과소 투자합니다.
안티패턴과 함정
- 중대 인시던트 수에 대한 목표. 사람들에게 선언을 피하도록 가르칩니다. 대신 선언까지의 시간, 영향, 후속 이행을 추적하고 놓친 선언을 표본 조사하십시오.
- 중대 인시던트에 대한 단일 평균 복구 시간. 사건이 적으면 하나의 긴 장애가 지배합니다. 대신 각 인시던트를 보여 주고, 그다음 일 년의 중앙값과 가장 긴 것을 건수와 함께 보여 주십시오.
- 선언 시점에서 시계 시작하기. 감지와 선언의 지연을 가립니다. 대신 고객 영향의 가장 이른 증거에서 시작하고 간극을 따로 보고하십시오.
- 인시던트 지표로 대응자나 팀의 순위 매기기. 솔직함을 파괴하고 검토를 깨뜨립니다. 대신 서비스와 시스템별로 보고하고 데이터에서 이름을 빼십시오.
- 문서가 게시되면 검토가 끝난 것으로 보기. 요점은 변경입니다. 대신 조치 후속 이행을 측정하고 기한이 지난 조치를 매달 보십시오.
- 조용한 임계값 변경. 추세가 의미를 잃습니다. 대신 기준에 버전을 매기고 보고서에 변경을 적으십시오.
- 티켓만 영향으로 세기. 영향받은 많은 사용자가 전화하지 않습니다. 대신 텔레메트리를 쓰고 쉬운 말의 영향 진술을 추가하십시오.
- 지표로 비난을 배정하기. 그러면 사람들이 사실을 숨깁니다. 대신 검토를 비난 없이 유지하고, 조건과 결정에 집중하고, 시스템 원인을 찾으십시오.
성숙도 모델
| 차원 | 1 시작 | 2 발전 | 3 표준화 | 4 관리 | 5 조율 |
|---|---|---|---|---|---|
| 정의와 시계 | 중대하다는 것은 가장 목소리 큰 사람이 말하는 것이고 시간은 기억에서 옴 | 일부 팀에 기준이 있고 시작과 종료 시각을 적음 | 영향 시작, 선언, 복구의 시계 규칙이 있는 버전 관리된 서면 정의 하나 | 정의와 시계를 모니터링에 비춰 감사하고 변경을 이유와 함께 기록함 | 기준과 시계를 공급업체 및 고객과 합의하고 결정에 정보를 주지 못하면 개정함 |
| 영향과 소통 | 영향을 일화로 설명하고 누군가 기억할 때 업데이트를 보냄 | 일부 인시던트의 영향을 추정하고 일부 팀이 상태 페이지를 씀 | 핵심 서비스의 영향을 텔레메트리로 측정하고 업데이트 목표를 정해 추적함 | 영향과 소통을 추세로 보고 고객 피드백에 연결함 | 영향을 공통 형식으로 고객 및 공급업체와 공유하고 공동 개선 조치를 둠 |
| 검토와 후속 이행 | 검토가 드물고 쓰이지 않으며 조치는 잊힘 | 일부 팀이 검토를 쓰고 조치를 기록하지만 추적하지 않음 | 모든 중대 인시던트를 제때 검토하고 조치를 팀 백로그에서 추적함 | 기한 초과 조치와 반복 원인을 주기적으로 검토하고 예방 작업에 자금을 댐 | 패턴을 팀과 공급업체에 걸쳐 공유하고 학습이 설계와 계획을 일상적으로 바꿈 |
| 결정에서의 활용 | 사후에 숫자를 인용함 | 맥락 없이 건수를 리더에게 보여 줌 | 타임라인과 추세를 서비스를 소유한 팀에게 보여 줌 | 지표를 방호책과 짝지워 신뢰성 작업의 우선순위에 활용함 | 서비스 전반의 영향과 재발 증거로 신뢰성 투자를 공동으로 결정함 |
체크리스트
- 선언 기준이 서면으로 적혀 있고, 버전이 있고, 온콜인 모든 사람이 안다.
- 선의의 선언이 명시적으로 안전하며 건수에 대한 목표가 없다.
- 영향 시작, 선언, 복구 시각이 정의되어 있고 모니터링이나 감사 추적에서 가져온다.
- 각 중대 인시던트를 단계 타임라인이 있는 한 행으로 보여 준다.
- 고객 영향은 텔레메트리가 있는 곳에서는 거기서 도출하고 쉬운 말의 진술로 설명한다.
- 첫 공지와 업데이트 리듬의 목표를 정하고 인시던트마다 확인한다.
- 합의된 기간 안에 검토를 게시하고 조치는 소유 팀의 백로그에 있다.
- 기한 초과 조치와 반복 원인을 일정에 따라 검토한다.
- 고영향 일반 인시던트의 분기 표본으로 놓친 선언을 점검한다.
- 모든 지표에 지명된 방호책이 있고 어떤 지표도 개인의 순위를 매기는 데 쓰이지 않는다.
AI 프롬프트
검토할 선언 기준 초안을 작성합니다.
[조직 유형]에서 중대 인시던트를 선언하는 기준의 초안을 쓰고 있습니다. 우리
서비스는 [서비스 목록]이고 팀은 [팀 목록]입니다. 사용자는 [사용자 설명]입니다.
각각 두세 개의 예시가 있는 짧은 선언 기준 집합, 팀이 논쟁할 수 있는 모호함의
목록, [이해관계자]와 정리해야 할 질문을 제안해 주세요. 임계값이나 기준 값을
지어내지 말고 숫자가 필요한 곳에는 [자리 표시자]를 쓰세요. 가정한 내용을
나열해 주세요.
인시던트 타임라인을 재구성하고 비평합니다.
다음은 중대 인시던트의 타임라인입니다: [타임스탬프와 출처가 있는 타임라인 붙여
넣기]. 영향 시작, 선언, 완화, 완전 복구를 식별하고, 어느 타임스탬프가 불확실한지
이유와 함께 말해 주세요. 지속 시간을 단계로 나누고 가장 큰 지연이 어디서
발생했는지 짚어 주세요. 대응자에게 물을 질문과 찾아볼 모니터링 증거를 제안해
주세요. 타임라인에 없는 사실을 지어내지 마세요. 가정한 내용을 나열해 주세요.
인시던트 사후 조치 집합을 검토합니다.
아래는 [서비스]에 대한 사후 검토 [개수]건의 조치입니다: [소유자, 기한, 상태가
있는 조치 붙여 넣기]. 주제별로 묶고, 모호하거나 사소하거나 소유자가 없는 것을
표시하고, [소유 팀]의 문제 레코드나 백로그 항목을 시사하는 패턴을 찾아 주세요.
개인이나 팀의 성과 순위를 매기지 마세요. 원인을 지어내지 마세요. 가정한 내용과
분석을 개선하기 위해 필요한 정보를 나열해 주세요.
제안한 지표의 악용 가능성을 시험합니다.
우리는 [지표 이름]을 추적하려 하며 정의는 [정의], 측정 원천은 [데이터 원천]입니다.
이 지표가 [역할]에 의해 어떻게 악용될 수 있는지, 어떤 정직한 행동을 낙담시킬
수 있는지, 각 경우를 잡아낼 짝이 되는 방호책 지표 또는 실천이 무엇인지
설명해 주세요. 제안은 [팀 규모]명 팀에 실용적이도록 하세요. 기준 값이나 출처를
지어내지 마세요. 가정한 내용을 나열해 주세요.
AI 스킬
- 서비스 관리 지표 스킬: 관련 주제와 각 중대 인시던트 지표 옆에 있어야 할 방호책을 찾을 때 사용합니다.
- 서비스 관리 지표 유지보수 스킬: 이 주제의 수정판이 여전히 템플릿과 규약을 따르는지 확인할 때 사용합니다.
핵심 정리
- 중대 인시던트는 드물므로 각각을 타임라인과 함께 보여 주고, 건수를 수치 옆에 두고 긴 구간에 대해서만 요약하십시오.
- 고객 영향에서 시계를 시작하고, 선언 전의 간극을 별도의 측정치로 보고하십시오.
- 사용자와 사용량으로 영향을 측정하고, 숫자가 놓치는 것에 대한 쉬운 말의 진술을 추가하십시오.
- 소통의 적시성을 청중별 목표와 꾸준한 업데이트 리듬으로 대응의 일부로 다루십시오.
- 조치가 끝나야 검토가 끝난 것이므로, 후속 이행과 반복 원인을 추적하십시오.
- 건수에 대한 목표를 세우지 말고, 사람의 순위를 매기지 말고, 선언을 안전하게 유지하십시오.
참고 문헌과 더 읽을거리
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Lunney, L., and Lueder, S., "Postmortem Culture: Learning from Failure," in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/postmortem-culture/
- Beyer, B., et al. (eds.), "Managing Incidents," in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/managing-incidents/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- AXELOS (now PeopleCert), ITIL Foundation: ITIL 4 Edition, TSO, 2019.
- Wikipedia, ITIL.
- Wikipedia, Incident management (ITSM).
- Wikipedia, Percentile.
- Wikipedia, Agile software development.
- Wikipedia, Site reliability engineering.
- Wikipedia, Incident commander.
- Wikipedia, Postmortem documentation.
- Wikipedia, Root cause analysis.
- Wikipedia, Goodhart's law.