개요와 동기

모든 서비스는 때로 실패합니다. 꾸준히 나아지는 팀과 최악의 한 주를 반복하는 팀을 가르는 것은 실패 후 며칠 동안 일어나는 일입니다. 사후 분석(postmortem)은 인시던트나 아슬아슬하게 피한 사건의 서면 기록입니다. 무슨 일이 있었는지, 어떻게 감지되고 처리되었는지, 어떤 조건이 그것을 가능하게 했는지, 팀이 무엇을 바꿀지입니다. ITIL은 이 활동을 인시던트 사후 검토라고 부르며 이 주제는 두 이름을 같은 뜻으로 씁니다. 정기적인 팀 성찰은 장애 대신 일상 업무를 보는 가까운 친척입니다.

이 주제는 그 학습 고리가 작동하는지 알려 주는 측정치를 다룹니다. 네 가지 질문을 합니다. 이루어져야 할 검토가 실제로 이루어지는가? 실제 무언가를 찾을 만큼 충분히 좋은가? 검토가 낳는 조치가 끝나는가? 그럼에도 같은 원인이 계속 돌아오는가? 다섯 번째 질문이 다른 모든 것의 밑에 흐릅니다. 사람들이 실제로 무슨 일이 있었는지 서술할 만큼 안전하다고 느끼는가?

이 주제는 두 이웃 사이에 있으며 이들을 반복하지 않습니다. 중대 인시던트 지표(주제 3.4, 중대 인시던트 지표 참조)는 선언된 중대 인시던트에 대한 검토의 적시성과 조치의 후속 이행을 측정하며, 그 좁은 맥락에서 이 두 측정치의 본거지입니다. 문제 관리 지표(주제 4.1, 문제 관리 지표 참조)는 문제 레코드, 알려진 오류, 영구 수정까지의 시간을 소유합니다. 이 주제는 시야를 모든 심각도의 인시던트, 아슬아슬하게 피한 사건, 팀 회고로 넓히고, 학습 자체의 품질을 소유합니다. 포괄률, 깊이, 모든 원천에 걸친 조치 종료, 원인의 재발, 데이터를 정직하게 유지하는 비난 없음의 신호입니다.

이 주제에서 쓰는 용어

  • 사후 분석 또는 인시던트 사후 검토: 서비스가 복구된 후 인시던트에 대한 구조화되고 비난 없는 검토이며 서면 기록으로 끝납니다.
  • 아슬아슬하게 피한 사건(near miss): 인시던트나 해를 일으킬 수 있었으나 일으키지 않은 사건. 예를 들어 테스트 환경에서 잡은 실패한 배포나 사용자가 알아차리기 몇 분 전에 울린 경보입니다.
  • 조치 항목: 지명된 소유 팀, 기한, 완료를 알 수 있는 방법이 있는 구체적인 변경.
  • 기여 요인: 인시던트를 가능하게 하거나 악화시킨 조건. 대부분의 인시던트에는 여럿이 있습니다. 단일 "근본 원인"은 단순화인 경우가 많으며, 근본 원인 분석(root cause analysis)은 범인이 아니라 조건을 찾는 것으로 다루는 것이 가장 좋습니다.
  • 원인 분류: 재발을 알아차리는 데 쓰는, 합의된 짧은 목록(예: "용량 한계", "구성 드리프트", "누락된 모니터링", "불분명한 소유권")의 안정된 라벨. 사람이 아니라 시스템 조건을 설명합니다.
  • 비난 없음(blameless): 시스템이 합리적인 사람이 그렇게 행동하게 허용한 방식을 묻고 누구를 벌할지는 묻지 않는 검토 방식. 이는 프랙티스이며, 정직한 실수는 학습으로 다루고 무모한 행동은 여전히 따로 처리하는 공정 문화(just culture)의 발상과 묶여 있습니다.
  • 정보 기술 인프라 라이브러리(ITIL): IT 서비스 관리(ITSM)에 널리 쓰이는 프레임워크. 이 주제는 ITIL 4(2019)에 설명된 프랙티스를 가리키며, 책 전체는 2026년 10월 기준입니다. ITIL을 참조하십시오.

애자일 관점과 ITIL 관점은 어떻게 다른가

ITIL은 구조를 제공합니다. ITIL 4에서 인시던트 관리는 서비스를 복구하고, 문제 관리는 원인을 찾고 관리해 인시던트의 가능성과 영향을 줄이고, 지속적 개선은 배운 것을 자금이 투입된 변경으로 바꿉니다. 검토는 앞의 둘과 셋째 사이의 경첩입니다. ITIL은 검토가 열렸는지, 정당한 곳에 문제 레코드가 열렸는지, 개선이 등록되었는지를 묻는 경향이 있습니다.

애자일과 사이트 신뢰성 엔지니어링(SRE, site reliability engineering) 전통은 습관을 제공합니다. 검토는 비난이 없고, 짧고, 팀 밖의 독자를 위해 쓰이고, 널리 공유됩니다. 지속적 개선의 습관인 정기 팀 성찰은 다음에 무엇을 바꿀지 묻고, 작고 잦은 조정에 대한 애자일(agile)의 선호가 하나의 큰 개선 프로그램을 대체합니다. 구글의 Site Reliability Engineering 책은 한 장을 사후 분석 문화에 할애하며 검토 프로세스는 그 주변 문화만큼만 좋다고 주장합니다.

함께 쓰면 두 관점은 강력합니다. ITIL은 포괄률 규칙과 조치가 살 자리를 줍니다. 애자일과 SRE 습관은 정직과 속도를 줍니다. 함께 측정하면 고리가 닫히고 있는지 보여 줍니다.

핵심 원칙

  • 학습이 제품이지 문서가 아닙니다. 시스템, 프로세스, 공유된 이해에서 무언가 바뀌었을 때 검토는 성공한 것입니다. 서류 작업이 아니라 변화를 세십시오.
  • 비난 없음은 좋은 데이터의 전제 조건입니다. 사람들이 비난을 두려워하면 타임라인은 얇고, 기여 요인은 깔끔해지고, 같은 인시던트가 돌아옵니다. 다른 무엇을 측정하기 전에 솔직함을 지키십시오.
  • 양이 아니라 후속 이행과 재발을 측정하십시오. 검토의 수는 별로 말해 주지 않습니다. 끝난 조치의 비율과 사라진 채 있는 원인의 비율은 많은 것을 말해 줍니다.
  • 지표를 팀과 시스템 수준에 두십시오. 검토는 조건에 관한 것입니다. 사람별로 검토, 조치, 오류를 세지 말고 이 숫자를 성과 면담에 쓰지 마십시오.
  • 검토의 크기를 맞추십시오. 모든 사건이 긴 문서를 받을 자격이 있는 것은 아닙니다. 영향과 학습 가치로 트리거를 정하고 작은 사건에는 짧은 검토를 하십시오.
  • 조치가 정직하게 경쟁하게 하십시오. 조치 항목은 일입니다. 다른 일과 같은 백로그에 속하고 그것과 순위가 매겨지며 기록된 이유와 함께 거절될 수 있습니다.
  • 검토를 읽으십시오. 숫자는 문제를 찾아 줍니다. 사람이 표본을 읽어야 검토가 좋은지 알 수 있습니다.

지표 정의

아래 지표는 서비스 또는 팀 그룹의 학습 고리를 설명합니다. 각각 무엇을 세는지, 시계가 어디서 시작하고 멈추는지, 무엇을 제외하는지 명시합니다. 시간 측정치는 평균이 아니라 중앙값과 높은 백분위수(예: 85번째), 그리고 가장 오래된 열린 항목의 경과 시간으로 보여 주어야 합니다(주제 1.6, 서비스 지표를 위한 통계 소양 참조).

지표 정의 공식 단위 데이터 원천 ITIL 프랙티스 애자일 대응 주기
검토 포괄률 완료된 검토를 받은 적격 사건의 비율 합의된 기간 안에 게시된 검토가 있는 적격 사건 / 해당 기간에 종료된 적격 사건. 적격 사건은 서면 트리거를 충족하는 것. 기간 안에 있으나 기간 말에 아직 열려 있는 사건은 제외 퍼센트 검토 저장소에 결합한 ITSM 도구 인시던트 레코드 인시던트 관리, 문제 관리 정기 팀 성찰, 팀 업무 합의 월
검토 품질 점수 게시된 검토가 짧은 서면 기준을 충족하는지 표본에서 체크리스트 항목을 [합의된 수] 이상 충족하는 검토 / 표본의 검토. 표본은 매 분기 무작위로 뽑은 고정된 수의 검토이며 소유 팀 밖의 누군가 점수를 매김 퍼센트 점수표가 있는 검토 저장소의 분기 표본 지속적 개선, 문제 관리 검토에 대한 완료의 정의 분기
조치 종료율 기한까지 완료된 검토 조치의 비율 기한까지 완료되었거나 (이유와 함께) 공식적으로 거절된 조치 / 기간 중 기한이 도래한 조치. 시계는 검토가 게시될 때 시작해 소유 팀이 조치를 완료로 표시하고 검토자가 확인했을 때 멈춤. "하지 않음"으로 닫은 조치는 따로 세어 보고 퍼센트 검토에 연결된 팀 백로그 또는 ITSM 개선 레지스트리 지속적 개선, 문제 관리 팀 백로그, 개선 조치 월
열린 조치 경과 시간 아직 열려 있는 검토 조치의 경과 시간 열린 조치마다 오늘 빼기 그 검토의 게시 날짜. 중앙값, 85번째 백분위수, 가장 오래된 것을 보고 일 팀 백로그 또는 개선 레지스트리 지속적 개선 작업 항목 경과 시간, 오래된 진행 중인 작업 월
원인 재발률 같은 서비스의 앞선 사건과 원인 분류가 일치하는 사건의 비율 주된 원인 분류가 같은 서비스에서 지난 12개월 안에 종료된 검토와 일치하는 기간 중 사건 / 기간 중 원인 분류가 기록된 사건. 원인 분류가 기록되지 않은 사건은 제외하고 따로 셈 퍼센트 인시던트 레코드에 결합한 검토 저장소의 원인 분류 필드 문제 관리, 인시던트 관리 유출 결함 분석, 회고 주제 분기
아슬아슬한 사건 보고율 사람들이 보고하기로 한 아슬아슬한 사건과 약한 신호의 양 기간 중 기록된 아슬아슬한 사건 / 활성 서비스. 서비스별 추세로 보이고 사람별로는 절대 하지 않음. 건강한 프로그램 초기에는 오르다가 안정되는 것이 의도된 모습 서비스당 건수 아슬아슬한 사건 로그 또는 이슈 트래커의 태그 필드 인시던트 관리, 위험 관리 팀 건강 점검, 방해 요인 보드 월
학습 도달 범위 검토가 작성한 팀을 넘어 얼마나 멀리 가는지 게시 후 [합의된 일수] 안에 소유 팀 밖에서 발표되거나 논의된(공유 포럼, 팀 간 세션, 의존 팀의 문서화된 읽기) 검토 / 기간 중 게시된 검토 퍼센트 포럼 또는 회의 기록과 검토 저장소 지속적 개선, 지식 관리 이해관계자 검토, 실천 공동체 분기
회고 조치 이월 다음 회고까지 끝난 팀 회고 조치의 비율 다음 회고 전에 완료된 회고 조치 / 직전 회고에서 합의된 회고 조치. 이유와 함께 의도적으로 버린 조치는 양쪽 건수에서 제거 퍼센트 팀 백로그에 보관하는 회고 메모 또는 보드 지속적 개선 정기 팀 성찰 검토 기간마다, 분기 검토
말하기 안전 펄스 사람들이 비난 없이 실수를 서술할 수 있다고 믿는지 짧은 익명 질문 집합(예: "검토에서 비난이 두려움 없이 실수를 서술할 수 있다")에서 [합의된 수준] 이상으로 응답한 응답 / 받은 응답. 익명성을 지킬 만큼 큰 그룹에 대해서만 보고 퍼센트 익명 펄스 설문 지속적 개선, 조직 변화 팀 건강 점검, 심리적 안전감 점검 분기

검토는 초안으로 저장된 것이 아니라 의도한 독자에게 보일 때 "게시된" 것입니다. 원인 분류는 티켓을 닫은 사람이 아니라 검토 그룹이 검토 자체에서, 합의된 짧은 목록에서 기록합니다.

권장 사항

무엇이 검토를 받을 자격이 있는지 결정하십시오

1. 트리거를 적어 두고 게시하십시오. "모든 중대 인시던트, 상위 두 심각도의 모든 인시던트, 고객 데이터 손실이 있는 모든 사건, 팀이 교훈이 된다고 판단한 모든 아슬아슬한 사건" 같은 규칙은 논쟁을 없애고 포괄률을 측정 가능하게 합니다. 서면 트리거가 없으면 검토가 기분과 업무량을 따르고 포괄률 수치는 무의미합니다.

2. 검토를 사건의 크기에 맞추십시오. 작은 사건은 30분에 쓴 반 쪽짜리 검토로 충분하고, 중대 인시던트는 전체 타임라인과 진행자가 있는 세션을 받을 만합니다. 가벼운 경로는 프랙티스를 부담으로 만들지 않으면서 포괄률을 높게 유지합니다.

읽어서 품질을 판단하십시오

3. 분기마다 검토를 표본 조사해 읽으십시오. 작은 무작위 표본을 뽑아 소유 팀 밖의 누군가 짧은 체크리스트에 비춰 각각을 읽게 하십시오. 유용한 항목에는 결정과 그 결정이 내려질 때 가용했던 정보를 보여 주는 타임라인, 둘 이상의 기여 요인, 잘된 점에 대한 서술, 소유자와 날짜가 있는 조치, 개인이 아니라 시스템을 설명하는 언어가 있습니다. 기준을 충족하는 비율을 보고하고 발견 사항을 작성자에게 코칭으로 되돌려 주십시오.

4. 검토하는 기술을 가르치십시오. 사후 확신 편향(hindsight bias)은 사건이 끝난 뒤에 뻔해 보이게 하고 작성자를 "누군가 알아차렸어야 했다"로 이끕니다. 진행자에게 각 순간에 사람들이 알고 있던 것을 재구성해 달라고 요청하고, 5 Why를 단일 답을 위한 공식이 아니라 질문의 촉구로 쓰십시오.

조치가 끝나게 하십시오

5. 조치를 실제 백로그에 넣으십시오. 검토 문서에만 있는 조치는 계획에 보이지 않습니다. 소유 팀의 트래커에 작업 항목을 만들고, 검토에 연결하고, 다른 일처럼 용량을 두고 경쟁하게 하십시오. 막힌 조치가 풀어 줄 수 있는 사람에게 보이도록 팀과 서비스별로 종료를 보고하십시오.

6. 정직한 "하지 않음"을 허용하고 이유를 기록하십시오. 일부 조치는 비용이 너무 크거나 더 이상 관련이 없는 것으로 드러납니다. 명시된 이유와 함께 닫는 것이 일 년 동안 열어 두거나 하지 않고 완료로 표시하는 것보다 건강합니다. 거절된 비중을 보고하십시오. 아주 높은 비중은 검토 프로세스가 아무도 자금을 대지 않을 조치를 제안하고 있음을 시사합니다.

7. 종료율뿐 아니라 열린 조치의 경과 시간도 추적하십시오. 열린 조치 경과 시간의 85번째 백분위수와 가장 오래된 열린 조치가 무엇이 막혔는지 보여 줍니다. 서비스의 신뢰성을 검토하는 회의에서 가장 오래된 것을 검토하십시오.

반복을 지켜보십시오

8. 원인 분류의 짧은 목록을 유지하고 모든 검토에 태그하십시오. 여덟에서 열다섯 개의 분류면 충분합니다. "기타" 분류에 들어가는 사건이 작은 비중을 넘으면 목록을 검토하십시오. 태그를 달면 "전에 본 적이 있는가?"라는 질문에 데이터로 답할 수 있고, 어느 단일 검토도 보여 주지 못하는 패턴을 문제 관리에 공급합니다(주제 4.1, 문제 관리 지표와 주제 4.6, 기술 부채와 알려진 오류 참조).

9. 재발을 사람이 아니라 조치에 대한 신호로 다루십시오. 원인 분류가 돌아오면 앞선 조치가 끝났는지, 맞는 조치였는지, 분류가 너무 넓은지 물으십시오. 모든 조치가 닫힌 뒤의 재발은 조치가 효과가 없었다는 뜻이며, 이는 유용한 소식입니다.

솔직함을 지키십시오

10. 검토를 비난 없이 유지하고 그것이 보이게 하십시오. 검토가 조건과 결정을 서술하며 잘못을 배정하지 않는다고 템플릿에 명시하고, 리더가 솔직함에 대해 작성자에게 감사하게 하십시오. 에이미 에드먼슨의 업무 팀 연구에서 심리적 안전감(psychological safety)은 팀이 대인 관계의 위험을 감수하기에 안전하다는 공유된 믿음입니다(주제 9.2, 만족도와 웰빙 지표 참조).

11. 아슬아슬한 사건 보고에 보상하고, 처음에는 건수의 증가를 좋은 소식으로 읽으십시오. 아슬아슬한 사건을 보고하기 시작하는 팀은 건수가 오르는 것을 보게 됩니다. 사건은 늘 일어나고 있었기 때문입니다. 미리 그렇게 말하고, 변경을 낳은 아슬아슬한 사건의 비율을 추적하고, 팀의 동의를 얻어 이야기를 게시하십시오.

악용 방식과 방호책

지표 악용되는 방식 짝을 이루는 방호책 지표 또는 실천
검토 포괄률 트리거를 좁힘, 사건이 트리거 밖에 떨어지도록 심각도를 낮춤, 칸을 채우려고 한 줄짜리 "검토"를 제출함 검토 품질 점수, 인시던트 심각도 건수를 고객이 보고한 영향과 비교, 강등 감사
검토 품질 점수 상투적 문구로 체크리스트에 맞춰 씀, 소유 팀이 점수를 매김, 예측 가능한 표본 외부 채점자, 무작위 표본, 분기마다 검토 두 건을 소리 내어 읽기, 높은 점수를 받은 검토의 조치가 끝나는지 추적
조치 종료율 기한을 멀리 잡음, 조치를 사소한 조각으로 쪼갬, 검증 없이 조치를 닫음, 목록을 비우려고 "하지 않음"을 선언함 열린 조치 경과 시간, 이유와 함께 거절된 비중, 변경이 작동하는지에 대한 검토자 확인, 원인 재발률
열린 조치 경과 시간 경과 시간을 초기화하려고 조치를 닫았다가 다시 열거나 다시 만듦, 조치를 별도의 "아이디어" 목록으로 옮김 새 조치를 원래 검토에 연결하고 첫 날짜를 유지, 아이디어로 옮긴 조치의 건수
원인 재발률 아무것도 일치하지 않도록 모호하거나 계속 바뀌는 원인 분류를 기록함, 넓은 "기타" 분류를 씀, 반복을 다른 분류에 연결함 "기타"에 속한 사건의 비중, 분류별로 검토를 주기적으로 다시 읽기, 분류 목록 자체의 검토
아슬아슬한 사건 보고율 숫자를 맞추려고 보고를 요청함, 사소한 사건을 기록함, 반대 방향으로는 숫자를 실패로 읽고 보고를 억제함 변경을 낳은 아슬아슬한 사건의 비중, 건수에 대한 목표 없음, 말하기 안전 펄스의 피드백
학습 도달 범위 배포 목록에 이름을 추가함, 참석이 저조한 세션에서 발표함, 링크를 읽음으로 셈 참석 또는 실제 논의 메모, 마지막 검토 후 무엇을 바꿨는지 의존 팀에 묻기
회고 조치 이월 끝내기 쉬운 사소한 조치에만 합의함, 회고를 건너뜀, 항목을 완료로 표시함 팀이 판단하는 조치의 영향, 회고 개최율, 같은 주제가 몇 주 동안 나타나는지
말하기 안전 펄스 응답자에게 압박을 가함, 자신 있는 사람만 설문함, 점수가 낮은 그룹을 가리는 평균을 보고함 응답률과 응답자 구성, 최소 그룹 크기, 서술형 의견 전체 읽기, 검토 언어가 바뀌는지

건강한 수치는 중요한 사건에 대한 검토, 대부분이 충족하는 품질 기준, 끝나거나 정직하게 거절되는 조치, 리더가 이름을 댈 수 있는 몇 개의 오래된 조치, 다뤄진 뒤 빈도가 줄어드는 원인 분류, 올랐다가 안정된 아슬아슬한 사건 건수를 보여 줍니다. 어려운 인시던트가 일어났을 때도 펄스는 안정적이거나 개선됩니다. 너무 깔끔한 패턴은 그 자체로 표본을 읽어 보라는 신호입니다.

상충 관계: 장점과 단점

접근 방식 강점 약점
모든 인시던트를 검토 완전한 포괄률, 트리거에 대한 논쟁 없음 무겁고, 검토가 얕아지고, 팀이 프로세스에 반감을 가짐
서면 트리거에 따른 검토 영향과 학습 가치에 노력을 집중함 트리거에 유지가 필요하고 경계 사건이 빠져나감
원인 분류 태그 검토 전반의 패턴을 찾음 분류는 단순화이고 실제 원인은 여러 가지가 동시인 경우가 많음
안전에 대한 익명 펄스 민감한 질문에 대한 정직한 신호 거칠고, 작은 팀은 식별될 수 있고, 설문 피로가 있음

산문으로 답하면 고리를 짧게, 숫자를 적게 유지하는 것입니다. 서면 트리거, 작은 품질 표본, 하나의 조치 트래커, 원인 분류 목록을 두고, 팀이 나머지를 신뢰하게 되면 안전 펄스를 더하십시오. 여기의 어떤 측정치도 학습이 일어났음을 증명하지 못합니다. 함께 보면 학습의 조건이 갖춰져 있는지 보여 줍니다.

팀과 논의할 질문

1. 지난 다섯 인시던트 중 어느 것이 검토를 받았으며, 그 때문에 누군가 무엇이든 바꾸었나요? 검토 폴더가 아니라 인시던트 목록에서 시작해 누락된 검토가 보이게 하십시오. 각 검토에 대해 오늘 시스템이나 프로세스에서 무엇이 다른지 물으십시오. 답이 "없음"이라면 검토를 왜 열었고 누가 읽었는지 물으십시오. 진행자는 판단 없이 답을 기록해야 합니다. 프랙티스가 변화를 낳는지 서류 작업을 낳는지 보여 주기 때문입니다.

2. 여기서 검토에서 진실을 말하기 어렵게 만드는 것은 무엇일까요? 구체적인 예를 요청하십시오. 관리자의 반응, 성과 평가, 고객 에스컬레이션, 이메일의 어조입니다. 먼저 사람들에게 익명으로 답을 쓰게 하십시오. 누가 참석하는지, 누가 읽는지, 리더가 소리 내어 무엇을 말하는지처럼 바꿀 수 있는 조건을 찾으십시오. 이 대화가 이 주제의 다른 모든 숫자를 지켜 줍니다.

3. 가장 오래 열려 있는 조치 항목은 무엇이며, 무엇이 막고 있나요? 가장 오래된 다섯 개를 보여 주십시오. 각각에 대해 조치가 여전히 맞는지, 용량이 있는 소유자가 있는지, 수행하거나 일정을 조정하거나 거절해야 하는지 물으십시오. 소유자가 아니라 일의 체계에 초점을 두십시오. 세션이 끝나기 전에 각각에 대한 결정에 합의하십시오.

4. 같은 종류의 문제가 언제 돌아왔으며, 그것은 앞선 수정에 대해 무엇을 말하나요? 원인 분류 태그로 반복을 찾아 앞선 검토와 그 조치를 읽으십시오. 조치가 끝났는지, 기여 요인을 다뤘는지, 분류가 너무 넓게 그어졌는지 물으십시오. 목표는 설명이 아니라 더 나은 조치입니다.

5. 우리는 아슬아슬한 사건을 보고하며, 누군가 보고하면 어떻게 되나요? 최근 예를 요청해 그 뒤에 일어난 일을 추적하십시오. 아무 일도 없었다면 사람들이 왜 다시 보고하겠는지 물으십시오. 건수가 적다면 사람들이 무엇을 두려워하는지 물으십시오. 진행자는 처음에는 건수의 증가가 예상된다고 설명하고, 보고가 가치 있게 느껴지도록 다음 보고에 팀이 어떻게 대응할지 합의해야 합니다.

6. 어떤 숫자도 볼 수 없다면 검토가 좋았음을 어떻게 알까요? 이 질문은 팀에게 품질을 자기 말로 설명하게 합니다. 흔한 답은 "팀 밖의 누군가 배웠다", "수정이 유지되었다", "작성자가 두려워하지 않았다"입니다. 답을 분기 표본의 체크리스트로 바꾸고 두 분기 뒤에 다시 보십시오.

네 가지 관점

제품 및 전달 팀

전달 팀은 많은 검토를 쓰고 대부분의 조치를 맡으므로 서투른 프로세스의 비용을 가장 먼저 느낍니다. 짧은 템플릿, 분명한 트리거 규칙, 조치와 팀 백로그 항목 사이의 눈에 보이는 연결에서 이득을 얻습니다. 정기 팀 성찰은 인시던트 검토와 같은 후속 이행 규율을 받을 만하며, 회고 조치를 끝내는 팀은 더 작은 규모에서 같은 습관을 실천하는 것입니다. 기능 압박에 조치가 밀려나지 않게 경계하고 그 상충 관계를 제품 소유자에게 공개적으로 가져가십시오(주제 2.5, 전달 예측과 계획 지표 참조).

서비스 및 운영 팀

운영 팀은 증거(타임라인, 경보, 채팅 로그)를 보유하고 있어 원인 분류를 일관되게 태그하고 반복이 장애가 되기 전에 알아차리기에 가장 좋은 위치에 있습니다. 긴 교대 끝에 쓴 검토는 얇으므로 쓸 보호된 시간이 필요합니다. 각 검토를 그것이 공급하는 문제 레코드에 연결하십시오(주제 3.3, 인시던트 대응 및 해결 시간 참조).

리더십과 거버넌스

리더는 그 뒤에 무엇을 묻는지로 모든 검토의 분위기를 정합니다. "누가 했습니까?"는 정직한 검토를 끝내고 "무엇을 배웠고 무엇을 바꿉니까?"는 초대합니다. 거버넌스 기구는 신뢰성 검토에서 포괄률, 품질, 조치 경과 시간, 재발을 기대하고, 투자가 필요한 조치에 자금을 대고, 인시던트나 검토 건수로 팀을 비교하지 않아야 합니다.

고객과 사용자

고객은 검토를 거의 보지 못하지만 그 결과를 느낍니다. 돌아오지 않는 같은 결함과 돌아왔을 때의 정직한 설명입니다. 계약이 허용하는 곳에서는 중요한 인시던트 뒤에 쉬운 말의 요약을 게시하십시오(주제 3.4, 중대 인시던트 지표 참조). 같은 문제에 대한 반복 접촉은 학습이 도달하지 않았다는 고객 쪽의 신호입니다(주제 6.1, 고객 만족도 지표 참조).

실제 적용: 서비스 관리 사례

한 중견 온라인 소매업체가 고객 대면 스토어프론트, 결제 서비스, 내부 재고 플랫폼을 운영합니다. 다섯 개의 제품 팀이 이 서비스를 만들고 운영하며, 소규모 서비스 관리 그룹이 인시던트 및 문제 프로세스를 유지합니다. 이 사례의 숫자는 예시입니다.

한 분기에 소매업체는 상위 두 심각도의 인시던트 41건을 겪습니다. 서면 트리거는 모두를 검토 대상으로 하고, 36건의 검토가 영업일 10일 안에 게시되어 검토 포괄률은 약 88퍼센트입니다. 리더십은 기뻐합니다. 서비스 관리 그룹은 무작위로 검토 여덟 건을 뽑아 다른 제품 영역의 팀에게 점수를 매겨 달라고 하고, 합의된 기준을 충족하는 것이 셋뿐임을 발견합니다. 흔한 공백은 타임라인이 무슨 일이 일어났는지는 나열하지만 사람들이 각 결정을 내릴 때 무엇을 알고 있었는지는 나열하지 않으며, 기여 요인 부분에 단일 원인만 명명한다는 것입니다.

같은 표본은 분기에 기한이 도래한 조치 74건 중 51건이 기한까지 완료되어 종료율이 약 69퍼센트임을 보여 줍니다. 가장 오래된 열린 조치는 210일이 된 결제 데이터베이스의 용량 경보 임계값으로, 연속 여섯 주 동안 미뤄졌습니다. 원인 태그는 36건의 검토 중 9건에 "용량 한계"가 있고 그중 4건이 결제 서비스임을 보여 줍니다. 초대된 70명 중 58명이 응답한 익명 펄스는 온콜 그룹에서 더 낮고, 여러 의견이 고위 관리자가 이름이 거론된 개인에 대해 날카로운 질문을 한다고 말합니다.

팀은 세 가지를 결정합니다. 첫째, 검토에 참석하는 고위 관리자들과 짧은 세션을 열어 방 안의 질문은 조건과 결정에 대한 것이고 사람에 대한 후속 조치는 팀 리더를 거친다는 규칙에 합의합니다. 둘째, 가장 오래된 용량 조치를 결제 팀의 다음 계획 라운드 맨 위에 두고 제품 소유자가 기능 작업과 순위를 매기게 하며, 결과를 신뢰성 검토에서 보고합니다. 셋째, 검토 템플릿에 두 가지 체크리스트 항목(각 결정에서 사람들이 알고 있던 것, 최소 두 개의 기여 요인)을 추가하고 익명화한 검토 하나로 작성자를 위한 코칭 세션을 엽니다.

악용 위험은 다음 분기에 나타납니다. 검토 포괄률이 97퍼센트로 오르지만 300단어 미만 검토의 비중이 두 배가 되고, 몇몇 팀이 트리거 바로 아래로 인시던트를 심각도 2에서 3으로 강등했습니다. 품질 표본과 심각도 변경 감사가 이를 잡아냅니다. 그룹은 강등이 왜 일어났는지 묻고, 팀이 검토를 처벌처럼 느꼈음을 알게 되어, 심각도 2 트리거는 유지하면서 작은 사건에 대한 길이 기대를 완화합니다.

애자일, AI, 자동화, 분석

애자일

검토는 이해관계자와의 정기적인 습관일 때, 조치가 다른 일과 같은 백로그로 갈 때 가장 잘 작동합니다. 주의할 점은 검토 건수에 대한 목표가 학습 없이 템플릿에 맞춰 쓴 검토를 낳는다는 것입니다.

AI

AI는 검토의 타임라인과 요약 초안을 쓸 수 있어서 포괄률과 속도를 높입니다. 검토 포괄률을 사람의 품질 점검 및 원인 재발률과 짝지우고, AI가 초안을 쓴 부분에 표시하십시오. 주의할 점은 AI가 불확실성을 매끄럽게 덮거나 표현에서 비난을 배정할 수 있으므로 비난 없는 최종 기록은 사람이 소유해야 한다는 것입니다.

자동화

타임라인 포착과 조치 알림을 자동화하고, 알림 중 몇 건이 종료로 이어지는지 측정하십시오. 주의할 점은 소유자 합의 없는 자동 독촉은 잡음이 된다는 것입니다.

분석

조치 경과 시간과 재발을 건수와 함께 긴 구간에 걸쳐 추적하십시오. 이는 어떤 학습이 실제로 시스템을 바꾸고 있는지에 정보를 줍니다. 주의할 점은 재발률은 느리고 표본이 작으므로 단기 결론을 피해야 한다는 것입니다.

부문별 관점

스타트업. 작은 팀은 모두가 인시던트에 참석했기 때문에 빨리 배울 수 있습니다. 위험은 아무것도 적히지 않아 교훈이 다음 입사자와 함께 걸어 나가는 것입니다. 한 쪽짜리 템플릿을 유지하고, 밤에 누군가를 깨우는 모든 것에 검토를 열고, 조치 종료와 반복 원인만 추적하십시오. 창업자가 개인에 대한 논평 없이 검토를 읽게 하여 솔직함을 지키십시오.

소규모 사업. 문제를 고친 사람이 그것을 이해하는 유일한 사람인 경우가 많습니다. 간단한 템플릿을 쓰고 가장 오래된 열린 조치를 매달 검토하십시오.

대기업. 템플릿, 트리거, 원인 분류 목록을 표준화하고 팀이 깊이를 조정하게 하십시오. 검색 가능한 검토 보관 장소, 팀 간 포럼, 외부 채점자를 제공하십시오. 투명성을 벌하게 되므로 인시던트나 검토 건수로 팀의 순위표를 만드는 것을 경계하십시오.

정부 및 공공 부문. 검토에는 법정 의무, 감사, 정보 공개 요청이 따를 수 있어서 작성자가 조심스러워집니다. 학습 검토를 감독 기관에 대한 공식 보고서와 분리하고, 막힌 조치를 그 의존성과 함께 기록하십시오(주제 8.5, 규제 및 정부 보고 참조).

비즈니스 케이스: 동기, ROI, TCO

이 프랙티스의 비용은 대부분 시간입니다. 작성자는 검토마다 몇 시간을 쓰고 많은 사람이 세션에 한 시간을 씁니다. 분기별 품질 표본은 외부 독자의 몇 시간이 듭니다. 원인 태그와 조치 추적에는 약간의 도구가 필요하며, 기존 티켓 및 백로그 도구의 스프레드시트와 필드면 됩니다. 더 크고 덜 보이는 비용은 리더의 행동에 있습니다. 리더가 솔직한 검토에 나쁘게 반응하면 프로그램이 실패하기 때문입니다.

수익은 재발을 멈춘 원인과, 팀이 비슷한 것을 본 적이 있어서 짧아진 인시던트에서 나옵니다. 반복 인시던트가 줄면 엔지니어링과 운영 용량이 풀려나고, 에스컬레이션이 줄고, 고객에 대한 교란의 비용이 줄어듭니다. 검토의 공유 라이브러리는 신입의 학습 곡선을 단축하고 소수의 숙련자에 대한 의존을 줄입니다. 다른 조직의 백분율을 인용하지 마십시오. 시작하기 전에 원인 재발, 열린 조치 경과 시간, 반복 접촉의 자체 기준선을 측정하고, 두세 분기 뒤에 비교하십시오.

정직한 한계는 학습을 귀속시키기 어렵다는 것입니다. 재발의 하락은 더 나은 검토, 무관한 아키텍처 변경, 또는 운에서 올 수 있습니다. 더 넓은 논의는 주제 7.7, 투자 수익과 비즈니스 케이스를 보십시오.

안티패턴과 함정

  • 검토 연극. 검토가 규칙을 만족시키고 아무도 읽지 않습니다. 대신 검토를 표본 조사해 읽고 그것이 낳은 변화로 판단하십시오.
  • 사람으로서 근본 원인 찾기. 검토가 개인의 오류를 명명하고 멈춥니다. 대신 무엇이 그 오류를 그럴듯하게 만들었는지 묻고 여러 기여 요인을 나열하십시오.
  • 조치 인플레이션. 검토가 팀이 자금을 댈 수 없는 긴 목록을 낳습니다. 대신 검토당 순위가 매겨진 소수의 조치로 제한하고 나머지는 이유와 함께 거절하십시오.
  • 백로그 밖의 조치. 문서에만 있고 계획되지 않습니다. 대신 소유 팀의 트래커에 작업 항목을 만들고 검토에 연결하십시오.
  • 검증 없는 종료. 조치가 완료로 표시되었는데 원인이 돌아옵니다. 대신 검토자가 변경이 작동하는지 확인하게 하고 재발에 대해 원인 분류를 지켜보십시오.
  • 건수로 팀 비교하기. 검토나 아슬아슬한 사건이 더 많은 팀이 더 나빠 보입니다. 대신 높은 건수를 개방성으로 읽고 각 팀을 자기 이력과 비교하십시오.
  • 전달자를 벌하기. 리더가 솔직한 검토 뒤에 한 사람에게 질문합니다. 대신 리더가 어떻게 대응할지에 대한 규범에 합의하고 어려운 인시던트 뒤에 펄스를 확인하십시오.
  • 지표를 학습의 증명으로 취급하기. 깨끗한 대시보드를 조직이 학습하고 있다는 증거로 받아들입니다. 대신 검토의 표본을 계속 읽고 작성한 사람들에게 물으십시오.

성숙도 모델

차원 1 시작 2 발전 3 표준화 4 관리 5 조율
트리거와 포괄률 검토가 누가 가능한지와 얼마나 나쁘게 느꼈는지에 달려 있음 일부 팀이 심각한 인시던트에 검토를 엶 서면 트리거와 공통 템플릿, 심각도별로 포괄률을 셈 강등에 대해 포괄률을 추세로 보고 감사함, 가벼운 경로와 전체 경로 고객 및 공급업체와 트리거를 조정하고 공동 인시던트에 공유 검토를 둠
품질과 정직 검토가 사람이나 단일 원인을 명명함 일부 팀이 비난 없는 검토를 씀 체크리스트 기준, 비난 없는 언어를 기대함 외부 분기별 표본, 펄스 검토, 작성자 코칭 검토를 공급업체 및 사용자와 공동 작성하고 팀 간 읽기가 일상적임
조치와 재발 조치가 문서에 있고 거의 끝나지 않음 일부 팀이 조치를 추적하며 종료가 다양함 소유자, 날짜, 정직한 거절이 있는 실제 백로그의 조치 종료, 경과 시간, 원인 재발을 검토하고 자금 투입 개선을 함 팀과 공급업체에 걸쳐 조치를 조율하고 패턴이 바뀌면 원인 분류를 개정함
공유와 학습 교훈이 팀에 머묾 팀을 위해 검토를 게시함 검토를 검색할 수 있고 정기 포럼에서 공유함 도달 범위를 측정하고 의존 팀이 한 변경을 보고함 학습이 설계, 온보딩, 공급업체 계약으로 흘러감

체크리스트

  • 서면 트리거가 교훈이 큰 아슬아슬한 사건을 포함해 어떤 사건이 검토를 받는지 말한다.
  • 작은 사건을 위한 가벼운 경로가 있는 짧은 템플릿이 있다.
  • 검토가 템플릿과 리더십 행동으로 비난이 없다.
  • 모든 조치가 소유 팀의 백로그에서 소유자와 날짜가 있는 작업 항목이다.
  • 조치를 거절할 수 있고 이유를 기록해 보고한다.
  • 원인 분류의 짧은 목록이 있고 모든 검토에 태그가 있다.
  • 외부 독자가 매 분기 검토의 무작위 표본에 점수를 매긴다.
  • 가장 오래된 열린 조치를 서비스 신뢰성과 함께 검토한다.
  • 열린 조치 경과 시간을 중앙값, 높은 백분위수, 가장 오래된 것으로 보고한다.
  • 아슬아슬한 사건의 경로가 있고 팀이 보고 후 무슨 일이 일어나는지 안다.
  • 이 주제의 어떤 지표도 사람별로 보고하거나 쓰지 않는다.
  • 말하기 안전 펄스는 익명성을 지킬 만큼 큰 그룹에만 실행한다.

AI 프롬프트

사후 분석 초안의 품질을 검토합니다.

[서비스]의 [인시던트 설명]에 대한 사후 분석 초안입니다. 이 기준에 비춰 점검해
주세요: [검토 체크리스트 붙여 넣기]. 각 항목에 대해 초안이 충족하는지 말하고,
판단을 뒷받침하는 줄을 인용하고, 조건을 서술하는 대신 사람에게 잘못을 배정하는
언어를 짚어 주세요. 텍스트에 없는 사실을 추가하지 마세요. 가정한 내용과 내가
제공한 것으로는 판단할 수 없었던 것을 나열해 주세요.

[개인 정보를 제거한 초안 붙여 넣기]

과거 검토에서 원인 분류를 제안합니다.

아래는 [서비스 또는 서비스 그룹]에 대한 과거 검토 [개수]건의 요약입니다.
사람이 아니라 시스템 조건을 설명하는 [최소]개에서 [최대]개 사이의 짧은 원인
분류 목록을 제안해 주세요. 각 분류에 한 줄 정의, 그것에 맞는 검토, 모호한
검토를 주세요. 텍스트가 뒷받침하지 않는 원인을 지어내지 마세요. 가정한 내용과
분류할 수 없었던 검토를 나열해 주세요.

[요약 붙여 넣기]

열린 조치 항목에서 정체 패턴을 분석합니다.

[팀 또는 서비스]의 검토 조치 내보내기입니다: 소유 팀, 생성일, 기한, 상태, 한 줄
설명. 열린 조치 경과 시간의 중앙값, 85번째 백분위수, 최대값을 보고하고, 가장
오래된 조치를 정체의 가능한 이유(예: 불분명한 범위, 다른 팀에 대한 의존, 용량
없음, 낮은 가치)별로 묶어 주세요. 패턴은 팀과 서비스별로 보고하고 사람별로는
절대 하지 마세요. 데이터가 뒷받침하지 않는 이유를 추측하지 마세요. 가정한
내용과 도움이 될 추가 필드를 나열해 주세요.

[개인 정보를 제거한 내보내기 붙여 넣기]

AI 스킬

핵심 정리

  • 검토의 가치는 그것이 바꾸는 것이므로, 포괄률, 품질, 조치 종료, 원인의 재발을 측정하고 검토 자체의 표본을 읽으십시오.
  • 비난 없음은 정직한 데이터의 전제 조건이며, 리더는 솔직한 검토에 어떻게 대응하는지로 그것을 지킵니다.
  • 조치를 실제 백로그에 넣고, 수를 제한하고, 정직한 거절을 허용하고, 가장 오래된 것의 경과 시간을 지켜보십시오.
  • 반복되는 원인이 보이고 문제 관리에 공급되도록 짧은 원인 분류 목록으로 검토에 태그하십시오.
  • 아슬아슬한 사건 건수의 증가를 초기에는 개방성의 징후로 읽고, 검토 양으로 사람이나 팀의 순위를 절대 매기지 마십시오.
  • 학습 고리 자체가 악용될 수 있는 목표이므로 여기의 모든 숫자를 방호책과 짝지우십시오.

참고 문헌과 더 읽을거리

  1. Lunney, L., and Lueder, S., "Postmortem Culture: Learning from Failure," in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/postmortem-culture/
  2. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  3. Edmondson, A., "Psychological Safety and Learning Behavior in Work Teams," Administrative Science Quarterly, 44(2), 1999.
  4. Dekker, S., The Field Guide to Understanding 'Human Error', Ashgate, 2006.
  5. Reason, J., Human Error, Cambridge University Press, 1990.
  6. Derby, E., and Larsen, D., Agile Retrospectives: Making Good Teams Great, Pragmatic Bookshelf, 2006.
  7. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  8. AXELOS (now PeopleCert), ITIL Foundation: ITIL 4 Edition, TSO, 2019.
  9. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  10. Wikipedia, Postmortem documentation.
  11. Wikipedia, Root cause analysis.
  12. Wikipedia, Just culture.
  13. Wikipedia, ITIL.
  14. Wikipedia, Site reliability engineering.
  15. Wikipedia, Agile software development.
  16. Wikipedia, Hindsight bias.
  17. Wikipedia, Five whys.
  18. Wikipedia, Psychological safety.