문제 관리 지표
문제 관리 지표는 팀이 인시던트의 원인을 제거하고 있는지 증상만 수리하고 있는지 보여 주므로, 원인이 얼마나 많이 발견되는지, 얼마나 빨리 영구히 수정되는지, 같은 인시던트가 되돌아오는지를 측정하십시오.
개요와 동기
서비스를 빨리 복구하는 팀도 쳇바퀴에 갇혀 있을 수 있습니다. 같은 결함이 몇 주마다 돌아오고, 같은 사람들이 호출되고, 각 수리가 빠르기 때문에 인시던트 숫자는 건강해 보입니다. 문제 관리는 쳇바퀴에서 내려오는 프랙티스입니다. 인시던트들을 가로질러 보고, 기저 원인을 찾고, 그 원인을 제거하거나 억제하게 합니다. 이 주제는 그 일이 이루어지고 있는지, 효과가 있는지 알려 주는 숫자를 다룹니다.
네 가지 용어가 주제를 이끕니다. 인시던트는 ITIL 프레임워크가 쓰는 의미에서 서비스에 대한 계획되지 않은 중단 또는 품질 저하입니다(주제 3.3, 인시던트 대응 및 해결 시간 참조). 문제는 하나 이상의 인시던트의 기저 원인 또는 의심되는 원인입니다. 알려진 오류는 원인이 이해되고 우회책이 기록된 문제로, 증상을 다음에 만나는 사람이 찾을 수 있도록 알려진 오류 데이터베이스(known error database)에 보관됩니다. 우회책(workaround)은 원인을 제거하지 않고 인시던트나 문제의 영향을 줄이거나 피합니다. 영구 수정은 원인을 제거하는 변경입니다.
원인을 찾는 일은 근본 원인 분석(root cause analysis)의 일입니다. 흔한 기법에는 5 Why, 이시카와 다이어그램(Ishikawa diagram), 원인을 발생 빈도나 해악으로 순위 매기는 파레토 차트(Pareto chart)가 있습니다. 복잡한 시스템에는 기여 원인이 여럿이고 단일 범인이 없는 경우가 많으므로, 좋은 문제 레코드는 제거하면 재발이 멈추는 요인을 명명하고 팀이 얼마나 확신하는지 말합니다.
지표가 중요한 이유는 문제 관리에 내장된 보고의 함정이 있기 때문입니다. 문제 레코드를 여는 일은 쉽고 생산적으로 느껴집니다. 닫는 일도 쉽습니다. 레코드는 메모 한 줄로 닫을 수 있기 때문입니다. 어느 쪽도 사용자에게 무언가 나아졌음을 보여 주지 않습니다. 지켜볼 가치가 있는 측정치는 더 하류에 있습니다. 문제에 연결된 인시던트가 재발을 멈추는지, 알려진 오류를 온콜 사람들이 실제로 쓰는지, 진단된 원인이 수정을 얼마나 오래 기다리는지입니다.
ITIL과 애자일 관점은 여기서 별 마찰 없이 만납니다. ITIL 4에서 문제 관리는 서비스 가치 시스템 안의 프랙티스로, 인시던트 관리, 변경 활성화, 지식 관리와 가깝습니다. 애자일 대응은 팀의 백로그(backlog)를 흐르는 작고 증거에 기반한 수정의 흐름, 패턴을 알아차리는 회고, 신뢰성 작업을 평범한 제품 작업으로 다루는 습관입니다. ITIL 관점이 레코드, 소유권, 알려진 오류를 강조한다면 애자일 관점은 작은 배치와 빠른 피드백을 강조합니다. 둘 다 더 적은 반복 인시던트를 원하며, 그 성과가 모두의 앞에 둘 측정치입니다.
이 주제는 인시던트 시계(주제 3.3, 인시던트 대응 및 해결 시간 참조)나 중대 인시던트 측정치(주제 3.4, 중대 인시던트 지표 참조)를 반복하지 않으며, 검토 후속 이행은 문제에 공급하는 경우에만 다룹니다(주제 4.2, 사후 분석과 학습 지표 참조). 알려진 오류의 백로그와 기술 부채(technical debt)라는 더 넓은 발상은 주제 4.6, 기술 부채와 알려진 오류에서 다룹니다. 여기서는 문제 레코드와 그것이 낳는 성과에 초점을 둡니다. 배포 기반의 복구와 실패 측정치는 주제 2.8, DORA 지표에 있습니다.
핵심 원칙
- 서류 작업이 아니라 재발을 측정하십시오. 문제 관리의 시험은 연결된 인시던트가 되돌아오지 않는 것입니다. 열고 닫은 레코드의 건수는 활동을 설명하며 결과에 대해서는 거의 말해 주지 않습니다.
- 세 순간을 분리하십시오. 패턴이 존재함을 감지하는 것, 원인을 식별하는 것, 원인을 제거하는 것은 서로 다른 시계와 소유자를 가진 서로 다른 사건입니다. 합치면 지연이 어디 있는지 가려집니다.
- 우회책은 끝이 아니라 한 단계입니다. 기록하고, 사용하고, 그것이 유일한 보호로 얼마나 오래 남는지 추적하십시오. 몇 년을 가는 우회책은 아무도 소유자를 말할 수 없는 부채입니다.
- 수정을 일이 있는 곳에 두십시오. 영구 수정은 보통 제품 팀이 소유하는 변경이나 백로그 항목으로 도착합니다. 팀 자체의 흐름에서 측정하고 서비스를 소유한 팀에 보여 주십시오.
- 출처에서 인시던트를 문제에 연결하십시오. 여기의 모든 측정치는 인시던트와 문제 사이의 연결에 의존합니다. 연결이 약하면 숫자가 약합니다.
- 평균보다 분포와 코호트를 선호하십시오. 문제의 지속 시간은 길고 치우쳐 있으며, 몇 개의 오래된 레코드가 모든 평균을 지배합니다(주제 1.6, 서비스 지표를 위한 통계 소양 참조).
- 팀과 서비스를 설명하고 사람은 설명하지 마십시오. 문제는 시스템의 속성입니다. 분석가별로 닫은 문제 표는 조사를 할당량으로 바꿉니다.
지표 정의
모든 시계는 문제 레코드, 연결된 인시던트 레코드, 연결된 변경 또는 백로그 항목의 타임스탬프를 씁니다. 행에서 달리 말하지 않으면 문제는 서비스와 소유 팀별로 세며 병합되거나 중복된 레코드는 제외합니다. 모든 소요 시간에는 평균보다 백분위수를 선호합니다. 이 주제의 예시 숫자는 예시입니다.
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 |
|---|---|---|---|---|---|---|---|
| 열고 닫은 문제 | 서비스별로 열린 상태로 들어오고 나가는 문제 레코드의 흐름 | 기간 중 열린 건수와 닫은 건수를 각각 종료 코드(수정됨, 위험 수용, 중복, 재현 불가)별로 셈. 중복은 표시하되 "수정됨" 건수에서 제외 | 기간당 건수 | ITSM 문제 레코드 | 문제 관리 | 백로그 유입과 처리량 | 월 |
| 문제 백로그 경과 시간 | 열린 문제가 기다린 시간 | 열린 문제마다 스냅샷 날짜 빼기 레코드 생성 날짜. 열린 문제의 중앙값과 85번째 백분위수, 가장 오래된 것을 우선순위별로 보고 | 일 | ITSM 문제 레코드 | 문제 관리 | 보드의 작업 항목 경과 시간 | 월 |
| 인시던트-문제 연결률 | 하나가 기대되는 곳에서 문제나 알려진 오류를 가리키는 인시던트의 비율 | 기간 중 연결된 문제나 알려진 오류가 있는 인시던트 / 기간 중 우선순위가 높음 이상이거나, 재개방되었거나, 반복 범주에 속하는 인시던트. 사용자 오류나 중복으로 닫은 인시던트는 제외 | 퍼센트 | ITSM 인시던트 및 문제 레코드 | 인시던트 관리, 문제 관리 | 회고의 패턴 알아차리기 | 월 |
| 근본 원인까지의 시간 | 진단된 문제가 기록된 원인에 이르는 데 걸리는 시간 | 시계는 문제 레코드가 생성될 때 시작해 원인이 기록되고 두 번째 사람이 검토했을 때 멈춤. 원인 없이 닫은 문제는 제외하고 따로 셈. 중앙값과 85번째 백분위수를 보고 | 일 | ITSM 문제 레코드와 그 감사 추적 | 문제 관리 | 스파이크 또는 조사 시간 상자 | 월 |
| 알려진 오류 재사용률 | 인시던트가 도착했을 때 알려진 오류가 얼마나 자주 쓰이는지 | 연결된 알려진 오류나 그 우회책으로 해결된 인시던트 / 증상이 당시 존재한 알려진 오류와 일치하는 기간 중 인시던트. 일치하는 알려진 오류가 없는 인시던트는 제외 | 퍼센트 | ITSM 인시던트 연결, 지식 문서 사용 | 지식 관리, 문제 관리 | 팀 런북 또는 플레이북 사용 | 월 |
| 영구 수정까지의 시간 | 진단부터 수정이 운영에서 돌아갈 때까지 문제가 노출된 시간 | 시계는 원인이 기록될 때 시작해 연결된 수정 변경이 구현되고 확인될 때 멈춤. 위험 수용으로 닫은 문제는 제외하고 따로 셈. 중앙값과 85번째 백분위수를 보고 | 일 | 문제 레코드, 변경 레코드 또는 파이프라인 배포 이벤트 | 문제 관리, 변경 활성화 | 수정 항목의 사이클 타임 | 월 |
| 수정 후 재발률 | 수정된 문제 중 연결된 증상이 돌아온 비율 | 코호트 분기에 수정으로 닫은 문제 중 수정이 적용된 후 90일 안에 새로 일치하는 인시던트가 있는 것 / 그 분기에 수정으로 닫은 문제. 90일 기간은 예시이며 차트에 명시 | 퍼센트 | ITSM 인시던트 및 문제 레코드, 배포 이벤트 | 문제 관리, 지속적 개선 | 유출 결함 또는 회귀율 | 분기 |
| 우회책 전용 비중 | 우회책만으로 보호되는 알려진 문제의 비율 | 수정 일정이 없는 알려진 오류 상태의 열린 문제 / 알려진 오류 상태의 열린 문제. 지명된 소유자와 검토 날짜가 있는 위험 수용 문제는 별도 그룹으로 표시 | 퍼센트 | ITSM 문제 레코드 | 문제 관리, 위험 관리 | 기술 부채 레지스트리 | 월 |
90일 기간, 증상의 일치 규칙, 연결률의 "기대"의 정의는 예시입니다. 팀은 서비스에 맞는 값을 골라 지표 레지스트리에 적습니다(주제 1.4, 지표 거버넌스와 소유권 참조). "수정됨"으로 닫은 문제를 다른 종료 코드와 따로 세면 열고 닫은 쌍이 정직하게 유지됩니다.
권장 사항
무엇이 문제인지 결정하십시오
1. 증거에 근거해 문제를 열고, 증거가 무엇인지 말하십시오. 좋은 트리거는 같은 증상의 반복 인시던트, 원인을 모르는 중대 인시던트, 검토에서 발견한 추세, 어떤 인시던트 이전에 발견한 위험입니다. 트리거를 레코드에 적으십시오. 예를 들어 "같은 서비스에 연결된 6주 동안 다섯 건의 인시던트"입니다. 특이한 인시던트마다 문제 레코드가 되면 백로그가 잡음으로 차고 아무도 읽지 않습니다.
2. 작고 공유된 종료 코드 집합을 쓰십시오. 수정됨, 위험 수용, 중복, 재현 불가, 병합됨이면 대부분의 팀에 충분합니다. 각 코드에 한 문장의 의미와 쓸 수 있는 소유자를 두십시오. 종료 코드의 구성은 닫은 건수보다 더 많은 정보를 줍니다. 얼마나 많은 일이 원인을 제거했고 얼마나 많은 일이 변경 없이 끝났는지 보여 주기 때문입니다.
출처에서 인시던트와 문제를 연결하십시오
3. 연결을 인시던트 종료의 한 단계로 만드십시오. 해결자에게 인시던트를 닫기 전에 문제, 알려진 오류, 또는 "찾지 못함"에 연결해 달라고 요청하십시오. 도구가 할 수 있을 때는 일치 제안을 제공하되 사람이 결정하게 하십시오. 몇 주 뒤 일괄 작업으로 한 연결은 신뢰할 수 없습니다(주제 1.5, 데이터 원천과 계측 참조).
4. 증상을 어떻게 일치시킬지 합의하십시오. 재발은 두 인시던트가 "같다"고 보는 시점을 결정하는 데 달려 있습니다. 정의와 예시가 있는 짧은 원인 및 증상 분류 체계가 자유 서술보다 낫습니다. 분기마다 일치의 표본을 검토하십시오. 양방향의 불일치가 재발률을 편향시키기 때문입니다.
5. 패턴 검토가 문제 목록에 공급되게 하십시오. 서비스별, 파레토 차트별로 인시던트 범주를 월간 검토하면 어떤 소수의 원인이 고통의 대부분을 낳는지 보입니다. 검토를 문제를 열고 우선순위를 정하는 데 쓰고, 중대 인시던트 검토에서 나온 반복 원인을 같은 목록에 보내십시오(주제 3.2, 인시던트 건수와 우선순위 참조).
세 가지 지연을 측정하십시오
6. 단계를 따로 시간을 재십시오. 레코드 생성부터 기록된 원인까지, 기록된 원인부터 운영에서 돌아가는 수정까지 측정하십시오. 첫 번째 지연은 조사 용량, 데이터 접근, 기술을 가리킵니다. 두 번째는 우선순위 결정, 변경 프로세스, 경쟁하는 기능 작업을 가리킵니다. 하나의 "문제를 닫는 데 걸리는 시간"은 둘을 섞어 누구에게도 분명한 행동을 주지 않습니다.
7. 오래된 것을 보고하십시오. 열린 문제 경과 시간의 중앙값과 85번째 백분위수를 보여 주고 서비스별로 가장 오래된 것을 나열하십시오. 몇 년 된 레코드 몇 개가 평균을 움직이지만 별로 알려 주는 것이 없는 반면, 가장 오래된 목록은 결정을 요청합니다. 수정하거나, 지명된 소유자와 검토 날짜로 위험을 수용하거나, 이유와 함께 닫는 것입니다.
수정을 정상 흐름에 넣으십시오
8. 영구 수정을 소유자와 날짜가 있는 백로그 항목으로 다루십시오. 문제를 수정을 담은 변경이나 작업 항목에 연결하고, 수정을 기능 작업과 같은 보드에 보여 주십시오. 반복 인시던트 비용을 수정 노력과 비교하는 것처럼 합의된 규칙으로 우선순위를 정하십시오. 수정에 변경이 필요한 곳에서는 저위험 교정에 표준 변경 경로가 빨라야 합니다(주제 4.3, 변경 활성화 지표 참조).
9. 우회책과 종료 날짜를 함께 요청하십시오. 우회책은 시간을 벌어 줍니다. 알려진 오류로 기록하고, 온콜 팀이 그것을 찾아 실행할 수 있는지 시험하고, 수정을 위한 검토 날짜를 정하십시오. 그러면 우회책 전용 비중이 조용한 부채 더미가 아니라 결정의 목록이 됩니다(주제 4.6, 기술 부채와 알려진 오류 참조).
수정이 효과가 있었는지 확인하십시오
10. 모든 수정 뒤에 재발 기간을 두십시오. 수정이 적용된 후 명시된 기간 동안 일치하는 인시던트를 지켜보고, 수정이 유지된 비율을 분기별 코호트로 보고하십시오. 재발은 이 프랙티스가 가진 성과 측정치에 가장 가까운 것입니다. 높다면 원인을 찾았는지 기여 요인만 찾았는지 묻고 분석을 다시 여십시오.
11. 대응자가 일하는 곳에서 알려진 오류 재사용을 측정하십시오. 일치하는 인시던트가 도착했을 때 알려진 오류나 그 우회책이 얼마나 자주 쓰이는지 세십시오. 알려진 오류는 많은데 재사용률이 낮다면 대개 항목이 찾기 어렵거나, 낡았거나, 대응자가 아니라 분석가를 위해 쓰였다는 뜻입니다. 더 추가하기 전에 문서와 그 위치를 고치십시오(주제 3.6, 지식 관리 지표 참조).
숫자를 정직하게 유지하십시오
12. 모든 차트 옆에 코호트와 단서를 보여 주십시오. 정의, 종료 코드의 구성, 규칙 변경을 차트 자체에 기록하십시오. 수정된 문제의 분기별 코호트는 오래된 일과 새 일을 섞지 않고 재발을 보여 줍니다. 모든 건수를 성과 측정치와 짝지워 어떤 숫자도 혼자 있지 않게 하십시오(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조).
악용 방식과 방호책
| 지표 | 악용되는 방식 | 짝을 이루는 방호책 지표 또는 실천 |
|---|---|---|
| 열고 닫은 문제 | 사소한 레코드를 많이 엶, 문제 하나를 여럿으로 쪼갬, 목록을 비우려고 중복이나 "재현 불가"로 닫음 | 종료 코드의 구성, 수정 후 재발률, 분기마다 읽는 닫은 레코드의 표본 |
| 문제 백로그 경과 시간 | 수정 없이 가장 오래된 레코드를 닫음, 시계를 초기화하려고 새 레코드로 다시 엶, 문제를 요청으로 재분류함 | 새 레코드를 원본에 연결하고 첫 레코드부터 경과 시간을 보고, 이유별 종료 목록, 수용된 위험의 검토 |
| 인시던트-문제 연결률 | 비율을 올리려고 모든 인시던트를 모호한 포괄 문제에 연결함 | 가장 큰 다섯 문제로 가는 연결의 비중, 실제로 일치하는지 점검하는 연결의 표본, 연결된 증상의 재발 |
| 근본 원인까지의 시간 | 시계를 멈추려고 빠르고 얕은 원인을 기록함, "인적 오류"를 명명함, 두 번째 검토자를 건너뜀 | 수정 후 재발률, "인적 오류"만으로는 인정하지 않는 원인 분류 체계, 증거에 비춘 원인의 표본 검토 |
| 알려진 오류 재사용률 | 인시던트가 닫힌 뒤에 추가한 연결을 셈, 서비스의 모든 인시던트에 알려진 오류를 추가함 | 인시던트 종료와 연결 사이의 시간, 항목이 도움이 되었는지에 대한 대응자 피드백, 90일 동안 쓰이지 않은 항목의 검토 |
| 영구 수정까지의 시간 | 수정이 확인되기 전에 변경을 구현됨으로 표시함, 일을 피하려고 위험 수용으로 닫음 | 수정 후 재발률, 소유자와 검토 날짜가 있는 위험 수용 목록, 시계가 멈추기 전의 확인 단계 |
| 수정 후 재발률 | 재발이 일치하지 않도록 증상을 좁게 정의함, 수정이 더 앞선 코호트에 속하도록 종료 기간을 넓힘, 연결을 미룸 | 소유 팀 밖의 누군가 검토하는 원인 분류 체계, 인시던트 연결률, 미리 명시한 고정 기간 |
| 우회책 전용 비중 | 실제 날짜 없이 자리 표시용 수정을 일정에 넣음, 문제를 위험 수용으로 옮김, 문제의 우선순위를 낮춤 | 밀린 일정 수정의 경과 시간, 지명된 임원 소유자와 함께 검토하는 위험 수용 목록, 문제별 반복 인시던트 비용 |
건강한 수치는 조용하고 약간 따분해 보입니다. 열고 닫은 건수가 대체로 보조를 맞추고, 가장 오래된 열린 문제마다 기록된 결정이 있고, 유지된 수정의 비율이 높고 코호트 선이 안정적이며, 알려진 오류를 증상을 만나는 사람들이 씁니다. 경고 패턴은 인시던트가 계속 돌아오는데 닫은 건수가 길고 정돈된 것입니다. 활동 숫자는 훌륭한데 사용자가 여전히 같은 결함을 만난다면 사용자를 믿으십시오.
상충 관계: 장점과 단점
| 접근 방식 | 강점 | 약점 |
|---|---|---|
| 반복 및 중대 인시던트에 대한 공식 문제 레코드 | 분명한 소유자, 이력, 수정과의 연결, 감사를 뒷받침함 | 프로세스 오버헤드, 레코드가 낡을 수 있음 |
| 문제 레코드 없이 팀의 백로그 안에서 원인 수정 | 빠르고, 가볍고, 일에 가까움 | 팀 간 패턴이 보이지 않음, 공유된 알려진 오류가 없음 |
| 엄격한 종료 코드와 분기별 코호트 | 정직한 성과 관점, 정돈된 건수에 강함 | 읽기 느림, 데이터 입력에 규율이 필요함 |
| 닫은 문제를 목표로 세기 | 설명하고 차트로 그리기 쉬움 | 건수를 위한 종료를 부름, 작은 문제를 보상함 |
| 수정된 문제의 재발 추적 | 효과가 있었는지에 대한 가용한 가장 가까운 측정치 | 좋은 증상 일치와 충분히 긴 기간이 필요함 |
| 알려진 오류의 재사용 추적 | 지식이 대응자에게 도움이 되는지 보여 줌 | 대응자의 항목 연결에 의존함, 악용될 수 있음 |
원인을 자체 백로그에서 빨리 고치는 팀도 같은 증상을 만나는 다른 팀이 이득을 보도록 더 넓은 조직이 볼 수 있는 곳에 원인을 기록해야 합니다. 인시던트와 문제 사이의 연결과 재발 기간에 먼저 투자하십시오. 이 두 가지가 다른 모든 측정치를 해석 가능하게 합니다.
팀과 논의할 질문
1. 지난 분기에 가장 자주 수리한 세 인시던트는 무엇이며, 무엇이 원인을 고치지 못하게 막았나요? 서비스 데스크나 인시던트 도구에서 반복 인시던트를 나열하고 발생 횟수로 정렬하십시오. 각각에 장애물이 무엇이었는지 물으십시오. 조사 시간 없음, 합의된 원인 없음, 기능과 경쟁하는 수정, 다른 팀이 필요한 수정입니다. 진행자는 셋에 걸쳐 반복되는 장애물을 찾아야 합니다. 기술적인 수정이 아니라 시스템 수정을 가리키기 때문입니다.
2. 인시던트를 문제에 연결할 때 누가, 언제 하며, 맞는 문제인지 어떻게 아나요? 최근 인시던트 하나를 종료부터 연결까지 따라가 보십시오. 연결이 인시던트 중에, 종료 때, 아니면 나중의 정리에서 이루어지는지 기록하십시오. 연결의 작은 표본을 함께 검토해 진짜 일치인지 보십시오. 연결을 더 쉽게 또는 더 믿을 만하게 만드는 변경 하나에 합의하십시오.
3. 진단된 원인은 수정을 얼마나 기다리며, 누가 순서를 정하나요? 기록된 원인이 있는 문제를 가져와 진단 이후의 시간을 보십시오. 누가 우선순위를 정하고 어떤 규칙을 쓰는지 물으십시오. 논의는 지연이 기술적 어려움이 아니라 제품 백로그 앞의 대기열임을 보여 주는 경우가 많습니다. 문제 수정을 기능 작업과 어떻게 비교할지 합의하십시오.
4. 가장 오래된 우회책은 무엇이며, 1년 더 유지하면 무엇을 잃을까요? 가장 오래 산 우회책 세 가지와 그것이 수작업 노력, 위험, 여전히 그것을 기억하는 사람들의 지식에 들이는 비용을 명명하십시오. 우회책을 아는 사람이 자리를 비우면 어떻게 될지 물으십시오. 각각에 대해 수정할지, 소유자와 검토 날짜로 위험을 수용할지, 서비스를 폐기할지 결정하십시오.
5. 수정된 문제가 돌아오면 우리는 알아차리며, 얼마나 빨리 알까요? 돌아오는 증상을 어떻게 알아차리고 누가 분석을 다시 열지 물으십시오. 재발 기간이 관련된 장애의 종류에 충분히 긴지 논의하십시오. 진행자는 그룹이 기간과 일치 규칙에 합의하고, 소유 팀이 자기 일을 스스로 표시하지 않도록 어느 팀이 일치를 검토할지 정하도록 도와야 합니다.
6. 온콜인 사람들이 우리 알려진 오류를 쓰며, 무엇이 그들이 그것에 손을 뻗게 할까요? 대응자에게 마지막으로 알려진 오류를 검색한 때와 찾은 것이 무엇인지 물으십시오. 항목이 어디에 있고, 어떻게 제목이 붙어 있고, 먼저 무엇을 해야 하는지 말하고 있는지 보십시오. 항목 하나를 골라 대응자와 함께 다시 쓰고 다음 온콜 주에 시험하십시오.
네 가지 관점
제품 및 전달 팀
전달 팀이 대부분의 영구 수정을 소유하며 기능 작업의 끌림을 느낍니다. 반복되는 결함의 인시던트 비용을 수정 노력 옆에서 보는 것, 백로그에 수정 항목이 들어갈 분명한 자리가 있는 것이 도움이 됩니다. 문제 작업을 중단으로 취급하는 것에 저항하고 대신 눈에 보이는 용량 비중을 확보해야 합니다. 회고가 패턴을 알아차리고 문제를 여는 자연스러운 자리입니다(주제 2.1, 흐름 측정치 참조).
서비스 및 운영 팀
운영 팀은 반복되는 증상을 먼저 보고 호출과 수작업의 비용을 짊어집니다. 문제 및 알려진 오류 레코드를 유지하고, 패턴 검토를 실행하고, 연결이 이루어지는지 확인합니다. 위험은 원인을 제거하지 않고 레코드에 노력을 쓰는 것입니다. 종료 코드를 작게 유지하고, 알려진 오류가 대응자가 가장 먼저 보는 것이 되게 하고, 증거를 첨부해 수정을 소유 팀에 넘겨야 합니다.
리더십과 거버넌스
리더는 신뢰성 작업이 기능을 이기는지 결정하고 무엇이 기록되는지에 대한 유인을 정합니다. 건수를 요청하기 전에 코호트별 재발과 가장 오래된 열린 문제를 요청하고, 위험 수용을 지명된 소유자와 검토 날짜가 필요한 결정으로 다뤄야 합니다. 재발 없이 줄어드는 백로그를 보고하는 것은 닫기를 보상합니다. 거버넌스는 팀 순위표가 아니라 추세와 결정을 살펴야 합니다(주제 4.6, 기술 부채와 알려진 오류 참조).
고객과 사용자
사용자는 문제 관리를 한 가지로 평가합니다. 같은 일이 계속 잘못되는가. 문제 레코드는 보지 못하고 몇 개를 닫았는지도 신경 쓰지 않습니다. 합의가 허용하는 곳에서는 알려진 문제, 우회책, 수정이 예상되는 날짜를 고객에게 알리고 수정이 도착하면 다시 보고하십시오. 공지되고 전달된 수정이 조용한 수정보다 더 많은 신뢰를 쌓습니다.
실제 적용: 서비스 관리 사례
한 지역 병원의 IT 부서가 병동과 외래 진료소가 쓰는 임상 일정 관리 애플리케이션을 지원합니다. 제품 팀이 애플리케이션을 만들고 운영하고, 인프라 팀이 플랫폼을 운영하고, 서비스 데스크가 전화를 받습니다. 이 사례의 모든 숫자는 예시입니다.
분기 검토에서 부서장은 문제 대시보드가 훌륭해 보인다는 것을 알아차립니다. 열린 31건에 대해 닫은 문제 46건이고 가장 오래된 열린 문제는 140일입니다. 병동 관리자들은 여전히 교대 시간에 일정 화면이 멈춘다고 불평합니다. 서비스 소유자는 아직 대시보드에 없는 인시던트-문제 연결률과 수정 후 재발률을 요청합니다.
데이터는 다른 이야기를 합니다. 종료 코드의 구성을 보면 46건의 종료 중 22건이 "재현 불가"나 "중복"이었습니다. 높은 우선순위 인시던트의 연결률은 38퍼센트입니다. 멈춤 인시던트는 네 범주로 기록되어 패턴이 보이지 않았습니다. 인시던트 30건의 표본을 손으로 다시 연결하자 그중 17건이 하나의 원인을 가리켰습니다. 아침 교대 시간까지 늘어진 야간 작업이 잡은 데이터베이스 락이었습니다. 직전 분기에 수정된 문제의 재발은 27퍼센트로 아무도 예상하지 못한 높은 수준이었습니다.
팀은 세 가지를 결정합니다. 첫째, 원인 및 증상 분류 체계에 "일정 멈춤" 항목을 추가하고 문제 또는 "찾지 못함"으로의 연결을 인시던트 종료의 필수 단계로 만듭니다. 둘째, 야간 작업 문제를 인프라 백로그에서 제품 팀의 보드로 소유자와 목표 날짜와 함께 옮기고, 우회책(작업 후 예약된 재시작)을 알려진 오류로 기록해 서비스 데스크와 시험합니다. 셋째, 대시보드가 닫은 건수를 세 가지 숫자로 대체합니다. 90일 뒤에도 유지된 수정의 비율, 기록된 원인부터 수정까지 시간의 중앙값과 85번째 백분위수, 결정과 함께 가장 오래된 열린 문제입니다.
여덟 주 뒤 작업을 바꾸는 변경으로 락이 제거됩니다. 멈춤 범주의 인시던트는 월 약 아홉 건에서 두 건으로 줄고, 남은 증상에 대한 알려진 오류 재사용은 71퍼센트로 오릅니다. 대부분 서비스 데스크가 이제 재시작 항목을 찾기 때문입니다. 팀이 잡아낸 악용 위험은 자신들의 이전 습관에 있었습니다. 인시던트가 근무 시간 밖에 일어나면 레코드를 "재현 불가"로 닫는 것이었습니다. 종료 코드의 구성, 분기마다 읽는 닫은 레코드의 표본, 재발 코호트가 이제 방호책으로 작동합니다. 아무도 순위가 매겨지지 않으며, 검토는 분석가가 아니라 서비스와 결정을 나열합니다.
애자일, AI, 자동화, 분석
애자일
문제 작업을 정기 백로그와 개선 대화에 녹여 영구 수정이 새 작업과 공개적으로 경쟁하게 하십시오. 주의할 점은 문제를 빨리 닫는 목표가 우회책으로 닫게 한다는 것입니다.
AI
AI는 인시던트를 군집화하고, 근본 원인을 제안하고, 문제 레코드 초안을 쓸 수 있어서 원인을 제거하지 않고도 문제 건수와 연결률을 올릴 수 있습니다. 연결률을 수정 후 재발률과 짝지우고, 어떤 원인이 AI가 제안하고 사람이 확인했는지 표시하십시오. 주의할 점은 AI가 제안한 원인이 그럴듯하지만 틀릴 수 있으므로 닫기 전에 검증해야 한다는 것입니다.
자동화
신호가 일치하는 곳에서 인시던트를 문제에 자동으로 연결하고, 일치를 잘못된 연결로 측정하십시오. 주의할 점은 인시던트가 멈추면 문제를 자동으로 닫는 것은 조용해졌을 뿐인 원인을 가린다는 것입니다.
분석
영구 수정까지의 시간을 분포로, 수정 후 재발률을 보여 주십시오. 이는 어떤 원인이 용량을 받을 자격이 있는지에 정보를 줍니다. 주의할 점은 재발에는 긴 기간이 필요하므로 얼마나 오래 지켜보았는지 밝혀야 한다는 것입니다.
부문별 관점
스타트업. 별도의 문제 프로세스가 있는 경우는 드뭅니다. 팀이 원인을 직접 고치고, 위험은 아무도 이유를 기억하지 못하는 것입니다. 반복 인시던트와 원인의 한 쪽짜리 목록을 유지하고, 수정을 이슈 트래커에 연결하고, 목록을 매달 검토하십시오. 재발과 가장 오래된 항목의 경과 시간을 측정하고, 팀이 커지기 전에는 공식 종료 코드를 건너뛰십시오.
소규모 사업. IT 담당자 한 명이나 관리형 서비스 제공업체가 모든 것을 운영할 수 있습니다. 제공업체에 문제 레코드와 그 뒤의 인시던트 범주, 그리고 "해결됨"의 서면 정의를 요청하십시오. 각각에 지명된 소유자와 날짜가 있는 상위 다섯 반복 문제의 짧은 목록이 무거운 도구보다 낫습니다. 종속을 피하도록 레코드를 주기적으로 내보내십시오.
대기업. 많은 서비스와 공급업체 때문에 공유 정의의 필요가 가장 큽니다. 원인 분류 체계, 종료 코드, 재발 기간을 팀 간에 합의하고, 서비스별로 문제 소유자를 지명하고, 서비스와 코호트별로 보고하십시오. 공급업체가 수정을 쥐고 있는 곳에서는 합의에 비춰 공급업체의 대응을 추적하고(주제 8.4, 공급업체와 계약 지표 참조) 문서화된 경로로 에스컬레이션하십시오.
정부 및 공공 부문. 감사, 변경 통제, 조달이 원인에서 수정까지의 경로를 늘릴 수 있으므로, 수정까지의 시간 시계는 지연이 조사, 승인, 조달, 일정 중 어디에 있는지 보여 주어야 합니다. 위험 수용에는 감사를 견디는 기록된 소유자와 검토 날짜가 필요합니다. 인시던트와 문제 레코드에는 보존과 개인정보 규칙이 적용되며, 특히 임상 또는 시민 데이터가 나타나는 곳에서 그렇습니다.
비즈니스 케이스: 동기, ROI, TCO
비용은 세 부분입니다. 첫째는 조사 시간으로, 인시던트를 분석할 기술과 접근 권한이 있는 사람들이 필요하며 그들의 다른 일과 경쟁합니다. 둘째는 백로그와 변경 프로세스를 통해 전달되는 수정 자체입니다. 셋째는 기록과 보고의 비용으로, 인시던트를 연결하고, 분류 체계를 유지하고, 패턴 검토를 하고, 알려진 오류 데이터베이스를 유지하는 일입니다. 이 비용은 대부분 사람의 시간이므로 시간을 세십시오.
수익은 재발을 멈추는 인시던트, 더 적은 호출과 수작업 우회 노력, 대응자가 알려진 오류를 찾아서 짧아진 인시던트 처리, 엔지니어에 대한 더 적은 에스컬레이션으로 나타납니다. 보편적인 수치는 없으므로 자체를 추정하십시오. 반복 인시던트에 대해 연간 발생 횟수에 평균 처리 노력과 발생당 비즈니스 영향의 추정치를 곱하고, 그것을 수정 노력과 비교하십시오. 추정치를 서비스 소유자와 검토하고, 추정치임을 밝히고, 재발 기간이 무슨 일이 있었는지 보여 준 뒤에 다시 검토하십시오. 문제 관리는 인시던트 부하의 대부분을 낳는 소수의 원인에서 가장 크게 수익이 나며, 파레토 관점이 그것을 빨리 찾아냅니다.
안티패턴과 함정
- 목표로서의 종료. 닫은 문제에 대한 목표는 사소한 레코드와 이른 종료를 보상합니다. 성과 측정치를 먼저 보고하고 종료 코드의 구성을 보여 주십시오.
- 무덤이 된 문제 레코드. 레코드가 소유자, 날짜, 결정 없이 열려 있습니다. 가장 오래된 목록을 주기적으로 검토하고 각 항목에 결정을 요구하십시오.
- "인적 오류"에서 멈추기. 시스템을 건드린 사람을 명명할 뿐 시스템이 왜 실패를 허용했는지는 말하지 않습니다. 바꿀 수 있는 조건을 명명하는 원인만 인정하십시오.
- 근본 원인이 확실해질 때까지 아무것도 고치지 않기. 복잡한 실패에는 단일 원인이 없을 수 있습니다. 우회책과 가장 잘 뒷받침되는 수정을 적용하고 재발을 지켜보십시오.
- 출구 없는 우회책. 검토 날짜가 없는 우회책은 영구적이 됩니다. 알려진 오류를 만들 때 소유자와 날짜를 기록하십시오.
- 약한 인시던트 연결. 누락되거나 허술한 연결은 재발을 보이지 않게 만듭니다. 연결을 인시던트 종료의 일부로 만들고 연결을 표본 검토하십시오.
- 백로그 밖의 문제 작업. 별도 대기열에 있는 수정은 영원히 기다립니다. 수정 항목을 소유 팀의 보드에 올리고 기능과 비교해 우선순위를 정하십시오.
- 닫은 레코드로 분석가나 팀 비교하기. 쉬운 서비스를 보상하고 악용을 부릅니다. 서비스를 자기 이력과 비교하고 코호트를 읽으십시오.
성숙도 모델
| 차원 | 1 시작 | 2 발전 | 3 표준화 | 4 관리 | 5 조율 |
|---|---|---|---|---|---|
| 문제 식별과 연결 | 큰 장애 뒤에만 문제를 열고 인시던트 연결이 없음 | 일부 팀이 인시던트를 연결하며 범주가 팀마다 다름 | 공유 분류 체계와 종료 코드, 인시던트 종료 때 이루어지는 연결 | 연결률과 일치 품질을 표본 조사해 검토함 | 패턴을 팀과 공급업체에 걸쳐 감지하고 알려진 오류를 공유함 |
| 근본 원인과 알려진 오류 | 원인을 자유 서술로 기록하거나 기록하지 않음 | 일부 팀이 서로 다른 곳에 알려진 오류를 보관함 | 알려진 오류 데이터베이스 하나, 원인의 두 번째 사람 검토 | 근본 원인까지의 시간과 알려진 오류 재사용을 추세로 보고 행동함 | 대응자, 공급업체, 고객이 공유 항목에 기여하고 사용함 |
| 수정 전달 | 누군가 시간이 있을 때 수정됨 | 수정을 팀 자체 목록에서 추적함 | 수정이 소유자와 날짜가 있는 백로그 항목이나 변경에 연결됨 | 영구 수정까지의 시간을 검토하고 용량을 확보함 | 수정의 우선순위를 제품 및 공급업체 로드맵과 함께 정함 |
| 성과와 학습 | 레코드 건수를 보고함 | 일부 검토에서 백로그 경과 시간을 보고함 | 수정 후 재발과 우회책 전용 비중을 정의와 함께 보고함 | 코호트를 방호책과 짝지워 자금 결정에 활용함 | 결정에 정보를 주지 못하면 정의를 개정하고 개선이 일상적임 |
체크리스트
- 지표 레지스트리가 문제, 알려진 오류, 각 종료 코드를 정의한다.
- 인시던트 종료에 문제, 알려진 오류, 또는 "찾지 못함"으로의 연결이 포함된다.
- 정의와 예시가 있는 원인 및 증상 분류 체계가 있다.
- 모든 문제에 소유자, 트리거, 결정 날짜가 있다.
- 근본 원인까지의 시간과 영구 수정까지의 시간을 백분위수와 함께 따로 측정한다.
- 각 영구 수정이 소유자가 있는 백로그 항목이나 변경에 연결되어 있다.
- 모든 우회책에 소유자와 검토 날짜가 있다.
- 수정 후 재발을 명시된 기간의 분기별 코호트로 추적한다.
- 대응자가 일하는 곳에서 알려진 오류 재사용을 측정한다.
- 가장 오래된 열린 문제를 주기적으로 검토하고 각 결정을 기록한다.
- 분기마다 닫은 레코드의 표본을 읽어 종료 코드와 원인을 점검한다.
- 보고서가 서비스와 팀을 설명하며 어떤 표도 개인의 순위를 매기지 않는다.
AI 프롬프트
인시던트 집합에서 후보 문제를 찾습니다.
[시작일]부터 [종료일]까지 [서비스 또는 팀]의 인시던트 내보내기입니다: [id, 열린
시각, 범주, 짧은 설명, 해결 메모 같은 인시던트 필드 붙여 넣기]. 기저 원인을
공유할 수 있는 인시던트를 묶고, 각 묶음의 증거를 설명하고, 발생 건수와 [영향
측정치, 예: 사용자 영향 시간]으로 묶음의 순위를 매겨 주세요. 증거가 약한 묶음을
표시해 주세요. 원인, 건수, 기준 값을 지어내지 마세요. 가정한 내용과 확신을
높일 추가 데이터를 나열해 주세요.
문제 종료 코드와 레코드를 검토합니다.
아래는 [서비스 또는 팀]의 닫은 문제 레코드 [개수]건입니다: [id, 종료 코드, 기록된
원인, 수정 참조, 종료 날짜 붙여 넣기]. 텍스트와 맞지 않는 종료 코드, 조건이 아니라
사람을 명명한 원인, 연결이 없는 수정을 각 레코드에서 점검해 주세요. 패턴을
요약하고 검토자에게 할 질문 세 가지를 제안해 주세요. 사람의 순위를 매기거나
레코드에 대한 사실을 지어내지 마세요. 가정한 내용을 나열해 주세요.
재발 측정치를 설계합니다.
[서비스 또는 팀]에서 수정된 문제가 수정된 채로 있는지 측정하고 싶습니다. 도구는
[ITSM 도구, 배포 도구], 인시던트 범주는 [목록], 종료 코드는 [목록]입니다. 정의,
공식, 시계의 시작과 정지, 증상 일치 규칙, 재발 기간, 제외 항목과 분기별 코호트를
보여 주는 차트 배치를 제안해 주세요. 어떻게 악용될 수 있는지와 각 경우의
방호책을 제안해 주세요. 필요한 임계값은 지어내지 말고 내게 물어보세요. 가정한
내용을 나열해 주세요.
오래된 문제에 대한 결정 검토를 준비합니다.
다음은 [서비스 또는 팀]의 [일수]일보다 오래된 열린 문제입니다: [id, 경과 시간,
우선순위, 소유자, 마지막 업데이트, 우회책 상태 붙여 넣기]. 각 항목이 세 가지
결정 중 하나를 받는 [길이]분짜리 검토 안건 초안을 작성해 주세요. 날짜가 있는
수정, 지명된 소유자와 검토 날짜가 있는 위험 수용, 이유와 함께 종료입니다. 각
결정에 가져갈 증거를 제안해 주세요. 비용이나 성과를 지어내지 마세요. 가정한
내용과 내가 먼저 답해야 할 질문을 나열해 주세요.
AI 스킬
- 서비스 관리 지표 스킬: 문제 지표가 의존하는 인시던트, 변경, 지식 측정치를 정의하는 주제와 각각에 짝지울 방호책을 찾을 때 사용합니다.
- 서비스 관리 지표 유지보수 스킬: 새롭거나 수정한 문제 지표가 시계, 제외 항목, 악용 방식, 방호책을 명시하는지 확인할 때 사용합니다.
핵심 정리
- 문제 관리의 측정치는 재발입니다. 문제에 연결된 인시던트가 되돌아오지 않는지입니다.
- 단계를 따로 시간을 재십시오. 레코드에서 기록된 원인까지, 원인에서 운영에서 돌아가는 수정까지입니다.
- 종료 때 인시던트를 문제에 연결하고, 증상을 어떻게 일치시킬지 합의하고, 연결을 표본 조사하십시오.
- 우회책은 소유자와 검토 날짜가 있는 한 단계이며, 우회책 전용 비중이 얼마나 많은 위험을 짊어지고 있는지 보여 줍니다.
- 영구 수정을 소유 팀의 백로그에 두고, 레코드 건수 전에 성과 측정치를 보고하십시오.
- 서비스, 코호트, 결정을 설명하십시오. 닫은 문제로 분석가나 팀의 순위를 절대 매기지 마십시오.
참고 문헌과 더 읽을거리
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Ohno, T., Toyota Production System: Beyond Large-Scale Production, Productivity Press, 1988.
- Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
- AXELOS (now PeopleCert), ITIL Foundation: ITIL 4 Edition, TSO, 2019.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
- Wikipedia, ITIL.
- Wikipedia, Known error database.
- Wikipedia, Workaround.
- Wikipedia, Root cause analysis.
- Wikipedia, Five whys.
- Wikipedia, Ishikawa diagram.
- Wikipedia, Pareto chart.
- Wikipedia, Backlog.
- Wikipedia, Technical debt.