토일과 온콜 지표
서비스는 그것을 돌보는 순환 근무만큼만 믿을 만하므로, 순환 근무 전체에 대해 방해, 야간 부하, 반복적인 수작업에 잃는 시간의 비율을 측정하고, 그 숫자를 사람을 비교하는 데가 아니라 예방과 자동화에 자금을 대는 데 쓰십시오.
개요와 동기
신뢰성은 흔히 시스템의 관점에서 설명됩니다. 가용성, 지연, 오류율입니다. 한밤중에도 사용자가 있는 모든 서비스 뒤에는 시스템이 실패할 때 대응하는 사람의 시스템이 있습니다. 그 사람의 시스템에는 한계가 있습니다. 너무 자주 호출받거나, 너무 많은 사람을 깨우거나, 일주일 대부분을 수작업의 반복 업무에 쓰는 순환 근무는 느려지고, 더 많은 실수를 하고, 결국 사람을 잃습니다. 5부의 다른 지표들은 그것들을 붙잡고 있는 사람들이 떠나는 바로 그 순간까지 건강해 보일 수 있습니다.
두 가지 발상이 이 주제를 조직합니다. 첫째는 온콜 업무입니다. 정상적인 근무 패턴 밖에서 경보에 닿을 수 있고 대응할 준비가 된 사람들의 순환 근무입니다. 호출(page)은 보통 호출기, 전화, 푸시 알림으로 대응자를 방해하는 경보입니다. 교대(shift)는 하루, 한 주, 하룻밤처럼 온콜 임무의 한 구간입니다. 순환 근무(rotation)는 번갈아 교대를 맡는 사람들의 그룹입니다. 둘째 발상은 소프트웨어 엔지니어링 방법으로 서비스를 운영하는 학문 분야인 사이트 신뢰성 엔지니어링(SRE)의 용어인 토일(toil)입니다. 구글의 Site Reliability Engineering 책에서 토일은 운영 서비스를 돌리는 일에 묶인 운영 작업으로, 수작업이고, 반복적이고, 자동화할 수 있고, 전술적이고, 지속적 가치가 없고, 서비스와 보조를 맞춰 늘어나는 경향이 있는 것입니다. 회의 같은 오버헤드와 같지 않으며, 단순히 누군가 싫어하는 일도 아닙니다.
ITIL 4에는 "토일 관리"라는 프랙티스가 없습니다. 내용이 여러 프랙티스에 걸쳐 있습니다. 인시던트 관리와 모니터링 및 이벤트 관리가 호출을 만듭니다. 문제 관리는 호출을 계속 만들어 내는 원인을 제거합니다. 서비스 요청 관리와 배포 관리가 반복적인 수작업의 상당 부분을 만듭니다. 인력 및 인재 관리와 지속적 개선이 사람 쪽을 소유합니다. 애자일의 대응은 계획 외 작업과 지속 가능한 속도에 대한 팀의 업무 합의이며, 서비스를 만드는 팀이 그 호출기의 일부도 맡는다는 DevOps의 습관입니다.
여기의 측정치는 부하와 지속 가능성에 관한 것입니다. 인시던트 처리는 다른 주제에 속하며(주제 3.3, 인시던트 대응 및 해결 시간과 주제 3.4, 중대 인시던트 지표 참조), 개별 경보의 품질도 마찬가지입니다(주제 5.5, 모니터링과 경보 품질 지표 참조). 이 주제는 서비스를 계속 돌리는 데 순환 근무의 사람들에게 어떤 비용이 드는지, 그 비용이 지속 가능한지 묻습니다.
이것이 신뢰성에 속하는 이유
피로에는 운영상의 결과가 따릅니다. 수면 부족은 판단력과 반응 시간을 저하시키며, 인시던트가 시작될 때 피곤한 대응자는 진단하는 데 더 오래 걸리고 첫 실수를 고치는 중에 두 번째 실수를 할 가능성이 더 큽니다. 경보 피로는 너무 많은 경보의 관련된 효과로, 사람들이 각 경보를 긴급하게 다루지 않게 됩니다. 직무 소진(burnout)은 지속된 과부하의 장기적 결과로, 이직, 병가, 이탈로 나타나며 느리고, 비싸고, 되돌리기 어렵습니다. 순환 근무의 지속 가능성을 측정하지 않고 서비스 신뢰성을 측정하는 팀은 결과만 지켜보고 원인의 일부를 무시하는 것입니다.
이 주제는 순환 근무, 교대, 서비스를 설명하며 개인의 순위는 결코 매기지 않습니다. ITIL 관점은 인시던트와 서비스에서 출발하고, SRE 관점은 사람-시간 비용에서, 애자일 관점은 계획된 작업을 위한 용량에서 출발합니다.
핵심 원칙
- 사람이 아니라 순환 근무를 측정하십시오. 부하를 서비스, 교대, 순환 근무 자리별로 보고하십시오. 한 사람의 호출 건수는 그가 뽑은 교대에 달려 있으며, 순위표는 사람들이 방해를 숨기도록 가르칩니다.
- 방해가 얼마나 오래 가는지만이 아니라 언제 일어나는지도 세십시오. 새벽 3시의 5분짜리 호출이 하룻밤의 수면을 앗아갈 수 있습니다.
- 토일을 좁게 정의하고 팀이 분류하게 하십시오. 토일은 특정한 종류의 작업이지 사람들이 싫어하는 일의 동의어가 아닙니다.
- 부하를 투자의 신호로 다루십시오. 높은 호출 물량이나 토일 비율은 서비스, 도구, 인력 수준이 손볼 필요가 있다는 증거입니다.
- 모든 부하 측정치를 품질 측정치와 짝지우십시오. 호출이 줄어드는 것은 인시던트가 여전히 감지될 때만 좋은 소식입니다.
- 분포를 보여 주고 데이터를 순환 근무와 먼저 공유하십시오. 평균 교대는 끔찍한 몇 번의 밤을 가리며, 온콜인 사람들이 숫자가 자신의 경험과 맞는지 가장 잘 판단합니다.
지표 정의
표는 핵심 집합을 줍니다. 모든 시간 또는 건수 측정치는 시작과 끝, 무엇이 제외되는지를 명시합니다. 분산된 순환 근무의 사람들은 현지 시간이 다를 수 있으므로, "근무 시간 외"는 주말과 공휴일을 포함해 현지 시간의 서면 구간으로 순환 근무마다 한 번 정의해야 합니다.
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 |
|---|---|---|---|---|---|---|---|
| 교대당 호출 | 한 교대 동안 순환 근무에 전달된 호출의 수 | 교대 시작과 끝 사이에 전달된 호출 수, 교대당 한 번 세며, 같은 경보 그룹의 중복 호출은 5분 안에 병합한 뒤(병합 구간은 팀 설정). 시험 호출과 잘못 보낸 호출은 제외. 교대에 걸친 중앙값과 90번째 백분위수, 그리고 가장 바빴던 교대를 보고 | 교대당 호출 | 호출 도구, 온콜 일정 | 인시던트 관리, 모니터링 및 이벤트 관리 | 계획 외 작업 정책, 지속 가능한 속도 | 주간 검토, 월간 추세 |
| 근무 시간 외 호출 비중 | 서면 근무 구간 밖에 도착하는 호출의 비율 | 기간 중 근무 구간 밖에 전달된 호출 / 전달된 모든 호출. 구간은 순환 근무마다 현지 시간으로 정하며, 공휴일은 구간 밖으로 셈 | 퍼센트 | 호출 도구, 순환 근무 달력 | 인시던트 관리, 모니터링 및 이벤트 관리 | 가용성에 대한 업무 합의 | 월 |
| 야간 방해율 | 교대가 보호된 수면 구간에 호출을 최소 한 번 포함하는 빈도 | 보호된 수면 구간(예: 현지 22:00부터 07:00, 팀이 정함)에 호출이 최소 한 번 있는 교대 / 기간 중 모든 교대. 사람의 응답 없이 자동으로 확인된 호출은 제외 | 교대의 퍼센트 | 호출 도구, 확인 로그 | 인시던트 관리, 인력 및 인재 관리 | 지속 가능한 속도, 팀 건강 점검 | 월 |
| 시간 중 토일 비중 | 순환 근무의 근무 시간 중 토일에 쓴 비율 | 순환 근무가 토일로 분류한 작업에 기록한 시간 / 한 달 동안 순환 근무가 기록한 총 근무 시간. 회의, 교육, 휴가는 분자와 분모 모두에서 제외. 분류는 팀이 적용하는 토일의 여섯 가지 특징을 따름 | 시간의 퍼센트 | 작업 트래커의 시간 표본 추출 또는 작업 라벨, 팀의 분류 검토 | 지속적 개선, 배포 관리, 서비스 요청 관리 | 계획 외 작업 비중, 계획된 작업의 용량 배분 | 월, 분류는 분기 검토 |
| 원천별 토일 | 수작업 재시작, 접근 요청, 인증서 갱신, 티켓 분류 같은 명명된 원천에 걸친 토일 시간의 분포 | 각 원천의 토일 시간 / 총 토일 시간, 상위 다섯 원천과 "기타" 그룹을 나열. 시간 중 토일 비중과 같은 제외 | 원천별 토일 시간의 퍼센트 | 작업 트래커의 시간 표본 추출 또는 작업 라벨 | 문제 관리, 서비스 요청 관리 | 개선 항목의 백로그 | 분기 |
| 반복 호출률 | 명시된 구간 안에 이전에 순환 근무를 호출한 적 있는 조건이 일으킨 호출의 비율 | 경보 그룹이나 원인 코드가 30일 안의 이전 호출과 일치하는 호출 / 기간 중 모든 호출. 원인 코드는 종료 시 대응자가 설정하며, 설정되지 않은 코드는 따로 보고 | 퍼센트 | 호출 도구, 인시던트 레코드 원인 코드 | 문제 관리, 인시던트 관리 | 회고 조치, 기술 부채 백로그 | 월 |
| 순환 근무 깊이 | 채워야 할 역할의 수에 비해 호출기를 나눠 맡는 자격을 갖춘 대응자가 얼마나 되는지 | 온콜 준비를 마치고 교대에 가용한 사람 수 / 순환 주기당 순환 근무의 교대 자리 수. 휴가와 파견은 가용성을 줄임. 순환 근무별 비율로 보고하며 사람별로는 하지 않음 | 비율 | 순환 근무 일정, 준비 체크리스트 | 인력 및 인재 관리 | 다기능 팀, 기술 매트릭스 | 분기 |
| 제거된 토일 | 자동화나 설계 변경으로 순환 근무의 업무에서 빠진 반복 토일 시간 | 변경 전 원천의 추정 월 토일 시간 빼기 변경 후의 같은 값, 전달 후 최소 두 주기에 걸쳐 측정. 일회성 정리로 절약한 시간은 제외 | 월당 시간 | 이전과 이후의 시간 표본 추출, 개선 티켓 | 지속적 개선, 문제 관리 | 전달된 개선 항목 | 분기 |
호출 건수는 인시던트가 아니라 방해의 건수입니다. 인시던트 하나가 열두 개의 호출을 만들 수 있습니다. 시간 중 토일 비중은 정직한 기록에 달려 있으므로 합의된 추정치로 다루십시오.
권장 사항
세기 전에 용어를 정의하십시오
1. 무엇이 호출, 교대, 근무 시간 외로 셈하는지 적어 두십시오. 팀은 같은 단어로 서로 다른 것을 셉니다. 호출은 모든 알림일 수도, 사람에게 닿는 것만일 수도, 조치가 필요한 것만일 수도 있습니다. 하나의 정의를 고르고, 중복의 병합 구간을 명시하고, 현지 시간으로 근무 구간을 기록하십시오. 그렇지 않으면 도구를 재구성할 때 숫자가 바뀌고 추세가 오해를 부릅니다.
2. 자체 서비스의 예시로 토일이 무엇인지 합의하십시오. SRE 책의 여섯 가지 특징에서 시작하십시오. 멈춘 작업 재시작(토일), 새 복구 도구 설계(엔지니어링), 계획 회의(오버헤드)처럼 예시와 비예시의 짧은 목록을 쓰십시오. 의견 불일치가 나타나면 목록을 검토하십시오.
3. 토일 비중을 측정할 방법을 고르고 그 한계를 받아들이십시오. 싼 선택지는 시간 표본 추출, 작업 트래커의 작업 라벨, 격주의 짧은 추정입니다. 어느 것도 정확하지 않으므로 오버헤드가 가장 적은 것을 골라 한 분기 동안 실행하고, 절대값보다 추세를 판단하십시오.
순환 근무의 부하를 측정하십시오
4. 교대당 호출을 분포로 보고하십시오. 평균 교대는 순환 근무가 느끼는 것을 가립니다. 중앙값, 90번째 백분위수, 가장 바빴던 교대를 보여 주고 그 교대에 무슨 일이 있었는지 메모를 더하십시오. 조용한 중앙값에 끔찍한 꼬리가 있다면 몇 번의 나쁜 밤이며, 이는 꾸준히 바쁜 순환 근무와 다른 문제입니다. 백분위수를 읽는 방법은 주제 1.6, 서비스 지표를 위한 통계 소양을 보십시오.
5. 물량 옆에 시점을 두십시오. 근무 시간 외 호출 비중과 야간 방해율은 부하가 언제 떨어지는지 보여 줍니다. 근무 시간의 호출 다섯 건은 성가심이고, 자정부터 05:00 사이의 다섯 건은 다른 비용입니다. 둘을 같은 페이지에 보여 주십시오.
6. 사람이 아니라 교대에 걸친 분산을 보십시오. 반복되는 한 교대(예: 주말이나 월요일 인수인계)가 호출 대부분을 모으는 순환 근무는 부하가 고른 순환 근무와 다른 해법이 필요합니다. 교대 자리와 요일별 호출의 비중을 보고하십시오. 데이터가 지명된 개인별로 보고되면 순위로 읽힐 것을 예상해야 하므로, 그런 관점을 만들지 마십시오.
7. 주요 인시던트 부하를 따로 세십시오. 주요 인시던트 하나가 하룻밤에 정상적인 한 달보다 많은 방해를 만들 수 있습니다. 한 사건이 추세를 왜곡하지 않도록 별도의 행으로 보고하십시오(주제 3.4, 중대 인시던트 지표 참조).
부하를 원인과 수정에 연결하십시오
8. 호출을 문제에 연결하고 반복을 추적하십시오. 반복 호출률은 부하 중 이미 알려진 원인에서 오는 비율을 보여 줍니다. 높은 반복률은 더 빠른 대응이 아니라 문제 관리를 위한 논거입니다. 가장 많이 반복되는 원인을 문제 백로그에 넣고 연결을 기록하십시오(주제 4.1, 문제 관리 지표와 주제 4.6, 기술 부채와 알려진 오류 참조).
9. 토일 원천의 순위를 매기고 가장 큰 것을 공략하십시오. 원천별 토일 시간의 파레토 차트는 대개 소수의 원천이 시간 대부분을 차지함을 보여 줍니다. 가장 큰 것을 골라 설계로 없앨 수 있는지, 자동화할 수 있는지, 원인을 소유한 팀에 넘길 수 있는지 결정하고 기능 작업처럼 일정을 잡으십시오. 자동화된 단계도 유지보수해야 하므로 단계를 자동화하는 것보다 필요 자체를 없애는 것을 선호하십시오.
10. 작성한 자동화가 아니라 제거된 토일을 측정하십시오. 아무도 쓰지 않는 자동화는 아무것도 제거하지 않습니다. 전후의 토일 시간을 최소 두 주기에 걸쳐 측정하고, 자동화를 만들고 유지하는 노력을 기록하십시오. 이것이 정직한 수익이며, 작업을 제거하지 않고 스크립트만 더하는 "자동화" 프로그램을 막습니다. 사용자의 자동화 채택은 주제 3.7, 셀프서비스와 자동화 지표를 보십시오.
체계를 지속 가능하게 유지하십시오
11. 팀 합의에 순환 근무 한도를 정한 다음 순환 근무 깊이를 지켜보십시오. 한 사람이 얼마나 자주 온콜일 수 있는지, 연속 몇 번의 밤이 받아들일 만한지, 나쁜 밤 뒤에 어떤 휴식이 따르는지 합의하십시오. 순환 근무 깊이는 순환 근무에 합의된 한도를 충족할 만큼 자격을 갖춘 사람이 충분한지 보여 줍니다. 명목상 여덟 명이지만 나머지가 아직 준비되지 않았거나 휴가 중이어서 실제로는 셋인 순환 근무는, 명단이 무엇을 말하든 한도를 충족하지 못합니다.
12. 숫자를 구체적인 요청에 쓰십시오. 부하 수치는 요청을 뒷받침합니다. 인력 변경, 토일을 갚기 위해 기능 작업에서 떼어 낸 시간, 경보 임계값 변경, 서비스 폐기입니다. 숫자 옆에 요청을 적으십시오. 그렇지 않으면 사람들이 기록을 멈춥니다(주제 1.4, 지표 거버넌스와 소유권 참조).
악용 방식과 방호책
| 지표 | 악용되는 방식 | 짝을 이루는 방호책 지표 또는 실천 |
|---|---|---|
| 교대당 호출 | 건수가 줄도록 경보 임계값을 올리거나 경보를 침묵시킴, 관련 없는 경보를 하나의 호출로 병합함, 호출을 아무도 보지 않는 티켓 큐로 옮김 | 감지 포괄과 모니터링이 놓친 고객 보고 인시던트(주제 5.5, 모니터링과 경보 품질 지표 참조), 감지까지의 시간(주제 3.3, 인시던트 대응 및 해결 시간 참조) |
| 근무 시간 외 호출 비중 | 근무 구간을 더 넓게 재정의함, 호출을 줄이지 않고 근무 시간으로 옮기도록 작업과 배포의 일정을 다시 잡음, 호출을 "낮은 긴급도"로 재분류함 | 비중 옆의 전체 호출 물량, 변경 통제 아래의 서면 근무 구간, 무엇이 옮겨졌는지 검토 |
| 야간 방해율 | 확인을 아침까지 미룸, 호출을 자동 확인함, 사람에게 닿은 호출만 셈 | 시간대별 확인 시간(주제 3.3, 인시던트 대응 및 해결 시간 참조), 사람의 응답이 없는 호출은 따로 보고, 야간 고객 영향 |
| 시간 중 토일 비중 | 토일을 "엔지니어링"이나 "프로젝트 작업"으로 재분류함, 쓴 것보다 적게 기록함, 설명하기 쉬운 것만 라벨함 | 순환 근무 밖의 누군가가 하는 분류된 항목의 주기적 감사, 한 주가 어땠는지에 대한 팀 자체의 관점, 계획된 개선 작업에 쓴 시간의 비율 |
| 원천별 토일 | 눈에 띄는 것이 없도록 큰 원천을 여러 작은 것으로 쪼갬, 원천을 "기타"에 이름 없이 둠 | "기타" 그룹의 상한(예: 토일 시간의 5분의 1 미만, 팀 설정), 분기마다 "기타" 항목의 표본 조사 |
| 반복 호출률 | 일치를 놓치도록 매번 새 원인 코드로 호출을 닫음, 모든 것이 구별되도록 원인 코드를 넓힘, 구간을 늘이거나 줄임 | 표본에 대한 원인 코드 감사, 인시던트에 걸친 같은 경보 그룹의 재발(주제 4.1, 문제 관리 지표 참조) |
| 순환 근무 깊이 | 준비를 마치지 않은 사람을 셈, 거의 가용하지 않은 사람을 셈, 명단을 부풀림 | 명목상의 풀이 실제로 맡는 교대의 비율, 이름 없이 보고하는 자리별 실제 교대 수, 준비 체크리스트 완료 |
| 제거된 토일 | 일회성 정리를 반복 절감으로 셈, 자동화를 만들고 유지하는 노력을 무시함, 전후 비교 없이 절감을 주장함 | 두 주기에 걸쳐 측정한 전후 시간, 자동화의 유지보수 노력, 이후 분기의 시간 중 토일 비중 |
건강한 수치는 중앙값 교대가 조용하고 최악의 교대가 드문 순환 근무입니다. 밤의 호출이 적고, 반복 호출의 비중이 줄고, 토일 비중이 재분류 때문이 아니라 원천이 제거되어서 떨어집니다. 거기에 이르는 노력도 보여 줍니다. 계획에 개선 작업이 나타나고, 자금이 투입되고, 전달됩니다. 호출 건수가 줄어드는데 고객이 모니터링이 잡지 못한 인시던트를 더 많이 보고한다면, 숫자는 눈을 돌려서 좋아지고 있는 것입니다.
상충 관계: 장점과 단점
| 접근 방식 | 강점 | 약점 |
|---|---|---|
| 호출 도구에서 호출 세기 | 자동이고, 싸고, 반박하기 어려움 | 방해를 세지 그 비용을 세지 않음, 경보를 조정하면 부하는 그대로인데 건수가 바뀜 |
| 토일의 시간 표본 추출 | 적은 노력으로 합리적 정확도 | 규율이 필요함, 작은 표본은 잡음이 많음 |
| 순환 근무 수준 보고 | 일이 조직된 방식과 맞음, 널리 공유해도 안전함 | 힘들어하는 사람을 가릴 수 있음, 옆에 지지적인 대화 경로가 필요함 |
| 토일의 엄격한 상한(예: 토일을 시간의 50퍼센트 미만으로 유지한다는 SRE 책의 목표) | 대응을 촉발하는 분명한 신호 | 재분류로 수치를 충족할 수 있음, 상한에는 경영진의 뒷받침이 필요함 |
중심 긴장은 수용과 투자 사이에 있습니다. 높은 부하를 중요한 서비스의 정상적인 대가로 보고 사람들에게 흡수하라고 요청하기 쉽고, 아무도 집행할 힘이 없는 상한을 정하기 쉽습니다. 길은 모든 측정치를 결정과 짝지우는 것입니다. 팀이 멈추고 행동하는 임계값, 조치의 지명된 소유자, 다시 볼 날짜입니다. 순환 근무 수준 수치는 안전하지만 때로는 너무 거칩니다. 누군가 힘들어한다면 대화는 그 사람과 관리자 사이에서 그 사람 자신의 한 주 설명을 바탕으로 이루어져야 합니다.
팀과 논의할 질문
1. 지난 분기에 가장 바빴던 교대는 어떤 느낌이었으며, 숫자는 그것에 대해 무엇을 말하나요? 차트보다 먼저 이야기부터 시작하십시오. 온콜이었던 사람들에게 교대를 설명하게 한 다음 교대당 호출과 야간 방해 수치와 비교하십시오. 숫자가 경험을 과소평가한다면 기록되지 않은 전화나 호출 뒤에 한 작업처럼 무엇이 빠졌는지 알아내십시오. 그 목록을 다음 측정 개선으로 포착하십시오.
2. 우리 팀에서 토일이라고 말할 것과 아니라고 말할 것은 무엇인가요? 최근 작업 대여섯 개를 보드에 놓고 각자 여섯 가지 특징에 비춰 토일, 엔지니어링, 오버헤드로 분류하게 하십시오. 의견 불일치를 예상하고 유용하게 다루십시오. 불일치가 정의가 모호한 곳을 보여 줍니다. 다음 분기의 작업 정의에 합의하고 각각 두 개의 예를 적으십시오. 일이 즐거운지 논쟁하는 것은 피하십시오. 질문은 그것이 수작업이고, 반복적이고, 자동화할 수 있는지이기 때문입니다.
3. 할 수 있다면 어떤 경보나 작업을 가장 먼저 삭제할까요? 모두가 두려워하는 경보나 반복 작업을 말하게 한 다음, 무엇이 제거를 막는지 물으십시오. 고치는 비용, 빠진 소유자, 필수라는 믿음입니다. 진행자는 제거하기 싸고 소유자가 방에 없는 작업을 찾아야 합니다. 다음 계획 회차를 위한 항목 하나를 고르며 마치십시오.
4. 오늘 실제로 교대를 맡을 수 있는 사람은 몇 명이며, 우리는 어떤 한도를 지키기로 약속할 의향이 있나요? 준비 상태를 정직하게 세십시오. 누가 교육받았고, 누가 가용하고, 누구에게 제약이 있는지입니다. 결과를 명목상의 순환 근무 규모와 비교하십시오. 그룹이 받아들일 만하다고 여기는 온콜 빈도와 연속 밤의 수를 묻고, 현재 관행이 그것을 충족하는지 확인하십시오.
5. 다음 분기까지 호출 건수를 절반으로 줄인다면, 그저 귀를 닫은 것이 아님을 어떻게 알까요? 이 질문은 방호책에 관한 것입니다. 서비스가 개선되지 않고 호출 건수가 줄 수 있는 방법을 그룹에게 나열하게 하십시오. 임계값을 올리고, 경보를 병합하고, 원천을 무시하는 것 같은 것입니다. 그런 일이 일어났다면 고객 보고와 감지 측정치에서 무엇을 보게 될지 물으십시오. 방호책에 합의하고 물량과 같은 페이지에 두십시오.
6. 누가 이 숫자를 보며, 그들이 그것으로 무엇을 하기를 바라나요? 부하 측정치가 순환 근무에서 관리자와 리더에게 가는 경로를 추적하십시오. 각 청중이 무엇을 결론 내릴 가능성이 있는지, 어떤 관점이 순위로 읽힐 수 있는지 물으십시오. 위로 올라가는 형태에 합의하십시오. 순환 근무 수준, 맥락과 함께, 요청을 첨부해서입니다. 개인이 식별될 수 있다는 우려를 메모하십시오.
네 가지 관점
제품 및 전달 팀
전달 팀은 릴리스하는 변경을 통해 온콜 부하의 상당 부분을 만듭니다. 만든 것을 운영하는 팀은 릴리스와 그 뒤에 따르는 호출 사이의 연결을 볼 수 있습니다. 용량 계획에 토일과 온콜 작업을 포함하고, 토일 제거를 일반 백로그 작업으로 일정을 잡고, 속도 옆에서 변경 품질을 지켜봐야 합니다(주제 2.8, DORA 지표 참조).
서비스 및 운영 팀
운영 팀이 호출기를 가장 자주 들고 사람이 치르는 비용을 가장 먼저 봅니다. 정의를 소유하고, 시간 표본 추출이나 라벨링을 실행하고, 순환 근무 수준의 숫자를 공표하고, 가장 큰 토일 원천과 반복 원인을 증거와 함께 소유 팀에 가져가야 합니다. 그들의 위험은 전문성에서 부하를 조용히 흡수하는 것입니다. 밤과 주에 대한 차분하고 사실에 기반한 기록이 불만보다 도움을 요청하는 더 효과적인 방법이며, 기록을 대응한 사람들의 순위로 바꿔서는 안 됩니다.
리더십과 거버넌스
리더는 인력, 우선순위, 토일 작업에 자금을 댈지를 결정합니다. 높은 토일 비중을 나쁜 성과로 읽는 리더는 팀이 재라벨링으로 낮추도록 가르칩니다. 조직이 자금을 대지 않기로 선택한 작업의 청구서로 읽는 리더는 정직한 데이터와 계획을 얻습니다. 거버넌스는 순환 근무 부하의 한도와 그것을 넘을 때의 보이는 대응을 기대해야 합니다(주제 9.2, 만족도와 웰빙 지표 참조).
고객과 사용자
사용자는 순환 근무를 보지 못하지만 그 효과를 느낍니다. 피곤한 대응자의 더 느린 진단, 고쳐지지 않은 원인에서 오는 반복 인시던트, 서비스를 알던 사람들의 이탈입니다. 사용자가 많은 시간대에 걸쳐 있는 곳에서는 그들의 근무 시간 외 필요가 순환 근무를 형성하며, 그것을 감당하는 비용은 서비스 수준 대화의 공정한 주제입니다(주제 5.1, SLA, OLA, XLA 지표 참조).
실제 적용: 서비스 관리 사례
중견 온라인 소매업체가 주문 플랫폼, 고객 계정 서비스, 창고 연동을 운영합니다. 두 제품 팀과 작은 운영 그룹에서 온 여섯 명의 엔지니어 순환 근무가 주간 온콜 교대를 나눠 맡습니다. 이 사례의 모든 숫자는 예시입니다.
월간 검토는 교대당 호출 중앙값 9건, 90번째 백분위수 31건을 보여 줍니다. 가장 바빴던 교대는 58건이었습니다. 모든 호출의 약 절반이 근무 시간 외에 도착하며, 그 분기의 교대 8개 중 6개에 22:00과 07:00 사이의 호출이 포함되었습니다. 시간 표본 추출은 토일이 근무 시간의 55퍼센트를 차지함을 시사합니다.
가장 바빴던 교대는 창고 연동의 인증서 만료와 겹쳤고, 하룻밤에 순환 근무를 22번 호출했습니다. 배치 서버의 디스크 공간 경보 하나가 호출의 거의 4분의 1을 차지하며, 대부분 임시 디렉터리를 손으로 비워 닫혔습니다. 반복 호출률은 41퍼센트입니다. 파레토 관점은 수작업 인증서 갱신, 디스크 정리, 접근 요청이 토일 시간 대부분을 차지함을 보여 줍니다.
팀은 다음 4주에 세 항목을 가져갑니다. 인증서 갱신을 자동화하고, 임시 디렉터리가 차는 원인을 고치고, 접근 요청을 신원 팀이 소유한 셀프서비스 양식으로 옮깁니다. 업무 합의는 한 사람당 4교대 중 1교대의 한도와 호출이 세 건 이상인 밤 뒤의 휴식일을 정합니다. 순환 근무 깊이는 합의된 필요 8명에 대해 6명이므로, 세 번째 팀의 엔지니어 둘이 준비 교육을 시작합니다.
악용 위험은 다음 검토에서 나타납니다. 교대당 호출은 중앙값 4건으로, 90번째 백분위수는 12건으로 줄었습니다. 한 관리자가 기뻐합니다. 팀원 한 명이 디스크 경보 임계값이 20포인트 올려졌고 배치 서버가 호출 없이 두 번 가득 찼다고 지적합니다. 지연된 배치 주문에 대한 고객 보고 인시던트가 늘었습니다. 모니터링이 놓친 고객 보고 인시던트라는 방호책이 그것을 잡았습니다. 임계값 변경은 되돌려지고, 디렉터리 정리는 수정으로 일정이 잡히며, 팀은 모든 임계값 변경을 이유와 함께 기록하고 한 달 뒤 검토한다는 규칙을 추가합니다. 다음 분기의 토일 비중은 38퍼센트(예시)이며 옆에 표본 추출 방법과 함께 보고됩니다.
애자일, AI, 자동화, 분석
애자일
지속 가능한 속도에는 온콜 순환 근무가 포함되므로, 팀과 정기 주기로 그 부하를 검토하고 예방에 자금을 대십시오. 주의할 점은 더 적은 호출이라는 목표가 경보를 침묵시키게 할 수 있다는 것입니다.
AI
AI는 호출을 요약하고, 런북 단계를 제안하고, 경보를 분류해 토일을 낮출 수 있으며, 출력을 확인하고 바로잡는 새 토일을 더할 수도 있습니다. AI를 감독하는 데 쓴 시간을 토일에 포함하고, 호출 건수를 수면과 웰빙 신호와 짝지우십시오. 주의할 점은 자동화된 첫 대응이 여전히 위험을 지는 사람들에게서 호출을 숨길 수 있다는 것입니다.
자동화
작업이 반복적인 곳에서 토일 제거를 자동화하고, 제거된 토일과 자동화가 일으킨 인시던트를 측정하십시오. 주의할 점은 소유자 없이 만든 자동화가 새로운 온콜 작업의 원천이 된다는 것입니다.
분석
각 수치 뒤의 호출 건수와 함께 부하를 순환 근무별로 보고하고 사람별로는 하지 마십시오. 이는 예방에 어디에 투자할지에 정보를 줍니다. 주의할 점은 호출기 데이터가 비공식적인 방해를 빠뜨리므로 짧은 설문과 결합해야 한다는 것입니다.
부문별 관점
스타트업. 작은 팀에는 공식 순환 근무가 없는 경우가 많아서 모두가 늘 온콜이고 비용이 보이지 않습니다. 호출과 야간 기상을 스프레드시트로 세고 가장 큰 반복 작업 세 가지를 적으십시오. 호출기를 직접 지는 창업자는 헌신의 훈장이 아니라 사업 위험입니다.
소규모 사업. 한두 사람이 IT 전부를 운영할 수 있습니다. 도구가 필요 없는 것을 측정하십시오. 근무 시간 외 전화, 반복되는 작업, 쓸 수 없는 휴가입니다. 계약이 응답 시간과 시간대를 명시한다면 관리형 서비스 제공자가 순환 근무의 일부를 맡을 수 있습니다. 순환 근무 깊이가 하나인 경우가 많으며, 그것이 주된 위험입니다.
대기업. 규모는 시간대를 따라가는 순환 근무, 공유 플랫폼, 여러 공급업체를 가져옵니다. 측정치를 한 번 정의하고, 지역별로 현지 근무 구간을 정하고, 매우 다른 서비스의 순환 근무에 걸친 평균을 피하십시오. 일부 국가의 고용 규정은 온콜 임무를 제한하고 휴식 기간을 요구하며, 이는 순환 근무 한도에 속합니다.
정부 및 공공 부문. 서비스는 법이나 계약으로 24시간 운영이 필요할 수 있고, 인력은 조달과 직급 체계에 묶여 있습니다. 순환 근무 한도와 휴식 규칙은 고용 협약의 규율을 받는 경우가 많으므로, 그에 비춰 측정하고 초과할 때 보고하십시오. 공적 책임은 솔직한 보고를 더 가치 있고 더 어렵게 만듭니다. 부하 데이터를 위한 안전한 경로를 만들고, 그것이 개인이 아니라 시스템과 인력 배치를 설명한다는 점을 명시하십시오(주제 8.5, 규제 및 정부 보고 참조).
비즈니스 케이스: 동기, ROI, TCO
동기는 서비스 품질을 지키고 숙련된 사람을 유지하는 것입니다. 피곤한 대응자는 더 느리게 진단하고, 경험 있는 사람이 떠나면 지식도 함께 갑니다. 사람을 교체하는 데는 채용, 온보딩, 학습 기간의 낮은 산출이라는 실제 비용이 있으며, 조직은 자체 기록으로 그 비용을 추정할 수 있습니다. 토일은 개선에서도 용량을 빼앗습니다. 시간 대부분을 수작업 운영에 쓰는 팀은 그것을 일으키는 인시던트를 줄일 수 없습니다.
측정치의 비용은 적당합니다. 호출 도구가 이미 호출을 세고 있으며, 시간 표본 추출은 격주마다 사람당 몇 분이 듭니다. 더 큰 비용은 발견 사항에 따라 행동하는 것입니다. 토일을 제거할 엔지니어링 시간, 지속 가능한 순환 근무를 위한 인력, 검토 시간입니다. 유지보수되지 않는 자동화 단계는 내일의 인시던트가 되므로 자동화의 유지보수를 비용으로 셈하십시오.
수익은 알려진 원인에서 오는 호출의 감소, 더 적은 야간 방해, 개선 작업으로 돌려받은 토일 시간, 순환 근무의 낮은 이탈, 더 빠른 진단으로 나타납니다. 보편적인 수치는 없으므로 자체 수치를 추정하십시오. 토일 원천에 대해서는 월 시간에 재무와 합의한 시간당 전부담 비용을 곱하고, 그것을 제거하는 노력과 비교하고, 두 주기 뒤에 검토하십시오. 순환 근무의 지속 가능성에 대해서는 이직과 순환 근무에서의 긴 부재를 기록하고 시간에 따라 부하 측정치와 비교하되, 연결을 증명된 원인이 아니라 시험할 가설로 다루십시오. 수치가 필요한 곳에서는 추정치로 밝히고 입력을 보여 주십시오(주제 7.7, 투자 수익과 비즈니스 케이스 참조).
안티패턴과 함정
- 호출 수로 사람의 순위 매기기. 시스템 측정치를 성과 점수로 바꾸고 대응자가 교대를 피하고 방해를 숨기도록 가르칩니다. 순환 근무, 교대 자리, 서비스별로 보고하십시오.
- 경보를 침묵시켜 호출 줄이기. 건수는 줄고 감지는 약해집니다. 물량을 감지 및 고객 보고 인시던트와 짝지우고 모든 임계값 변경을 검토하십시오.
- 모든 것을 토일이라 부르기. 회의와 어려운 문제까지 포함할 만큼 넓은 정의는 신호를 파괴합니다. 여섯 가지 특징을 쓰고 예시 목록을 유지하십시오.
- 권한이 뒷받침하지 않는 토일 목표. 결정을 촉발할 수 없는 상한은 사람들이 다투는 숫자가 됩니다. 초과했을 때 무슨 일이 일어나고 누가 결정하는지 미리 합의하십시오.
- 이해하기 전에 자동화하기. 자동화는 나쁜 프로세스를 굳히고 유지보수를 더할 수 있습니다. 먼저 필요를 설계로 없앨 수 있는지 묻고, 이후 제거된 토일을 측정하십시오.
- 서로 다른 서비스에 걸쳐 평균 내기. 안정적인 서비스와 취약한 서비스에 걸친 평균은 어느 쪽도 설명하지 않습니다. 각 서비스와 순환 근무를 따로 보여 주십시오.
- 측정만 하고 행동하지 않기. 대응 없는 부하 수치는 사람들에게 데이터가 중요하지 않다고 가르칩니다. 모든 발견 사항에 결정, 소유자, 검토 날짜를 붙이십시오.
성숙도 모델
| 차원 | 1 시작 | 2 발전 | 3 표준화 | 4 관리 | 5 조율 |
|---|---|---|---|---|---|
| 정의와 데이터 | 호출과 토일을 느낌으로 설명함, 공통 정의 없음 | 일부 순환 근무가 호출을 셈, 토일은 논의하지만 측정하지 않음 | 호출, 교대, 근무 시간 외, 토일의 서면 정의 하나, 도구로 호출 데이터를 수집함 | 분포와 시점을 추세로 보고, 매달 토일을 표본 추출하고 감사함 | 팀과 공급업체에 걸쳐 정의를 검토하고, 답의 가치에 맞춰 표본 추출 노력을 조정함 |
| 순환 근무 지속 가능성 | 비공식적, 같은 몇 사람이 호출기를 흡수함 | 명단은 있고 한도는 논의하지만 서면화하지 않음 | 빈도와 휴식에 대한 서면 한도, 순환 근무 깊이를 앎 | 한도를 모니터링하고 위반을 조치와 함께 검토함 | 순환 근무를 팀과 공급업체가 나눠 맡고 서비스가 바뀌면 부하를 균형 맞춤 |
| 숫자의 활용 | 비난에 쓰이거나 무시됨 | 관리자에게 보여 줌 | 순환 근무에게 먼저, 그것이 뒷받침하는 결정과 함께 보여 줌 | 방호책과 짝지우고 자금이 투입된 변경으로 이어지는 주기로 검토함 | 인력 배치와 서비스 범위를 계획하려고 리더와 파트너와 공유함 |
체크리스트
- 호출, 교대, 근무 시간 외 구간, 병합 구간이 서면으로 정의되어 있다.
- 토일에 자체 서비스의 예시와 비예시가 있는 서면 정의가 있다.
- 교대당 호출을 중앙값, 높은 백분위수, 가장 바빴던 교대로 보고한다.
- 근무 시간 외 호출 비중과 야간 방해율을 물량 옆에 보고한다.
- 부하를 순환 근무, 교대 자리, 서비스별로 보고하며 지명된 사람별로는 결코 하지 않는다.
- 시간 중 토일 비중을 일정에 따라 표본 추출하고 방법을 적어 둔다.
- 상위 다섯 토일 원천과 가장 많이 반복되는 호출 원인이 개선 백로그에 있다.
- 순환 근무 한도와 휴식 규칙이 팀 합의에 있고 순환 근무 깊이를 분기마다 점검한다.
- 모든 부하 측정치에 감지와 고객 보고 인시던트를 포함해 같은 페이지의 방호책이 있다.
- 각 검토가 결정, 소유자, 날짜로 끝난다.
- 임계값과 경보 변경을 이유와 함께 기록하고 한 달 뒤 검토한다.
AI 프롬프트
순환 근무의 부하를 검토하고 패턴을 찾습니다.
저는 [서비스 또는 서비스 묶음]의 온콜 순환 근무 운영을 돕습니다. 순환 근무는
[인원]명이고 교대 길이는 [길이]입니다. 근무 구간은 [시간과 시간대]이고 보호된
수면 구간은 [시간]입니다. 아래는 [기간]의 익명화된 호출 데이터이며 열은
[열 목록]입니다:
[이름을 제거한 데이터 붙여 넣기]
교대당 호출의 분포, 근무 시간 외 호출의 비중, 야간 방해가 있는 교대의 비중을
설명해 주세요. 가장 바빴던 교대, 반복되는 경보 그룹, 요일이나 교대 자리별
패턴을 짚어 주세요. 순환 근무와 서비스 수준으로만 보고하고 사람별로는 하지
마세요. 기준 값이나 목표를 지어내지 마세요. 가정한 내용과 데이터로 판단할 수
없었던 것을 나열해 주세요.
작업을 토일, 엔지니어링, 오버헤드로 분류합니다.
우리 팀은 [서비스]를 운영합니다. 우리는 토일을 수작업이고, 반복적이고,
자동화할 수 있고, 전술적이고, 지속적 가치가 없고, 서비스와 함께 늘어나는
작업으로 정의합니다. 다음은 대략의 시간이 있는 최근 작업 목록입니다: [목록
붙여 넣기].
각 작업이 토일, 엔지니어링, 오버헤드 중 무엇에 해당하는지 말하고, 여섯 가지
특징 중 어느 것을 충족하거나 놓치는지 명명해 주세요. 경계에 있는 작업을
표시하고 무엇을 더 알면 판단할 수 있는지 말해 주세요. 절감을 지어내지 말고, 각
토일 원천을 설계로 없애거나, 자동화하거나, 소유한 팀에 넘기는 방법을 제안해
주세요. 가정한 내용과 팀에 할 질문을 나열해 주세요.
우리 부하 지표의 악용 방식과 방호책의 초안을 작성합니다.
우리는 [순환 근무 이름]에 대해 다음 온콜 및 토일 지표를 보고합니다: [정의가
있는 지표 목록]. 이는 [결정]을 뒷받침하려고 [청중]에게 보여 줍니다. 데이터는
[호출 도구, 작업 트래커, 설문]에서 옵니다.
각 지표에 대해 순환 근무가 나아지지 않고도 개선될 수 있는 현실적인 방법을
나열하고, 각각을 드러낼 방호책 지표나 실천을 제안해 주세요. 그런 다음
방호책 자체가 악용될 수 있는 방법을 말해 주세요. 기준 값을 지어내지 마세요.
가정한 내용과 내가 조여야 할 정의를 나열해 주세요.
AI 스킬
- 서비스 관리 지표 스킬: 대시보드에 온콜이나 토일 측정치를 추가할 때 관련 주제와 방호책을 찾는 데 사용합니다.
- 서비스 관리 지표 유지보수 스킬: 이 주제의 수정이 모든 지표를 악용 방식 및 방호책과 짝지은 채 유지하는지 확인할 때 사용합니다.
핵심 정리
- 순환 근무의 부하를 교대, 서비스, 시간대별로 측정하고 그 위의 사람들의 순위는 매기지 마십시오.
- 야간 호출이 근무 시간 호출보다 비용이 더 크므로, 방해가 몇 번인지만이 아니라 언제 일어나는지도 세십시오.
- 여섯 가지 특징으로 토일을 좁게 정의하고, 단순한 방법으로 시간 비중을 추정하고, 추세를 판단하십시오.
- 호출과 토일 원천을 문제 작업과 자동화 또는 설계 변경에 연결하고, 실제로 제거된 토일을 측정하십시오.
- 낮은 숫자를 눈을 돌려서 살 수 없도록 모든 부하 측정치를 감지와 고객 보고 인시던트 같은 방호책과 짝지우십시오.
- 무거운 부하를 결정, 소유자, 검토 날짜가 있는 투자 요청으로 다루십시오.
참고 문헌과 더 읽을거리
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016. Chapter "Eliminating Toil", https://sre.google/sre-book/eliminating-toil/
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016. Chapter "Being On-Call", https://sre.google/sre-book/being-on-call/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018. Chapter "Eliminating Toil", https://sre.google/workbook/eliminating-toil/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
- Wikipedia, On-call.
- Wikipedia, Site reliability engineering.
- Wikipedia, Incident management.
- Wikipedia, Sleep deprivation.
- Wikipedia, Alarm fatigue.
- Wikipedia, Occupational burnout.
- Wikipedia, Pareto chart.