운영 작업과 계획 외 작업
서비스를 만들고 운영하는 팀에게는 하나의 용량 풀이 있으므로, 계획된 변경과 운영 작업의 분배를 보이게 하고, 중단과 긴급 처리에 대한 명시적 규칙으로 이를 보호하며, 계획 외 작업의 비중을 사람에 대한 평결이 아니라 시스템에 대한 신호로 읽으십시오.
개요와 동기
서비스를 만들고 운영하는 모든 팀은 시간을 크게 두 종류의 일에 씁니다. 변경 작업은 서비스를 앞으로 나아가게 합니다. 새 기능, 계획된 개선, 이전, 알려진 약점의 제거가 그것입니다. 운영 작업이라고도 하는 운영(run) 작업은 서비스가 돌아가게 합니다. 인시던트와 요청에 대응하고, 경보에 응답하고, 일상적인 패치를 적용하고, 접근을 복구하고, 서비스가 여전히 요구하는 수작업을 처리하는 일입니다. 둘 다 정당하며 사용자가 있는 서비스에는 둘 다 필요합니다. 문제는 팀이 각각을 얼마나 하고 있는지 아무도 말할 수 없을 때 시작됩니다. 그러면 계획이 운영 작업이 이미 소비한 용량을 조용히 가정하게 되기 때문입니다.
일은 예견되었는지에 따라서도 분류할 수 있습니다. 계획된 작업은 계획 작업이나 분기 확약 중처럼 기간이 시작되기 전에 선택되었습니다. 계획 외 작업은 기간 중에 도착하며 예산에 없던 주의를 요구합니다. 운영 인시던트, 고위 이해관계자의 긴급 요청, 보안 수정, 고객을 막는 결함이 그 예입니다. 두 축은 겹치지만 같지 않습니다. 대부분의 운영 작업은 양이 예측 가능해도 시점은 계획되지 않았으며, 정기적인 인증서 갱신 같은 일부 운영 작업은 완전히 계획된 것입니다. 변경 작업도 규정이 바뀌어 팀이 몇 주 안에 대응해야 하는 경우처럼 계획 외일 수 있습니다.
애자일과 ITIL 관점은 같은 압력을 다른 말로 설명합니다. 시간 상자 계획에서 확약은 용량의 예측이고, 기간 중 도착한 작업은 무언가를 밀어내거나 연기됩니다. 흐름 보드에서는 진행 중인 작업에 명시적 제한이 있고 긴급 항목을 위한 전용 레인이 있는 경우가 많으며, 질문은 흐름이 무너지기 전에 시스템이 긴급 항목을 몇 건 흡수할 수 있는가입니다(주제 2.1, 흐름 측정치 참조). ITIL 4(2019년에 발간된 판)에서 인시던트 관리, 서비스 요청 관리, 문제 관리는 운영 작업이 어떻게 접수되고, 우선순위가 정해지고, 해결되는지 설명하며, 변경 활성화와 소프트웨어 개발 및 관리 프랙티스는 계획된 변경을 관장합니다. 프랙티스들은 워크플로를 설명합니다. 한 팀이 시간을 그 사이에 어떻게 나눠야 하는지는 거의 말하지 않으며, 그 간극이 이 주제가 다루는 곳입니다.
여러 용어가 반복됩니다. 중단(interrupt)은 계획 주기 밖에서 도착해 사람을 작업 중인 항목에서 떼어 내는 모든 요구입니다. 중단 부하는 한 기간 동안 그런 요구가 팀에 미치는 전체 효과로, 건수, 시간, 또는 그것이 소비하는 용량의 비율로 측정합니다. 긴급 처리(expedite)는 대기열을 건너뛰도록 허용된 작업 항목으로, 대개 지연 비용(cost of delay)이 크고 즉각적이기 때문입니다. 긴급 처리 레인은 한 번에 진행될 수 있는 긴급 처리의 수를 제한하는 규칙으로, 보드의 전용 행인 경우가 많습니다. 용량 배분은 팀의 용량을 일의 종류 사이에 명시적으로 나누는 것으로, 예를 들어 계획된 변경, 운영 작업, 개선에 명시된 비율을 두는 것입니다.
계획 외 작업은 계획된 전달에 대한 가장 큰 숨은 세금입니다. 각 중단은 자체 시간과 함께 작업 전환(task switching)으로 잃는 회복 시간이 들며, 중단된 작업에 대한 연구(Mark, Gudith, Klocke, 2008)는 사람들이 더 빨리 일하는 대신 더 많은 스트레스를 받는 방식으로 보상한다는 것을 발견했습니다. 방향에 대한 메모입니다. 계획 외 작업의 높은 비중이 그 자체로 결함은 아닙니다. 새로 출시한 서비스, 진행 중인 장애, 규제 이벤트는 한동안 팀 용량의 대부분을 정당하게 소비할 수 있습니다. 목표는 계획 외 작업을 0으로 만들거나 숨기는 것이 아니라, 그것을 보고, 가격을 매기고, 팀이 얼마나 흡수하고 조직이 상류에서 얼마나 고쳐야 하는지 의도적으로 결정하는 것입니다. 같은 원인으로 반복되는 계획 외 작업은 문제 레코드, 모니터링 공백, 계속 비용을 치르는 것보다 제거하는 것이 싼 기술 부채(technical debt) 항목을 가리키므로 찾아낼 가장 유용한 종류입니다.
핵심 원칙
- 용량은 유한하고 공유됩니다. 운영 작업이나 긴급 처리에 준 모든 시간은 계획된 변경에 주지 못한 시간이므로, 가장 크게 소리치는 사람에 의해 결정되게 두지 말고 분배를 명시적이고 가시적으로 만드십시오.
- 일이 도착할 때 분류하지, 사후에 하지 마십시오. 시스템에 들어올 때 각 항목을 계획됨 또는 계획 외로, 변경 또는 운영으로 태그하십시오. 기간 말의 재분류는 관찰이 아니라 회상입니다.
- 중단은 지속 시간 이상의 값이 있습니다. 쓴 시간뿐 아니라 전환의 회복 비용도 세고, 중단을 묶거나 지명된 사람에게 라우팅하는 설계를 선호하십시오.
- 직급이 아니라 규칙으로 긴급 처리하십시오. 제한과 진입 시험이 있는 긴급 처리 레인은 흐름을 보호하고, 직급에 의한 무제한 긴급 처리는 흐름을 없앱니다.
- 용량을 의도적으로 확보하십시오. 계획된 완충은 아무것도 가정하지 않는 계획보다 정직합니다.
- 반복되는 계획 외 작업을 시스템의 결함으로 다루십시오. 매주 반복되는 것은 문제 레코드나 자동화의 후보입니다.
- 팀과 서비스를 측정하고 개인은 절대 측정하지 마십시오. 대부분의 중단에 답하는 사람은 보통 가장 많이 아는 사람이며, 그의 순위를 매기는 것은 엉뚱한 것을 벌합니다(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조).
지표 정의
일곱 가지 지표가 용량이 어떻게 나뉘고 교란되는지 설명합니다. 각각 항목이 어떻게 태그되는지에 달려 있으므로 서면 분류 규칙이 필요합니다. 각 공식의 기간은 주, 월, 분기처럼 팀에 고정된 같은 구간입니다.
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 |
|---|---|---|---|---|---|---|---|
| 계획 외 작업 비율 | 기간 시작 시점의 계획에 없던, 건수 기준 완료 작업 항목의 비율 | 기간이 시작된 뒤 보드나 백로그에 들어온 항목 중 기간 중 완료된 수 / 기간 중 완료된 모든 항목 수. 시계는 계획 이벤트에서 시작해 기간 말에 멈추며, 취소된 항목과 아직 열린 항목은 제외 | 퍼센트 | 항목 생성 시각과 계획 스냅샷이 있는 이슈 트래커 | 인시던트 관리, 서비스 요청 관리 | 범위 변경, 작업 항목 유형 | 월 |
| 용량 배분 준수도 | 변경 작업, 운영 작업, 개선 작업 사이의 명시된 분배에 실제 노력이 얼마나 가까운지 | 범주마다 실제 비율과 합의된 비율의 절대 차이를 더해 절반으로 나눔. 실제 비율은 그 범주의 완료 항목(팀이 기록하는 곳에서는 기록된 노력) / 모든 완료 항목. 범주가 없는 항목은 버리지 않고 따로 보고 | 퍼센트 포인트 | 이슈 트래커의 작업 유형 필드, 있는 곳에서는 시간 기록 | 지속적 개선, 용량 및 성능 관리 | 용량 배분 또는 용량 계획 | 월 |
| 중단율 | 계획 밖의 요구가 팀에, 그리고 계획된 작업을 하는 사람들에게 얼마나 자주 도달하는지 | 기간 중 팀이 받은 중단 수 / 기간의 근무일 수. 중단은 팀의 접수 채널에 기록되었고 아직 계획에 없는 티켓, 호출, 메시지 요청, 부탁. 같은 근본 요구의 중복은 한 번만 셈 | 근무일당 중단 | 접수 채널 로그, ITSM 대기열, 경보 시스템, 팀의 중단 로그 | 인시던트 관리, 서비스 요청 관리, 모니터링 및 이벤트 관리 | 중단 로그 또는 팀 업무 합의 | 주 |
| 긴급 처리율 | 긴급 처리 레인을 쓴 완료 항목의 비율 | 기간 중 긴급 처리 레인에 들어간 완료 항목 수 / 기간 중 완료된 모든 항목 수. 시계는 항목이 긴급으로 표시될 때 시작해 완료 시 멈추며, 작업이 시작되기 전에 레인에서 강등된 항목은 따로 셈 | 퍼센트 | 보드 레인 이력 또는 우선순위 필드 이력 | 인시던트 관리, 변경 활성화(긴급 변경) | 긴급 서비스 등급 | 월 |
| 계획된 작업의 밀려남 | 계획 외 작업의 자리를 만들려고 밀려나거나 포기된 계획 항목의 수 | 기간 중 "계획 외 작업에 밀려남"이라는 기록된 이유로 기간에서 제거되거나, 연기되거나, 끝나지 않은 채 남은 계획 항목(건수). 목표가 바뀌어 제거된 항목은 제외 | 항목 수 | 이유 필드가 있는 보드 변경 이력 | 변경 활성화, 지속적 개선 | 전달 목표 보호, 범위 협상 | 월 |
| 반복되는 계획 외 작업 비중 | 조회 구간 안의 앞선 계획 외 항목과 원인이 일치하는 계획 외 항목의 비율 | 조회 구간(예: 90일) 안의 앞선 항목과 같은 문제 레코드, 경보 규칙, 원인 태그에 연결된, 기간 중 완료된 계획 외 항목 수 / 기간 중 완료된 모든 계획 외 항목 수. 원인 태그가 없는 항목은 별도의 미분류 건수로 보고 | 퍼센트 | ITSM 인시던트 및 문제 레코드, 트래커 원인 태그 | 문제 관리, 알려진 오류 관리 | 회고 실행 항목, 반복 결함 태그 | 월 |
| 계획된 확약의 신뢰도 | 팀이 기간에 계획한 항목 중 그 기간에 끝낸 비율 | 기간 중 끝낸 계획 항목 수 / 기간 시작 시점의 계획 항목 수. 시작 후 추가된 항목은 양쪽 건수에서 제외 | 퍼센트 | 계획 스냅샷과 트래커 완료 이력 | 서비스 수준 관리, 변경 활성화 | 예측 신뢰도 | 월 |
이 주제의 시간 측정치, 예를 들어 긴급 항목의 경과 시간은 평균이 아니라 중앙값과 85번째 백분위수 같은 백분위수로 보여 주어야 합니다. 하나의 긴 인시던트가 평균을 왜곡하기 때문입니다(주제 1.6, 서비스 지표를 위한 통계 소양 참조).
권장 사항
분배를 보이게 하십시오
1. 접수 때 모든 항목에 두 필드를 태그하십시오. 트래커나 ITSM 도구의 접수 양식에 작업 유형(변경, 운영, 개선)과 계획 여부 표시(계획됨, 계획 외)를 추가하고 둘 다 필수로 만드십시오. 태그는 생성 시에 지정하면 싸고 나중에 재구성하면 신뢰할 수 없습니다. 각 값의 정의를 팀 업무 합의에 한 문장으로 쓰고, 태그가 일을 더 이상 설명하지 못하면 검토하십시오(주제 1.5, 데이터 원천과 계측 참조).
2. 계획 스냅샷을 고정하십시오. "계획 외"는 계획에 상대적으로만 의미가 있으므로, 기간 시작 시점의 항목 목록을 포착해 보관하십시오. 완료된 작업을 기간 말의 보드 모습이 아니라 스냅샷과 비교하십시오.
용량을 의도적으로 배분하십시오
3. 용량 배분에 합의하고 가설로 다루십시오. 팀으로서, 그리고 제품 소유자나 서비스 소유자와 함께, 계획된 변경, 운영 작업, 개선에 각각 대략 얼마를 쓸지 결정하십시오. 지난 몇 기간 동안 팀이 실제로 해 온 것을 데이터가 보여 주는 대로 시작해, 원하는 방향으로 움직이는 목표를 고르십시오. 계획 주기마다 분배를 다시 검토하십시오. 다른 팀의 슬라이드에서 복사한 고정 백분율은 결정이 아니라 추측입니다.
4. 자체 이력에서 크기를 정한 완충을 확보하십시오. 팀 자체의 중단 기록을 사용해 계획 외 작업을 위한 완충의 크기를 정하십시오. 예를 들어 최근 기간의 주간 계획 외 비중의 중간 및 상위 범위를 보고, 남는 용량만 계획하십시오. 정기적으로 쓰이지 않는 완충은 줄일 수 있고, 정기적으로 소진되는 완충은 더 큰 배분이나 제거해야 할 원인이 필요합니다. 대기열에서 부하와 지연의 관계(리틀의 법칙(Little's law)과 주제 2.3, 진행 중인 작업과 대기열 참조)는 완전 가동률로 운영되는 시스템이 놀라움을 흡수할 여지가 없는 이유를 설명합니다.
중단 경로를 설계하십시오
5. 중단을 지명된 역할에 라우팅하십시오. 하루나 한 주 동안 들어오는 요구를 받는 사람 한 명을 순환시키고(흔히 중단 담당자, 당직 엔지니어, 방패라고 부릅니다), 나머지는 집중을 지킵니다. 이 역할에는 서면 범위, 인계 메모, 부하가 공평하게 분담되도록 지속 기간의 제한이 있습니다. 순환하는 팀은 이를 온콜 실천과 연결해야 합니다(주제 5.7, 토일과 온콜 지표 참조).
6. 문 앞에서 선별하십시오. 중단은 긴급성이 크게 다릅니다. 접수 시 세 가지 질문을 하는 짧은 선별(triage) 규칙을 적용하십시오. 서비스가 중단되었거나 사용자가 막혔는가, 옮길 수 없는 날짜가 있는가, 요구가 다음 계획 이벤트까지 기다릴 수 있는가? 세 가지에 모두 해당하지 않는 항목은 백로그로 가서 다른 작업처럼 계획됩니다. ITIL 4 용어로 이는 팀 자체의 접수에 적용된 인시던트 관리와 서비스 요청 관리의 우선순위 결정 단계입니다.
긴급 처리 레인을 통제하십시오
7. 긴급 처리 레인에 제한과 진입 시험을 두십시오. 레인은 한 번에 한두 항목만 담고, 지연 비용이 크고 즉각적이며 요청자가 그것을 진술할 수 있을 때만 항목이 들어갑니다. 명시된 시험은 팀이 단지 시끄러운 요청에 아니라고 말할 수 있게 합니다. 레인이 항상 차 있다면 예외가 아니게 된 것이며, 팀은 진입 시험과 상류의 원인을 검토해야 합니다. 레인은 자체 규칙이 있는 서비스 등급(class of service)입니다. 근본 발상은 Kanban 문헌(Anderson, 2010)을 참조하십시오.
원천을 제거하십시오
8. 계획 외 항목을 원인에 연결하고 반복을 검토하십시오. 모든 계획 외 항목에 원인 태그나 문제 레코드 링크를 추가하십시오. 매달 반복되는 원인을 나열하고 상위 몇 가지를 문제 관리, 기술 부채 항목으로 백로그, 또는 모니터링 개선으로 보내십시오(주제 4.1, 문제 관리 지표와 주제 4.6, 기술 부채와 알려진 오류 참조). 반복되는 계획 외 작업의 비중은 그 수정이 효과를 내는지 알려 줍니다. 이 패턴은 구글 SRE 책이 설명하는 토일 제거와 비슷하며, 거기서는 반복적인 수작업 운영 작업을 엔지니어링으로 없앨 대상으로 다룹니다. 책은 이를 엔지니어 시간의 일정 비율 아래로 유지하라고 제안하는데(Beyer et al., 2016), 각 팀은 이 지침을 목표로 채택하지 말고 자체 데이터로 시험해야 합니다.
악용 방식과 방호책
| 지표 | 악용되는 방식 | 짝을 이루는 방호책 지표 또는 실천 |
|---|---|---|
| 계획 외 작업 비율 | 계획된 것으로 셈하려고 항목을 계획 스냅샷에 늦게 추가함, 긴급 작업을 추적하지 않아 절대 집계되지 않게 함, 놓친 계획을 변명하려고 계획 항목을 계획 외로 태그함 | 타임스탬프가 있는 고정된 계획 스냅샷, 미분류 건수, 분기마다 종료된 항목 표본을 읽어 태그를 실제 일어난 일과 비교 |
| 용량 배분 준수도 | 합의된 분배에 맞추려고 항목을 범주 간에 옮김, 비율을 이동하려고 항목 하나를 여럿으로 쪼갬, 팀이 이미 달성하는 분배를 고름 | 업무 합의에 적힌 고정된 범주 정의, 항목 설명을 범주와 표본 대조, 계획된 확약의 신뢰도 |
| 중단율 | 중단을 로그에 도달하지 않는 조용한 부탁으로 바꿈, 여러 요구를 하나의 항목으로 합침, 사람들이 요청하지 못하게 낙담시킴 | 로그를 접수 채널 트래픽 및 경보 이력과 비교, 회고에서 로그가 팀의 경험과 맞는지 물음 |
| 긴급 처리율 | 규율 있어 보이려고 긴급 작업을 레인에 넣지 않거나, 속도를 얻으려고 모든 것을 레인에 넣음, 긴급 처리를 "중요함"으로 재정의함 | 진입 시험이 있는 레인 제한, 검토에서 시험을 충족한 긴급 항목의 비율, 계획된 작업의 밀려남 |
| 계획된 작업의 밀려남 | 밀려남을 의도적인 범위 변경으로 기록함, 이유 없이 계획 항목이 조용히 실패하게 둠, 밀려날 가능성이 큰 계획 항목을 피함 | 제거되거나 끝나지 않은 모든 항목에 이유 필드 필수, 계획된 확약의 신뢰도, 회고에서 이유 검토 |
| 반복되는 계획 외 작업 비중 | 거친 원인 태그로 반복을 숨기거나, 미세한 태그로 아무것도 반복되지 않게 함, 연결을 없애려고 문제 레코드를 닫음 | 분기마다 검토하는 원인 태그 분류 체계, 미분류 건수, 문제 레코드가 닫힌 뒤 재발 점검 |
| 계획된 확약의 신뢰도 | 모두 끝내려고 작게 계획함, 추정치를 부풀림, 부분 항목을 완료로 셈, 기간이 시작되기 전에 어려운 항목을 뺌 | 시간에 따른 계획 항목의 크기와 가치 비교, 전달 목표의 성과 점검, 계획 외 작업 비율(계획이 소심했을 때 높은 값이 건강으로 읽히지 않도록) |
건강한 상태란 팀이 설명할 수 있는 계획 외 작업 비율, 거의 차지 않는 긴급 처리 레인, 수정 뒤에 줄어드는 반복 비중입니다. 의심스럽게 완벽한 수치는 조사할 대상입니다. 계획 외 작업이 0이라고 보고하는 팀은 아주 조용한 서비스이거나 추적되지 않는 서비스이며, 로그를 경보 및 티켓 이력과 비교해 구분할 수 있습니다.
상충 관계: 장점과 단점
| 접근 방식 | 강점 | 약점 |
|---|---|---|
| 고정된 용량 배분(명시된 백분율) | 설명하기 쉬움, 개선 작업이 굶는 것을 막음 | 실제 변동을 무시함, 재라벨링으로 악용될 수 있음 |
| 이력에서 크기를 정한 확보된 완충 | 계획을 실제 중단 부하에 맞춤 | 신뢰할 수 있는 여러 기간의 데이터가 필요함, 만성 원인을 가릴 수 있음 |
| 순환하는 중단 담당자 | 팀 대부분의 집중을 보호함, 부하를 공평하게 분담함 | 담당자 자신의 계획된 작업이 정체됨, 역할에 인계와 지원이 필요함 |
| 엄격한 긴급 처리 제한 | 흐름을 예측 가능하게 유지함, 명시된 지연 비용을 강제함 | 요청자가 우회할 수 있음, 진짜 긴급 상황이 막힌 것처럼 느껴질 수 있음 |
| 노력이 아닌 항목 수 세기 | 단순하고 부풀리기 어려움 | 크기가 매우 다른 것을 같게 다룸 |
대부분의 팀에 실용적인 입장은 먼저 항목을 세고, 항목 수가 오해를 부르는 곳에만 노력을 더하고, 작은 완충과 작은 긴급 처리 레인을 보호하고, 원인 태그로 가장 큰 반복을 공략하는 것입니다.
팀과 논의할 질문
1. 지난 기간에 완료한 작업 중 계획 외였던 비중은 얼마이며, 어떻게 아나요? 계획 스냅샷을 완료된 항목 목록 옆에 열고 계획에 없던 항목을 세어 보십시오. 결과를 각자가 그 기간에 대해 갖는 느낌과 비교하십시오. 둘이 다른 경우가 많습니다. 진행자는 몇 개의 항목이 기록되지 않았는지 물어야 합니다. 정직한 답이 다른 모든 숫자를 좌우하기 때문입니다.
2. 우리에게 가장 큰 비용을 치르게 하는 세 가지 중단의 원천은 무엇이며, 누가 그것을 제거할 수 있을까요? 경보, 반복되는 요청, 에스컬레이션, 이해관계자의 임시 요청처럼 원천을 건수와 흡수한 노력별로 나열하십시오. 각각을 제거 가능, 라우팅 가능, 불가피로 표시하십시오. 진행자는 팀이 스스로 고칠 수 없는 원천에 대해 팀 밖의 지명된 소유자를 요구해야 합니다.
3. 우리가 실제로 원하는 변경, 운영, 개선 작업의 분배는 무엇인가요? 데이터가 보여 주는 분배를 사람들이 가졌다고 믿는 분배, 리더십이 기대하는 분배와 비교하십시오. 압박을 받을 때 팀이 어떤 종류의 작업을 가장 먼저 버릴지 논의하십시오. 그것이 실제 우선순위를 드러내기 때문입니다. 다음 기간의 목표와 그것을 확인할 방법을 고르십시오.
4. 긴급 처리 레인의 규칙은 무엇이며, 누가 결정하나요? 현재 규칙을 소리 내어 읽거나, 없다고 기록하십시오. 최근 긴급 처리 세 건을 달라고 해서 각각을 명시된 지연 비용으로 시험하십시오. 고위 인사가 시험에 통과하지 못하는 우선 처리를 요청할 때 팀이 무엇을 하는지, 누가 그 결정을 뒷받침하는지 논의하십시오.
5. 중단당하면 중단이 끝난 뒤에 우리에게 어떤 비용이 드나요? 전형적인 중단 후 작업에서 자리를 되찾는 데 얼마나 걸리는지 사람들에게 설명해 달라고 하십시오.
6. 한 번 이상 돌아온 계획 외 항목은 무엇이며, 무엇이 그것을 막을까요? 지난 분기의 계획 외 항목을 가져와 원인별 반복을 찾아보십시오. 총 노력이 가장 큰 것을 골라 왜 재발하는지 추적하십시오. 누락된 경보, 고치지 않은 결함, 수작업 단계, 공급업체 문제 중 무엇입니까? 문제 레코드로 갈지, 백로그로 갈지, 공급업체와의 대화로 갈지 결정하십시오.
네 가지 관점
제품 및 전달 팀
전달 팀은 계획 외 작업을 깨진 계획과 미끄러지는 예측으로 느낍니다. 접수 때의 태깅, 고정된 계획 스냅샷, 이력에 기반한 완충으로 만든 예측이 도움이 됩니다(주제 2.5, 전달 예측과 계획 지표 참조). 밀려남 기록은 제품 소유자에게 각 늦은 요청이 무엇을 치르게 했는지 보여 줍니다.
서비스 및 운영 팀
운영 팀은 운영 작업 대부분을 맡습니다. 지명된 중단 담당자, 선별 규칙, 반복되는 요청과 경보에서 수정으로 가는 경로가 필요합니다(주제 5.5, 모니터링과 경보 품질 지표 참조). 반복 비중은 문제 관리에 투자해야 한다는 가장 강력한 주장입니다.
리더십과 거버넌스
리더는 자신이 하는 요청과 받아들이는 기한으로 실제 배분을 정합니다. 비율과 그 원인을 요청하고, 반복되는 중단을 제거하는 개선 작업에 자금을 대고, 긴급 처리를 일을 처리하는 일상적 방법으로 쓰는 것을 피해야 합니다.
고객과 사용자
고객은 계획 외 작업을 장애, 느린 답변, 지연된 기능으로 봅니다. 팀에 원인을 고칠 여유가 있을 때 이득을 보며, 긴급성을 제기하는 공정한 경로가 필요합니다. 서비스 수준 협약(service-level agreement 참조)은 팀이 짊어진 중단 부하를 반영해야 합니다(주제 5.1, SLA, OLA, XLA 지표 참조).
실제 적용: 서비스 관리 사례
한 지역 건강보험사의 IT 부서가 일곱 명으로 이루어진 하나의 제품 팀과 공유 서비스 데스크로 보험금 청구 플랫폼을 운영합니다. 팀은 새 기능을 만들고 운영 환경의 플랫폼도 지원합니다. 이 사례의 모든 숫자는 예시입니다.
6주 동안 팀의 계획된 확약 신뢰도가 약 85퍼센트에서 55퍼센트로 떨어졌고, 제품 소유자가 팀의 추정치를 의심하기 시작했습니다. 팀 리더가 트래커 이력을 뽑습니다. 고정된 계획 스냅샷을 쓰면 가장 최근 기간의 계획 외 작업 비율이 건수 기준 41퍼센트로, 팀이 기억하던 "아마 5분의 1" 정도와 다릅니다. 미분류 건수는 9퍼센트이므로 비율은 상당히 신뢰할 만합니다.
계획 외 항목을 원인별로 나누니 24건 중 14건이 운영 작업이었고, 그중 9건은 파트너의 데이터 형식 변경 뒤 실패해 매번 수작업으로 재시작하는 청구 제출 배치 작업 하나로 추적됩니다. 반복되는 계획 외 작업의 비중은 58퍼센트입니다. 중단율은 근무일당 6건이고 그중 4건은 서비스 데스크가 먼저 응답하는 사람에게 직접 에스컬레이션하기 때문에 계획된 작업을 하는 엔지니어에게 도달합니다. 긴급 처리 레인은 대부분의 날 두 항목을 동시에 담고 있고 긴급 처리율은 23퍼센트입니다. 계획된 작업의 밀려남은 그 기간에 7건이며 그중 5건에 "계획 외 작업에 밀려남"이라는 이유가 붙어 있습니다.
팀은 제품 소유자 및 서비스 소유자와 네 가지를 결정합니다. 첫째, 한 번에 엔지니어 한 명이 서면 범위와 인계 메모가 있는 중단 담당자가 되고, 에스컬레이션은 그 사람에게만 갑니다. 둘째, 긴급 처리 레인은 한 항목으로 제한하고 명시된 지연 비용을 요구하는 진입 시험을 두며, 각 긴급 처리는 밀려난 항목을 기록합니다. 셋째, 배치 작업 실패는 문제 레코드로 제기하고 수정과 파트너와의 대화는 팀이 개선에 대한 첫 배분으로 고른 비율인 용량의 15퍼센트를 써서 개선 작업으로 백로그에 둡니다. 넷째, 팀은 다음 기간의 작업을 전체 부하가 아니라 최근 계획 외 비중의 상위 범위에서 크기를 정한 완충을 두고 계획합니다.
6주 뒤 계획 외 작업 비율은 27퍼센트, 반복 비중은 22퍼센트, 계획된 작업자에게 도달하는 중단율은 하루 1.5건, 계획된 확약 신뢰도는 약 78퍼센트입니다(모두 예시). 팀은 이전의 85퍼센트에 이르지 못했고 그렇게 말합니다.
팀이 잡아내는 악용 위험입니다. 새 방식의 두 번째 기간에 중단율이 급격히 떨어지는데, 팀 리더는 사람들이 담당자에게 직접 메시지를 보내서 부탁이 로그에 도달하지 않음을 알아차립니다. 로그를 접수 채널 및 경보 이력과 비교하니 실제 양은 그대로였습니다. 팀은 담당자가 직접 메시지를 접수 채널로 돌려보내기로 합의합니다. 결함은 어느 사람이 아니라 경로의 설계에 있었습니다.
애자일, AI, 자동화, 분석
애자일
서비스를 만들고 운영하는 팀에는 하나의 용량 풀이 있으며, 지속 가능한 속도에는 중단에 대한 정직한 제한이 필요합니다. 실용적인 단계는 이해관계자와 용량 분배에 합의하고 정기 개선 대화에서 계획 외 비중을 검토하는 것입니다. 주의할 점은 계획 외 비중에 대한 목표가 팀이 운영 작업을 계획된 것으로 라벨링하게 몰 수 있다는 것입니다.
AI
AI는 일상적인 수정을 자동화하는 한편 검토와 감독 작업을 추가하는 식으로 계획된 일과 계획 외 일 사이에서 작업을 옮길 수 있습니다. AI 변경 전후의 계획 외 비중과 반복되는 계획 외 작업 비중을 추적하고, AI 산출물을 바로잡는 데 쓴 시간을 별도의 범주로 포함하십시오. 주의할 점은 숨은 교정 작업이 AI가 풀어 주기로 한 용량을 삼킬 수 있다는 것입니다.
자동화
작고 합의된 범주 집합으로 트래커에서 작업 유형을 자동으로 포착하십시오. 자동화를 그것이 없애는 계획 외 작업과 그것이 일으키는 새 인시던트로 측정하십시오. 주의할 점은 원인을 기록하지 않고 서비스를 재시작하는 자동 복구는 반복되는 계획 외 작업을 새로운 작업처럼 보이게 만든다는 것입니다.
분석
시간에 따른 계획 외 작업의 비중과 반복 항목의 원인을 보여 주십시오. 이는 얼마나 많은 용량을 확보하고 어떤 중단의 원천을 제거할지에 정보를 줍니다. 주의할 점은 범주가 사람이 고르는 것이므로 정직한 분류를 위해 항목 표본을 감사해야 한다는 것입니다.
부문별 관점
스타트업. 거의 모든 일이 긴급하게 느껴지고 같은 몇 사람이 변경과 운영 작업을 합니다. 분류를 두 개의 태그로 유지하고 긴급 처리에 명시적 제한을 두십시오. 계획 외 비율은 "로드맵이나 지원 부하를 할 수 있지만 둘 다는 못 한다"고 말할 증거입니다.
소규모 사업. 관리자 한 명이나 소규모 팀이 모든 요청을 처리하는 경우가 많습니다. 도구의 티켓 유형을 분류로 쓰고, 패턴을 알기 위해 한 달 동안 중단을 기록하고, 계획된 작업을 위해 매일 고정 시간 블록을 확보하십시오. 공급업체에 그들의 양과 반복 원인 보고서를 요청하십시오.
대기업. 한 팀의 계획 외 작업은 다른 팀의 계획된 작업인 경우가 많습니다. 공유 정의에 합의하고, 팀별 및 서비스별로 보고하고, 원인이 있는 수준에서 수정에 자금을 대십시오(주제 9.3, 협업과 인수인계 지표 참조).
정부 및 공공 부문. 용량은 정원 상한으로 고정될 수 있고 운영 작업은 법령이나 감사 발견 사항으로 정해질 수 있습니다. 이를 배분의 일부로 삼고, 분류 규칙을 문서화하고, 감사 추적을 유지하십시오(주제 8.5, 규제 및 정부 보고 참조).
비즈니스 케이스: 동기, ROI, TCO
동기는 예측 가능한 전달입니다. 중단 부하를 무시한 계획은 반복해서 빗나가며, 눈에 보이는 계획 외 작업은 팀이 원인을 제거할 시간을 요청할 때 더 강한 목소리를 줍니다.
태그와 계획 스냅샷이 일상 워크플로의 일부일 때 이 측정치를 수집하는 비용은 적당합니다. 주된 비용은 정의에 합의하는 시간, 접수 때 태그하는 규율, 트래커와 ITSM 데이터를 결합하는 약간의 도구(주제 1.5, 데이터 원천과 계측 참조), 자신의 계획된 작업이 느려지는 중단 담당자의 시간입니다. 시간 단위의 시간 기록을 추가하는 데는 훨씬 더 많은 비용이 들고 반발을 사는 경우가 많으므로, 항목 수가 오해를 부른다고 증명될 때만 추가하십시오. 총소유비용은 사람의 시간이 지배하므로 그것을 세십시오.
수익은 가정한 수치가 아니라 팀이 스스로 측정할 수 있는 패턴으로 나타납니다. 문제 수정 뒤 줄어드는 반복되는 계획 외 작업 비중, 오르는 계획된 확약 신뢰도, 밀려나는 계획 항목의 감소, 계획된 작업을 하는 사람에게 도달하는 중단의 감소를 찾으십시오. 시간을 아는 곳에서는 제거된 반복 원인으로 되찾은 노력을 팀 자체의 시간당 비용으로 가격을 매겨 수정의 노력과 대조할 수 있습니다(주제 7.5, 서비스 비용과 단위 경제성과 주제 7.7, 투자 수익과 비즈니스 케이스 참조). 계획 외 작업에 대한 업계 백분율을 빌려 오지 마십시오. 다른 조직의 수치는 자체 이력을 대체하지 못합니다.
안티패턴과 함정
- 모든 계획 외 작업을 실패로 취급하기. 일부는 서비스가 제 역할을 하는 것이며, 0이라는 목표는 일을 로그 밖으로 밀어냅니다. 대신 어느 부분이 예상된 것이고 어느 부분이 피할 수 있는 것인지 묻고, 앞의 것을 위한 완충을 두십시오.
- 영웅 문화. 모든 비상 상황을 구해 내는 사람은 없어서는 안 될 존재가 되고, 지치고, 단일 장애점이 됩니다. 대신 중단 역할을 순환으로 분담하고 원인 제거에 보상하십시오.
- 모든 것이 긴급 처리. 항상 차 있는 레인은 두 번째 대기열일 뿐입니다. 대신 제한을 두고, 명시된 지연 비용을 요구하고, 진입 시험을 매달 검토하십시오.
- 완전 가동률로 계획하기. 여유 없는 계획은 모든 놀라움이 무언가를 밀어내도록 보장합니다. 대신 자체 중단 이력에서 완충의 크기를 정하고 남는 용량만 계획하십시오.
- 사후 분류. 기간 말에 더한 태그는 기억과 기분을 반영합니다. 대신 접수 때 태그를 요구하고 계획 스냅샷을 고정하십시오.
- 수요를 조용히 흡수하기. 로그에 도달하지 않는 부탁은 부하를 보이지 않게 하고 계획을 틀리게 만듭니다. 대신 접수 경로를 하나로 하는 것을 규칙으로 삼고 곁길 요청을 그리로 돌리십시오.
성숙도 모델
| 차원 | 1 시작 | 2 발전 | 3 표준화 | 4 관리 | 5 조율 |
|---|---|---|---|---|---|
| 분류와 가시성 | 작업에 태그가 없고 계획 외 작업은 세지 않고 느낌 | 일부 팀이 자기 말로 계획됨과 계획 외 작업을 태그함 | 작업 유형과 계획 표시의 서면 정의 하나를 계획 스냅샷과 함께 접수 때 적용함 | 계획 외 비율과 미분류 건수를 추세로 보고 매 기간 검토함 | 팀과 공급업체 간에 정의를 공유하고 결정에 정보를 주지 못하면 개정함 |
| 용량 배분 | 용량이 계획된 작업에 완전히 가용하다고 가정함 | 일부 팀이 대략적인 완충을 적용함 | 이력에서 크기를 정한 완충과 함께 변경, 운영, 개선의 합의된 분배 | 준수도를 검토하고 제품 및 서비스 소유자와 함께 분배를 조정함 | 플랫폼, 서비스, 사람을 공유하는 팀 간에 배분을 협상함 |
| 중단과 긴급 처리 다루기 | 누구나 누구든 중단시키고 긴급성은 직급이 정함 | 일부 팀에 당직자나 긴급 행의 습관이 있음 | 지명된 중단 역할, 선별 규칙, 제한과 진입 시험이 있는 긴급 처리 레인 | 긴급 처리율, 밀려남, 중단율을 방호책에 비춰 검토함 | 중단 라우팅과 긴급 처리 규칙을 공유 온콜 및 에스컬레이션 경로로 팀 간에 조율함 |
| 원인 제거 | 같은 문제가 반복되고 영웅적 행동으로 해결됨 | 일부 반복을 알아차려 회고에서 논의함 | 계획 외 항목에 원인 태그가 있고 상위 반복이 문제 관리로 감 | 반복 비중을 추적하고 수정에 계획된 개선 작업으로 자금을 대 | 팀, 공급업체, 고객에 걸쳐 원인을 추적하고 개선이 일상적임 |
체크리스트
- 모든 작업 항목에 접수 때 지정한 작업 유형(변경, 운영, 개선)과 계획 표시가 있다.
- 계획됨, 계획 외, 변경, 운영의 정의가 팀 업무 합의에 적혀 있다.
- 각 기간 시작 시점에 계획 스냅샷을 고정해 보관한다.
- 계획 외 작업 비율을 미분류 건수 옆에 추세로 보고한다.
- 팀과 소유자가 용량 배분에 합의했고 지난 분기에 검토했다.
- 접수 경로가 하나이며 곁길 요청은 그리로 돌린다.
- 서면 범위가 있는 중단 역할이 팀 안에서 순환한다.
- 긴급 처리 레인에 제한, 진입 시험, 각 긴급 처리가 밀어낸 것의 기록이 있다.
- 계획 외 항목에 원인 태그나 문제 레코드 링크가 있고 반복을 매달 검토한다.
- 측정치를 팀과 서비스 수준에서 보고하며 개인의 순위를 매기는 데 절대 쓰지 않는다.
AI 프롬프트
접수를 위한 작업 분류를 설계합니다.
우리 팀은 [팀 설명, 예: 내부 서비스를 만들고 지원하는 여섯 명의 플랫폼 팀]입니다.
[트래커 또는 ITSM 도구]를 사용합니다. 모든 항목을 접수 때 변경, 운영, 개선 중
하나로, 그리고 계획됨 또는 계획 외로 태그하고 싶습니다. 각 값의 명확한 한 문장
정의, 사람들이 논쟁할 경계 사례 세 가지와 각각에 대한 제안 판정, 짧은 접수 양식을
작성해 주세요. 우리 도구의 기능이나 기준 값을 지어내지 마세요. 가정한 내용과
정의를 다듬기 위해 내가 답해야 할 질문을 나열해 주세요.
중단 로그에서 패턴을 분석합니다.
[기간] 동안의 중단 요약입니다: [개인 이름 없이 원천, 요일, 유형별로 익명화한 건수를
붙여 넣기]. 이를 제거할 수 있는 것, 한 사람에게 라우팅할 수 있는 것, 묶을 수
있는 것, 받아들일 것으로 묶어 주세요. 각 묶음에 대해 실험 하나와 효과가 있었는지
알려 줄 측정치 하나를 제안해 주세요. 기준 값을 지어내거나 다른 조직과 비교하지
마세요. 가정한 내용과 더 확신하기 위해 필요한 데이터를 나열해 주세요.
긴급 처리 레인 정책 초안을 작성합니다.
우리는 [흐름 보드, 시간 상자 계획, 지속적 흐름, 또는 혼합]으로 [팀 규모]명의
팀이 일하고 서비스 수준은 [있다면 서비스 수준]입니다. 명시된 지연 비용에 기반한
진입 시험, 레인의 항목 수 제한, 밀려난 항목에 대한 규칙, 월간 검토 질문 목록을
포함한 한 쪽짜리 긴급 처리 정책 초안을 작성해 주세요. 표현은 중립적으로 하고
개인 이름은 쓰지 마세요. 임계값을 지어내지 말고 내가 골라야 하는 것은 표시해
주세요. 가정한 내용을 나열해 주세요.
AI 스킬
- 서비스 관리 지표 스킬: 인시던트 건수나 토일 같은 관련 지표를 소유하는 주제와 그 옆에 있어야 할 방호책을 찾을 때 사용합니다.
- 서비스 관리 지표 유지보수 스킬: 이 주제의 수정판이 시계, 분류 규칙, 악용 표를 일치시키는지 확인할 때 사용합니다.
핵심 정리
- 계획된 작업과 계획 외 작업, 변경 작업과 운영 작업은 하나의 용량 풀을 공유하므로 분배를 보이게 하고 의도적으로 합의하십시오.
- 접수 때 작업을 태그하고 계획 스냅샷을 고정하십시오. "계획 외"는 기록된 계획에 대해서만 의미가 있습니다.
- 중단은 분뿐 아니라 회복 시간도 비용이 들므로, 지명된 역할로 라우팅하고 문 앞에서 선별하십시오.
- 긴급 처리 레인에는 제한, 진입 시험, 각 긴급 처리가 밀어낸 것의 기록이 필요합니다.
- 반복되는 계획 외 작업은 문제 관리와 개선 작업에 대한 가장 강력한 신호이며, 반복 비중이 수정이 효과를 내는지 보여 줍니다.
- 팀과 서비스 수준에서 보고하고, 팀을 자기 이력과 비교하며, 개인의 순위를 매기지 마십시오.
참고 문헌과 더 읽을거리
- Reinertsen, D. G., The Principles of Product Development Flow: Second Generation Lean Product Development, Celeritas Publishing, 2009.
- Anderson, D. J., Kanban: Successful Evolutionary Change for Your Technology Business, Blue Hole Press, 2010.
- Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Rau, V., "Eliminating Toil," chapter 5 in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/eliminating-toil/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Kim, G., Behr, K., and Spafford, G., The Phoenix Project: A Novel about IT, DevOps, and Helping Your Business Win, IT Revolution Press, 2013.
- DeMarco, T., Slack: Getting Past Burnout, Busywork, and the Myth of Total Efficiency, Broadway Books, 2001.
- Mark, G., Gudith, D., and Klocke, U., "The cost of interrupted work: more speed and stress," in Proceedings of the SIGCHI Conference on Human Factors in Computing Systems (CHI 2008), ACM, 2008.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Kanban (development).
- Wikipedia, Cost of delay.
- Wikipedia, Task switching (psychology).
- Wikipedia, Technical debt.
- Wikipedia, Little's law.
- Wikipedia, Triage.
- Wikipedia, Class of service.
- Wikipedia, Service-level agreement.