변경 활성화 지표
변경 활성화 지표는 조직이 유익한 변경을 안전하고 빠르게 흐르게 하는지 보여 주므로, 변경이 어떻게 분류되는지, 결정을 얼마나 기다리는지, 그 결정을 파이프라인이 얼마나 자동으로 내리는지를 측정하고, 모든 속도 측정치를 위험의 관점과 짝지우십시오.
개요와 동기
모든 서비스는 변합니다. 팀은 기능을 추가하고, 라이브러리를 패치하고, 인증서를 교체하고, 데이터베이스 크기를 조정하고, 오래된 구성 요소를 폐기합니다. ITIL 4 프레임워크에서 이를 관장하는 프랙티스는 변경 활성화라고 부르며, 명시된 목적은 위험이 적절히 평가되고, 변경이 승인되고, 변경 일정이 관리되도록 하여 성공적인 서비스 및 제품 변경의 수를 극대화하는 것입니다. 이전 ITIL 판은 이 프랙티스를 변경 관리(change management)라고 불렀고 많은 조직이 여전히 그 이름을 씁니다. 새 이름은 강조점의 변화를 알립니다. 이 프랙티스는 좋은 변경을 막는 것이 아니라 가능하게 하려고 존재합니다.
ITIL 4에서 변경은 서비스에 직접적 또는 간접적 영향을 줄 수 있는 모든 것의 추가, 수정, 제거입니다. 이는 코드 배포보다 넓은 범위입니다. 구성 편집, 인프라 업데이트, 접근 변경, 공급업체 조치, 운영자가 의존하는 문서를 포함합니다. 애자일 팀은 보통 변경을 출시되는 풀 리퀘스트로 봅니다. 서비스 운영 팀은 그것을 일정의 항목으로 봅니다. 두 관점 모두 유효하며, 이 주제의 지표는 같은 사건을 양쪽에서 설명할 때 가장 잘 작동합니다.
ITIL 4는 세 가지 변경 유형을 설명하며 이 주제의 지표는 그에 의존합니다. 프레임워크 소유자의 현재 발간물에서 정확한 표현을 확인하십시오. 이 주제는 2026년 10월 기준으로 널리 문서화된 패턴을 요약합니다.
- 표준 변경은 저위험이고 잘 이해된 변경입니다. 문서화된 절차를 따르고 사전 승인되므로 건별 승인이 필요 없습니다.
- 정상 변경은 진행하기 전에 평가와 승인이 필요합니다. 평가의 깊이는 위험과 영향에 따라 달라집니다.
- 긴급 변경은 흔히 서비스를 복구하거나 심각한 취약점을 막기 위해 급히 일어나야 합니다. 신속한 경로를 따르고 사후에 더 충실한 검토를 합니다.
다른 용어도 아래에서 반복됩니다. 변경 승인권자는 특정 유형의 변경을 승인할 권한을 가진 사람이나 그룹입니다. 변경 자문 위원회(CAB, change advisory board)는 제안된 변경을 검토하고 자문하거나 결정하는 그룹입니다. 승인 리드 타임은 변경이 승인 결정을 기다리는 시간입니다. 백분위수는 관측값의 정해진 비율이 그 아래에 속하는 값이므로, 85번째 백분위수는 변경의 85퍼센트가 이기는 숫자입니다.
왜 이 모든 것을 측정할까요? 변경 통제에 대해 발간된 가장 강력한 증거는 DevOps Research and Assessment(DORA)의 연구 프로그램에서 나옵니다. 그 지침은 CAB나 고위 관리자 승인 같은 무거운 외부 승인이 더 나쁜 소프트웨어 전달 성과와 연관되며, 더 공식적인 외부 검토가 실패하는 변경의 비율을 낮춘다는 증거는 발견되지 않았다고 보고합니다. 대신 동료 리뷰, 자동 테스트, 작은 변경을 권하며 중앙 위원회에는 전략적 역할을 줍니다. 이는 설문 데이터의 연관성에 대한 진술이지 법칙이 아니며, DORA 페이지는 주장의 효과 크기를 주지 않으므로, 어느 한 통제에 대한 평결이 아니라 자체 데이터를 살펴볼 강한 이유로 받아들이십시오. 서비스 관리 안내서의 변경 활성화 자료가 같은 연구를 요약합니다.
애자일과 ITIL 관점은 통제가 어디에 있는가라는 질문에서 만납니다. 전달 파이프라인에서는 평가의 상당 부분이 지속적으로 일어날 수 있습니다. 리뷰어가 코드를 승인하고, 자동 테스트가 동작을 점검하고, 배포 도구가 레코드를 씁니다. 리뷰가 기록되고 작성자가 자기 작업을 승인할 수 없다면 이는 직무 분리(separation of duties)의 취지를 충족합니다. 지표는 이것이 실제로 일어나고 있는지, 아니면 파이프라인이 대부분의 변경이 여전히 빠져나가 대기열에서 기다리는 빠른 도로인지 알려 줍니다.
이 주제는 변경의 흐름과 통제 측면을 다룹니다. 양, 유형 구성, 대기 시간, 자동화입니다. 변경이 성공하는지는 다루지 않습니다. 변경 실패율, 긴급 비중, 롤백, 핫픽스 측정치는 주제 4.4, 변경 실패와 재작업에 속하고 DORA 처리량 및 불안정성 측정치는 주제 2.8, DORA 지표에 있습니다. 배포와 릴리스 빈도는 주제 4.5, 릴리스와 배포 지표에 있습니다. 잘못된 변경의 인시던트 측면은 주제 3.3, 인시던트 대응 및 해결 시간과 주제 3.4, 중대 인시던트 지표에 있습니다.
변경 지표는 굿하트의 법칙(Goodhart's law)을 빨리 부릅니다. 승인 시간 목표는 빠르고 속 빈 승인을 부르고, 표준 변경 비중 목표는 위험한 작업을 일상적인 것으로 재분류하게 합니다(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조).
핵심 원칙
- 통제를 위험에 맞추십시오. 목표는 비례적인 통제입니다. 저위험 변경은 빠르고 사전 승인된 경로를 타고, 고위험 변경은 실제 검토를 받습니다. 모든 것에 대한 단일 프로세스는 대부분의 변경에는 느리고 위험한 변경에는 얕습니다.
- 일뿐 아니라 기다림도 측정하십시오. 승인 리드 타임이 끝난 변경이 운영에 도달하기 전에 보내는 시간을 지배하는 경우가 많습니다. 누군가 승인이 요청된 때와 승인된 때를 기록하지 않으면 보이지 않습니다.
- 다른 무엇보다 먼저 유형별로 세십시오. 양, 속도, 위험은 표준, 정상, 긴급 변경 사이에서 크게 다릅니다. 셋에 걸친 단일 평균은 모든 유용한 신호를 가립니다.
- 회의보다 자동화되고 기록된 증거를 선호하십시오. 동료 리뷰, 통과한 테스트, 파이프라인 점검은 달력의 시간 없이 기록을 만듭니다. 승인 결정 중 파이프라인이 포착하는 비율을 측정하십시오.
- 사람이 아니라 서비스나 팀을 설명하십시오. 승인자와 요청자는 시스템 안에서 일합니다. 승인하거나 거절한 건수로 개인의 순위를 매기면 사람들이 모든 것을 승인하거나 아무것도 승인하지 않도록 가르칩니다.
- 속도를 안전과 짝지우십시오. 더 빠른 승인은 실패 그림이 안정적일 때만 좋은 소식입니다. 이 지표를 주제 4.4, 변경 실패와 재작업과 함께 읽으십시오.
- 분류 규칙을 적어 두십시오. 변경이 표준, 정상, 긴급인지는 재현할 수 있어야 하는 판단입니다. 기준을 기록하고 분기마다 표본을 검토하십시오.
지표 정의
표는 팀이 적어 두어야 할 시계와 제외 항목을 밝힙니다. 데이터는 변경 또는 티켓 도구, 버전 관리와 파이프라인 이벤트, 승인 기록에서 옵니다(주제 1.5, 데이터 원천과 계측 참조).
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 |
|---|---|---|---|---|---|---|---|
| 유형별 변경량 | 표준, 정상, 긴급으로 나눈 완료된 변경의 수 | 승인 시점의 유형별로 묶은, 기간 중 구현됨 상태에 도달한 변경 레코드의 수. 취소되거나 철회된 변경은 제외하고 따로 보고. 사람별이 아니라 서비스별로 보고 | 유형별 주당 또는 월당 변경 | 파이프라인 배포 이벤트에 결합한 ITSM 도구의 변경 레코드 | 변경 활성화 | 완료된 작업 항목의 처리량, 증분당 릴리스 내용 | 주, 월 검토 |
| 표준 변경 비중 | 사전 승인된 경로를 탄 완료된 변경의 비율 | 기간 중 완료된 표준 변경 / 기간 중 완료된 모든 변경. 사후에 재분류된 변경은 최종 유형으로 세고 재분류를 기록 | 퍼센트 | 유형과 재분류 이력이 있는 변경 레코드 | 변경 활성화 | 팀 업무 합의와 완료의 정의가 다루는 일상 작업 | 월 |
| 승인 리드 타임 | 변경이 승인 결정을 기다리는 시간 | 시계는 요청이 평가 준비가 된 것으로 제출될 때 시작해 승인 결정이 기록될 때 멈춤. 요청자가 정보를 제공하길 기다리는 시간은 제외하고 따로 표시. 기간 중 정상 변경의 중앙값과 85번째 백분위수를 보고. 승인 단계가 없는 표준 변경은 제외 | 시간 또는 영업일 | 변경 레코드의 타임스탬프 또는 파이프라인의 승인 이벤트 | 변경 활성화 | 워크플로의 대기 시간, 리뷰 열의 시간 | 주, 월 검토 |
| 자동 승인 비중 | 파이프라인 통제나 사전 승인된 정책이 내리고 기록한 승인 결정의 비율 | 서면 정책에 따라 기록된 자동 점검이나 기록된 동료 리뷰가 승인을 부여한 변경 / 기간 중 완료된 모든 변경. 위원회나 관리자의 수동 서명은 자동화되지 않은 것으로 셈 | 퍼센트 | 파이프라인 로그, 코드 리뷰 기록, 변경 레코드 | 변경 활성화, 배포 관리 | 자동 품질 관문, 완료의 정의의 일부인 동료 리뷰 | 월 |
| 승인 대기열 경과 시간 | 대기 중인 요청이 지금 얼마나 기다렸는지 | 현재 결정을 기다리는 각 변경의 경과 시간을 제출부터 스냅샷 시점까지 측정. 열린 대기열의 가장 오래된 항목과 85번째 백분위수를 보고. 완료된 승인은 제외 | 시간 또는 영업일 | 열린 승인 상태의 변경 레코드 | 변경 활성화 | 작업 항목 경과 시간, 오래된 진행 중인 작업 | 일일 스냅샷, 주간 검토 |
| 변경 레코드 완전성 | 누가, 무엇을, 왜, 언제, 어느 서비스인지 답할 수 있는 완료된 변경 레코드의 비율 | 필요한 필드가 모두 채워지고 영향받은 서비스나 구성 항목에 연결된 변경 / 기간 중 완료된 모든 변경. 필요한 필드는 정의에 나열. 변경이 구현된 뒤에 만든 레코드는 표시 | 퍼센트 | 변경 레코드, 버전 관리 링크, 구성 데이터 | 변경 활성화, 서비스 구성 관리 | 커밋에서 티켓, 배포까지의 추적성 | 월 |
승인 리드 타임은 기다림을 끝낸 변경을 돌아보며 막힌 요청 더미를 가릴 수 있습니다. 대기열 경과 시간은 오늘 기다리는 것을 보며 더 이른 경고입니다. 표준 변경 비중은 극대화할 점수가 아닙니다. 성숙한 파이프라인으로 구성을 바꾸는 팀은 높은 비중을 가질 것이고, 레거시 핵심 시스템의 팀은 합리적으로 낮은 비중을 가질 수 있습니다.
권장 사항
기본을 확립하십시오
1. 다른 무엇을 측정하기 전에 유형별로 변경을 세십시오. 서비스별, 월별로 표준, 정상, 긴급으로 나눈 완료된 변경의 관점 하나를 만드십시오. 많은 조직이 이 시점에서 아무도 총계에 동의하지 못한다는 것을 발견합니다. 티켓, 파이프라인 배포, 비공식 수정이 따로 집계되기 때문입니다. 이 원천들을 대조하는 것이 프로그램의 첫 번째 결과입니다(주제 1.5, 데이터 원천과 계측 참조).
2. 분류 규칙을 적고 표본 조사하십시오. 무엇이 변경을 표준으로 만드는지 밝히십시오. 문서화된 절차, 알려진 위험, 실적입니다. 무엇이 변경을 정상이나 긴급으로 밀어내는지 밝히십시오. 분기마다 약 스무 건의 무작위 변경 표본을 검토하고 각각이 규칙대로 분류되었는지 물으십시오. 오분류가 이 주제의 다른 모든 숫자에 대한 주된 위협입니다.
3. 승인 시계를 서면으로 정의하십시오. 시계가 요청이 준비된 것으로 제출될 때 시작해 결정이 기록될 때 멈춘다고 말하고, 요청자가 질문에 답하길 기다리는 것 같은 제외 항목을 명명하십시오. 그렇지 않으면 한 팀은 티켓 생성부터, 다른 팀은 위원회 회의부터 측정해 시간이 지나도 숫자를 비교할 수 없습니다.
기다림을 줄이십시오
4. 승인 리드 타임을 분포로 보고하십시오. 평균은 중요한 패턴, 즉 몇몇 변경이 아주 오래 기다리는 것을 가립니다. 중앙값과 85번째 백분위수, 가장 느린 몇 건을 사람의 이름이 아니라 변경의 이름으로 보여 주십시오(주제 1.6, 서비스 지표를 위한 통계 소양 참조). 85번째 백분위수가 중앙값의 몇 배라면 원인은 대개 회의 주기나 과부하된 한 명의 승인자이며, 수정은 구조적입니다.
5. 이력뿐 아니라 대기열도 지켜보십시오. 흐름 측정치를 검토하는 같은 포럼에서 매주 승인 대기열 경과 시간을 검토하십시오. 가장 오래 기다리는 항목은 위원회가 과부하되었거나, 휴일이 서명을 멈추었거나, 요청자가 조용히 후속 조치를 그만두었다는 가장 좋은 조기 경보입니다. 대기열 관점은 오래된 작업을 보는 습관에도 맞습니다(주제 2.1, 흐름 측정치 참조).
6. 정보를 기다리는 것과 결정을 기다리는 것을 분리하십시오. 요청이 더 자세한 정보를 위해 요청자에게 돌아가면 승인 시계를 멈추고 다른 시계를 시작하십시오. 승인자는 요청자가 일으킨 지연으로 비난받고, 요청자는 대기열의 지연으로 비난받습니다. 두 시계는 양쪽에게 정확한 그림과 더 나은 요청 템플릿 같은 구체적인 개선을 줍니다.
통제를 파이프라인으로 옮기십시오
7. 반복 가능하고 저위험인 변경 유형을 표준 변경으로 전환하십시오. 양 관점에서 가장 흔한 정상 변경, 예를 들어 일상적인 라이브러리 업데이트나 스케일링 작업을 고르십시오. 절차와 점검을 적고, 변경 승인권자와 위험에 합의하고, 사전 승인하십시오. 그다음 표준 변경 비중과 정상 변경의 승인 리드 타임을 함께 지켜보십시오. 비중은 오르고 대기열은 짧아져야 하며, 실패가 따라 오르지 않아야 합니다(주제 4.4, 변경 실패와 재작업 참조).
8. 일이 일어나는 곳에서 승인을 기록하십시오. 동료 리뷰를 코드 리뷰(code review) 도구에서 포착하고, 파이프라인이 리뷰, 테스트 결과, 배포를 변경 레코드에 자동으로 연결하게 하십시오. 그러면 레코드는 별도 작업이 아니라 일의 부산물이 됩니다. 자동 승인 비중을 측정하고, 기록된 리뷰가 형식적 승인이 아니라 실질적인지 표본을 점검하십시오(주제 2.7, 풀 리퀘스트와 코드 리뷰 지표 참조).
9. 파이프라인을 정책을 부호화하는 곳으로 다루십시오. "티켓 없이 직접 운영 접근 금지", "테스트가 통과해야 함", "작성자는 자기 변경을 승인할 수 없음" 같은 규칙은 도구가 강제할 수 있으며, 구성은 코드형 인프라(infrastructure as code) 실천 아래 코드로 보관됩니다. 정책이 코드이면 감사인에게 회의록 대신 규칙과 그 이력을 보여 줄 수 있습니다. 파이프라인을 우회하는 변경이 얼마나 되는지 측정하십시오. 우회마다 통제의 구멍이기 때문입니다.
통제를 정직하게 유지하십시오
10. 긴급 변경의 빠른 경로를 유지하고 어떻게 쓰이는지 검토하십시오. 긴급 변경에는 속도가 필요하므로 정상 대기열로 늦추지 마십시오. 각각을 사후에 검토하고 양이 위로 흐르는지 지켜보십시오. 정상 경로보다 쉬운 긴급 경로가 기본값이 되기 때문입니다(이에 대한 측정치는 주제 4.4, 변경 실패와 재작업에 있습니다). 긴급 양을 같은 관점에서 정상 양 옆에 보고하십시오.
11. 레코드 완전성을 일정에 따라 감사하십시오. 완전한 레코드는 대응자가 최근에 무엇이 바뀌었는지 물을 때 인시던트 중에 도움이 됩니다(주제 3.3, 인시던트 대응 및 해결 시간 참조). 완전성을 측정하고, 표본을 검토하고, 공백을 요청자의 실패가 아니라 양식이나 통합의 결함으로 다루십시오. 사후에 기억으로 짜 맞춘 감사 추적(audit trail)은 약한 증거입니다.
12. 변경 승인권자 모델을 최소 매년 검토하십시오. 각 유형과 위험 수준에 누가 승인 권한을 가지는지 결정하고, 보이는 모든 것을 승인하는 위원회는 폐기하십시오. 중앙 위원회를 팀 간 조율, 일정 충돌 해소, 시장 출시 시간과 위험 사이의 상충 관계 결정이라는 전략적 역할로 옮기십시오. 결정과 증거를 지표 레지스트리에 기록하십시오(주제 1.4, 지표 거버넌스와 소유권 참조).
악용 방식과 방호책
| 지표 | 악용되는 방식 | 짝을 이루는 방호책 지표 또는 실천 |
|---|---|---|
| 유형별 변경량 | 바빠 보이려고 변경 하나를 여러 작은 레코드로 쪼개거나, 차분해 보이려고 여럿을 하나로 합침, 비공식 변경을 장부 밖에 둠 | 매월 건수를 파이프라인 배포 이벤트와 대조, 일치하는 변경 레코드가 없는 배포의 비중 추적 |
| 표준 변경 비중 | 목표에 도달하려고 위험한 작업을 표준으로 재분류함, 무엇이든 덮는 넓은 표준 절차를 씀 | 분류의 분기별 표본 검토, 유형별 변경 실패율(주제 4.4, 변경 실패와 재작업 참조), 재분류 로그 |
| 승인 리드 타임 | 시계를 늦게 시작하거나 일찍 멈춤, 필요 없던 질문으로 멈춤, 읽지 않고 승인함 | 중앙값 옆의 85번째 백분위수, 실질에 대한 승인의 표본 검토, 개인이 아니라 승인자 그룹별 변경 실패율 |
| 자동 승인 비중 | 항상 통과하는 자동 점검을 추가함, 의견 없는 동료 리뷰를 보증으로 셈 | 자동 및 동료 승인의 표본 검토, 자동 승인 변경의 유출 결함과 실패율, 우회 건수 |
| 승인 대기열 경과 시간 | 대기열이 짧아 보이도록 오래된 요청을 닫거나 철회함, 새 타임스탬프로 새 요청으로 옮김 | 철회 및 재제출 요청의 건수, 최초 제출부터 측정한 요청 경과 시간 |
| 변경 레코드 완전성 | 필수 필드를 자리 표시 텍스트로 채움, 보고서를 만족시키려고 변경 뒤에 레코드를 만듦 | 구현 후 생성된 레코드 표시, 자유 서술의 품질 표본 검토, 커밋에 대한 연결률 |
건강한 수치는 유형 구성이 안정적인 실패 그림과 함께 서서히 표준 변경 쪽으로 이동하고, 승인 시간 중앙값이 85번째 백분위수에 가깝고, 나머지보다 훨씬 오래된 항목이 없는 대기열이 있고, 우회 건수가 0 근처에 머무는 모습을 보여 줍니다. 어느 한 숫자의 갑작스러운 점프를 의심하십시오. 프로세스 변경 없이 한 달에 승인 리드 타임이 절반이 되었다면 대개 일이 아니라 시계가 움직인 것입니다.
상충 관계: 장점과 단점
| 접근 방식 | 장점 | 단점 |
|---|---|---|
| 사전 승인된 표준 변경 | 빠르고, 일관되고, 감사하기 싸며, 변경 승인권자가 위험한 일에 집중하게 함 | 사전 설계가 필요함, 분류가 어긋날 수 있음, 넓은 절차가 위험을 가림 |
| 파이프라인에 기록된 동료 리뷰 | 코드를 아는 사람들의 리뷰, 기록이 자동으로 생김, 양에 따라 확장됨 | 품질이 리뷰 문화에 달려 있음, 작은 팀은 독립적인 리뷰어가 없을 수 있음, 일부 규제 기관은 별도의 승인자를 기대함 |
| 중앙 변경 자문 위원회 | 팀 간 가시성, 일정 충돌과 공유 의존성 위험을 잡아냄 | 모든 변경의 관문으로 쓰이면 느림, 더 큰 배치를 덜 자주 전달하도록 부추김, 대기열을 만듦 |
| 대표 지표로서의 승인 리드 타임 | 설명하기 쉽고 실제 지연의 원천을 드러냄 | 악용하기 쉬움, 승인자를 서두르게 할 수 있음, 결정의 품질에 대해서는 말하지 않음 |
| 목표로서의 자동 승인 비중 | 도구와 기록된 증거에 대한 투자를 보상함 | 약한 자동 점검을 보상할 수 있음, 실제로 사람의 판단이 필요한 변경을 제외할 수 있음 |
더 나은 질문은 "위원회냐 아니냐"가 거의 아니고 대개 "어떤 변경에 어떤 종류의 검토가 필요하며, 어떻게 아는가?"입니다.
팀과 논의할 질문
1. 지난달에 변경을 몇 건 했으며, 모든 원천이 일치하나요? 각 그룹에게 티켓, 파이프라인 배포, 비공식 채널에서 자체 건수를 만들어 달라고 하십시오. 총계를 비교하십시오. 그 간극 자체가 기록되지 않은 변경에 대한 발견입니다. 진행자는 어느 원천이 기록 시스템인지, 누가 나머지를 대조할지 합의해야 합니다.
2. 우리의 정상 변경 중 실제로 일상적인 것은 무엇이며, 표준으로 만들려면 무엇이 필요한가요? 가장 빈번한 정상 변경 다섯 개를 나열하십시오. 각각에 절차가 문서화되었는지, 위험이 이해되었는지, 팀에 깨끗한 실적이 있는지 물으십시오. 논의는 흔히 분명한 후보 한두 개를 찾아냅니다. 사전 승인을 안전하게 만들 점검과 표준 절차를 누가 승인할지 기록하십시오.
3. 승인 시계는 어디서 시작하고 멈추며, 그 안에서 무엇이 기다리나요? 최근 정상 변경 셋을 제출부터 결정까지 추적하십시오. 모든 인계, 회의, 정보 요청을 기록하십시오. 사람들은 질문 라운드 사이의 달력 시간이 대기에서 얼마나 큰 비중인지에 종종 놀랍니다. 시계와 제외 항목의 서면 정의에 합의하십시오.
4. 우리는 승인을 신뢰하나요, 아니면 모으기만 하나요? 최근 승인의 표본을 뽑아 리뷰를 읽으십시오. 몇 초 안에 부여되었거나 의견이 없는 승인을 찾으십시오. 목표는 범인을 찾는 것이 아니라 프로세스가 실제로 얼마나 많은 보증을 제공하는지 아는 것입니다. 더 느려지지 않으면서 리뷰를 더 실질적으로 만들 방법을 논의하십시오.
5. 변경 위원회는 무엇을 위한 것이며, 모이지 않게 되면 우리는 무엇을 잃을까요? 위원회가 다른 누구도 결정할 수 없는 것을 무엇을 결정하고, 무엇을 확인만 하는지 물으십시오. 일부 위원회는 팀 간 조율과 일정 충돌 발견에서 가치 있는 일을 합니다. 다른 위원회는 코드 리뷰에서 이미 내린 결정을 되풀이합니다. 어떤 기능을 유지할 가치가 있고 어떤 것을 파이프라인이나 더 가벼운 포럼으로 옮길 수 있을지 합의하십시오.
6. 승인 시간을 절반으로 줄인다면 그것이 안전하다는 것을 알기 위해 무엇을 봐야 할까요? 변경 전에 유형별 변경의 실패율, 긴급 비중, 최근 변경에 연결된 인시던트 같은 안전 신호를 명명하십시오. 중단을 촉발할 임계값에 합의하십시오. 이 대화는 속도 목표를 멈춤 규칙이 있는 실험으로 바꾸며, 엉뚱한 것을 최적화하는 데 대한 최선의 방어입니다.
네 가지 관점
제품 및 전달 팀
전달 팀은 승인 리드 타임을 끝난 변경과 돌아가는 변경 사이의 유휴 시간으로 느낍니다. 언제 묶고, 언제 쪼개고, 언제 새 표준 변경을 요청할지 결정할 수 있도록 대기열 관점과 함께 유형별 자기 숫자를 보고 싶어 합니다. 이들의 최선의 기여는 좋은 요청 템플릿, 작은 변경, 커밋에서 변경 레코드까지의 깨끗한 연결입니다.
서비스 및 운영 팀
운영 팀은 변경 레코드로 첫 번째 인시던트 질문, 즉 최근에 무엇이 바뀌었는가에 답합니다. 완전성, 정확한 서비스 연결, 믿을 수 있는 일정을 중시합니다. 변경이 잘못되는 비용도 짊어지므로 분류 규칙과 긴급 변경의 검토에 정당한 이해관계가 있습니다. 가장 좋은 조치는 사전 승인이 운영 지식을 반영하도록 표준 변경 카탈로그를 전달 팀과 공동 소유하는 것입니다.
리더십과 거버넌스
리더와 거버넌스 기구는 변경이 통제되고 있다는 보증이 필요하고, 통제가 조직을 늦추고 있는지 알아야 합니다. 이 지표는 둘 다 제공합니다. 유형 구성, 대기 시간, 기록된 증거가 뒷받침하는 승인의 비율입니다. 서비스에 걸친 추세와 분포를 요청하되 순위표는 요청하지 말고, 실패 측정치와 함께 읽으십시오(주제 4.4, 변경 실패와 재작업 참조). 승인을 파이프라인으로 옮기는 자동화에 자금을 대는 것이 위원회에 리뷰어를 추가하는 것보다 나은 투자인 경우가 많습니다.
고객과 사용자
고객은 변경 프로세스를 거의 보지 못합니다. 새 기능의 도착, 신속하게 출시되는 수정, 릴리스 후 더 적은 장애를 봅니다. 느린 승인은 그들이 요청한 수정을 지연시키고, 약한 승인은 그들이 두려워하는 장애를 위험에 빠뜨립니다. 서비스에 예정된 유지보수 창이 있는 곳에서는 변경 달력을 평이한 말로 게시하십시오.
실제 적용: 서비스 관리 사례
가상의 지역 보험사가 여덟 개의 전달 팀과 주 2회 모이는 CAB로 고객 포털을 운영합니다. 아래 모든 숫자는 예시입니다.
서비스 운영 책임자가 변경의 첫 번째 완전한 관점을 만듭니다. 그달에 포털은 티켓으로 약 420건의 완료된 변경, 파이프라인으로 610건의 운영 배포를 보여 주고, 그 간극은 티켓 없이 이루어진 변경으로 드러납니다. 티켓이 있는 420건의 변경 중 18퍼센트가 표준, 76퍼센트가 정상, 6퍼센트가 긴급(예시)입니다. 정상 변경의 승인 리드 타임 중앙값은 영업일 2일이고 85번째 백분위수는 영업일 7일(예시)입니다. 대기열에서 가장 오래된 요청은 영업일 12일을 기다렸습니다.
팀이 긴 대기를 들여다보니 두 가지 원인이 있습니다. 많은 요청이 일상적인데도 다음 위원회 회의까지 앉아 있고, 다른 요청은 누락된 정보 때문에 요청자에게 여러 번 돌아갑니다. 팀은 두 시계를 분리하고 85번째 백분위수 대기의 대략 절반이 요청자를 기다리는 시간임을 발견합니다. 먼저 요청 템플릿을 고칩니다. 그다음 가장 흔한 정상 변경 셋을 고릅니다. 테스트를 통과한 의존성 업데이트, 기능 플래그 도구의 구성 토글, 애플리케이션 서버 스케일링입니다. 절차를 쓰고, 변경 승인권자와 위험에 합의하고, 승인을 파이프라인에 기록하는 표준 변경으로 전환합니다.
두 달 뒤 표준 비중이 41퍼센트(예시)로 오르고, 정상 변경의 승인 리드 타임 85번째 백분위수가 영업일 4일(예시)로 줄고, 유형별 변경 실패율은 짝이 되는 측정치(주제 4.4, 변경 실패와 재작업 참조)가 보고하는 대로 일정하게 유지됩니다. 위원회는 모든 정상 변경을 검토하던 것에서 고위험 변경과 월간 일정을 검토하는 것으로 옮겨 갑니다.
악용 위험은 분기별 표본에서 나타납니다. 한 팀이 "구성 변경"의 이전 절차가 느슨하게 쓰여 있었기 때문에 데이터베이스 스키마 이전을 표준 변경으로 분류했습니다. 표본 검토자는 이전에 롤백 계획이 없었음을 알아차립니다. 팀은 표준 변경 정의를 조이고, 스키마 변경은 항상 정상이라는 규칙을 추가하며, 재분류 로그가 상시 안건이 됩니다. 지표 레지스트리에 기록된 결정은 표준 변경 비중을 목표가 아니라 맥락 측정치로 유지하는 것입니다.
애자일, AI, 자동화, 분석
애자일
변경 활성화는 저위험 변경이 회의를 기다리지 않고 흐르고 고위험 변경이 적절한 검토를 받을 때 지속적 전달에 기여합니다. 분류 규칙을 이해관계자와 정기적으로 검토하십시오. 주의할 점은 높은 표준 변경 비중이 위험한 변경이 다른 이름을 얻었다는 뜻일 수 있다는 것입니다.
AI
AI는 변경 위험을 평가하고, 차이를 요약하고, 변경 레코드 초안을 쓸 수 있습니다. 자동 승인 비중을 변경 실패율 및 나중에 틀린 것으로 밝혀진 AI 위험 평가의 비율과 짝지우고, 고위험 승인에는 사람이 책임을 지게 하십시오. 주의할 점은 모델의 위험 점수가 거짓 안도감을 줄 수 있으므로 성과에 비춰 시험해야 한다는 것입니다.
자동화
파이프라인이 만들 수 있는 증거와 잘 이해된 표준 변경의 승인을 자동화하고, 자동화를 실패, 롤백, 증거 없이 이루어진 승인으로 측정하십시오. 주의할 점은 자동화가 승인하지 말아야 할 변경을 승인할 수 있으므로 표본을 감사해야 한다는 것입니다.
분석
승인 리드 타임을 변경 유형별 분포로 보여 주고 실패율에 연결하십시오. 이는 어떤 변경을 사전 승인할 수 있는지에 정보를 줍니다. 주의할 점은 레코드 날짜로 추적한 승인이 실제 시점과 맞지 않을 수 있으므로 타임스탬프를 확인해야 한다는 것입니다.
부문별 관점
스타트업. 스타트업은 대개 공식 프로세스는 적고 파이프라인 자동화는 많습니다. 변경이 기록 없이 빨리 일어나므로 완전성과 커밋에서 배포까지의 연결이 가장 중요합니다. 세 유형의 한 쪽짜리 정의와 파이프라인에 기록된 리뷰면 충분한 경우가 많습니다.
소규모 사업. 소규모 사업에서는 한두 사람이 변경을 쓰고 릴리스하는 경우가 많아 독립적인 리뷰가 어렵습니다. 일상 작업에는 단순한 표준 변경 목록을 쓰고, 고객 데이터나 돈을 건드리는 모든 것에는 두 번째 눈을 요구하고, 변경의 평이한 로그를 유지하십시오. 추적할 가치가 있는 측정치는 유형별 양과 레코드 완전성입니다. 싸고 인시던트 중에 도움이 되기 때문입니다.
대기업. 대기업에는 많은 팀, 공유 플랫폼, 위험이 다른 레거시 시스템이 있습니다. CAB가 있는 경향이 있으며, 지표는 그 과업 중 무엇이 남아야 하는지 결정하는 데 도움이 됩니다. 주된 일은 일관된 분류, 공유 표준 변경 카탈로그, 감사 증거를 기록하는 파이프라인입니다. 팀 순위가 아니라 서비스와 위험 등급별로 상위 집계하십시오.
정부 및 공공 부문. 공공 기관은 승인, 직무 분리, 기록 보존에 대한 법적 요건과 조달 중심의 릴리스 창에 직면하는 경우가 많습니다. 지표는 어떤 통제가 의무이고 어떤 것이 지역 습관인지 밝혀야 합니다. 전자는 없앨 수 없고 후자는 없앨 수 있기 때문입니다. 기록된 동료 리뷰와 파이프라인 증거가 취지를 충족하는 경우가 많지만, 의존하기 전에 관련 감사인과 확인하십시오(주제 8.3, 규정 준수와 감사 지표 참조).
비즈니스 케이스: 동기, ROI, TCO
동기는 대개 변경이 기다리는 시간입니다. 끝난 일이 결정을 기다리며 대기열에 있으면 가치가 지연되고, 배치가 커지고, 각 배치가 더 많은 위험을 안게 됩니다. 두 번째 동기는 보증입니다. 리더와 감사인은 변경이 통제되고 있다는 것을 알고 싶어 하며, 파이프라인에 기록된 증거는 재구성보다 만들기 싸고 더 믿을 만합니다. 세 번째는 인시던트 대응입니다. 완전하고 정확한 변경 레코드가 원인 탐색을 단축하기 때문입니다.
변경 도구와 파이프라인이 이미 타임스탬프와 유형을 저장한다면 수집은 싸고, 통합해야 한다면 보통입니다. 데이터에 따라 행동하는 데는 더 비용이 듭니다. 표준 변경 절차를 쓰고, 파이프라인 점검을 구축하고, 승인자와 요청자를 교육하는 일입니다. 대부분의 일은 첫 분기에 있고 그 후에는 표본 조사와 검토에 더 낮고 꾸준한 비용이 들 것으로 예상하십시오.
수익은 변경당 더 적은 대기 시간, 더 적은 회의, 감사 증거를 준비하는 데 드는 노력 감소, 인시던트 중 더 빠른 진단으로 나타납니다. 자체 데이터로 추정하십시오. 승인 대기 시간의 감소분에 영향받은 변경 수와 재무 파트너가 받아들이는 지연 시간당 비용을 곱하십시오. 다른 조직의 수치를 가져오지 마십시오. DORA 연구는 논거의 방향을 뒷받침하지만 그 페이지는 비용이나 수익을 주지 않으며, 금액 수치는 자체 측정에서 나와야 합니다.
안티패턴과 함정
- 표준 변경 비중을 목표로 삼기. 팀이 숫자를 맞추려고 위험한 작업을 재분류합니다. 맥락으로 쓰고, 분류를 표본 검토하고, 유형별 실패율을 지켜보십시오.
- 승인 속도만 측정하기. 빠른 형식적 승인은 훌륭해 보이지만 아무것도 전달하지 않습니다. 리드 타임을 승인 실질의 표본 검토 및 실패 그림과 짝지우십시오.
- 인시던트 뒤마다 승인 추가하기. 새 관문마다 시스템이 느려지고 더 큰 배치를 부추기는 경우가 많습니다. 먼저 실패가 왜 일어났는지 보고 테스트, 리뷰, 파이프라인에서 원인을 고치십시오.
- 승인자나 요청자의 순위 매기기. 사람별 승인이나 거절 건수는 모든 것을 승인하거나 아무것도 승인하지 않도록 가르칩니다. 서비스와 변경 유형별로 보고하십시오.
- 변경 유형에 걸쳐 평균 내기. 단일 평균은 일상 작업과 위험한 작업을 섞어 둘 다 가립니다. 항상 유형별로 나누고 85번째 백분위수를 보여 주십시오.
- 프로세스 밖에서 이루어진 변경 무시하기. 우회는 실제 양과 위험을 숨깁니다. 파이프라인 배포를 변경 레코드와 대조하고 간극을 시스템 결함으로 다루십시오.
- 습관으로 위원회 유지하기. 보는 모든 것을 승인하는 위원회는 보증을 더하지 않고 지연만 더합니다. 위원회가 다른 누구도 결정할 수 없는 것을 무엇을 결정하는지 매년 검토하고 다시 집중시키십시오.
- 데이터를 수집하고 결정하지 않기. 각 지표에 지명된 소유자와 검토 포럼을 붙이십시오(주제 1.4, 지표 거버넌스와 소유권 참조).
성숙도 모델
| 차원 | 시작 | 발전 | 표준화 | 관리 | 조율 |
|---|---|---|---|---|---|
| 분류와 양 | 유형이 비공식이고 아무도 총계를 모름 | 일부 팀이 서로 다른 규칙으로 유형별로 셈 | 서면 분류 하나, 기록 시스템 하나 | 유형 구성을 추세로 보고 정확성을 표본 조사함 | 표준 변경 카탈로그를 공급업체와 공유하고 위험 증거가 바뀌면 개정함 |
| 승인 시계와 대기열 | 승인 대기를 느끼지만 시간을 재지 않음 | 일부 팀이 요청에 타임스탬프를 찍음 | 시계의 정의 하나, 중앙값과 백분위수를 보여 줌 | 대기열 경과 시간을 주간 검토하고 지연이 자금 투입 수정을 이끎 | 실패와 고객 성과에 비춰 팀과 공급업체에 걸쳐 승인 흐름을 조정함 |
| 승인의 자동화 | 승인이 회의나 이메일임 | 몇몇 파이프라인이 동료 리뷰를 기록함 | 기록된 리뷰와 점검이 저위험 변경의 기본값임 | 우회 건수와 표본 품질 점검과 함께 자동 비중을 추적함 | 위험 그림이 바뀜에 따라 적응하는 공유 플랫폼 통제에 정책을 부호화함 |
| 레코드와 활용 | 레코드가 얇거나 사후에 작성됨 | 레코드가 있으나 품질이 다름 | 필요한 필드를 합의해 서비스에 연결함 | 완전성을 감사해 인시던트 검토에 활용함 | 변경 데이터가 조직 전반의 인시던트, 문제, 감사 프랙티스에 공급됨 |
체크리스트
- 세 변경 유형과 그 기준이 적혀 있고 합의되어 있다.
- 파이프라인 배포와 대조된, 유형별로 완료된 변경의 단일 관점이 있다.
- 승인 시계에 서면 시작, 정지, 제외 항목 목록이 있다.
- 승인 리드 타임을 중앙값과 85번째 백분위수로 보고한다.
- 승인 대기열 경과 시간이 보이고 매주 검토한다.
- 빈번한 정상 변경 하나 이상을 문서화된 절차가 있는 표준 변경으로 전환했다.
- 동료 리뷰와 테스트 결과가 변경 레코드에 자동으로 연결된다.
- 분기별 표본으로 분류와 승인 품질을 점검한다.
- 파이프라인 우회를 측정하고 검토한다.
- 모든 지표에 지표 레지스트리의 지명된 소유자, 악용 방식, 방호책이 있다.
- 어떤 보고서도 개별 승인자나 요청자의 순위를 매기지 않는다.
AI 프롬프트
세 변경 유형의 분류 가이드 초안을 작성합니다.
나는 [조직 유형]에서 일하며 [서비스 목록]을 운영합니다. 변경 도구는 [도구],
파이프라인은 [파이프라인 도구], 규제 맥락은 [규정 또는 없음]입니다. 가장 빈번한
변경 열 가지는 다음과 같습니다: [목록]. 각각이 표준, 정상, 긴급 변경 중 무엇인지
정하는 평이한 가이드를 사용한 기준과 경계 사례 하나의 예와 함께 작성해 주세요.
기준 값을 지어내거나 어떤 실천이 감사 요건을 충족한다고 주장하지 마세요.
가정한 내용과 가이드를 채택하기 전에 내가 답해야 할 질문을 나열해 주세요.
승인 시간이 어디서 쓰이는지 찾습니다.
다음은 제출, 정보 요청, 결정 타임스탬프가 있는 변경 레코드의 일부입니다:
[붙여 넣은 데이터 또는 설명]. 우리 승인 프로세스는 [설명]입니다. 변경 유형별로
승인 리드 타임의 중앙값과 85번째 백분위수를 계산하되 요청자를 기다린 시간과
결정을 기다린 시간을 분리하고, 가장 긴 사례에 대해 물을 질문 세 가지를 제안해
주세요. 데이터에 없는 수치를 지어내거나 개인의 순위를 매기지 마세요. 가정한
내용과 눈에 띄는 데이터 품질 문제를 나열해 주세요.
지표의 악용 위험을 점검합니다.
우리는 다음 변경 활성화 지표를 보고합니다: [정의가 있는 지표 목록]. 청중은 [팀,
리더십, 또는 거버넌스 기구]이고 지표는 [목적]에 쓰입니다. 각 지표에 대해 실제
개선 없이 부풀려지거나, 숨겨지거나, 왜곡될 수 있는 그럴듯한 방법을 나열하고, 짝이
되는 방호책 측정치나 실천을 제안해 주세요. 목표나 기준 값을 제안하지 마세요.
가정한 내용과 [서비스 이름]에 가장 중요하다고 생각하는 악용 위험을 나열해
주세요.
위원회 승인에서 파이프라인 승인으로의 전환을 계획합니다.
[변경 유형]의 현재 승인 경로는 [설명]이며 승인자는 [인원]명이고 전형적인 대기는
[설명]입니다. 우리 파이프라인은 [점검, 테스트, 리뷰 도구]를 제공합니다. 저위험
변경을 기록된 파이프라인 기반 승인으로 옮기는 단계적 계획을 제안해 주세요. 보관해야
할 증거, 지켜볼 안전 신호, 멈춤 규칙을 포함해 주세요. 계획이 어떤 규정이나 표준을
충족한다고 주장하지 마세요. 가정한 내용과 [감사인, 보안 책임자, 변경 승인권자]
같이 내가 상의해야 할 사람들을 나열해 주세요.
AI 스킬
- 서비스 관리 지표 스킬: 관련 변경, 릴리스, 인시던트 주제와 각 변경 활성화 지표 옆에 있어야 할 방호책을 찾을 때 사용합니다.
- 서비스 관리 지표 유지보수 스킬: 이 주제의 수정판이 시계, 악용 방식, 상호 참조의 일관성을 유지하는지 확인할 때 사용합니다.
핵심 정리
- 변경 활성화 지표는 변경의 흐름과 통제를 측정합니다. 유형별 양, 승인 대기, 파이프라인이 자동으로 기록하는 승인의 비율입니다.
- 모든 것을 변경 유형별로 나누고, 대기 시간을 중앙값과 85번째 백분위수로 보고하고, 이력뿐 아니라 실시간 대기열도 지켜보십시오.
- 일상 작업을 표준 변경으로 옮기고 리뷰를 파이프라인에 기록하는 것이 대기를 줄이는 가장 직접적인 방법이며, 실패 측정치와 함께 읽어야 합니다.
- 표준 변경 비중과 승인 속도는 악용하기 쉬우므로 분류와 승인 품질을 표본 조사하고 개인 성적표에서 숫자를 빼십시오.
- 지표를 써서 변경 위원회가 무엇을 위한 것인지 결정하고, 더 가벼운 통제를 안전하게 만드는 자동화에 자금을 대십시오.
참고 문헌과 더 읽을거리
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- DORA (Google Cloud), "Streamlining change approval" and "Software delivery performance metrics," DORA capabilities and guides, https://dora.dev/ (read the pages directly and note the date you consulted them).
- AXELOS (now PeopleCert), ITIL Foundation: ITIL 4 Edition, TSO, 2019.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, ITIL.
- Wikipedia, Change management (ITSM).
- Wikipedia, Separation of duties.
- Wikipedia, Goodhart's law.
- Wikipedia, Code review.
- Wikipedia, Infrastructure as code.
- Wikipedia, Audit trail.