파이프라인과 자동화된 변경 지표
전달 파이프라인은 변경이 사용자에게 도달하는 경로이자 그 변경이 안전하다는 증거의 원천이므로, 파이프라인의 속도와 신뢰성, 변경 승인 중 파이프라인이 처리하는 비중, 파이프라인이 만드는 증거가 감사인을 납득시킬 수 있는지를 함께 측정하되, 이 모든 것을 파이프라인을 쓰는 사람이 아니라 시스템에 대한 척도로 읽으십시오.
개요와 동기
지속적 통합(continuous integration)과 지속적 전달(continuous delivery) 파이프라인은 개발자의 작업물을 자동화된 빌드, 테스트, 보안 점검, 배포를 거쳐 실행 중인 서비스로 옮깁니다. 파이프라인을 신뢰할 수 있으면, 예전에 변경 자문 위원회(change advisory board)가 맡던 일상적 변경의 판단도 파이프라인이 맡을 수 있습니다. ITIL은 변경을 관리하는 실천 영역을 "변경 활성화(change enablement)"라고 부르며, 그 목적은 유익한 변경이 안전하고 빠르게 이루어지게 하는 것입니다. 점검을 실행하고, 증거를 기록하고, 위험이 낮은 변경을 자동으로 승인하는 파이프라인은 그 목적을 달성하는 한 가지 방법입니다.
따라서 파이프라인은 동시에 두 가지입니다. 하나는 자체 가용성, 속도, 장애를 가진 운영 시스템이고, 다른 하나는 무엇을 테스트했고 누가 검토했으며 무엇을 승인했는지에 대한 증거를 가진 통제 수단입니다. 둘 다 측정해야 합니다. 점검을 건너뛰는 빠른 파이프라인은 위험합니다. 느리고 불안정한 파이프라인은 사람들이 우회하게 만들고, 우회된 변경은 파이프라인이 제공하려던 모든 통제를 벗어납니다.
이 주제는 파이프라인을 하나의 시스템으로 보는 데 초점을 맞춰, 제4부의 변경 지표(주제 4.3, 변경 활성화 지표 참조, 주제 4.4, 변경 실패와 재작업 참조)와 릴리스 지표(주제 4.5, 릴리스와 배포 지표 참조)를 보완합니다. 파이프라인 내부에서 일어나는 일을 들여다본다는 점에서 DORA 지표(주제 2.8, DORA 지표 참조)도 보완합니다. 또한 주제 10.6의 일반적인 자동화 지표(주제 10.6, 자동화와 오케스트레이션 지표 참조)와도 관련이 있습니다.
여기서 쓰는 용어는 다음과 같습니다. 파이프라인 실행(pipeline run)은 변경 하나에 대한 파이프라인의 1회 실행입니다. 단계(stage)는 빌드나 테스트처럼 파이프라인을 이루는 한 단계입니다. 불안정한 테스트(flaky test)는 같은 코드에서 어떤 때는 통과하고 어떤 때는 실패하는 테스트입니다. 우회(bypass)는 긴급 수동 배포처럼 파이프라인을 거치지 않고 운영 환경에 도달한 변경입니다. 코드형 정책(policy as code)은 "보안 스캔을 통과하지 않으면 배포하지 않는다" 같은 규칙을 파이프라인이 강제하는 소프트웨어로 작성하는 것입니다. 증거(evidence)는 변경이 어떤 과정을 거쳤는지 보여 주는 기록된 증빙입니다. ITIL의 표준 변경(standard change)은 위험이 낮고 잘 이해되어 있으며 사전 승인된 유형의 변경입니다.
핵심 원칙
- 파이프라인은 서비스입니다. 다른 운영 시스템과 마찬가지로 신뢰성, 속도, 장애를 측정하고, 소유자를 정하십시오.
- 우회를 측정하십시오. 파이프라인을 피해 간 변경의 수는 파이프라인을 얼마나 신뢰할 수 있는지 보여 줍니다.
- 위험에 따라, 증거와 함께 승인을 자동화하십시오. 잘 이해된 것은 사전 승인하고, 그렇지 않은 것에는 사람의 검토를 남겨 두십시오.
- 증거는 하나의 산출물입니다. 파이프라인이 기록하는 내용은 허둥대지 않고도 감사인의 질문에 답할 수 있어야 합니다.
- 빠름과 안전은 함께 측정합니다. 속도 지표는 실패 및 재작업과 짝을 지어 보십시오.
- 시스템을 설명하고, 사람을 설명하지 마십시오. 누가 변경을 푸시했는지에 대한 파이프라인 데이터는 성과 순위가 아닙니다.
지표 정의
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 실천 영역 | 애자일 대응 | 주기 |
|---|---|---|---|---|---|---|---|
| 파이프라인 성공률 | 파이프라인 또는 그 환경이 원인인 실패 없이 끝난 파이프라인 실행의 비율 | 통과했거나 실제 코드 결함 때문에만 실패한 실행 / 시작된 실행. 사용자가 취소한 실행은 제외하고 따로 보고 | 퍼센트 | 파이프라인 플랫폼 로그 | 릴리스 관리, 변경 활성화 | 지속적 통합의 건강 상태 | 주간 |
| 파이프라인 소요 시간 | 변경이 파이프라인을 통과하는 데 걸리는 시간 | 배포에 도달한 실행에 대해 (마지막 단계가 끝난 시각 - 실행이 시작된 시각)의 중앙값과 85번째 백분위수 | 분 | 파이프라인 플랫폼 로그 | 릴리스 관리 | 짧은 피드백 고리 | 주간 |
| 불안정한 테스트 비율 | 코드 변경 없이 재실행하면 통과하는 테스트 실패의 비율 | 재실행에서 통과한 실패 / 테스트 실패 | 퍼센트 | 테스트 결과와 재실행 로그 | 릴리스 관리 | 완료의 정의, 테스트 관행 | 월간 |
| 자동 승인 비중 | 사람의 승인 단계 없이 파이프라인 정책으로 승인된 변경의 비율 | 정책만으로 승인된 변경 / 배포된 변경 | 퍼센트 | 파이프라인 및 변경 기록 | 변경 활성화 | 자동화된 점검을 갖춘 트렁크 기반 개발 | 월간 |
| 우회율 | 파이프라인을 거치지 않은 운영 변경의 비율 | 파이프라인 밖에서 이루어진 운영 변경(배포 기록과 파이프라인 기록을 비교해 찾음) / 전체 운영 변경 | 퍼센트 | 배포 기록, 구성 감사, 파이프라인 로그 | 변경 활성화, 구성 관리 | 작업 합의 | 월간 |
| 증거 완전성 | 기록에 필수 증거가 있는 파이프라인 배포 변경의 비율 | 필수 증거 항목(테스트, 검토, 스캔, 승인)이 모두 연결된 변경 / 배포된 변경 | 퍼센트 | 파이프라인 및 변경 기록 | 변경 활성화, 거버넌스 | 완료의 정의 | 월간 |
| 정책 게이트 실패율 | 정책 점검에 막힌 실행의 비율. 실제 위반과 정책 오류로 나누어 봄 | 정책 게이트에 막힌 실행 / 시작된 실행. 사유는 표본 추출로 분류 | 퍼센트 | 파이프라인 로그와 게이트 기록 | 변경 활성화, 위험 관리 | 인수 기준 | 월간 |
파이프라인 성공률은 사람이 취소한 실행을 제외하고 따로 보고하며, 불안정한 테스트나 환경 결함으로 인한 실패는 파이프라인 실패로 셉니다. 우회율은 운영 환경에서 실제로 무엇이 실행 중인지에 대한 독립적인 기록이 필요하므로 파이프라인만으로는 계산할 수 없습니다.
권장 사항
파이프라인을 서비스로 다루십시오
1. 파이프라인에 소유자와 목표를 부여하십시오. 지정된 팀이 파이프라인의 신뢰성과 속도를 책임지며, 정해진 시간 안에 끝나는 실행의 비율 같은 서비스 수준 목표(SLO)를 갖습니다. 소유자가 없으면 불안정성이 커져 결국 사람들이 파이프라인을 믿지 않게 됩니다.
2. 소요 시간을 분포로 측정하십시오. 중앙값은 사람들이 기다리는 느린 실행을 가립니다. 중앙값과 85번째 백분위수를 함께 보여 주고, 소요 시간을 단계별로 나누어 가장 긴 대기를 찾으십시오. 그 대기는 흔히 공유 러너의 대기열이나 수동 승인입니다.
3. 불안정한 테스트를 추적하고 고치십시오. 불안정한 테스트는 사람들에게 초록불이 될 때까지 다시 실행하는 법을 가르칩니다. 불안정한 실패를 세고, 각각에 소유자를 지정하고, 날짜를 정해 고치거나 격리하십시오. 습관적으로 재실행하는 파이프라인은 증거를 만들어 내지 못합니다.
승인을 신중하게 자동화하십시오
4. 변경을 위험에 따라 분류하십시오. 어떤 유형의 변경이 표준 변경으로서 정책으로 승인될 수 있고 어떤 유형이 사람의 승인을 필요로 하는지 변경 소유자와 합의하십시오. 이 분류는 실패 데이터를 바탕으로 정기적으로 검토하십시오(주제 4.4, 변경 실패와 재작업 참조).
5. 정책을 코드로 작성하고 테스트하십시오. 파이프라인이 강제하는 규칙은 코드이므로 다른 코드와 마찬가지로 테스트와 소유자가 필요합니다. 각 실행에 어떤 정책 버전이 적용되었는지 기록하십시오.
6. 예외적인 경우를 위한 사람의 경로를 남겨 두십시오. 긴급 변경과 고위험 변경에는 증거를 보고 판단할 수 있는 사람이 필요합니다. 그 경로가 실제로 작동하는지 시험하고, 걸리는 시간을 측정하십시오.
유용한 증거를 만드십시오
7. 어떤 증거가 필요한지 정하십시오. 감사인이나 인시던트 검토자가 묻는 질문, 즉 무엇을 테스트했고, 누가 검토했고, 무엇을 스캔했고, 누가 승인했고, 무엇을 배포했는지에서 거꾸로 출발하십시오. 파이프라인이 바로 그것을 기록해 변경에 연결하게 하십시오.
8. 완전성은 표본 추출로 측정하십시오. 파이프라인 자체가 센 증거 완전성은 내용이 비어 있어도 높게 나올 수 있습니다. 기록의 표본을 점검해 증거가 실제이고 실행된 것과 일치하는지 확인하십시오.
9. 증거를 변조가 드러나도록 보관하십시오. 파이프라인 기록은 배포하는 사람이 편집할 수 없는 곳에 저장하고, 규정이 요구하는 보존 기간 동안 유지하십시오. 보존 요건은 자체 법률 자문과 확인하십시오.
우회와 드리프트를 살피십시오
10. 운영 환경과 파이프라인을 비교하십시오. 운영 환경에서 실행 중인 것을 파이프라인이 배포한 것과 대조하십시오. 차이는 우회 또는 드리프트(drift)이며, 각각 왜 파이프라인을 피했는지 비난 없이 짧게 살펴볼 만합니다.
11. 파이프라인을 가장 쉬운 길로 만드십시오. 사람들은 느리고 불안정한 파이프라인을 우회합니다. 우회가 늘면 먼저 속도와 신뢰성, 그리고 파이프라인이 충족하지 못하는 긴급 상황의 필요를 살펴보십시오.
12. 게이트의 가치를 검토하십시오. 실제 결함을 한 번도 막지 못하면서 모든 실행을 지연시키는 게이트는 제거하거나 재설계할 후보입니다. 정책 오류 때문에 많은 실행을 막는 게이트는 정책을 고쳐야 합니다.
악용 방식과 방호책
| 지표 | 악용되는 방식 | 짝이 되는 방호책 지표 또는 관행 |
|---|---|---|
| 파이프라인 성공률 | 인프라 실패를 취소로 재분류함. 초록불이 될 때까지 재실행하고 마지막 실행만 셈 | 모든 시도를 세고, 변경당 재실행 횟수를 보고 |
| 파이프라인 소요 시간 | 느린 단계를 측정 구간 밖으로 옮김. 단계를 건너뜀 | 커밋부터 배포까지 처음부터 끝까지 측정. 실행된 단계와 필요한 단계를 비교 |
| 불안정한 테스트 비율 | 불안정한 테스트를 삭제하거나 무음 처리함. 실패를 알려진 것으로 표시함 | 테스트 수와 커버리지 추세. 격리된 테스트를 날짜와 함께 검토 |
| 자동 승인 비중 | "표준" 범주를 넓혀 위험한 변경까지 포함시킴 | 자동 승인된 변경의 변경 실패율. 승인된 변경의 표본 점검 |
| 우회율 | 긴급 수동 배포를 파이프라인 실행으로 기록함. 운영 환경과 대조하지 않음 | 운영 상태를 파이프라인 기록과 대조. 배포 표본 점검 |
| 증거 완전성 | 비어 있거나 무관한 증거를 첨부함. 일반 보고서를 연결함 | 증거 내용 표본 점검. 변경과 일치하는지 확인 |
| 정책 게이트 실패율 | 실패를 줄이려고 정책을 느슨하게 함. 실제 위반을 정책 오류로 분류함 | 막힌 실행의 표본 점검. 유출 결함률과 감사 지적 사항 |
건강한 상태란 사람들이 모든 변경에 사용할 만큼 파이프라인이 빠르고 안정적이고, 우회율이 0에 가까우며 각 예외가 이해되어 있고, 변경 실패율이 일정하게 유지되는 가운데 자동 승인의 비중이 늘고, 표본 점검에서도 증거가 버티는 상태입니다.
상충 관계: 장점과 단점
| 접근 방식 | 강점 | 약점 |
|---|---|---|
| 무거운 파이프라인 점검 | 결함을 일찍 잡음. 강력한 증거 | 느린 실행. 더 많은 불안정성. 우회 압력 |
| 가벼운 파이프라인 | 빠른 피드백 | 약한 증거. 더 많은 결함이 운영에 도달 |
| 표준 변경의 자동 승인 | 대기 제거. 일관된 결정 | 범주가 넓어질 위험. 정책 오류가 확대됨 |
| 모든 변경에 사람의 승인 | 익숙함. 눈에 보이는 책임 | 대기. 승인이 형식으로 변할 수 있음 |
결론은 파이프라인을 빠르고 신뢰받게 유지하고, 잘 이해된 것만 정책으로 승인하며, 우회를 측정하라는 것입니다. 사람들이 피해 가는 무거운 점검은 아무것도 지키지 못합니다.
팀과 논의할 질문
1. 운영 변경 중 파이프라인을 거치는 비율은 얼마이며, 그것을 어떻게 알 수 있을까요? 운영 상태를 파이프라인 기록과 비교할 방법을 요청하십시오. 팀은 흔히 파이프라인을 우회하는 긴급 수정, 구성 변경, 데이터 변경을 발견합니다. 방어적인 답이 나올 것을 예상하고 각 우회를 정보로 다루십시오. 이어서 무엇이 파이프라인을 더 쉬운 길로 만들었을지 물어보십시오.
2. 통과할 때까지 재실행하는 테스트는 어떤 것이며, 누가 소유할까요? 재실행 습관은 신뢰가 어디에서 무너졌는지 보여 줍니다. 목록을 만들고 소유자를 지정하십시오. 각각을 고칠지 제거할지 논의하십시오. 대화를 하다 보면 소수의 테스트가 소음의 대부분을 일으킨다는 사실이 드러나는 경우가 많습니다.
3. 지금 자동으로 승인하는 변경은 무엇이고, 어떤 것을 자동으로 승인해야 할까요? 변경 유형과 각 유형의 실패 이력을 나열하십시오. 위험이 낮고 테스트가 충실한 것을 정하십시오. 어떤 유형의 자동 승인을 중단하게 만들 조건이 무엇인지 물어보십시오. 이어서 분류를 재검토할 날짜에 합의하십시오.
4. 감사인이 지난 화요일의 배포에 대해 묻는다면 무엇을 보여 줄 수 있을까요? 실제 변경 하나를 골라 그 증거를 꺼내 보십시오. 빈틈과 수동 단계에 주목하십시오. 증거가 당시에 기록되었는지 나중에 재구성되었는지 물어보십시오. 이어서 메울 빈틈 하나를 고르십시오.
5. 파이프라인은 시간을 어디에 쓰며, 누가 기다릴까요? 단계별 내역을 보십시오. 가장 긴 대기는 흔히 대기열이나 수동 승인입니다. 기다리는 사람들이 다른 일을 할 수 있는지, 그 대기가 피드백 지연으로 어떤 비용을 치르게 하는지 물어보십시오. 없앨 지연 하나를 고르십시오.
6. 쓸모 있는 것을 한 번도 막지 못한 게이트는 무엇일까요? 지난 분기의 게이트 중단 사유를 보십시오. 정책 오류만 일으키는 게이트는 고쳐야 하고, 아무것도 막지 못하는 게이트는 불필요할 수 있습니다. 제거하면 위험이 커지는지 물어보십시오. 시험적으로 해 보기로 합의하십시오.
네 가지 관점
제품 및 전달 팀
여러분은 매일 파이프라인에 의존합니다. 테스트를 신뢰할 수 있게 유지하고, 변경을 작게 유지하고, 불안정한 테스트를 제품의 결함으로 다루십시오. 파이프라인 데이터는 자신의 지연을 찾는 데 쓰고, 개인 성과 면담과는 분리하십시오.
서비스 및 운영 팀
여러분은 파이프라인이 릴리스한 것을 이어받습니다. 인시던트에 필요한 증거, 예를 들어 무엇이 언제 바뀌었는지와 빠른 롤백을 요청하십시오. 우회와 드리프트를 추적하고, 그 이유를 묻는 대화로 팀에 가져가십시오.
리더십과 거버넌스
파이프라인을 소유자, 용량, 불안정성을 고칠 시간이 있는 운영 서비스로 지원하십시오. 우회율, 표본 추출로 확인한 증거 완전성, 자동 승인된 변경의 변경 실패율을 요청하십시오. 배포 횟수를 성공의 척도로 세라는 압력에 저항하십시오.
고객과 사용자
변경이 자주, 그리고 안전하게 도착하면 혜택을 보고, 변경이 무언가를 망가뜨리면 고통을 겪습니다. 변경을 어떻게 테스트하는지, 잘못된 변경을 얼마나 빨리 되돌리는지 물어보십시오. 릴리스 후 문제에 대한 여러분의 보고는 파이프라인이 제공할 수 없는 피드백의 일부입니다.
실제 적용: 서비스 관리 사례
한 지역 병원의 IT 부서가 임상 일정 관리 애플리케이션을 위한 파이프라인을 운영합니다. 이 사례의 숫자는 예시입니다. 변경 자문 위원회가 매주 열리고, 일상적 변경은 승인을 평균 4일 기다립니다. 팀은 표준 변경을 파이프라인으로 승인하자고 제안합니다.
시작하기 전에 팀은 먼저 측정합니다. 파이프라인 성공률은 82%이고, 실패의 표본을 보니 약 3분의 1이 불안정한 테스트입니다. 85번째 백분위수 소요 시간은 47분이며, 공유 빌드 러너 대기열이 20분입니다. 배포 기록을 파이프라인 기록과 비교하니 운영 변경의 약 12%가 파이프라인을 우회했고, 대부분 구성 수정과 긴급 수정이었습니다.
팀은 가장 불안정한 테스트 다섯 개를 고치고, 빌드 러너를 추가하고, 구성 변경이 파이프라인을 거치는 경로를 만듭니다. 3개월 뒤 우회율은 3%로 떨어집니다. 이어서 일정 관리 애플리케이션에 대한 작고, 테스트되고, 되돌릴 수 있는 변경을 표준 변경 범주로 정의하고, 테스트, 보안 스캔, 동료 검토에 대한 정책 점검을 둡니다. 자동 승인 비중은 약 40%에 이르고, 해당 변경의 승인 리드 타임은 며칠에서 몇 분으로 줄어듭니다.
악용 위험이 나타납니다. 한 관리자가 자동 승인 비중을 높이려고 데이터베이스 스키마 변경을 표준 범주에 추가해 달라고 요청합니다. 팀은 스키마 변경의 변경 실패율을 확인하는데, 다른 변경보다 높아서 사람 검토자를 그대로 둡니다. 파이프라인이 센 증거 완전성은 98%이지만 기록 20건의 표본을 보니 네 건에 다른 빌드의 테스트 보고서가 첨부되어 있습니다. 팀은 연결 규칙을 고칩니다. 여전히 어려운 점은, 긴급 수정의 우회에 대해서는 사후 기록이 여전히 필요하고, 환자 안전에 영향을 주는 변경의 임상 위험 검토는 계속 사람이 맡는다는 것입니다.
애자일, AI, 자동화, 분석
애자일
신뢰할 수 있는 파이프라인을 통한 작고 잦은 변경은 지속적 전달의 핵심이며, 파이프라인 자체의 백로그도 제품과 마찬가지로 이해관계자와 정기적으로 검토할 가치가 있습니다. 좋은 관행은 불안정한 테스트와 우회를 정기적인 개선 대화에서 검토하는 것입니다. 주의할 점은 배포 빈도만 칭찬하면 변경을 잘게 쪼개는 행동에 보상하게 된다는 것입니다.
AI
AI는 파이프라인 안에서 코드와 테스트를 작성하고, 변경을 검토하고, 변경 위험을 평가할 수 있습니다. AI 지원 변경을 데이터에 표시하고 그 실패와 재작업을 다른 변경과 비교하십시오(주제 10.2, AI 지원 작업 측정 참조). AI 게이트가 결정하거나 권고한다면, 표본 추출로 잘못된 승인과 잘못된 중단을 측정하고 고위험 변경에는 사람이 책임을 지게 하십시오. 주의할 점은 AI가 생성한 테스트가 중요한 동작을 테스트하지 않고도 커버리지 수치를 높일 수 있다는 것입니다.
자동화
파이프라인 자체가 자동화이므로, 로그와 소유자와 긴급 시 수동 대체 수단을 갖춘 운영 서비스로 다루는 것이 실천 방법입니다. 증거 수집과 운영 환경-파이프라인 기록 대조를 자동화하십시오. 주의할 점은 자동 승인이 정책 오류의 영향을 증폭시키므로 정책을 테스트하고 일시 중지 제어를 유지해야 한다는 것입니다.
분석
파이프라인 이벤트로 시간이 어디에 쓰이고 실패가 어디에 몰리는지 보여 주고, 실행을 인시던트 및 재작업과 연결하십시오. 이 수치가 알려 주는 결정은 속도, 신뢰성, 테스트 중 어디에 투자할지입니다. 주의할 점은 파이프라인 데이터가 테스트의 품질을 보여 주지 않으므로 유출 결함과 함께 보아야 하며, 각 비율 뒤의 실행 횟수를 함께 보여 주어야 한다는 것입니다(주제 10.8, 분석과 데이터 품질 지표 참조).
부문별 관점
스타트업. 빠른 테스트와 운영 환경으로의 자동 배포를 갖춘 단순한 파이프라인이면 충분할 수 있습니다. 소요 시간과 우회를 측정하고, 테스트와 검토의 증거를 저장소에 기록하십시오.
소규모 사업체. 파이프라인이 호스팅 서비스이거나 공급업체의 것일 수 있습니다. 무엇을 어디에 기록하는지 물어보고, 무엇이 배포되었는지 재구성할 방법을 유지하십시오. 유지하지 못할 통제를 만드는 일은 피하십시오.
대기업. 여러 팀에 걸친 많은 파이프라인에는 공통의 증거 형식과 공유 정책이 필요합니다. 우회와 증거 완전성은 중앙에서 보고, 수정은 팀 단위로 소유하게 하십시오. 팀마다 필요가 다른데 하나의 도구를 강요하는 것은 피하십시오.
정부 및 공공 부문. 직무 분리, 감사 추적, 보존 규칙이 파이프라인의 형태를 결정합니다. 감사를 염두에 두고 증거를 설계하고, 자동화된 의사결정을 포함해 법률 및 조달 요건을 확인하십시오(주제 8.3, 규정 준수와 감사 지표 참조, 주제 8.5, 규제 및 정부 보고 참조).
비즈니스 케이스: 동기, ROI, TCO
비용은 파이프라인 플랫폼과 러너, 테스트와 정책을 작성하고 유지하는 작업, 불안정성을 고치는 시간, 증거를 저장하는 비용입니다. 파이프라인 기록과 변경 기록이 연결되어 있으면 지표 자체의 비용은 적습니다.
수익은 승인 대기 단축, 수동 단계 감소, 결함의 조기 발견, 필요할 때 바로 쓸 수 있는 증거입니다. 이는 더 빠른 전달과 감사 때의 노력 감소로 나타나지만 과대평가하기 쉽습니다. 승인 리드 타임과 감사 증거를 모으는 노력처럼 자신의 기준선을 전후로 측정하고, 가정은 범위로 제시하십시오(주제 7.7, 투자 수익과 비즈니스 케이스 참조). 위험 측면의 비용은 파이프라인을 빠져나가는 실패의 비용과 모든 변경을 막는 파이프라인 장애의 비용입니다.
안티패턴과 함정
- 배포 횟수를 성공으로 세기. 변경을 잘게 쪼개는 행동에 보상합니다. 실패 및 재작업과 짝지어 보십시오.
- 초록불이 될 때까지 재실행. 불안정한 테스트와 약한 증거를 가립니다. 불안정성을 세고 고치십시오.
- 우회 무시. 파이프라인을 피한 변경은 파이프라인이 보호할 수 없는 변경입니다. 운영 환경을 파이프라인 기록과 대조하십시오.
- 자동화를 높이려고 표준 범주를 넓히기. 비중은 오르지만 실패율도 따라 오릅니다. 실패 데이터로 범주를 검토하십시오.
- 존재하지만 아무 말도 하지 않는 증거. 존재 여부만이 아니라 내용을 표본 점검하십시오.
- 소유자 없는 파이프라인. 쇠퇴합니다. 팀을 지정하고 시간을 주십시오.
- 정책 오류를 코드 결함으로 취급. 사람들이 게이트를 무시하는 법을 배웁니다. 중단 사유를 분류하고 정책을 고치십시오.
- 긴급 상황을 위한 수동 경로의 부재. 사람들이 우회합니다. 빠르고 감사 가능한 경로를 제공하십시오.
성숙도 모델
| 차원 | 시작 | 발전 | 표준화 | 관리 | 조율 |
|---|---|---|---|---|---|
| 파이프라인 신뢰성 | 임시방편의 빌드. 설명되지 않는 잦은 실패 | 파이프라인이 있고 성공률을 추적함 | 소유자, 목표, 불안정한 테스트 처리 체계를 갖춤 | 소요 시간과 실패를 단계별로 검토함 | 파이프라인이 팀 간에 패턴과 용량을 공유함 |
| 승인과 정책 | 모든 변경에 수동 승인 | 일부 표준 변경이 정의됨 | 표준 변경에 대한 코드형 정책을 테스트와 함께 운용함 | 승인 범주를 실패 데이터로 검토함 | 위험 기반 승인이 합의된 한도 안에서 자동으로 조정됨 |
| 증거와 우회 | 증거를 사후에 재구성함 | 일부 증거가 기록됨 | 필수 증거가 기록되고 연결됨 | 우회를 대조하고 완전성을 표본 점검함 | 증거와 대조가 완전히 자동화되고 감사됨 |
체크리스트
- 파이프라인에 지정된 소유자와 신뢰성 및 속도 목표가 있다.
- 파이프라인 성공률과 소요 시간 백분위수를 단계별로 보고한다.
- 불안정한 테스트를 세고 각각에 소유자와 수정 날짜가 있다.
- 표준 변경 범주가 위험 기준과 함께 정의되어 있고 실패 데이터로 검토된다.
- 정책이 코드이며, 테스트되고 버전 관리되고, 버전이 실행마다 기록된다.
- 운영 상태를 파이프라인 기록과 대조해 우회를 찾는다.
- 배포된 각 변경에 필요한 증거가 정의되고 기록된다.
- 증거 완전성을 내용 표본 점검으로 확인한다.
- 감사 가능한 긴급 경로가 있고 시험되었다.
- 각 지표 옆에 악용 방식과 방호책이 표시되어 있다.
AI 프롬프트
자동 승인을 위해 변경을 위험에 따라 분류합니다.
Here is a list of the types of change we make and, for each, our recent history:
[paste change types with counts of changes and failures, if available]. Propose
which types might be candidates for automated approval and which should keep a
human reviewer, with the reasoning and the evidence I would need. Do not invent
failure rates. Mark each suggestion as a proposal for the change owners to
decide. List your assumptions and the data I should collect.
파이프라인이 기록해야 할 증거를 정의합니다.
Our pipeline is [description of stages and tools]. Our change records are kept in
[tool]. We must answer these questions after any deployment: [list questions
from auditors or incident reviewers]. Propose the evidence items the pipeline
should record and link, where to store them, and how to check that they are real
and not empty. Do not state compliance claims or legal requirements. List your
assumptions and questions for our compliance team.
불안정한 테스트 데이터를 분석합니다.
Below is a summary of failing tests and rerun outcomes for [period]: [paste
data without personal information]. Identify tests that fail and then pass on
rerun, group them by area, and propose an order for fixing them. Do not guess
causes that the data does not support. Say what additional data would help. List
your assumptions.
파이프라인 대시보드의 악용 위험을 검토합니다.
We report these pipeline measures: [paste measures and definitions]. Context:
[team size, tools, audience]. For each measure, list realistic ways it could look
better without improving delivery or safety, propose a guardrail, and say how
that guardrail could be gamed. Do not invent benchmark values. List your
assumptions.
AI 스킬
- Change request: 변경 기록과 그 증거에 무엇이 담겨야 하는지 정의할 때 사용합니다.
- Release notes: 파이프라인 출력을 사용자와 운영팀을 위한 노트로 바꿀 때 사용합니다.
- Service Management Metrics skill: 어떤 지표와 그 짝이 되는 방호책을 다루는 주제를 찾을 때 사용합니다.
핵심 정리
- 파이프라인은 운영 서비스이자 통제 수단이므로, 신뢰성, 속도, 그리고 파이프라인이 만드는 증거를 측정하십시오.
- 운영 환경을 파이프라인 기록과 대조해 우회를 측정하고, 파이프라인을 가장 쉬운 길로 만드십시오.
- 잘 이해된 변경만 자동으로 승인하되, 테스트된 정책을 쓰고 나머지에는 사람의 경로를 두십시오.
- 불안정한 테스트를 세어 고치십시오. 초록불이 될 때까지 재실행하면 신뢰와 증거가 무너집니다.
- 증거의 내용을 표본 점검하십시오. 완전성 횟수만으로는 빈 기록으로도 충족시킬 수 있습니다.
참고 문헌과 더 읽을거리
- Wikipedia, Continuous integration.
- Wikipedia, Continuous delivery.
- Wikipedia, Software deployment.
- Wikipedia, DevOps.
- Wikipedia, Test automation.
- Wikipedia, ITIL.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.