개요와 동기

많은 팀이 "배포"와 "릴리스"를 같은 것처럼 씁니다. 그렇지 않으며, 그 차이가 이 주제에서 가장 유용한 발상입니다. 배포는 소프트웨어 배포(software deployment)에 관한 글이 설명하듯 소프트웨어의 한 버전을 보통 운영인 환경에 올리는 행위입니다. 릴리스는 변경이 의도한 사용자에게 제공되는 순간이며, 릴리스 관리(release management)가 관장하려고 존재하는 결정입니다. 둘이 함께 일어나면 배포가 곧 릴리스이고 하나의 숫자가 둘을 설명합니다. 분리되면 팀은 자주 조용히 배포하고 신중하게 릴리스할 수 있습니다.

분리가 중요한 이유는 두 사건이 서로 다른 위험을 지니기 때문입니다. 배포에는 기술적 위험이 있습니다. 새 빌드가 시작되지 않을 수 있고, 의존성을 깨뜨릴 수 있고, 롤백이 필요할 수 있습니다. 릴리스에는 비즈니스와 사용자 위험이 있습니다. 변경이 고객을 혼란스럽게 할 수 있고, 합의된 날짜에 도착해야 할 수 있습니다. 두 사건을 결합하는 팀은 두 위험을 한꺼번에 받아들이며, 이는 큰 변경 배치를 드물게 릴리스하는 쪽으로 몰아갑니다. 분리하는 팀은 기술적 위험은 작은 단계로, 사용자 위험은 통제된 단계로 받아들입니다.

분리의 주된 도구는 기능 플래그라고도 하는 기능 토글(feature toggle)입니다. 새 배포 없이 동작을 켜고 끄는 구성의 스위치입니다. 관련 기법에는 변경을 먼저 소수의 트래픽에 노출하는 카나리 릴리스(canary release)와, 운영 환경 둘을 유지하고 그 사이에서 트래픽을 전환하는 블루-그린 배포(blue-green deployment)가 있습니다. 이 모두가 두 별개의 질문에 답할 수 있게 합니다. 새 버전이 안전하게 돌고 있는가, 그리고 누가 언제 새 동작을 봐야 하는가.

아래 용어가 이 주제에서 반복됩니다.

  • 릴리스는 사용자에게 제공되는 버전 또는 변경의 집합입니다.
  • 배포는 버전을 환경으로 옮기는 것입니다. ITIL 4는 이에 대한 프랙티스로 배포 관리를 명명합니다.
  • 다크 런치(dark launch)는 새 동작이 사용자에게 꺼져 있는 배포입니다.
  • 점진적 롤아웃(progressive rollout)은 노출을 단계적으로 넓히는 릴리스입니다. 예를 들어 1퍼센트, 10퍼센트, 그다음 전체입니다.
  • 배치는 하나의 배포나 릴리스에 함께 출시되는 변경의 집합입니다. 배치 크기는 그 안의 변경 수 또는 변경의 양입니다.
  • 릴리스 리드 타임은 명시된 시작점부터 변경이 사용자에게 제공될 때까지의 경과 시간입니다. 여러 시작점이 흔히 쓰이므로 팀이 시작점을 적습니다.
  • 백분위수는 관측값의 정해진 비율이 그 아래에 속하는 값입니다. 릴리스 리드 타임의 85번째 백분위수는 릴리스의 85퍼센트가 이기는 숫자입니다.

애자일과 ITIL 관점이 여기서 만납니다. 지속적 전달(continuous delivery)을 따르는 애자일 팀은 모든 변경이 언제든 릴리스 가능하기를 원하며, 릴리스를 기술적 행위와 별개로 내리는 비즈니스 결정으로 다룹니다. ITIL 실무자는 릴리스 관리, 배포 관리, 변경 활성화를 변경이 실제 사용으로 옮겨 가는 것을 계획하고, 일정을 잡고, 통제하는 프랙티스로 봅니다. 릴리스 관리가 큰 행사의 달력으로 이해될 때 두 관점은 충돌합니다. 프랙티스가 통제를 파이프라인과 플래그에 내장한 채 요구에 따라 안전하게 릴리스하는 역량으로 이해될 때는 함께 맞습니다.

이 주제는 DORA 연구 프로그램의 다섯 전달 성과 측정치의 정의(주제 2.8, DORA 지표 참조)나 릴리스 후 실패와 재작업의 측정치(주제 4.4, 변경 실패와 재작업 참조), 변경의 양과 승인(주제 4.3, 변경 활성화 지표 참조)을 반복하지 않습니다. 이 주제들이 열어 둔 것을 더합니다. 배포와 구분되는 릴리스를 세는 방법, 끝난 변경이 사용자에게 가기 전에 얼마나 기다리는지, 배치가 얼마나 큰지, 분리를 가능하게 하는 플래그가 깔끔하게 유지되는지입니다.

마지막으로, 릴리스와 배포 건수는 리더십 대시보드에 올리기 솔깃한 숫자이며 굿하트의 법칙(Goodhart's law)이 즉시 적용됩니다(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조). 변경이 사소한 조각으로 쪼개지면 배포 건수가 오릅니다. 라벨이 바뀌면 릴리스 건수가 오릅니다. 그래서 아래 각 지표에는 그것이 휘는 방식과 그 휨을 잡는 방호책이 함께 있습니다.

핵심 원칙

  • 배포와 릴리스는 두 사건입니다. 아키텍처가 허용하는 곳에서는 따로 측정하고, 아직 하나의 사건인 곳은 분명히 말하십시오.
  • 서면 규칙으로 세십시오. 배포는 명명된 환경이 명명된 버전을 성공적인 결과로 받았을 때 셉니다. 릴리스는 의도한 사용자가 변경에 닿을 수 있을 때 셉니다. 규칙을 한 번 쓰고 매번 같은 방식으로 적용하십시오.
  • 사람이 아니라 서비스를 설명하십시오. 건수는 서비스와 그 팀에 속하며 개인에게 속하지 않습니다.
  • 일뿐 아니라 기다림도 측정하십시오. 릴리스 리드 타임에는 창, 승인, 결정을 기다리는 며칠이 들어 있는 경우가 많습니다. 개선은 대개 기다림에 있습니다.
  • 작은 배치가 지렛대입니다. 빈도와 크기는 한 가지의 두 관점입니다. 모든 건수를 각 릴리스가 얼마나 많은 변경을 담았는지의 측정치와 짝지우십시오.
  • 플래그는 유지 비용이 드는 재고입니다. 너무 오래 사는 플래그는 죽은 코드이자 실패의 원천이 되므로, 플래그 포괄률만큼 신중하게 플래그 경과 시간을 추적하십시오.

지표 정의

지표 정의 공식 단위 데이터 원천 ITIL 프랙티스 애자일 대응 주기
배포 빈도 서비스가 운영에 성공적인 배포를 얼마나 자주 받는지 기간 중 서비스의 성공적인 운영 배포 수 / 기간의 일수. 테스트나 스테이징 환경 배포, 실패하거나 롤백된 배포, 변경되지 않은 빌드의 재배포는 제외. 구성 전용 배포는 별도 계열로 셈 일 또는 주당 배포 배포 파이프라인 이벤트 로그 배포 관리 지속적 전달, 작동하는 증분 출시 주
릴리스 빈도 사용자가 닿을 수 있는 변경을 얼마나 자주 받는지 기간 중 릴리스 이벤트 수 / 기간의 일수. 릴리스 이벤트는 변경 또는 변경 그룹이 의도한 사용자에게 닿을 수 있게 되는 순간(전체 사용자에게 켠 플래그, 점진적 롤아웃의 마지막 단계, 플래그가 없는 변경의 배포). 다크 런치, 부분 단계에서 멈춘 롤아웃, 내부 사용자에게만 영향을 주는 플래그 변경은 제외 주 또는 월당 릴리스 파이프라인 로그와 릴리스 달력에 결합한 플래그 서비스 감사 로그 릴리스 관리 증분 끝마다 릴리스, 제공된 잠재적 출시 가능 증분 주, 월 검토
릴리스 리드 타임 끝난 변경이 사용자가 닿을 수 있게 되기 전에 기다리는 시간 시계는 변경이 메인 라인에 병합되고 자동 점검을 통과했을 때(또는 팀이 그렇게 적었다면 첫 커밋에서) 시작해 위에 정의한 대로 변경이 릴리스될 때 멈춤. 기간 중 릴리스된 변경의 중앙값과 85번째 백분위수를 보고. 아직 릴리스되지 않은 변경은 제외하고 기다리는 작업의 경과 시간으로 보고 시간 또는 일 파이프라인과 플래그 감사 로그에 결합한 버전 관리 릴리스 관리, 배포 관리 완료에서 전달까지의 리드 타임, 고객까지의 리드 타임 주, 월 검토
배포-릴리스 간극 배포된 코드가 사용자가 닿을 수 있게 되기 전에 얼마나 오래 어둡게 머무는지 시계는 변경이 운영에 배포될 때 시작해 릴리스될 때 멈춤. 중앙값과 85번째 백분위수를 보고. 배포 시점에 릴리스된 변경은 간극이 0이며 포함. 배포되었다가 릴리스 없이 제거된 변경은 제외하고 따로 셈 시간 또는 일 플래그 감사 로그에 결합한 파이프라인 로그 릴리스 관리, 배포 관리 다크 런치, 배포와 릴리스의 분리 월
릴리스 배치 크기 하나의 릴리스에 함께 출시되는 변경의 양 기간 중 릴리스당 병합된 변경(풀 리퀘스트 또는 작업 항목) 수의 중앙값과 85번째 백분위수. 변경의 단위는 적어 둠. 각 변경은 그것을 닿을 수 있게 만든 릴리스에서 한 번만 셈 릴리스당 변경 릴리스 이벤트에 결합한 버전 관리와 이슈 트래커 릴리스 관리, 변경 활성화 작은 배치, 작업의 수직 슬라이스 릴리스마다, 월 검토
기능 플래그 포괄률 플래그 뒤에서 릴리스된 사용자에게 보이는 변경의 비율 릴리스 시점에 플래그가 있었던, 기간 중 릴리스된 사용자에게 보이는 변경 / 기간 중 릴리스된 모든 사용자에게 보이는 변경. 플래그를 달 수 없는 인프라 변경과 결함 수정은 제외하며 "사용자에게 보임"의 규칙은 적어 둠 퍼센트 이슈 트래커와 릴리스 로그에 결합한 플래그 서비스 릴리스 관리, 변경 활성화 점진적 전달, 실험 주도 개발 월
낡은 플래그 수 목적을 다한 플래그가 얼마나 되는지 지키는 변경이 모든 사용자에게 도달한 뒤 명시된 일수보다 더 오래 코드나 구성에 남아 있는 릴리스 플래그 수. 영구적인 운영 플래그(킬 스위치, 권한 플래그)는 태그하고 제외. 연령 한도는 플래그 유형별로 적어 둠 플래그, 릴리스 플래그의 경과 일수 중앙값 코드 검색에 결합한 플래그 서비스 인벤토리 릴리스 관리, 지식 관리 기술 부채 정리, 플래그 제거라는 완료 기준 월

권장 사항

무엇이 배포이고 무엇이 릴리스인지 적어 두십시오

둘 중 하나를 세기 전에 두 사건을 정의하십시오. 배포는 명명된 버전이 명명된 환경에 도달하고 파이프라인이 성공을 보고했을 때 셉니다. 릴리스는 의도한 사용자가 변경에 닿을 수 있을 때 셉니다. 플래그가 있는 변경에서는 코드가 도착한 순간이 아니라 플래그가 그들에게 켜진 순간입니다. 같은 문장에 제외 항목을 밝히십시오. 테스트 환경, 롤백, 변경되지 않은 빌드의 재배포, 내부 전용 노출입니다.

두 계열을 나란히 보고하십시오

배포 빈도와 릴리스 빈도를 한 차트에 보여 주십시오. 선이 일치하는 곳에서는 서비스가 여전히 두 사건을 결합하고 있습니다. 배포가 릴리스보다 한참 앞서는 곳에서는 팀이 분리하기 시작한 것이며, 선 사이의 거리가 역량의 징후입니다. 결합된 단일 숫자는 이를 가리며, 팀이 사용자에게 결코 보이지 않는 높은 빈도를 주장하게 합니다.

명시된 시작점부터 사용자까지 릴리스 리드 타임을 측정하십시오

시계 시작을 한 번 고르고 유지하십시오. 첫 커밋에서 시작하면 전체 여정이 보이고, 메인 라인으로의 병합에서 시작하면 릴리스 파이프라인과 그 승인이 분리됩니다. 차트에 명시되고 조용히 바뀌지 않는 한 어느 쪽이든 받아들일 수 있습니다. 시계를 배포가 아니라 릴리스에서 끝내십시오. 그렇지 않으면 지표가 사용자가 기다린 것을 측정하지 않게 됩니다.

배치 크기를 빈도 옆에서 추적하십시오

모든 빈도를 크기와 짝지우십시오. 팀은 변경 하나를 독립적으로 유용하지 않은 조각으로 잘라 배포 건수를 올릴 수 있고, 실제 흐름은 그대로인 채 건수만 오릅니다. 배치 크기의 중앙값과 85번째 백분위수는 조각이 진짜인지 보여 줍니다. 작은 배치는 리뷰, 테스트, 되돌리기가 쉬우며, 빈도가 대용하는 이점이 바로 그것입니다.

점진적 롤아웃 단계를 이벤트로 다루십시오

롤아웃의 각 단계를 타임스탬프와 함께 기록하십시오. 1퍼센트에서 10퍼센트, 전체로 가는 롤아웃은 세 개의 타임스탬프를 주며 각각이 멈출 기회입니다. 단계, 노출 비율, 다음 단계를 허용한 상태 점검의 결과를 포착하십시오. 이렇게 하면 진짜 신호 때문에 멈춘 롤아웃과 정체된 롤아웃을 구분할 수 있습니다.

소유자와 만료일이 있는 플래그 인벤토리를 유지하십시오

모든 릴리스 플래그에 생성 시 소유자, 목적, 계획된 제거 날짜를 주십시오. 플래그 서비스나 단순한 레지스트리가 이를 담을 수 있습니다. 레지스트리를 매달 검토하고 낡은 플래그 수를 계산하십시오. 전체 롤아웃 뒤에 켜져 있는 플래그는 여전히 분기하는 죽은 코드입니다. 제거를 변경의 완료의 일부로 다루십시오.

플래그를 유형별로 태그하십시오

임시 릴리스 플래그와 영구 운영 플래그를 분리하십시오. 킬 스위치와 권한 플래그는 설계상 영구적이고, 릴리스 플래그는 전체 롤아웃 뒤 제거되어야 합니다. 유형을 섞으면 낡은 플래그 수에 잡음이 생기고 팀이 인시던트 중에 누군가 필요로 하는 스위치를 삭제하도록 부릅니다. 플래그를 만들 때 유형을 요구하십시오.

릴리스를 인시던트 및 변경 레코드에 연결하십시오

인시던트와 변경에 릴리스 식별자를 기록하십시오. 릴리스 이벤트는 인시던트 도구에서 추적할 수 있어야 인시던트의 원인을 지난주에 배포되었든 오늘 아침에 켜졌든 릴리스된 변경에 연결할 수 있습니다. 연결이 없으면 불안정성 측정치가 실패를 배포 날짜에 귀속시키고 플래그 변경이 일으킨 실패를 놓칩니다. 운영 환경의 플래그 변경은 ITIL 의미의 변경이며, 표준 변경으로 사전 승인되더라도 변경 활성화에 보여야 합니다(주제 4.3, 변경 활성화 지표 참조).

악용 방식과 방호책

지표 악용되는 방식 짝을 이루는 방호책 지표 또는 실천
배포 빈도 변경 하나를 사소한 배포로 쪼갬, 변경되지 않은 빌드를 재배포함, 스테이징 배포를 셈, 구성 전용 배포를 주 계열에 함께 셈 릴리스 배치 크기와 사용자에게 보이는 변경이 있는 배포의 비중, 별도의 구성 계열, 옆에 변경 실패율
릴리스 빈도 배포를 릴리스로 재라벨링함, 내부 직원에게 켠 플래그를 릴리스로 셈, 목표를 맞추려고 빈 변경이나 겉모습 변경을 릴리스함, 롤아웃의 각 단계를 별도 릴리스로 셈 릴리스의 서면 정의, 분기마다 릴리스 표본을 사용자에게 보이는 변경과 대조, 배치 크기와 고객 대면 변경 건수
릴리스 리드 타임 병합 대신 승인처럼 시계를 늦게 시작함, 오래 기다린 변경을 "차단됨"으로 제외함, 중앙값을 끌어내리려고 사소한 변경을 먼저 릴리스함, 시계를 배포에서 끝냄 85번째 백분위수와 기다리는 가장 오래된 변경의 경과 시간, 고정된 서면 시작, 가장 느린 10퍼센트 변경의 분기별 검토
배포-릴리스 간극 릴리스를 일찍 기록하려고 형식적 사용자에게 플래그를 켬, 오래 어두운 코드를 "릴리스 아님"이라 불러 표본에서 뺌, 긴 간극을 피하려고 어두운 코드를 삭제함 릴리스 시점의 노출 비율(릴리스로 셈하는 임계값), 배포되었다가 릴리스 없이 제거된 변경의 건수, 낡은 플래그 수
릴리스 배치 크기 인위적인 풀 리퀘스트로 작업을 쪼갬, 릴리스 수를 줄이려고 무관한 변경을 하나로 합침, 묶음의 큰 변경만 셈 맥락 측정치로서 줄이나 파일 단위 변경 크기의 중앙값, 무관한 묶음을 찾는 릴리스 표본 검토, 옆에 빈도와 크기
기능 플래그 포괄률 비율을 올리려고 사소한 변경에 플래그를 추가함, 안전한 변경에만 플래그를 달고 위험한 것은 플래그 없이 출시함, 실제로는 끌 방법이 없는 플래그를 만듦 플래그 표본의 플래그 끄기 시험 결과, 낡은 플래그 수, 플래그가 없었던 인시던트 원인
낡은 플래그 수 낡은 수에서 벗어나려고 릴리스 플래그를 영구로 다시 태그함, 코드에는 둔 채 플래그 레코드를 삭제함, 검토 없이 만료일을 연장함 레지스트리에 대한 주기적 코드 검색, 플래그 유형의 모든 변경 검토, 가장 오래된 릴리스 플래그의 경과 시간

건강한 수치는 플래그를 쓰는 서비스에서 배포가 릴리스보다 앞서고, 간극이 적당하고, 배치 크기가 작고 꾸준하며, 리드 타임의 85번째 백분위수가 중앙값보다 크게 높지 않은 모습입니다. 플래그 포괄률은 위험한 변경에서 높고 낡은 플래그 수는 낮거나 줄고 있습니다. 커지는 배치 크기와 함께 높은 빈도, 늘어나는 영구 플래그 수와 함께 0인 낡은 플래그 수처럼 너무 좋아 보이는 수치는 축하하기 전에 표본 감사를 받을 가치가 있습니다.

상충 관계: 장점과 단점

접근 방식 강점 약점
지속적으로 배포하고 플래그로 릴리스 배포당 작은 기술적 위험, 릴리스 시점이 비즈니스 선택이 됨, 빠른 끄기 플래그 규율과 도구가 필요함, 시험하고 제거해야 하는 코드 경로가 늘어남
배포와 릴리스 결합 설명하기 쉬움, 세어야 할 사건이 하나, 플래그 부채 없음 모든 릴리스가 기술적 위험과 사용자 위험을 함께 지니며 큰 배치를 드물게 릴리스하도록 부추김
정기 릴리스 열차 지원 팀과 규제 기관에 예측 가능함 변경이 다음 열차를 기다림, 건수가 역량이 아니라 달력을 반영함
비율에 따른 점진적 롤아웃 나쁜 릴리스의 영향을 제한함, 각 단계에서 증거를 만듦 좋은 텔레메트리와 상태 점검이 필요함, 한동안 혼합된 버전이 나란히 돌 수 있음
배포와 릴리스 모두 세기 분리와 기다림을 보여 줌 플래그 감사 로그나 릴리스 레코드를 파이프라인에 결합해야 함

아직 배포를 릴리스에서 분리할 수 없는 서비스, 예를 들어 앱 스토어 심사를 통해 배포되는 모바일 애플리케이션은 할 수 있는 것을 측정해야 합니다. 릴리스 빈도, 릴리스 리드 타임, 배치 크기를 측정하고 스토어 심사 시간을 별도의 대기로 보고하십시오.

팀과 논의할 질문

1. 우리는 "배포"와 "릴리스"를 같은 사건에 쓰고 있으며, 그것이 실제 일어나는 일과 맞나요? 세 사람에게 마지막으로 라이브된 변경을 설명하게 하고 코드가 도착한 때와 사용자가 처음 쓸 수 있게 된 때를 기록하십시오. 진행자는 그룹이 각 용어에 대한 한 문장에 합의하고, 기존 대시보드 숫자가 두 사건 중 어느 것을 측정하는지 결정하도록 도와야 합니다.

2. 끝난 변경이 릴리스를 기다린 가장 긴 시간은 얼마이며, 왜인가요? 사용자가 아직 닿을 수 없는 가장 오래된 병합 변경을 뽑으십시오. 병합부터 지금까지의 경로를 추적하고 그 사이의 모든 기다림을 적으십시오.

3. 배포 건수가 두 배가 된다면 좋은 소식이라고 하기 전에 무엇을 확인할까요? 그룹에게 더 많은 가치가 사용자에게 가지 않고도 건수가 오를 수 있는 방법을 명명해 달라고 하십시오. 배치 크기, 사용자에게 보이는 변경이 있는 배포의 비중, 실패와 재작업 수치를 보십시오. 진행자는 누군가 목표를 정하기 전에 이 점검 중 대시보드에 이미 있는 것과 추가해야 할 것을 기록해야 합니다.

4. 우리 플래그 중 삭제하기 두려운 것은 무엇이며, 그것은 무엇을 말해 주나요? 플래그 레지스트리를 훑어 가장 오래된 셋을 고르십시오. 각각의 소유자, 지키는 것, 제거하면 어떻게 될지 물으십시오. 삭제에 대한 두려움은 대개 누락된 테스트, 누락된 소유자, 누락된 목적 기록을 뜻합니다. 적어도 하나의 제거 날짜와 제거를 안전하게 만들 점검에 합의하십시오.

5. 변경이 언제 릴리스될지 누가 결정하며, 필요한 정보를 가지고 있나요? 릴리스가 비즈니스 선택인 곳에서는 결정하는 사람이 롤아웃 상태, 상태 신호, 지원 준비 상태를 볼 수 있어야 합니다. 그 사실들이 오늘 어디에 있는지, 결정권자가 릴리스를 얼마나 빨리 되돌릴 수 있는지 물으십시오.

6. 지난 분기에 가장 나빴던 릴리스는 무엇이며, 어떤 측정치가 경고했을까요? 문제를 일으킨 릴리스 하나를 골라 타임라인을 함께 읽으십시오. 배치가 컸는지, 간극이 길었는지, 롤아웃에 단계가 있었는지, 플래그가 피해를 제한할 수 있었는지 물으십시오. 그 결과 추가할 측정치 하나나 조일 임계값 하나를 고르십시오.

네 가지 관점

제품 및 전달 팀

전달 팀은 이 측정치로 자기 파이프라인과 플래그가 실제로 노출에 대한 통제권을 주는지 봅니다. 가장 유용한 관점은 간극, 배치 크기, 기다리는 가장 오래된 변경의 경과 시간입니다. 각각이 팀이 바꿀 수 있는 무언가를 가리키기 때문입니다.

서비스 및 운영 팀

운영과 지원 팀은 운영에서 무엇이 언제 바뀌는지를 신경 씁니다. 릴리스 이벤트와 플래그 변경이 그들에게 보여야 하며, 이상적으로는 모든 인시던트에 릴리스 식별자가 있어야 합니다. 단계적 롤아웃과 빠른 끄기는 완전한 복구가 필요한 인시던트의 수를 줄이며, 이 측정치는 운영 팀이 일을 더 차분하게 만드는 통제를 요청하도록 도와줍니다.

리더십과 거버넌스

리더는 각 서비스의 추세와 분포, 그리고 간단한 질문의 답을 요청해야 합니다. 끝난 변경이 사용자에게 도달하는 데 얼마나 걸리고 얼마나 안전한가. 팀 전반의 배포 빈도 목표는 쪼개기와 재라벨링을 부르므로, 리드 타임 분포나 알려진 기다림의 제거 같은 성과에 대한 목표를 선호하십시오. 거버넌스는 플래그 감사 추적이 완전한 한 저위험 플래그 변경을 사전 승인함으로써 릴리스 승인의 부하를 줄일 수 있습니다(주제 4.3, 변경 활성화 지표 참조).

고객과 사용자

고객은 배포가 아니라 릴리스를 봅니다. 수정이 곧 도착하고, 새 동작이 그들을 놀라게 하지 않고, 나쁜 변경이 빨리 되돌려질 수 있는 것을 신경 씁니다. 두 사건을 분리하는 팀은 고객에게 기능에 대한 조기 접근을 줄 수 있고, 지킬 수 있는 날짜를 공지할 수 있고, 나머지를 잃지 않고 기능 하나를 롤백할 수 있습니다. 이 측정치를 고객 대면 측정치와 짝지우십시오(주제 5.3, 가용성 지표와 주제 6.1, 고객 만족도 지표 참조).

실제 적용: 서비스 관리 사례

한 지역 온라인 소매업체가 한 제품 팀이 소유하고 플랫폼 팀과 서비스 데스크가 지원하는 상품 검색 서비스를 운영합니다. 서비스는 파이프라인으로 운영에 배포하며 6개월 전에 도입한 플래그 서비스가 있습니다. 아래 모든 숫자는 예시입니다.

지난 분기에 팀은 운영 배포를 52건, 주당 약 네 건 했습니다. 변경이 모든 의도한 사용자에게 닿을 수 있게 된 순간으로 센 릴리스 빈도는 같은 분기에 11건, 주당 약 한 건이었습니다. 병합부터 릴리스까지의 릴리스 리드 타임 중앙값은 9일이고 85번째 백분위수는 21일이었습니다. 배포-릴리스 간극의 중앙값은 6일이었습니다. 릴리스 배치 크기의 중앙값은 변경 3건이고 85번째 백분위수는 14건이었습니다. 사용자에게 보이는 변경의 플래그 포괄률은 58퍼센트였고, 릴리스 플래그 17개가 전체 롤아웃 뒤 30일 넘게 지났습니다.

악용 위험은 이미 보입니다. 일부 배포는 구성 전용이었고 파이프라인이 각각을 배포로 셌으므로, 대시보드는 이제 별도의 구성 계열을 보여 주고 월간 검토는 사용자에게 보이는 변경이 있는지 배포 10건을 표본 검토합니다. 지역 관리자가 배포 건수를 보고 팀에게 다른 팀의 수치에 맞춰 올리라고 요청합니다. 팀 리더는 목표에 저항하고 대신 월간 검토에 전체 숫자 집합을 가져옵니다. 검토에서 릴리스가 주간 마케팅 및 지원 브리핑을 기다리기 때문에 간극이 길고, 17개의 낡은 플래그 중 네 개가 아무도 시험하지 않은 코드 경로를 지키고 있으며, 배치 크기의 85번째 백분위수는 연휴 동결 전에 무관한 변경을 묶은 몇몇 릴리스에서 나왔음을 발견합니다.

결정 로그에 기록된 결정은 네 부분입니다. 지원과 마케팅이 주 2회의 더 짧은 브리핑에 참여해 릴리스 결정이 더 이상 주간 시간대를 기다리지 않게 합니다. 모든 릴리스 플래그에 소유자와 제거 날짜를 주고, 시험되지 않은 낡은 플래그 네 개를 앞으로 2주 안에 제거합니다. 무관한 변경을 묶은 릴리스는 릴리스 레코드에 명시된 이유가 필요합니다. 그리고 팀은 공통 배포 목표를 거절하고 대신 각 서비스의 릴리스 리드 타임 분포와 플래그 위생의 공유 관점을 제시합니다. 변경 관리자는 파이프라인 점검을 통과한 플래그 변경을 표준 변경으로 다루기로 합의하고 다음 분기에 검토합니다. 다음 분기(예시)에 릴리스 리드 타임 중앙값은 5일로 줄고, 낡은 플래그 수는 6개로 줄고, 변경 실패율은 안정적이어서 실험이 계속됩니다.

애자일, AI, 자동화, 분석

애자일

배포를 릴리스에서 분리하면 팀이 작은 변경을 지속적으로 출시하고 이해관계자가 준비되었을 때 릴리스할 수 있습니다. 플래그 위생을 정기적으로 검토하십시오. 주의할 점은 배포를 세면 변경을 쪼개는 것이 보상받는다는 것입니다.

AI

AI 지원 코딩은 배포 건수와 배치 크기를 높일 수 있습니다. 빈도를 실패한 배포 복구 및 낡은 플래그 수와 짝지우고, AI 지원 변경을 데이터에 표시하십시오. 주의할 점은 재작업도 함께 늘어나는 더 많은 배포는 진척이 아니라는 것입니다.

자동화

배포와 릴리스를 파이프라인 이벤트에서 세고, 플래그 정리 알림을 자동화하십시오. 파이프라인을 자체 실패율로 측정하십시오. 주의할 점은 파이프라인 밖에서 이루어지는 수동 릴리스가 데이터에서 사라진다는 것입니다.

분석

빈도를 리드 타임, 배치 크기, 배포와 릴리스 사이의 간극과 함께 보여 주십시오. 이는 사용자까지의 경로가 어디서 느린지에 정보를 줍니다. 주의할 점은 배포의 정의가 팀마다 다르다는 것입니다.

부문별 관점

스타트업. 스타트업은 서비스가 하나이고 코드에 플래그 라이브러리가 있는 경우가 많아서 배포와 릴리스를 싸게 분리할 수 있습니다. 만료일이 있는 플래그의 단순한 레지스트리를 유지하고, 백분위수를 신뢰하기 전에 충분한 양을 기다리십시오.

소규모 사업. 소규모 사업은 공급업체가 릴리스를 통제하는 패키지 또는 구매 소프트웨어를 운영할 수 있습니다. 유용한 측정치는 공급업체의 릴리스와 사업이 도입하기까지의 시간, 주요 버전에 함께 도착하는 변경의 배치입니다. 그 사이의 기다림이 보이도록 공급업체의 릴리스 날짜와 자체 배포 날짜를 기록하십시오.

대기업. 대기업은 서로 다른 릴리스 방식의 많은 서비스, 중앙 변경 프로세스, 공유 환경에 직면합니다. 주된 일은 팀과 공급업체 간에 배포와 릴리스의 정의를 합의하고 차이를 존중하는 상위 집계를 유지하는 것입니다. 거버넌스에는 분포와 추세를 쓰고 플래그 플랫폼을 소유자가 있는 공유 서비스로 다루십시오.

정부 및 공공 부문. 릴리스가 고정된 날짜, 법률, 조달 주기, 보증 관문에 묶이는 경우가 많으므로 릴리스 빈도가 정당한 이유로 낮을 수 있습니다. 배포 빈도와 배포-릴리스 간극은 위험의 얼마를 일찍 감수했고 얼마를 날짜까지 기다리는지 여전히 보여 줄 수 있습니다. 외부 관문의 기다림을 팀 자체 파이프라인 시간과 따로 보고하십시오.

비즈니스 케이스: 동기, ROI, TCO

이 측정치의 동기는 변경을 끝낸 때와 그 가치를 전달하는 때 사이의 위험과 지연을 줄이는 것입니다. 드물게 릴리스되는 큰 배치는 사건당 더 많은 변경을 담고 있으므로 실패를 진단하기 어렵고 되돌리기도 어렵습니다. 배포를 릴리스에서 분리하면 팀이 기술적 위험은 일찍 작은 양으로, 사용자 위험은 의도적으로 감수할 수 있습니다. 측정치는 분리가 실재하는지, 변경이 어디서 기다리는지 보여 줍니다.

비용은 적당합니다. 배포와 릴리스 이벤트를 수집하려면 파이프라인 로그와 플래그 감사 로그를 버전 관리와 이슈 트래커에 결합해야 하며, 일회성 통합 뒤에 가끔의 유지가 따릅니다(주제 1.5, 데이터 원천과 계측 참조). 플래그 실천 자체에도 운영 비용이 있습니다. 플랫폼이나 라이브러리, 레지스트리, 플래그가 달린 변경의 양쪽 경로 테스트, 만료된 플래그의 정리입니다. 주된 숨은 비용은 플래그 부채이며, 낡은 플래그 수가 그것을 보이게 유지합니다.

수익은 대부분의 팀이 자체 데이터에서 관찰할 수 있는 패턴을 따릅니다. 더 짧은 릴리스 리드 타임은 변경이 사용자에게 도움이 되는지에 대한 더 빠른 피드백 고리를 뜻합니다. 더 작은 배치는 더 쉬운 진단과 더 쉬운 되돌림을 뜻합니다. 더 짧은 배포-릴리스 간극은 끝난 일이 실현되지 않은 채 앉아 있는 시간이 줄어든다는 뜻입니다. 가치의 수치를 지어내지 마십시오. 몇 주 동안 어둡게 앉아 있던 변경의 자체 사례와 자체 측정치의 추세를 쓰십시오.

안티패턴과 함정

  • 모든 팀에 배포 빈도 목표 세우기. 쪼개기와 재라벨링을 부릅니다. 더 좁은 리드 타임 분포 같은 성과 목표를 정하고 빈도는 따라오게 하십시오.
  • 릴리스 열차를 역량의 증거로 취급하기. 고정된 달력은 꾸준한 건수를 주고 기다리는 일의 경과 시간을 가립니다. 사용자가 닿을 수 없는 가장 오래된 병합 변경의 경과 시간을 추적하십시오.
  • 구성 변경을 주 계열의 배포로 세기. 숫자를 부풀립니다. 별도 계열을 두고 주 계열 옆에 보여 주십시오.
  • 플래그를 절대 제거하지 않기. 코드에 죽은 분기와 시험되지 않은 조합이 쌓입니다. 모든 릴리스 플래그에 소유자와 제거 날짜를 주고 제거를 완료의 일부로 다루십시오.
  • 기록 없이 운영의 플래그 바꾸기. 플래그 변경은 운영 동작에 대한 변경입니다. 감사 로그로 보내고 변경 활성화에 보이게 하십시오.

성숙도 모델

차원 1 시작 2 발전 3 표준화 4 관리 5 조율
정의와 시계 "배포"와 "릴리스"를 뒤섞어 쓰고 사람마다 다르게 셈 몇몇 팀이 자체 정의를 적어 둠 시계와 제외 항목을 포함한 배포와 릴리스의 서면 정의 하나를 지표 레지스트리에 둠 정의 변경을 기록해 차트에 표시하고 분기마다 표본을 점검함 결정에 정보를 주지 못하면 공급업체 및 거버넌스와 정의를 공동으로 개정함
배포와 릴리스의 분리 모든 배포가 릴리스임 일부 팀이 위험한 변경에 플래그나 단계적 롤아웃을 씀 플래그와 단계적 롤아웃이 표준 선택지이며 릴리스 이벤트를 기록함 간극, 배치 크기, 롤아웃 단계를 추세로 검토함 관련 서비스의 릴리스 시점을 팀과 공급업체 간에 조율함
데이터 수집 티켓과 채팅에서 수작업으로 건수를 취합함 일부 서비스의 파이프라인 데이터, 릴리스는 수작업으로 기록 대부분의 서비스에 배포, 릴리스, 플래그 변경을 자동으로 수집함 데이터 품질(연결률, 표본 감사)을 측정해 추세로 봄 합의된 인터페이스로 팀과 공급업체 간에 이벤트를 공유함
플래그 위생 인벤토리 없음 일부 팀의 비공식 목록 모든 릴리스 플래그의 소유자, 유형, 만료일이 있는 레지스트리 낡은 플래그 수를 추세로 보고 제거가 완료의 일부이며 확인됨 자동 만료 알림이 있는 공유 서비스로 플래그 플랫폼을 관리함
숫자의 활용 단일 건수로 위에 보고함 팀이 가끔 자기 차트를 봄 소유 팀이 실패와 재작업 수치 옆에서 매월 검토함 추세가 방호책과 함께 자금 투입 개선으로 이어짐 분포와 추세가 조직 전반의 플랫폼 투자와 변경 정책에 정보를 줌

체크리스트

  • "배포"와 "릴리스"를 각각의 시계 이벤트와 제외 항목과 함께 서면으로 정의했다.
  • 운영에 대한 배포를 테스트 환경을 제외하고 파이프라인에서 자동으로 수집한다.
  • 릴리스 이벤트를 플래그 감사 로그, 롤아웃 단계, 릴리스 레코드에서 수집한다.
  • 릴리스 리드 타임이 명시된 시계 시작을 쓰고 중앙값과 85번째 백분위수를 보고한다.
  • 배포-릴리스 간극과 릴리스 배치 크기를 빈도 옆에 보고한다.
  • 구성 전용 배포는 별도 계열에 나타난다.
  • 모든 릴리스 플래그에 레지스트리의 소유자, 유형, 만료일이 있다.
  • 낡은 플래그를 매월 검토하고 제거가 완료의 일부이다.
  • 인시던트와 변경 레코드에 릴리스 식별자가 나타난다.
  • 분기마다 배포와 릴리스의 표본을 정의에 비춰 감사한다.
  • 가장 긴 기다림과 연결된 개선 실험 하나가 검토 날짜와 함께 진행 중이다.

AI 프롬프트

서비스의 배포와 릴리스 정의 초안을 작성합니다.

[서비스 이름]의 릴리스 및 배포 지표를 정의하고 있습니다. 도구는 [버전 관리 호스트,
CI/CD 시스템, 플래그 서비스, 이슈 트래커, ITSM 도구]입니다. 릴리스 방식은 [지속적,
주간 열차, 월간, 스토어 심사, 기타]입니다. 배포 빈도, 릴리스 빈도, 릴리스 리드
타임, 배포-릴리스 간극, 릴리스 배치 크기, 기능 플래그 포괄률, 낡은 플래그 수에
대해, 시계가 어디서 시작하고 멈추는지, 무엇을 세고 제외하는지, 데이터 원천,
해소해야 할 모호함 하나를 밝힌 정의를 작성해 주세요. 기준 값을 지어내거나 우리
실천이 발간된 성과 구간과 맞는다고 주장하지 마세요. 가정한 내용과 정의를
완성하기 위해 내가 답해야 할 질문을 나열해 주세요.

릴리스 지표 집합의 악용 위험을 점검합니다.

릴리스 및 배포 지표를 계산하고 보고하는 방식입니다: [각 지표, 데이터 원천, 보고
방식 설명]. 청중은 [팀, 리더십, 또는 거버넌스 기구]이고 목표는 [목표 또는 없음]
입니다. 각 지표에 대해 실제 개선 없이 숫자가 부풀려지거나, 숨겨지거나, 왜곡될
수 있는 그럴듯한 방법을 나열하고, 그것을 잡아낼 짝이 되는 방호책 지표나 실천을
제안해 주세요. 통계를 지어내지 마세요. 가정한 내용과 더 정확해지기 위해 필요한
정보를 나열해 주세요.

배포, 릴리스, 플래그의 데이터 내보내기를 분석합니다.

다음 필드가 있는 작은 내보내기를 붙여 넣겠습니다: [필드 목록, 예: 배포 id, 배포
시각, 결과, 변경 id, 플래그 이름, 플래그 켠 시각, 노출 비율, 릴리스 시각]. 내용은
[서비스 이름]의 [시작일]부터 [종료일]까지 배포 [개수]건과 플래그 [개수]개입니다.
릴리스 리드 타임과 배포-릴리스 간극의 중앙값과 85번째 백분위수, 배치 크기
분포, 전체 롤아웃 후 [연령 한도]일을 넘긴 플래그 목록을 각각의 뒤에 있는 건수와
함께 계산해 주세요. 연결이 없거나 타임스탬프가 의심스러운 레코드를 표시해
주세요. 데이터를 넘어 외삽하거나 결과를 외부 벤치마크와 비교하지 마세요.
가정한 내용과 결론을 제한하는 데이터 품질 문제를 나열해 주세요.

플래그 정리와 릴리스 대기 실험을 계획합니다.

우리의 가장 긴 릴리스 대기는 [날짜 범위와 건수를 포함한 대기 설명]이며, 플래그
레지스트리에는 릴리스 플래그 [개수]개가 있고 그중 [개수]개가 만료일을 지났습니다.
제약은 [제약, 예: 규제된 릴리스, 스토어 심사, 공유 테스트 환경]입니다. 4~6주짜리
작은 실험 세 가지를 제안해 주세요. 각각 가설, 효과를 관찰할 방법, 방호책 지표,
위험을 포함해 주세요. 기대 개선 수치를 지어내지 마세요. 가정한 내용과 시작하기
전에 확인해야 할 것을 나열해 주세요.

AI 스킬

핵심 정리

  • 배포는 버전을 환경에 올리는 것이고 릴리스는 변경을 사용자가 닿을 수 있게 하는 것입니다. 가능한 곳에서는 둘을 따로 측정하십시오.
  • 릴리스 리드 타임은 명시된 시작점에서 릴리스로 끝내고 중앙값과 85번째 백분위수로 보고해야 합니다.
  • 배포-릴리스 간극과 배치 크기는 분리가 실재하는지 보여 주며 빈도를 쪼개기와 재라벨링으로부터 지킵니다.
  • 기능 플래그는 분리를 가능하게 하면서 비용이 드므로, 소유자와 만료일로 포괄률과 낡은 플래그를 추적하십시오.
  • 서면 규칙으로 세고, 릴리스를 인시던트와 변경에 연결하고, 서비스를 다른 팀이 아니라 자기 이력과 비교하십시오.

참고 문헌과 더 읽을거리

  1. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  2. Humble, J., and Farley, D., Continuous Delivery: Reliable Software Releases through Build, Test, and Deployment Automation, Addison-Wesley, 2010.
  3. DORA, DORA's software delivery performance metrics, Google Cloud, https://dora.dev/guides/dora-metrics/
  4. Hodgson, P., "Feature Toggles (aka Feature Flags)," martinfowler.com, 2017, https://martinfowler.com/articles/feature-toggles.html
  5. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  6. Wikipedia, Software deployment.
  7. Wikipedia, Release management.
  8. Wikipedia, Feature toggle.
  9. Wikipedia, Canary release.
  10. Wikipedia, Blue-green deployment.
  11. Wikipedia, Continuous delivery.
  12. Wikipedia, Goodhart's law.