개요와 동기

DORA 지표는 소프트웨어 전달 실천이 팀과 조직의 성과와 어떻게 연결되는지 오랫동안 연구해 온 DevOps Research and Assessment(DORA)의 연구 프로그램에서 나왔습니다. 니콜 포스그렌, 제즈 험블, 진 킴이 2018년에 책 Accelerate로 초기 결과를 발표했고, 프로그램은 구글 클라우드 아래에서 연례 보고서와 함께 이어지고 있습니다. 연구는 전달의 어떤 측정 가능한 측면이 좋은 성과를 예측하는지 물었고, 전달 파이프라인과 인시던트 기록에서 계산할 수 있는 소수의 소프트웨어 전달 성과 측정치로 정리되었습니다.

2026년 10월 현재 DORA 웹사이트는 두 그룹으로 나뉜 다섯 가지 소프트웨어 전달 성과 지표를 설명합니다. 셋은 변경이 얼마나 빨리 움직이는지를 뜻하는 처리량을 설명합니다. 변경 리드 타임, 배포 빈도, 실패한 배포 복구 시간입니다. 둘은 릴리스가 얼마나 자주 문제를 일으키는지를 뜻하는 불안정성을 설명합니다. 변경 실패율과 배포 재작업률입니다. 이전 발간물은 실패한 배포 복구 시간 대신 "서비스 복구 시간"을 두고 재작업률이 없는 네 가지 지표를 설명했습니다. 정의는 해마다 다듬어졌으므로, 어느 판의 지침을 따르는지와 마지막으로 확인한 날짜를 항상 밝히십시오.

지표를 유명하게 만든 연구 결과는 속도와 안정성이 팀 전반에서 함께 움직이는 경향이 있다는 것입니다. 자주 배포하고 리드 타임이 짧은 팀이 평균적으로 그 대가로 더 많은 실패를 겪지는 않았습니다. 이는 더 빨리 간다는 것은 더 많이 망가뜨린다는 뜻이라는 오래된 가정을 뒤집습니다. 이는 설문과 파이프라인 데이터의 패턴이지 법칙이 아니며, 지속적 전달(continuous delivery), 작은 배치, 자동 테스트, 빠른 피드백 같은 실천에 투자한 팀에 대해 성립합니다. 이 지표들은 그 기저 역량의 신호입니다. 역량 자체가 아닙니다.

아래 용어가 이 주제에서 반복됩니다.

  • 배포는 소프트웨어의 한 버전을 주어진 환경에 올리는 행위입니다. 이 주제는 달리 말하지 않으면 운영 환경을 뜻합니다.
  • 변경은 소프트웨어에 대한 수정의 집합이며, 흔히 함께 출시되는 하나 이상의 커밋입니다. ITIL 4에서 이 단어는 서비스에 영향을 줄 수 있는 모든 추가, 수정, 제거를 아우르는 더 넓은 의미를 가지며, 이를 관장하는 ITIL 프랙티스는 변경 활성화입니다.
  • 실패한 배포는 운영 환경에서 서비스 저하나 장애를 일으키고 핫픽스, 롤백, 패치 같은 복구가 필요한 배포입니다. 연구가 지역 정의에 맡기므로 팀이 정확한 규칙을 적습니다.
  • 롤백은 운영 환경을 이전의 알려진 정상 버전으로 되돌리는 행위입니다.
  • 백분위수는 관측값의 정해진 비율이 그 아래에 속하는 값입니다. 리드 타임의 85번째 백분위수는 변경의 85퍼센트가 이기는 숫자입니다.

애자일과 ITIL 관점은 이 지점에서 만납니다. 애자일 팀은 이 숫자를 자신의 엔지니어링 실천과 업무 합의에 대한 피드백으로 봅니다. ITIL 실무자는 변경 활성화, 릴리스 관리, 배포 관리, 인시던트 관리의 성과 증거로 봅니다. 긴장은 대개 통제에 관한 것입니다. 전통적인 변경 승인 위원회는 출시 전에 각 변경을 점검해 실패를 줄이려 합니다. DORA 연구는 무거운 외부 승인이 더 나은 안정성과 연관되지 않았고, 동료 리뷰, 자동 테스트, 작은 변경이 연관되었음을 발견했습니다. ITIL 4에서 변경 활성화는 표준, 정상, 긴급 변경을 구분하고 저위험 변경이 사전 승인되도록 허용해 이를 수용합니다(주제 4.3, 변경 활성화 지표 참조).

이 지표들에는 연구 자체가 밝히는 한계도 있으며, 이 주제의 실용적 조언은 그에 기반합니다. 이 지표는 하나의 애플리케이션이나 서비스의 전달 시스템을 설명하고, 개선 대화를 위한 것이며, 출시되는 일이 가치 있는지에 대해서는 아무 말도 하지 않습니다. 팀이 엉뚱한 것을 출시하면서 훌륭한 숫자를 낼 수 있습니다. 그래서 이 주제는 흐름 측정치(주제 2.1, 흐름 측정치 참조), 서비스 신뢰성 측정치(주제 5.2, SLI, SLO, 오류 예산 참조), 성과 측정치(주제 1.3, 산출물보다 성과: 무엇을 측정할지 고르기 참조) 위가 아니라 그 옆에 놓입니다.

마지막으로, 이 지표들은 리더십 대시보드에 나타나는 순간 굿하트의 법칙(Goodhart's law)을 부릅니다. 배포 빈도는 부풀리기 가장 쉽고 실패한 배포 건수는 숨기기 가장 쉽습니다. 그래서 아래의 모든 권장 사항은 측정치를 그것이 왜곡될 수 있는 방식에 대한 점검과 짝짓습니다(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조).

핵심 원칙

  • 기억이 아니라 이벤트에서 계산하십시오. 배포는 파이프라인에서, 실패와 복구는 인시던트 기록에서, 리드 타임은 파이프라인에 결합한 버전 관리에서 가져옵니다(주제 1.5, 데이터 원천과 계측 참조).
  • 속도와 안정성을 하나의 그림으로 읽으십시오. 실패가 늘어나는 빠른 팀이나 분기마다 출시하는 안정적인 팀은 어느 한쪽 절반만으로는 보이지 않는 이야기를 합니다.
  • 사람이 아니라 서비스나 애플리케이션을 측정하십시오. 분석 단위는 전달 시스템입니다. 개인은 혼자 배포하지 않으며, 순위를 매기면 데이터가 망가집니다.
  • 팀을 다른 팀이 아니라 자기 과거와 비교하십시오. 결제 서비스, 데이터 플랫폼, 모바일 앱은 맥락이 크게 다르며 연구 자체가 지표를 순위표로 쓰는 것을 경고합니다.
  • 시간에는 분포를 쓰십시오. 리드 타임과 복구 시간은 꼬리가 길므로 중앙값과 높은 백분위수를 보고하십시오(주제 1.6, 서비스 지표를 위한 통계 소양 참조).
  • 지표를 증상으로 다루십시오. 숫자가 움직이면 배치 크기, 테스트 자동화, 리뷰 실천, 아키텍처 같은 그 아래의 역량에서 원인을 찾은 뒤 실험하십시오.
  • 정의를 적어 두십시오. 실패, 배포, "작업 시작"은 판단의 영역입니다. 선택을 기록하고 안정적으로 유지해야 추세가 의미를 갖습니다.

지표 정의

아래 다섯 지표는 2026년 10월 기준의 DORA 지침을 따릅니다. 공식은 팀이 적어 두어야 할 시계와 제외 항목을 밝힙니다. 연구가 경계를 열어 둔 곳에서는 표가 합리적인 기본값을 보여 주고 권장 사항이 그 선택을 설명합니다.

지표 정의 공식 단위 데이터 원천 ITIL 프랙티스 애자일 대응 주기
변경 리드 타임 커밋된 변경이 운영 환경에 도달하는 시간 시계는 변경의 첫 커밋(또는 정의에 명시한 경우 메인 브랜치로의 병합)에서 시작해 운영 배포가 성공적으로 완료될 때 멈춤. 해당 기간에 배포된 변경의 중앙값과 85번째 백분위수를 보고. 배포되지 않은 변경은 제외하고 진행 중인 작업으로 따로 보고 시간 또는 일 배포 파이프라인에 결합한 버전 관리 배포 관리, 릴리스 관리, 변경 활성화 사이클 타임, 운영까지의 리드 타임 주 또는 릴리스마다, 월 검토
배포 빈도 팀이 운영 환경에 얼마나 자주 배포하는지 해당 기간의 애플리케이션 성공 운영 배포 수 / 기간의 일수. 실패하거나 롤백된 배포는 성공 건수에서 제외하고 테스트 환경 배포는 제외 일 또는 주당 배포 배포 파이프라인 이벤트 로그 배포 관리, 릴리스 관리 지속적 전달, 증분 끝마다 릴리스 주
실패한 배포 복구 시간 배포가 운영 장애를 일으켰을 때 복구하는 데 걸리는 시간 시계는 실패가 감지되거나 보고된 때(매번 같은 규칙)에 시작해 사용자에 대한 서비스가 복구되었을 때 멈춤. 해당 기간의 실패한 배포에 대한 중앙값과 85번째 백분위수를 보고. 배포가 원인이 아닌 인시던트는 제외 분 또는 시간 배포 이벤트와 모니터링 경보에 결합한 인시던트 기록 인시던트 관리, 서비스 연속성 관리 복구 시간, 복구 작업 실패마다, 월 검토
변경 실패율 복구가 필요한 장애를 일으킨 운영 배포의 비율 핫픽스, 롤백, 패치, 인시던트 대응이 필요했던 배포 수 / 해당 기간의 모든 운영 배포 수. 실패를 배포에 연결하는 규칙은 적어 두고 매번 같은 방식으로 적용 퍼센트 인시던트, 롤백, 핫픽스 배포에 결합한 배포 이벤트 변경 활성화, 인시던트 관리 완료의 정의, 유출 결함 월
배포 재작업률 사용자가 보는 문제를 고치려고 계획 없이 이루어진 운영 배포의 비율 운영 문제에 대응해 이루어진 계획 외 배포 수 / 해당 기간의 모든 운영 배포 수. 수정을 우연히 포함한 계획된 배포는 제외하며 "계획 외"의 규칙은 적어 둠 퍼센트 배포 사유로 태그한 파이프라인 로그, 인시던트 또는 결함 레코드에 연결 변경 활성화, 문제 관리 계획 외 작업, 계획 밖에서 릴리스한 버그 수정 월

표에 대한 두 가지 메모입니다. 첫째, 변경 실패율과 배포 재작업률은 겹치지만 같은 것이 아닙니다. 팀이 알아차리고 새 배포 없이 롤백한 실패는 변경 실패율에는 들어가지만 재작업률에는 들어가지 않고, 팀이 일정을 잡은 계획된 수정은 어느 쪽에도 들어가지 않습니다. 둘째, 연구는 배포를 단위로 삼아 애플리케이션별로 세므로, 서비스 오십 개를 가진 플랫폼에는 하나가 아니라 오십 벌의 숫자가 있습니다.

권장 사항

정의와 시계에서 시작하십시오

1. 차트로 그리기 전에 각 지표의 한 쪽짜리 정의를 쓰십시오. 무엇이 배포로 셈하는지, 어느 환경이 운영인지, 리드 타임의 시계가 어디서 시작하는지, 실패를 배포에 어떻게 연결하는지 밝히십시오. 그 쪽을 지표 레지스트리에 두십시오(주제 1.4, 지표 거버넌스와 소유권 참조). 누군가의 머릿속에만 있는 정의는 도구나 팀이 처음 바뀔 때 어긋납니다.

2. 리드 타임의 시작을 고르고 그대로 유지하십시오. 가장 흔한 선택은 변경의 첫 커밋, 메인 브랜치로의 병합, 티켓 생성입니다. 첫 커밋은 전달 시스템을 측정하며 일이 백로그에 있던 시간을 무시합니다. 티켓 시작은 고객의 기다림을 더 많이 측정하지만 우선순위 결정을 섞습니다(주제 2.2, 리드 타임, 사이클 타임, 흐름 효율 참조). 하나를 일관되게 쓰고 모든 차트에 어느 것인지 밝히십시오.

3. 명시된 규칙으로 실패를 귀속시키십시오. 실패는 예를 들어 배포 후 명시된 기간 안에 인시던트가 열리고 원인 분석이 그 변경을 가리킬 때, 또는 롤백이나 핫픽스가 그것에 태그될 때 배포에 속합니다. 사람들이 논쟁 없이 적용할 수 있는 규칙을 고르고, 분기마다 사례를 표본 검토하고, 추세를 볼 만큼 오래 같은 규칙을 유지하십시오.

파이프라인에서 계측하십시오

4. 배포 이벤트를 스프레드시트가 아니라 파이프라인에서 가져오십시오. 각 운영 배포를 타임스탬프, 버전, 결과와 함께 기록하는 CI/CD 시스템은 사람이 입력하지 않고도 배포 빈도와 리드 타임 시계의 종료를 줍니다. 손으로 입력한 건수는 늦고 일관되지 않으며, 주제 1.5, 데이터 원천과 계측에서 설명한 소급 입력 문제를 부릅니다. DORA 팀의 오픈 소스 Four Keys 프로젝트가 이 이벤트를 수집하는 하나의 실제 예이지만, 동등한 자체 파이프라인이면 무엇이든 됩니다.

5. 인시던트 기록을 배포에 결합하십시오. 실패와 복구 측정치는 배포 로그와 인시던트 도구라는 두 원천이 필요합니다. 인시던트 기록에 "배포로 인한 원인" 필드와 배포 식별자를 추가하고, 해결 중에 채우고 인시던트 사후 검토에서 확인하십시오(주제 4.2, 사후 분석과 학습 지표 참조). 결합이 없으면 변경 실패율은 추측이 됩니다.

6. 각 배포의 사유를 태그하십시오. 재작업률은 계획된 배포와 계획 외 수정을 구분해야 합니다. "계획된 변경"이나 "운영 문제 수정"처럼 파이프라인 실행에 붙이는 단순한 라벨이면 충분합니다. 압박 속에서 사람들이 고민하지 않도록 라벨 목록을 짧게 유지하십시오.

숫자를 정직하게 보고하십시오

7. 단일 평균이 아니라 분포와 건수를 보고하십시오. 리드 타임과 복구 시간의 중앙값과 85번째 백분위수를 각각의 뒤에 있는 관측 수와 함께 보여 주십시오. 배포 두 건에 실패 한 건인 주의 50퍼센트 변경 실패율은 거의 의미가 없으므로, 백분율 옆에 건수를 보이고 비율에는 더 긴 구간을 선호하십시오(주제 1.6, 서비스 지표를 위한 통계 소양 참조).

8. 처리량 그룹과 불안정성 그룹을 나란히 보여 주십시오. 세 처리량 지표와 두 불안정성 지표를 서비스별로 최소 한 분기의 추세와 함께 한 화면에 두십시오. 실패 측정치를 옆에 두지 않고 배포 빈도를 게시하지 마십시오. 리더가 숫자 하나를 요청하면 단일 DORA 점수는 없다고 설명하고 두 그룹 관점을 제시하십시오.

9. 비교를 팀 자신의 이력 안에 두십시오. 리드 타임 중앙값을 9일에서 5일로 줄인 팀은 무언가를 배웠습니다. 아키텍처, 규제 부담, 릴리스 열차가 다른 팀과 순위를 매기는 것은 별로 증명하지 못하고 두 팀이 자기 숫자를 방어하도록 가르칩니다. 거버넌스를 위해 상위 집계해야 한다면 순위표가 아니라 서비스 전반의 분포와 개선 추세를 보여 주십시오(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조).

숫자가 설명하는 시스템을 개선하십시오

10. 배치 크기를 먼저 줄이십시오. 작은 변경은 리드 타임을 줄이고, 실패를 진단하기 쉽게 하고, 롤백 비용을 낮춥니다. 기법에는 기능 토글(feature toggle), 트렁크 기반 작업, 각 증분이 단독으로 출시될 수 있게 일을 쪼개는 것이 있습니다(주제 2.7, 풀 리퀘스트와 코드 리뷰 지표 참조). 배치가 실제로 줄어드는지 볼 수 있도록 변경 크기의 중앙값을 리드 타임 옆에서 추적하십시오.

11. 빠른 감지와 빠른 되돌림에 투자하십시오. 팀이 몇 분 안에 실패를 볼 수 있고 새 빌드 없이 변경을 롤백(roll back)하거나 끌 수 있으면 복구 시간이 줄어듭니다. 카나리 릴리스(canary release), 기능 토글, 자동 롤백은 각각 실패와 복구 사이의 간격을 줄입니다. 느린 감지는 복구 시간 숫자 안에 숨으므로 배포부터 감지까지의 시간을 따로 측정하십시오(주제 3.3, 인시던트 대응 및 해결 시간 참조).

12. 숫자를 써서 개선할 역량을 고르십시오. 약한 지표 하나를 고르고 왜 약한지 묻고, 연구의 역량 목록에서 원인을 다루는 실천을 선택하십시오. 테스트 자동화, 느슨하게 결합된 아키텍처, 가벼운 변경 승인이 그 예입니다. 한 분기 동안 변경을 실행하고 추세를 보십시오. 팀이 개선을 소유하도록 실험을 회고 주제와 짝지우십시오(주제 9.5, 지속적 개선 지표 참조).

악용 방식과 방호책

지표 악용되는 방식 짝을 이루는 방호책 지표 또는 실천
변경 리드 타임 첫 커밋 대신 병합 시점처럼 시계의 시작을 늦춤, 오래 사는 브랜치로 일찍 병합함, 어려운 변경을 "코드가 아님"이라며 제외함, 중앙값을 끌어내리려고 사소한 변경을 파이프라인에 태움 진행 중인 작업의 백분위수와 경과 시간, 고정된 서면 시계 시작, 분기마다 가장 느린 10퍼센트 변경의 표본, 변경 크기 분포
배포 빈도 변경 하나를 사소한 배포 여러 개로 쪼갬, 변경되지 않은 빌드를 다시 배포함, 스테이징 배포나 빈 구성 변경을 셈 배포당 변경 크기, 사용자에게 보이는 변경이 포함된 배포의 비율, 옆에 변경 실패율과 재작업률
실패한 배포 복구 시간 시계를 늦게 시작하거나 인시던트를 일찍 닫음, 부분 수정 후 실패를 새 인시던트로 재분류함, "실패"의 심각도 임계값을 올림 명시된 기간 안의 같은 인시던트 재발, 모니터링 경보에서 가져온 시계 시작, 고객이 보고한 영향 지속 시간
변경 실패율 인시던트를 배포에 연결하지 않음, 완전한 장애를 일으킨 실패만 셈, 실패가 기간 밖에 떨어지도록 기간을 넓힘, 앞으로 고치고 새 변경이라고 부름 분기마다 인시던트 표본을 배포 로그와 대조 검토, 배포 연결이 기록된 인시던트의 비율 추적, 배포 재작업률
배포 재작업률 수정을 계획된 작업으로 라벨링함, 정기 릴리스에 수정을 묶음, 수정을 미뤄서 수정 배포를 피함 트래커의 결함 및 유출 결함 건수, 열린 운영 결함의 경과 시간, 배포 표본의 태그 감사

건강한 상태란 리드 타임과 복구 시간이 줄거나 낮은 수준에서 안정적이고, 배포 빈도가 작은 변경으로 안정적이거나 오르고, 실패율과 재작업률이 평평하거나 내려가며 건수가 믿을 만큼 충분한 모습입니다. 의심스러운 수치는 일에 변화가 없는데 배포 빈도가 갑자기 뛰는 것, 한 달 안에 실패율이 0으로 떨어지는 것, 고객 불만은 그대로인데 복구 시간이 떨어지는 것입니다. 각각 축하하기 전에 계측기를 살펴야 합니다.

상충 관계: 장점과 단점

접근 방식 강점 약점
서비스별로 DORA 지표 다섯 개를 모두 사용 연구 기반이고, 속도와 안정성의 균형을 잡고, 객관적 이벤트에서 계산함 깔끔하게 결합되는 파이프라인과 인시던트 기록이 필요함, 작업이 가치 있었는지에 대해서는 말하지 않음
배포 빈도와 리드 타임만 보고 파이프라인에서 수집하기 쉬움 속도만 보상하며 안정성 측정치가 잡는 바로 그 악용을 부름
팀별 로컬 정의 사용 팀의 아키텍처와 릴리스 방식에 맞음 팀을 비교할 수 없고 상위 집계가 신뢰할 수 없음
조직 전체의 단일 정의 사용 일관된 보고, 단순한 거버넌스 배치 창이 있는 메인프레임이나 규제된 릴리스 같은 일부 시스템에는 잘 맞지 않음
발간된 성과 구간에 따라 팀 비교 리더에게 위치에 대한 빠른 감각을 줌 맥락을 무시하며, 연구는 구간이 각 팀의 목표가 아니라고 경고함
팀의 자기 개선에 지표 사용 소유 의식을 키우고 정직한 데이터를 뒷받침함 단일 점수를 원하는 리더에게는 위안이 적음

핵심 긴장은 비교 가능성과 정직 사이에 있습니다. 숫자가 팀을 평가하는 데 많이 쓰일수록 데이터는 더 왜곡되고, 그것을 소유한 팀에게 덜 도움이 됩니다. 지표를 먼저 개선을 뒷받침하는 데 쓰고, 불완전한 비교 가능성을 받아들이고, 리더 수준의 관점을 추세와 분포로 유지하십시오. 규제 보고에 표준 정의가 필요한 곳에서는 문서화하고 팀 수준의 개선 관점은 분리해 두십시오.

팀과 논의할 질문

1. 우리의 다섯 DORA 숫자 중 어느 것이 이벤트에서 오고, 어느 것이 누군가의 기억에서 오나요? 각 지표를 원천까지 추적하십시오. 사람이 날짜를 입력하거나 무언가를 실패로 셀지 결정하는 곳을 기록하십시오. 진행자는 그룹이 수작업 단계를 숫자를 얼마나 왜곡할 수 있는지로 순위를 매기고, 어느 것을 먼저 자동화할지 합의하도록 도와야 합니다.

2. 우리 리드 타임 시계는 정확히 어디서 시작하고 멈추며, 모두 동의하나요? 세 사람에게 마지막으로 출시된 변경의 시계 시작과 정지를 설명하게 하고 답을 비교하십시오. 차이는 대개 첫 커밋, 병합, 티켓, 승인 단계 주변에서 나타납니다. 하나의 정의에 합의하고 적어 두며, 선택한 정의가 가리는 대기 시간이 무엇인지 논의하십시오.

3. 우리에게 실패한 배포란 무엇이며 누가 결정하나요? 최근 운영 인시던트 다섯 건을 훑으며 각각이 배포에 속하는지 물으십시오. 불일치는 규칙이 불분명한 곳을 보여 줍니다. 구성 변경, 롤백, 빠른 패치로 고친 실패가 어떻게 되는지 논의하고 각각 어떻게 기록할지 결정하십시오.

4. 다음 분기에 배포 빈도가 두 배가 된다면 좋은 소식이라고 하기 전에 무엇을 확인할까요? 그룹에게 더 많은 가치를 전달하지 않고도 숫자가 오를 수 있는 방법을 명명해 달라고 하십시오. 변경 크기, 사용자에게 보이는 변경이 있는 배포의 비율, 실패율과 재작업률을 보십시오. 진행자는 대시보드에 이미 있는 점검과 추가해야 할 점검을 기록해야 합니다.

5. 팀 밖의 사람들은 이 숫자를 어떻게 쓰나요? 누가 어떤 형태로 보고 무엇을 하는지 물으십시오. 다른 팀과의 비교, 외부에서 정한 목표, 개인 평가에서의 사용에 귀 기울이십시오. 팀이 자기 데이터를 신뢰하려면 그 사용에서 무엇이 바뀌어야 하며 누가 그 변경을 할 권한이 있는지 논의하십시오.

6. 가장 약한 숫자를 가장 크게 개선할 하나의 역량은 무엇이며, 시도할 작은 실험은 무엇인가요? 가장 약한 지표를 골라 큰 배치, 느린 리뷰, 불안정한 테스트, 수동 릴리스 단계 같은 가능한 원인을 이야기하십시오. 원인 하나를 골라 효과를 볼 방법이 있는 4~6주짜리 실험을 설계하십시오. 결과를 검토할 날짜와 데이터를 가져올 사람에 합의하십시오.

네 가지 관점

제품 및 전달 팀

전달 팀은 이 숫자를 움직이는 역량을 소유합니다. 작은 변경, 자동 테스트, 빠른 파이프라인, 서로의 일을 리뷰하는 습관입니다. 지표를 자신의 엔지니어링 실천의 거울로 쓰고, 자체 개선 목표를 세우고, 숫자 하나를 위로 보고하라는 압력에 저항해야 합니다. 정의도 이들이 정하므로 정의를 정직하게 유지할 의무를 집니다(주제 2.7, 풀 리퀘스트와 코드 리뷰 지표 참조).

서비스 및 운영 팀

운영 팀은 실패와 복구 측정치가 의존하는 인시던트 기록을 보유합니다. 인시던트를 원인이 된 배포로 태그하고, 실패를 빨리 감지하는 모니터링을 제공하고, 실패한 각 배포의 검토에 참여해 전달 팀을 돕습니다. 전달의 속도가 온콜 부하로 흡수하는 불안정성을 대가로 얻어지고 있지 않은지 지켜보고(주제 5.7, 토일과 온콜 지표 참조), 복구 시간을 줄이는 롤백과 감지 투자를 요청해야 합니다.

리더십과 거버넌스

리더는 서비스 전반의 추세와 분포, 두 그룹의 지표를 함께, 그 뒤에 있는 개선 실험을 요청해야 합니다. "매일 배포"처럼 숫자를 고정하는 목표를 피하고, 지표를 개인 평가에 쓰지 말아야 합니다. 거버넌스 기구는 프로세스가 바뀌는 동안 안정성이 유지되었는지 보여 줌으로써, 이 숫자를 더 가벼운 변경 승인 경로가 안전하다는 증거로 쓰거나 재고할 이유로 쓸 수 있습니다(주제 4.4, 변경 실패와 재작업 참조).

고객과 사용자

고객은 배포 건수를 거의 신경 쓰지 않습니다. 수정이나 기능이 얼마나 빨리 자기에게 오는지, 릴리스가 자기가 의존하는 무언가를 얼마나 드물게 망가뜨리는지, 망가졌을 때 서비스가 얼마나 빨리 돌아오는지를 신경 씁니다. DORA 지표를 이런 성과가 있을 법하다는 내부 증거로 쓰고, 가용성과 만족도 같은 고객 대면 측정치로 보완하십시오(주제 5.3, 가용성 지표와 주제 6.1, 고객 만족도 지표 참조).

실제 적용: 서비스 관리 사례

한 중견 온라인 소매업체가 한 제품 팀이 소유하고 플랫폼 팀과 서비스 데스크가 지원하는 결제 서비스를 운영합니다. 아래의 모든 숫자는 예시입니다.

팀은 운영 환경에 주 2회쯤 배포해 왔고, 리드 타임(첫 커밋부터 운영까지)은 중앙값 11일, 85번째 백분위수 26일입니다. 지난 분기에 배포 24건 중 6건(25퍼센트, 예시)이 롤백이나 인시던트로 이어졌습니다. 그 실패의 복구 시간 중앙값은 3시간이었습니다. 변경 승인 위원회는 매주 모여 결제 서비스의 모든 변경을 검토합니다.

팀은 계획을 제안합니다. 큰 변경을 쪼개고, 파이프라인에 자동 점검을 추가하고, 새 동작을 기능 토글 뒤에 두고, 위원회에 점검을 통과하는 저위험 변경을 표준 변경으로 사전 승인해 달라고 요청합니다. 변경 관리자는 신중하므로, 팀은 다섯 지표 모두를 매월 보고하고 실패율이 두 달 연속 오르면 실험을 중단하기로 합의합니다.

한 분기 뒤 숫자(예시)는 월 19건 배포, 리드 타임 중앙값 3일에 85번째 백분위수 8일, 변경 실패율 8퍼센트, 복구 시간 중앙값 40분, 재작업률 5퍼센트입니다. 팀은 기뻐하고, 지역 관리자는 결제 팀의 배포 빈도를 다른 제품 팀과 비교하고 공통 목표를 정하자고 요청합니다.

팀 리더는 재작업 및 실패 분해를 검토에 가져와 악용 위험을 알아차립니다. 배포 빈도는 파이프라인이 세는 소수의 작은 구성 배포 덕분에 높아졌고, 변경 크기 중앙값은 실제 작업보다 빠르게 줄고 있습니다. 더 나쁜 것은 지난달 인시던트 두 건이 파이프라인에 "계획됨"으로 태그된 일반 배포로 기록된 구성 변경으로 고쳐져서 재작업률이 과소평가되었다는 점입니다. 그 두 인시던트가 원래 배포와 연결되지 않았기 때문에 변경 실패율이 부분적으로 좋아 보였습니다.

결정 로그에 기록된 결정은 네 부분입니다. 구성 전용 배포는 별도로 세어 주요 숫자 옆에 보여 줍니다. 배포 사유 태그는 배포 10건의 표본으로 매월 감사합니다. 인시던트 도구는 원인이 변경일 때 배포 식별자를 요구합니다. 그리고 팀은 공통 배포 빈도 목표를 거절하고 대신 각 서비스의 추세와 실패율을 보여 주는 공유 관점을 제시합니다. 변경 관리자는 표준 변경의 사전 승인을 유지하되 다음 분기 말에 검토하기로 합의합니다.

애자일, AI, 자동화, 분석

애자일

DORA 지표는 변경이 얼마나 빠르고 안전하게 운영 환경에 도달하는지를 설명하며, 이는 지속적 전달의 실용적 핵심입니다. 좋은 실천은 이해관계자와 함께하는 정기 검토에서 속도와 안정성 측정치를 함께 읽고 개선 하나를 고르는 것입니다. 주의할 점은 팀이 변경을 쪼개서 배포 빈도를 부풀릴 수 있으므로 변경 크기와 재작업을 지켜봐야 한다는 것입니다.

AI

AI 지원 코딩은 변경량을 늘리고 리드 타임을 단축하면서 재작업이나 실패한 변경도 늘릴 수 있습니다. AI 지원 변경과 다른 변경을 같은 안정성 측정치로 함께 보고하고, 도입 전후의 실패한 배포 복구 시간과 배포 재작업률을 비교하십시오. 주의할 점은 AI에 관한 DORA 연구는 진화 중이므로 어떤 발견이든 인용하기 전에 현재 발간된 보고서를 확인해야 한다는 것입니다.

자동화

배포와 실패의 기준을 분명히 정해 다섯 측정치를 모두 파이프라인과 인시던트 이벤트에서 자동으로 계산하십시오. 파이프라인 자체도 실패와 불안정성으로 측정하십시오. 주의할 점은 자동화가 이메일 승인처럼 파이프라인 밖에 있는 수작업 단계를 가릴 수 있으므로 실제 경로를 한 번 매핑해야 한다는 것입니다.

분석

평균만이 아니라 분포를 보고하고, 팀을 다른 팀이 아니라 자기 과거와 비교하십시오. 이는 전달 시스템이 어디서 느리거나 취약한지에 정보를 줍니다. 주의할 점은 팀 간 순위표가 악용을 부르고, 숫자는 배포와 실패의 지역 정의에 의존한다는 것입니다.

부문별 관점

스타트업. 작은 팀은 하루에 여러 번 배포하고 인시던트 기록이 빈약한 경우가 많아서, 배포 빈도와 리드 타임은 쉽지만 실패 데이터는 단편적입니다. 파이프라인에서 모든 롤백과 핫픽스를 태그하고 배포 식별자가 있는 단순한 인시던트 로그를 유지하는 것으로 시작하십시오. 빈도가 높다는 이유로 실패율을 확인하지 않고 안정성이 괜찮다고 믿지 마십시오.

소규모 사업. 호스팅 플랫폼이나 외주 개발자는 도구가 거의 없이 월 1회만 배포할 수 있습니다. 몇 달 동안 수작업으로 셀 수 있는 것을 세고, 공급업체에 배포와 인시던트 날짜를 서면으로 요청하고, 리드 타임과 실패율에 집중하십시오. 구간을 쫓는 데가 아니라 더 작은 변경을 지속적으로 전달하면 위험이 줄어들지 결정하는 데 숫자를 쓰십시오.

대기업. 많은 팀, 여러 릴리스 방식, 현대적 시스템과 레거시 시스템의 혼재 때문에 일관된 정의가 어렵습니다. 각 지표에 공통 최소 정의에 합의해 게시하고, 팀이 이유를 밝혀 더 엄격한 로컬 정의를 더하는 것을 허용하십시오. 평균이 아니라 서비스별 분포와 추세를 보여 주며 상위 집계하고, 팀 수준 세부 사항은 소유 팀과 지원 그룹에게만 보이게 하십시오.

정부 및 공공 부문. 릴리스 창, 감사 규칙, 조달 계약이 가능한 것을 형성하며 일부 시스템은 공급업체가 운영합니다. 지표를 계산할 수 있도록 계약에 전달 및 인시던트 데이터 권리를 포함하십시오. 현대화 프로그램이 실패율을 올리지 않으면서 리드 타임을 줄이고 있다는 증거로 숫자를 쓰고, 결과가 선별되지 않도록 모든 지표를 함께 보고하십시오(주제 8.5, 규제 및 정부 보고 참조).

비즈니스 케이스: 동기, ROI, TCO

동기는 운영을 안정적으로 유지하면서 아이디어에서 사용까지의 시간을 줄이는 것입니다. 프로그램의 비용은 세 부분입니다. 계측(파이프라인 이벤트, 배포 태그, 인시던트 결합), 검토 루틴(추세의 월간 확인과 실패 및 재작업 사례의 분기별 표본), 숫자가 가리키는 개선 작업(테스트 자동화나 더 빠른 파이프라인 등)입니다. 앞의 둘은 적당합니다. 진짜 비용은 셋째에 있으며 측정이 아니라 엔지니어링 역량에 쓰입니다.

수익은 숫자가 더 쉽게 만드는 결정에서 나옵니다. 팀은 변경 위원회에 작은 변경이 안전하다고 보여 주어 승인 단계를 없앨 수 있습니다. 플랫폼 그룹은 어떤 서비스가 느린 파이프라인이나 부실한 롤백을 가졌는지 보고 투자를 배치할 수 있습니다. 운영 팀은 더 나은 감지 도구를 데이터로 주장할 수 있습니다. 변경 전후의 커밋부터 운영까지의 시간, 수정이 필요한 릴리스의 비율, 릴리스당 온콜 부하처럼 스스로 관찰할 수 있는 패턴으로 수익을 설명하십시오. 맥락이 다르므로 다른 조직의 벤치마크 수치를 기대 수익으로 인용하지 마십시오. 총소유비용은 사람의 시간이 지배하므로 지표 집합을 작게 유지하고 수집을 자동화하십시오(주제 7.7, 투자 수익과 비즈니스 케이스 참조).

안티패턴과 함정

  • 지표를 개인 성과표로 취급하기. 연구 기반을 깨고 데이터를 오염시킵니다. 서비스와 팀 수준으로만 보고하십시오.
  • "매일 배포"나 "리드 타임 하루 미만" 같은 목표 세우기. 목표가 목적을 대체합니다. 개선의 방향과 실험을 정하고 숫자는 신호로 두십시오.
  • 팀끼리 또는 발간된 구간과 순위 매기기. 맥락이 다르고 악용이 따릅니다. 팀을 자기 추세와 비교하고 구간은 느슨한 방향 잡기로만 쓰십시오.
  • 안정성 없이 속도 보고하기. 짝이 요점입니다. 항상 처리량과 불안정성 그룹을 함께 보여 주십시오.
  • 정의가 어긋나게 두기. 실패, 배포, 리드 타임의 시작은 도구와 함께 조용히 바뀝니다. 정의의 모든 변경을 이유와 함께 기록하고 차트에 표시하십시오.
  • 무엇이든 배포로 세기. 구성 푸시, 테스트 환경 릴리스, 같은 빌드의 재배포가 건수를 부풀립니다. 운영 배포를 정의하고 다른 종류는 따로 보여 주십시오.
  • 무엇이 출시되는지 무시하기. 강한 숫자가 중요하지 않은 일을 가릴 수 있습니다. 흐름 및 성과 측정치와 함께 읽으십시오(주제 2.9, 운영 작업과 계획 외 작업 참조).
  • 역량이 아니라 지표를 쫓기. 리드 타임은 배치가 줄고 테스트가 빨라질 때 가장 확실히 줄어듭니다. 실천을 개선하고 숫자가 따라오게 하십시오.

성숙도 모델

차원 1 시작 2 발전 3 표준화 4 관리 5 조율
정의와 시계 사람마다 배포와 실패를 다르게 정의함 몇몇 팀이 정의를 문서화함 시계와 제외 항목을 포함한 지표별 서면 정의 하나를 지표 레지스트리에 둠 정의 변경을 기록해 차트에 표시하고 분기마다 표본을 점검함 결정에 정보를 주지 못하면 공급업체 및 거버넌스와 정의를 공동으로 개정함
데이터 수집 티켓에서 수작업으로 건수를 취합함 일부 서비스는 파이프라인 데이터가 있고 인시던트는 수작업으로 연결함 대부분의 서비스에 배포, 사유, 인시던트 연결을 자동으로 수집함 데이터 품질(연결률, 태그 감사)을 측정해 추세로 봄 합의된 인터페이스로 팀과 공급업체 간에 이벤트를 공유함
숫자의 활용 단일 점수로 위에 보고함 팀이 가끔 자기 차트를 봄 소유 팀이 처리량과 불안정성 그룹을 매월 함께 검토함 추세가 방호책이 있는 자금 투입 개선 실험으로 이어짐 분포와 추세가 조직 전반의 플랫폼 투자와 변경 정책에 정보를 줌
악용에 대한 방호책 없음 비공식적 인식 지표마다 짝이 되는 방호책을 나열함 방호책과 표본을 검토하고 악용 사례를 기록함 팀과 도구가 바뀜에 따라 방호책을 지속적으로 조정함

체크리스트

  • 다섯 지표가 시계, 제외 항목, 따르는 DORA 지침의 날짜와 판과 함께 서면으로 정의되어 있다.
  • 운영 배포를 파이프라인이 타임스탬프, 버전, 결과와 함께 기록한다.
  • 리드 타임의 시작(첫 커밋, 병합, 또는 기타)이 명시되어 일관되게 적용된다.
  • 인시던트에 원인이 된 배포 필드가 있으며 해결 중에 채운다.
  • 각 배포에 사유 태그가 있고 표본을 매월 감사한다.
  • 시간은 중앙값과 높은 백분위수로 건수와 함께 보고한다.
  • 처리량과 불안정성 지표를 서비스마다 함께 보여 준다.
  • 배포 빈도와 리드 타임 옆에서 변경 크기를 추적한다.
  • 숫자를 개인 평가나 팀 순위에 쓰지 않는다.
  • 지명된 소유자가 매월 지표를 검토하고 정의의 변경을 기록한다.
  • 가장 약한 지표와 연결된 개선 실험 하나가 검토 날짜와 함께 진행 중이다.

AI 프롬프트

다섯 지표에 대한 한 쪽짜리 정의 집합을 작성합니다.

[서비스 또는 애플리케이션 이름]의 DORA 소프트웨어 전달 지표를 정의하고 있습니다.
우리 도구는 [버전 관리 호스트, CI/CD 시스템, 인시던트 도구, ITSM 도구]입니다.
릴리스 방식은 [지속적, 주간, 월간, 기타]입니다. 변경 리드 타임, 배포 빈도, 실패한
배포 복구 시간, 변경 실패율, 배포 재작업률에 대해 시계가 어디서 시작하고
멈추는지, 무엇을 세고 제외하는지, 데이터 원천, 모호함의 위험 하나를 포함한
정의 초안을 작성해 주세요. 기준 값을 지어내거나 우리 실천이 발간된 성과 구간과
맞는다고 주장하지 마세요. 가정한 내용과 정의를 완성하기 위해 내가 답해야 할
질문을 나열해 주세요.

지표 집합의 악용 위험을 점검합니다.

현재 전달 지표를 계산하는 방식입니다: [각 지표, 데이터 원천, 보고 방식 설명].
청중은 [팀, 리더십, 또는 거버넌스 기구]입니다. 각 지표에 대해 실제 개선 없이
숫자가 부풀려지거나, 숨겨지거나, 왜곡될 수 있는 그럴듯한 방법을 나열하고, 그것을
잡아낼 짝이 되는 방호책 지표 또는 실천을 제안해 주세요. 통계를 지어내지 마세요.
가정한 내용과 더 정확해지기 위해 필요한 정보를 나열해 주세요.

배포와 인시던트의 데이터 내보내기를 분석합니다.

운영 배포 [개수]건과 인시던트 [개수]건의 작은 내보내기를 붙여 넣겠습니다. 필드:
[필드 목록, 예: 배포 id, 타임스탬프, 결과, 사유 태그, 인시던트 id, 열린 시각,
해결 시각, 배포 연결]. 복구 시간의 중앙값과 85번째 백분위수, 변경 실패율, 재작업률을
각각의 뒤에 있는 건수와 함께 계산해 주세요. 연결이 없거나 타임스탬프가 의심스러운
레코드를 표시해 주세요. 데이터를 넘어 외삽하거나 결과를 외부 벤치마크와 비교하지
마세요. 가정한 내용과 결론을 제한하는 데이터 품질 문제를 나열해 주세요.

개선 실험을 계획합니다.

가장 약한 전달 지표는 [지표 이름]이고 현재 [보고된 값, 날짜 범위와 건수 포함]입니다.
팀이 논의한 가능한 원인은 [목록]입니다. 제약은 [제약, 예: 규제된 릴리스, 공유
테스트 환경]입니다. 4~6주짜리 작은 실험 세 가지를 제안해 주세요. 각각 가설,
효과를 관찰할 방법, 방호책 지표, 위험을 포함해 주세요. 기대 개선 수치를
지어내지 마세요. 가정한 내용과 시작하기 전에 확인해야 할 것을 나열해 주세요.

AI 스킬

핵심 정리

  • DORA 지표는 소프트웨어 전달의 다섯 가지 측정치로, 셋은 처리량이고 둘은 불안정성이며, 하나의 서비스에 대해 함께 읽을 때 가장 유용합니다.
  • 실패와 리드 타임의 시작은 판단의 영역이므로 서면 정의와 함께 파이프라인과 인시던트 이벤트에서 계산하십시오.
  • 전달 시스템을 배우고 팀을 자기 이력과 비교하는 데 쓰며, 사람이나 팀의 순위를 매기는 데는 절대 쓰지 마십시오.
  • 중앙값, 높은 백분위수, 건수를 보고하고, 모든 지표에 악용을 잡아내는 방호책을 짝지우십시오.
  • 작은 배치, 빠른 감지, 쉬운 롤백 같은 기저 역량을 개선하고 숫자가 따라오게 하십시오.
  • 정의가 시간이 지나며 다듬어졌으므로 따르는 지침의 판과 날짜를 밝히십시오.

참고 문헌과 더 읽을거리

  1. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  2. DORA, DORA's software delivery performance metrics, Google Cloud, https://dora.dev/guides/dora-metrics/
  3. DORA, DORA research program, Google Cloud, https://dora.dev/research/
  4. DORA, Four Keys project, https://github.com/dora-team/fourkeys
  5. Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 2021.
  6. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  7. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  8. Wikipedia, DevOps Research and Assessment.
  9. Wikipedia, Accelerate (book).
  10. Wikipedia, Continuous delivery.
  11. Wikipedia, ITIL.
  12. Wikipedia, Goodhart's law.
  13. Wikipedia, CI/CD.
  14. Wikipedia, Feature toggle.
  15. Wikipedia, Rollback (data management).
  16. Wikipedia, Canary release.