개요와 동기

풀 리퀘스트(pull request)는 버전 관리(version control) 저장소의 한 브랜치에 있는 변경 묶음을 다른 브랜치로 병합하자는 제안이며, 병합해도 되는지에 관한 대화를 함께 담습니다. 많은 팀에서 풀 리퀘스트는 "작성자는 동작한다고 생각한다"와 "팀은 출시해도 된다고 동의한다" 사이의 공식 관문입니다. 이 대화는 코드 리뷰(code review)의 한 형태입니다. 작성자가 아닌 사람이 변경을 읽고, 질문하고, 승인하거나 수정을 요청합니다. 일부 플랫폼은 같은 것을 머지 리퀘스트라고 부르지만, 이 주제는 둘을 모두 "풀 리퀘스트"로 부릅니다.

리뷰를 측정할 가치가 있는 이유는 단순합니다. 전달을 흐름의 관점에서 보면 작업 항목은 수명의 대부분을 기다리며 보내고, 리뷰는 전적으로 팀의 통제 안에 있는 대기 중 하나입니다. 공유 플랫폼의 병목이나 외부 의존성은 다른 사람들이 바뀌어야 풀립니다. 첫 확인까지 이틀을 기다리는 풀 리퀘스트는 팀 자신의 습관만 바꾸면 됩니다. 이 책의 흐름 측정치(주제 2.1, 흐름 측정치 참조, 주제 2.2, 리드 타임, 사이클 타임, 흐름 효율 참조)가 일반적인 어휘를 제공합니다. 이 주제는 사이클의 한 단계를 확대해 그 단계만의 도구를 제시합니다.

여기서 애자일과 ITIL의 관점이 유용하게 만납니다. 애자일 관점에서 리뷰는 피드백 고리이자 가르침의 장치입니다. 코드베이스에 대한 지식을 퍼뜨리고, 결함을 일찍 잡고, 팀의 작업 합의와 완료의 정의(Definition of Done)를 지키게 합니다. ITIL 관점에서는 같은 활동이 여러 실천 영역을 뒷받침합니다. ITIL 4에서 소프트웨어 개발 및 관리 실천 영역은 소프트웨어를 어떻게 만들고 점검하는지를, 변경 활성화(change enablement)는 변경을 어떻게 평가하고 승인하는지를, 배포 관리는 변경이 운영 환경에 어떻게 도달하는지를 다룹니다. 동료 리뷰를 거친 풀 리퀘스트는 많은 조직에서 표준 변경이 출시 전에 평가되었다는 증거가 됩니다. 리뷰를 측정하고 개선할 수 있는 활동으로 다루면 두 관점 모두에 도움이 됩니다. 애자일 팀은 더 빠른 피드백을 원하고, ITIL 실천 영역은 변경이 점검되었다는 믿을 만한 보증(assurance)을 원합니다.

내내 염두에 둘 위험은 리뷰 속도와 리뷰 품질이 쉽게 분리된다는 점입니다. 보이는 대로 다 승인하면 첫 리뷰까지의 시간을 절반으로 줄일 수 있고, 대시보드는 승리를 보여 주는 동안 코드베이스는 나빠집니다. 굿하트의 법칙(Goodhart's law)은 이 지표군에 유난히 강하게 작용합니다(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조). 수치를 모으기는 싸고, 모두에게 보이고, 수치가 나타내려던 대상을 바꾸지 않고도 쉽게 움직일 수 있기 때문입니다. 아래의 모든 권장 사항은 이 점을 염두에 두고 쓰였습니다.

작성자는 풀 리퀘스트를 연 사람이고 리뷰어는 그것을 평가하는 사람입니다. 리뷰 라운드는 "작성자가 푸시하고 리뷰어가 응답한다"의 한 회전입니다. 재작업은 리뷰 댓글 이후 또는 병합 이후에, 첫 버전이 잘못한 것을 고치려고 하는 변경입니다. 지속적 통합(CI)은 작업을 공유 라인에 자주 병합하고 병합마다 자동으로 점검하는 실천입니다. 지속적 통합(continuous integration)을 참조하십시오.

이 주제의 모든 지표는 팀과 저장소를 설명합니다. 리뷰어나 작성자의 순위를 매기지 않습니다. 개인별 리뷰 건수는 뽑기 쉽고 쓰고 싶어지지만, 그렇게 하면 협업 실천이 경쟁으로 바뀝니다(주제 9.1, 팀 건강과 개발자 경험 참조).

핵심 원칙

  • 기다림이 리뷰를 압도합니다. 대부분의 팀에서 리뷰 시간의 가장 큰 부분은 리뷰어가 읽기 시작한 뒤의 논의가 아니라 풀 리퀘스트가 읽히지 않은 채 놓여 있는 시간입니다. 대화를 재기 전에 기다림을 먼저 측정하십시오.
  • 작은 변경이 더 빠르고 더 잘 리뷰됩니다. 리뷰어가 작은 변경은 머릿속에 담을 수 있으므로, 크기는 속도와 철저함을 동시에 개선하는 몇 안 되는 수단입니다.
  • 면밀한 검토 없는 속도는 개선이 아닙니다. 이 주제의 모든 속도 지표에는 품질 대응 지표가 필요하며, 둘을 함께 읽습니다.
  • 리뷰는 개인이 아니라 팀의 역량입니다. 부담은 팀 전체에 퍼져야 합니다. 쏠림을 보여 주는 지표는 팀 설계의 문제를 가리키는 것이지, 칭찬하거나 탓할 사람을 가리키는 것이 아닙니다.
  • 평균보다 분포입니다. 리뷰 시간에는 막혀 있는 풀 리퀘스트가 만드는 긴 꼬리가 있으므로 중앙값과 높은 백분위수를 함께 보고하십시오(주제 1.6, 서비스 지표를 위한 통계 소양 참조).
  • 시계를 정의하고 그대로 두십시오. 시계가 언제 시작하고 멈추는지, 어떤 이벤트가 시계를 멈추는지, 어떤 자동화 활동을 제외하는지를 밝히고, 이를 데이터가 있는 곳에 기록하십시오(주제 1.5, 데이터 원천과 계측 참조).
  • 리뷰 지표는 작업을 소유한 팀을 위한 것입니다. 팀 자신의 회고에 들어가는 입력이지, 다른 누군가를 위한 성적표가 아닙니다.

지표 정의

아래의 시계는 버전 관리 플랫폼이 열기, 리뷰 요청, 댓글, 승인, 푸시, 병합의 이벤트 시각을 기록한다고 가정합니다. 초안, 봇이 연 풀 리퀘스트, 병합 없이 닫힌 풀 리퀘스트는 행에서 달리 말하지 않는 한 제외합니다. "근무 시간"은 팀이 선언한 근무 시간을 뜻하므로, 금요일 저녁에 열린 풀 리퀘스트에 주말 동안의 대기가 쌓이지 않습니다.

지표 정의 공식 단위 데이터 원천 ITIL 실천 영역 애자일 대응 항목 주기
첫 리뷰까지의 시간 풀 리퀘스트가 리뷰 준비 상태가 된 시점부터 사람의 첫 실질적 응답까지의 대기 풀 리퀘스트가 초안 상태를 벗어나거나 처음부터 준비 상태로 열릴 때 시계가 시작되고, 작성자가 아닌 사람의 첫 리뷰 댓글, 변경 요청, 승인에서 멈춥니다. 봇과 작성자의 댓글, 단순한 레이블 변경은 제외합니다. 중앙값과 85번째 백분위수를 근무 시간으로 보고합니다 근무 시간 버전 관리 플랫폼 이벤트 이력 소프트웨어 개발 및 관리, 변경 활성화 리뷰 응답성에 관한 작업 합의, 진행 중인 작업의 흐름 주간
리뷰 사이클 타임 리뷰 준비 상태부터 병합까지의 총 시간 풀 리퀘스트가 리뷰 준비 상태가 될 때 시계가 시작되고 병합에서 멈춥니다. 병합 없이 닫힌 풀 리퀘스트는 제외하고 따로 셉니다. 중앙값과 85번째 백분위수를 근무 시간으로 보고합니다 근무 시간 버전 관리 플랫폼 이벤트 이력 배포 관리, 변경 활성화 팀 보드에서 리뷰 단계의 사이클 타임 주간
풀 리퀘스트 크기 풀 리퀘스트에 담긴 변경의 양 추가된 줄 수와 삭제된 줄 수의 합이며, 저장소의 무시 규칙에 나열된 생성 파일, 락 파일, 외부 반입 코드, 단순 이름 변경은 제외합니다. 병합된 풀 리퀘스트당 중앙값과 85번째 백분위수를 보고합니다 변경 줄 수 버전 관리 플랫폼 diff 통계 소프트웨어 개발 및 관리 작은 배치 크기, 스토리 쪼개기 주간
리뷰 라운드 병합 전에 작성자 푸시와 리뷰어 응답이 오간 횟수 병합된 풀 리퀘스트당 서로 다른 "변경 요청" 또는 댓글 후 푸시 주기의 수입니다. 첫 제출은 0번째 라운드이며 자동 점검 실패는 제외합니다. 중앙값과 85번째 백분위수를 보고합니다 횟수 버전 관리 플랫폼 리뷰 및 푸시 이벤트 지속적 개선, 소프트웨어 개발 및 관리 리뷰 단계의 재작업 신호, 완료의 정의 주간
리뷰 부담 쏠림 리뷰 작업이 팀 안에서 얼마나 고르지 않게 분포하는지 최근 4주 동안 팀이 완료한 리뷰 중 가장 바쁜 두 리뷰어가 처리한 비율입니다. 자기 풀 리퀘스트의 리뷰와 봇 리뷰는 제외합니다. 팀 단위로만 보고하고 이름별로는 보고하지 않습니다 퍼센트 팀 단위로 집계한 버전 관리 플랫폼 리뷰 이벤트 지속적 개선, 지식 관리 공유 코드 소유권, 집단 소유권 월간
정체된 풀 리퀘스트 수 팀이 합의한 한도보다 오래 열려 있는 풀 리퀘스트 아직 열려 있고 초안이 아니며 리뷰 준비 상태 이후 경과 시간이 팀 한도를 넘은 풀 리퀘스트를 스냅샷 시점에 센 값입니다. 초안은 제외합니다 건수 버전 관리 플랫폼의 열린 풀 리퀘스트 목록 변경 활성화, 지속적 개선 작업 항목 경과 시간, WIP 한도 주간
병합 후 수정 비율 병합 직후 교정 변경이 뒤따른 병합 풀 리퀘스트의 비율 같은 변경에 연결된 수정, 되돌리기, 핫픽스가 14일 이내에 뒤따른 병합 풀 리퀘스트 수 / 해당 기간의 병합 풀 리퀘스트 수. 그렇다고 표시된 계획된 후속 작업은 제외합니다 퍼센트 버전 관리 이력, 연결된 이슈, 인시던트 또는 변경 기록 변경 활성화, 인시던트 관리 품질 내재화, 완료의 정의 월간

첫 리뷰까지의 시간이 가장 큰 수단이며 대부분의 팀이 시작해야 할 지표입니다. 리뷰 사이클 타임은 그 결과 지표이고, 주제 2.2에서 논의하는 더 긴 리드 타임의 구성 요소입니다. 14일이라는 기간과 정체 한도는 예시이며, 각 팀이 자신의 릴리스 리듬에 맞는 값을 골라 기록합니다. 이 수치가 더 넓은 전달 그림으로 이어지는 곳에서는 DORA 지표군(주제 2.8, DORA 지표 참조)과 변경 실패 측정치(주제 4.4, 변경 실패와 재작업 참조)가 이어받습니다.

권장 사항

작업보다 기다림을 먼저 측정하십시오

1. 첫 리뷰까지의 시간으로 시작하십시오. 이 값은 보통 리뷰 시간에서 가장 큰 몫을 차지하고 개선 비용이 가장 낮습니다. 아무도 입력하지 않아도 되도록 플랫폼의 이벤트 이력에서 계측하십시오. 중앙값과 높은 백분위수를 함께 보고하십시오. 중앙값이 3시간인데 95번째 백분위수가 나흘이라면 일부 변경이 잊히고 있다는 뜻입니다.

2. 봇과 초안을 시계에서 제외하고 그 사실을 밝히십시오. 자동 점검, 의존성 업데이트 봇, 서식 도구는 몇 초 만에 댓글을 달기 때문에, 이를 세면 기다림이 훌륭해 보입니다. 브랜치를 처음 푸시한 때가 아니라 작성자가 변경을 준비 상태로 표시한 때 시계를 시작하십시오. 이 규칙을 차트 옆에 게시하십시오.

3. 근무 시간을 쓰고 팀의 달력을 기록하십시오. 금요일 늦게 열린 풀 리퀘스트가 주말 동안의 대기를 짊어져서는 안 됩니다. 시간대에 걸쳐 있는 팀은 누구의 근무 시간을 셀지 규칙이 필요하며, 시간대 사이의 인계 비용이야말로 볼 가치가 있는 것이라는 정직한 답이 나오는 경우가 많습니다. 선택을 밝히고 안정적으로 유지하십시오.

리뷰하기 쉽게 작업을 만드십시오

4. 풀 리퀘스트를 작게 유지하고 크기를 팀의 습관으로 다루십시오. 크기의 중앙값과 85번째 백분위수를 추적하고, 큰 것들은 개별 실패가 아니라 하나의 집합으로 살펴보십시오. 팀은 대개 큰 변경이 몇 가지 원인에서 나온다는 것을 발견합니다. 작업을 충분히 잘게 쪼개지 않았거나, 리팩터링과 새 동작을 섞었거나, 병합을 너무 오래 미룬 경우입니다. 각 풀 리퀘스트가 한 가지만 하도록 작업을 쪼개십시오. 이는 트렁크 기반 개발(trunk-based development)과 잦은 배포 뒤에 있는 작은 배치 원칙과도 맞습니다.

5. 엄격한 크기 상한을 목표로 정하지 마십시오. "400줄 이하" 같은 한도는 변경을 인위적인 조각으로 나누도록 부추기고, 그 조각들은 각각 읽을 수 없거나 단독으로 병합하면 빌드가 깨집니다. 크기는 회고에서 대화를 여는 계기로 쓰고, 기능 토글, 별도 풀 리퀘스트로 하는 준비 리팩터링, 플래그 뒤에서의 병합 같은 쪼개기 기법을 팀에 제공하십시오.

6. 리뷰 요청을 명시적으로 하십시오. 리뷰어를 지정하지 않은 풀 리퀘스트는 자원자를 기다리는데, 자원자는 드뭅니다. 누구에게 요청하는지, 팀에 어떻게 알리는지, 응답에 대한 기대는 무엇인지를 작업 합의에 정하십시오. 공유 리뷰 순번이나 매일의 리뷰 시간대가 대개 어떤 도구 설정보다 대기를 더 줄입니다.

부담과 지식을 퍼뜨리십시오

7. 부담 쏠림을 팀 차원의 위험으로 지켜보십시오. 두 사람이 리뷰 대부분을 처리하면 그들의 가용성이 팀의 흐름을 제한하고, 그들의 부재가 흐름을 멈춥니다. 쏠림 지표를 매달 검토하고 팀의 설계를 통해 대응하십시오. 기본 리뷰어를 돌아가며 맡기고, 새 구성원을 경험 많은 구성원과 짝지으며, 한 사람만 리뷰할 수 있는 코드 영역을 기록해 두십시오. 개인별 순위표는 게시하지 마십시오.

8. 리뷰로 지식을 공유하고 그 목적을 지키십시오. 리뷰의 장기적 가치에는 결함 발견뿐 아니라 학습, 공유된 소유권, 일관된 스타일이 포함됩니다. 짝 프로그래밍(pair programming)과 모브 프로그래밍은 이런 교환의 일부를 프로세스 앞쪽으로 옮깁니다. 둘이 이미 함께 작업한 변경이라면 더 가벼운 리뷰도 합리적입니다. 이 선택을 팀의 결정으로 삼아 작업 합의에 적어서, "짝으로 작업했으니 가볍게 리뷰한다"가 변명이 아니라 눈에 보이는 규칙이 되게 하십시오.

리뷰 자체를 통제하십시오

9. 자동화가 잘하는 일은 자동화에 맡기십시오. 서식, 린팅, 기본 점검은 파이프라인에 속하며, 그래야 사람의 주의가 설계, 정확성, 위험으로 향합니다. 정적 프로그램 분석(static program analysis)과 자동화된 테스트는 사소한 리뷰 라운드의 수를 줄입니다. 그러면 남은 라운드는 스타일 논쟁보다 설계 논의에 대해 더 많은 것을 말해 줍니다.

10. 리뷰 라운드를 결함 수가 아니라 명확성에 대한 신호로 읽으십시오. 라운드가 많다는 것은 요구 사항이 불분명했거나, 작성자에게 맥락이 부족했거나, 리뷰어가 취향에 따른 수정을 요구했거나, 변경이 컸다는 뜻일 수 있습니다. 모든 풀 리퀘스트의 라운드가 0이라면 훌륭한 작업일 수도, 아무도 보지 않았다는 뜻일 수도 있습니다. 라운드가 유난히 많거나 유난히 적은 풀 리퀘스트 몇 건을 표본으로 뽑아 팀이 함께 읽으십시오.

속도와 품질을 짝짓고 시간을 눈에 보이게 하십시오

11. 리뷰 속도 옆에 항상 품질 대응 지표를 보여 주십시오. 병합 후 수정 비율, 최근 변경에 연결된 인시던트, 출시 후 발견된 결함의 비중이 자연스러운 짝입니다(주제 4.4, 변경 실패와 재작업 참조). 리뷰 시간은 나아지는데 수정 비율이 나빠진다면 팀이 보증을 속도와 맞바꾼 것이며, 해결책은 목표가 아니라 대화입니다. 둘을 같은 차트에 보여 주십시오.

12. 리뷰를 흐름 그림과 계획 외 작업에 연결하십시오. 더 빠른 리뷰는 다음 단계가 작업을 그저 대기열에 쌓아 두지 않을 때만 도움이 됩니다(주제 2.3, 진행 중인 작업과 대기열 참조). 계획된 작업을 끊고 들어오는 긴급한 리뷰 요청에는 그 자체의 비용이 있습니다(주제 2.9, 운영 작업과 계획 외 작업 참조).

악용 방식과 방호책

지표 악용되는 방식 짝지은 방호책 지표 또는 실천
첫 리뷰까지의 시간 첫 응답으로 재빠른 "좋아 보입니다"나 이모지를 올리기, 봇이나 호의적인 리뷰어를 지정하기, 누군가 미리 봐 주기로 합의한 뒤에야 풀 리퀘스트를 준비 상태로 표시하기 병합 후 수정 비율, 댓글 없는 승인의 표본 조사, 첫 응답이 실질적이어야 한다는 점을 작업 합의에 요구
리뷰 사이클 타임 리뷰를 기다리지 않고 병합하기, 더 빨리 통과하려고 변경을 아주 작은 조각으로 나누기, 시계를 되돌리려고 풀 리퀘스트를 닫았다가 다시 열기 닫았다가 다시 연 풀 리퀘스트 수, 리뷰 라운드, 병합 후 수정 비율, 승인을 요구하는 보호 브랜치 규칙
풀 리퀘스트 크기 일부 파일을 집계에서 제외하기, 따로는 이해할 수 없는 조각으로 하나의 변경을 쪼개기, 생성된 코드로 크기를 부풀리기 분기마다 무시 규칙 검토, 나뉜 조각이 단독으로 빌드되고 테스트를 통과하는지 확인, 가장 작은 것과 가장 큰 것의 표본 읽기
리뷰 라운드 횟수를 낮게 유지하려고 첫 검토에서 승인하기, 흔적이 남지 않도록 논의를 채팅으로 옮기기, 작성자가 라운드를 숨기려고 수정 사항을 한 커밋에 몰아 푸시하기 병합 후 수정 비율, 라운드가 0인 풀 리퀘스트의 표본 조사, 논의를 풀 리퀘스트 안에 유지
리뷰 부담 쏠림 건수를 퍼뜨리려고 리뷰를 여러 개의 작은 승인으로 쪼개기, 시간은 있지만 지식이 없는 사람에게 리뷰를 배정하기 위험한 영역에 대한 리뷰어의 지식 확인, 영역별 병합 후 수정 비율 관찰, 지표를 팀 단위로 유지
정체된 풀 리퀘스트 수 병합 없이 정체된 풀 리퀘스트를 닫기, 숨기려고 초안으로 바꾸기, 정체 한도를 올리기 병합 없이 닫힌 풀 리퀘스트 수, 오래 지속되는 초안 수, 분기마다 팀과 한도 검토
병합 후 수정 비율 연결 없이 새 작업 항목으로 수정을 기록하기, 교정 작업에 계획된 후속 작업 레이블 붙이기, 수정을 기간 뒤로 미뤄 지표를 피하기 인시던트 및 변경 실패 데이터와 비교, 후속 항목의 표본 조사, 사용된 레이블 감사

건강한 판독은 차분합니다. 첫 리뷰까지의 시간이 짧고 꼬리도 짧아서 며칠씩 기다리는 풀 리퀘스트가 없습니다. 크기는 팀이 읽기 쉽다고 느끼는 범위에 있고, 팀이 설명할 수 있는 몇몇 큰 변경이 있습니다. 리뷰 라운드는 낮지만 0은 아니고, 부담 쏠림은 중간 수준이며, 정체 건수는 적고, 병합 후 수정 비율은 안정적입니다. 어떤 수치가 급격히 좋아지면, 짝지은 방호책이 나쁜 쪽으로 움직이지 않았는지 누군가 확인해야 합니다.

상충 관계: 장점과 단점

접근 장점 단점
엄격한 응답 기대가 있는 빠른 리뷰 짧은 피드백 고리, 작성자의 맥락 손실 감소, 진행 중인 작업 감소 빨리 승인해야 한다는 압박, 집중 작업을 방해함
느리고 철저한 리뷰 설계와 위험을 꼼꼼히 읽음, 더 강한 지식 이전 사이클 타임 증가, 더 큰 배치가 쌓임, 작성자가 다른 일로 넘어가 맥락을 잃음
작은 풀 리퀘스트 읽고 되돌리기 쉬움, 더 매끄러운 흐름 변경당 오버헤드 증가, 기능을 혼란스러운 단계로 쪼갤 수 있음
큰 풀 리퀘스트 인계 감소, 기능 전체를 한눈에 볼 수 있음 리뷰가 얕아짐, 되돌리기 어려움, 긴 대기
지정된 소유자의 필수 승인 위험한 영역에 대한 명확한 책임, 변경 승인 뒷받침 병목과 단일 장애점이 생김
사람이 보기 전의 자동 점검 사람이 설계와 위험에 집중할 수 있음, 일관됨 잘못된 확신을 줄 수 있음, 유지 관리가 필요함

어느 한 정책이 이기지는 않습니다. 목표는 면밀한 검토를 지키면서 기다림을 줄이는 것이며, 보통의 길은 더 작은 변경, 명확한 리뷰 기대, 일상 점검을 위한 강한 자동화, 좋은 리뷰란 무엇인가에 대한 팀의 합의입니다. 리뷰 지표는 회고의 질문으로 쓸 때 가장 유용하고 목표로 쓸 때 가장 덜 유용합니다.

팀과 논의할 질문

1. 풀 리퀘스트는 수명의 대부분을 기다리며 보낼까요, 리뷰를 받으며 보낼까요? 데이터를 보기 전에 팀에게 추측해 보게 한 다음, 첫 리뷰까지의 시간과 병합까지의 나머지 시간의 비중을 보여 주십시오. 대부분의 그룹은 기다림이 얼마나 큰지에 놀랍니다. 진행자는 어떤 추측이 틀렸는지 적어 두고, 각각의 틀린 추측이 팀이 리뷰를 어떻게 경험하는지에 대해 무엇을 말해 주는지 물어야 합니다. 가장 큰 기다림을 공략하는 변경 한 가지로 마무리하십시오.

2. 이 팀에서 좋은 리뷰란 어떤 모습이며, 외부인은 그것을 어떻게 알아볼 수 있을까요? 설계에 대해 묻기, 테스트 확인하기, 요청의 이유 설명하기처럼 팀이 가치 있게 여기는 행동을 나열하십시오. 그런 다음 그중 어떤 것이 풀 리퀘스트에 눈에 보이는 흔적을 남기는지 물으십시오. 개인을 감시하지 않으면서 실질적인 첫 응답과 형식적인 첫 응답을 어떻게 구별할지 논의하십시오. 작업 합의에 넣을 짧은 서술에 합의하십시오.

3. 우리에게 얼마나 크면 너무 큰 것이며, 작업이 정말로 클 때는 어떻게 할까요? 크기 분포를 보고 가장 큰 풀 리퀘스트 몇 건을 고르십시오. 각각 왜 컸는지, 쪼갤 수 있었는지 물으십시오. 기능 토글, 준비 리팩터링, 플래그 뒤에서의 병합 같은 기법을 논의하십시오. 진행자는 숫자 한도를 정하는 것을 삼가고, 대신 팀이 한 달 동안 시도해 볼 습관에 합의해야 합니다.

4. 가장 위험한 코드는 누가 리뷰하며, 그 사람이 자리를 비우면 어떻게 될까요? 코드 영역을 그 영역을 잘 리뷰할 수 있는 사람과 연결해 보십시오. 부담 쏠림과, 자격을 갖춘 리뷰어가 한 명뿐인 영역을 살펴보십시오. 짝 작업이나 배정 순환으로 각 영역에 두 번째 리뷰어를 키우는 방법을 논의하십시오. 대화는 팀의 회복 탄력성에 관한 것이어야 하며 누군가의 업무량 순위에 관한 것이어서는 안 됩니다.

5. 내일 리뷰 속도가 두 배가 된다면 품질에 관해 무엇이 참이기를 바랄까요? 병합 후 수정, 최근 변경에 연결된 인시던트, 되돌리기 횟수처럼 지켜볼 품질 신호를 그룹이 말하게 하십시오. 그 신호들이 지금 속도 차트 옆에 보이는지 확인하십시오. 속도를 면밀한 검토와 맞바꾸어 샀다는 초기 징후가 무엇일지 논의하십시오. 대시보드에 어떤 대응 지표를 보여 줄지 합의하십시오.

6. 도움이 되지 않는 방식으로 개선하고 싶어질 리뷰 수치는 무엇일까요? 각 지표를 짚어 가며, 압박을 받는 사람이 무엇도 나아지게 하지 않고 어떻게 수치를 좋아 보이게 할 수 있을지 물으십시오. 답을 위의 악용 방식 표와 비교하고 팀 나름의 아이디어를 더하십시오. 목적은 일이 벌어지기 전에 위험을 이름 붙이는 것입니다. 각 지표와 함께 검토할 방호책에 합의하십시오.

네 가지 관점

제품 및 전달 팀

전달 팀은 리뷰 프로세스를 소유하므로 그 지표도 소유해야 합니다. 매일의 리뷰 시간대, 명확한 요청 절차, 작은 변경이라는 단순한 합의로 기다림을 줄일 때 가장 큰 이익을 얻습니다. 수치는 회고에서 활용하고, 진행 중인 작업을 낮게 유지하며, 차트 하나를 최적화하려는 유혹을 이겨내야 합니다. 리뷰는 새 구성원이 코드베이스를 배우는 곳이기도 하므로 그 목적을 지키십시오.

서비스 및 운영 팀

운영 팀은 인프라 코드, 구성, 런북 자동화가 풀 리퀘스트로 바뀌는 곳에서 리뷰를 만납니다. 이들에게 리뷰는 표준 변경이 승인되고 증빙되는 방식의 일부인 경우가 많습니다(주제 4.3, 변경 활성화 지표 참조). 어떤 변경에 두 번째 사람의 리뷰가 필요한지, 긴급 수정을 얼마나 빨리 리뷰하는지, 긴급 변경을 사후에 어떻게 리뷰하는지를 합의해서, 서두른 수정도 검토를 거치게 해야 합니다. 위험한 변경에 대한 얇은 리뷰는 나중에 인시던트로 나타납니다.

리더십과 거버넌스

리더는 리뷰 지표를 생산성 점수가 아니라 팀 건강과 흐름에 대한 신호로 다루어야 합니다. 속도 수치가 보고될 때마다 짝지은 품질 지표를 요청하고, 신중한 리뷰에 드는 시간을 뒷받침하며, 저장소와 위험이 다르므로 원시 리뷰 시간으로 팀을 비교하지 않아야 합니다. 거버넌스 기구는 문서화되고 표본 조사를 하는 리뷰 프로세스가 승인 건수보다 강하다는 점을 받아들인다면, 리뷰 증거를 변경 보증의 일부로 활용할 수 있습니다.

고객과 사용자

고객은 풀 리퀘스트를 보지 못하지만 그 결과를 체감합니다. 수정이 얼마나 빨리 도착하는지, 릴리스가 새 결함을 얼마나 자주 가져오는지가 그렇습니다. 짧은 리뷰 대기는 긴급 수정이 더 빨리 도달하게 돕고, 사려 깊은 리뷰는 결함이 고객에게 닿지 않게 돕습니다. 서비스에 공개된 릴리스 또는 결함 이력이 있다면, 팀이 시간이 지나며 되돌리기와 반복 수정이 줄어드는 모습을 보여 줄 때 고객이 이익을 얻습니다.

실제 적용: 서비스 관리 사례

지역 병원의 IT 부서가 환자 진료 예약 웹 서비스를 운영합니다. 이 서비스는 7명의 제품 팀이 만들었고 작은 사이트 신뢰성 그룹이 운영합니다. 이 사례의 모든 수치는 예시입니다.

분기 검토에서 팀은 리뷰 사이클 타임의 중앙값이 26 근무 시간이고 85번째 백분위수가 71 근무 시간임을 발견합니다(예시). 사이클을 나누어 보니 첫 리뷰까지의 시간의 중앙값이 19 근무 시간이어서 지연의 대부분이 기다림입니다. 풀 리퀘스트 크기의 중앙값은 180줄이고 85번째 백분위수는 900줄이며(예시), 가장 바쁜 두 리뷰어가 리뷰의 68%를 처리합니다(예시). 병합 후 수정 비율은 9%입니다(예시).

팀은 세 가지에 합의합니다. 매일 30분의 리뷰 시간대를 정하고, 하루 영업일 안에 첫 응답을 한다는 기대를 작업 합의에 적고, "먼저 리뷰" 당번을 매주 돌아가며 맡습니다. 또한 큰 작업에 쪼개기 습관을 도입해, 기능 토글로 부분 기능을 안전하게 병합할 수 있게 합니다. 크기 한도나 첫 리뷰까지의 시간 목표는 정하지 않습니다.

두 달 뒤 첫 리뷰까지의 시간의 중앙값은 6 근무 시간으로 떨어지고 리뷰 사이클 타임의 85번째 백분위수는 34 근무 시간으로 떨어집니다(예시). 부담 쏠림은 52%로 내려가고(예시), 병합 후 수정 비율은 9%를 유지합니다.

그런 다음 팀은 악용 위험을 발견합니다. 승인 표본을 보니 예약 알림 로직을 건드린 변경에서 첫 응답의 약 3분의 1이 몇 분 안에 도착하고 "LGTM"만 적혀 있습니다. 속도 개선은 일부는 진짜였고 일부는 고무도장이었습니다. 영향받은 코드가 월 단위 주기로 실행되어 병합 후 수정 비율은 아직 움직이지 않았습니다. 팀은 첫 응답에 질문, 변경의 특정 부분에 대한 댓글, 무엇을 확인했는지에 대한 명시적 메모 중 하나가 들어가도록 작업 합의를 바꾸고, 댓글 없는 승인의 표본 비율을 리뷰 차트에 추가합니다. 또한 환자에게 보이는 알림 로직의 변경에는 리뷰어 두 명이 필요하고 그중 한 명은 운영 그룹 소속이어야 한다는 데 합의합니다. 이 결정과 이유는 팀의 결정 기록에 들어갑니다.

애자일, AI, 자동화, 분석

애자일

빠르고 작은 리뷰는 지속적 전달과 지속 가능한 속도를 뒷받침합니다. 실용적인 습관은 첫 리뷰까지의 시간에 대한 팀 규범에 합의하고 정기 팀 검토에서 정체된 풀 리퀘스트를 이야기하는 것입니다. 주의할 점은 리뷰 속도를 목표로 삼으면 고무도장 승인으로 이어지므로 병합 후 수정과 짝지어야 한다는 것입니다.

AI

AI가 생성한 변경은 풀 리퀘스트의 수와 크기를 늘릴 수 있고, AI 리뷰 도구는 첫 확인을 빠르게 할 수 있습니다. 첫 리뷰까지의 시간을 AI 지원 변경의 병합 후 수정 비율과 짝짓고, 리뷰 부담은 사람별이 아니라 리뷰어 역할별로 보고하십시오. 주의할 점은 봇의 리뷰 댓글이 리뷰로 집계될 수 있으므로 사람의 리뷰를 따로 세어야 한다는 것입니다.

자동화

코드 호스트에서 리뷰 이벤트를 자동으로 가져오고, 사람이 판단에 시간을 쓰도록 사람의 리뷰 전에 자동 점검을 실행하십시오. 점검 자체도 오탐과 점검을 빠져나간 결함으로 측정하십시오. 주의할 점은 자동화가 과하면 사람들이 도구가 모두 잡았다고 가정해서 사람의 리뷰가 피상적이 될 수 있다는 것입니다.

분석

크기, 첫 리뷰까지의 시간, 리뷰 라운드의 분포를 개인이 아니라 팀별로 보여 주십시오. 이 분석이 알려 주는 결정은 리뷰 역량이나 변경 크기에 어디서 주의가 필요한가입니다. 주의할 점은 이 수치가 리뷰 시스템을 설명할 뿐이며, 사람의 순위를 매기는 용도는 수치를 더 작고, 더 안전하고, 덜 유용한 변경 쪽으로 밀어낸다는 것입니다.

부문별 관점

스타트업. 작은 팀은 모두가 코드를 알기 때문에 몇 분 안에 리뷰할 수 있고, 주된 위험은 시간이 부족할 때 리뷰를 건너뛰는 것입니다. 지표는 적게 유지하십시오. 첫 리뷰까지의 시간과 크기면 충분합니다. 작은 변경의 습관은 코드베이스와 팀이 커진 뒤에는 도입하기가 훨씬 어려우므로 일찍 확립하십시오.

소기업. 개발자 한두 명이나 외부 공급업체가 소프트웨어를 유지하는 경우가 많습니다. 리뷰는 동료 한 명이나 공급업체 자체 직원이 할 수 있습니다. 공급업체에 어떻게 리뷰하는지, 풀 리퀘스트 데이터를 공유할 수 있는지 물으십시오. 작은 팀에서 리뷰는 실수에 대한 주된 점검이므로, 어떤 변경을 누가 리뷰했는지 간단한 기록을 남기십시오.

대기업. 많은 팀, 저장소, 승인 규칙이 큰 편차를 만듭니다. 플랫폼 데이터를 비교할 수 있도록 시계의 정의와 제외 항목을 표준화하되, 위험과 코드베이스가 다르므로 원시 리뷰 시간으로 팀의 순위를 매기지 마십시오. 감사를 위해 부과되어 면밀한 검토 없이 대기만 더하는 리뷰 요건을 경계하고, 수동 승인을 자동 점검과 표본 리뷰로 바꿀 기회를 찾으십시오.

정부와 공공 부문. 업무 분리, 감사 추적, 조달 규칙은 변경에 독립적인 승인을 요구하는 경우가 많습니다. 이 규칙을 설계 입력으로 다루십시오. 누가 무엇을 언제 승인했는지 기록하고, 규칙이 만드는 대기를 측정하십시오. 공급업체가 코드를 작성한다면 계약에 리뷰 증거와 데이터 접근을 명시하십시오(주제 8.5, 규제 및 정부 보고 참조).

비즈니스 케이스: 동기, ROI, TCO

동기는 전달에서 느리면서도 통제 가능한 부분을 줄이면서 동료 리뷰의 이점인 결함 감소, 공유된 지식, 감사 추적을 지키는 것입니다. 기다리는 풀 리퀘스트는 완성된 작업이 사용자에게 가는 것을 막고, 작성자의 컨텍스트 전환 비용을 늘리며, 브랜치가 오래될수록 병합 충돌 가능성을 높입니다. 따라서 기다림을 줄이면 더 빠른 전달, 더 적은 재작업, 더 적은 좌절로 보답합니다.

버전 관리 플랫폼이 이벤트 이력과 API를 제공하면 이 지표를 수집하는 비용은 낮습니다. 주된 비용은 시계와 제외 항목을 정의하고, 보고서를 만들거나 구성하고, 수치를 정기적으로 검토하는 시간입니다. 더 큰 비용은 행동에 관한 것으로, 다른 일과 경쟁하면서 사람들이 신속한 리뷰에 쏟는 시간입니다. 그 시간이 진짜 투자이며 공짜로 취급하지 말고 예산에 잡아야 합니다.

수익은 더 짧은 리뷰 사이클 타임, 더 적은 정체된 풀 리퀘스트, 안정적이거나 떨어지는 병합 후 수정 비율로 나타납니다. 결과는 출발점과 팀에 따라 다르므로 특정 개선 비율을 미리 주장하지 마십시오. 믿을 만한 케이스는 다른 조직의 수치를 인용하기보다 품질 대응 지표와 함께 팀 자신의 전후 분포를 비교합니다. 2018년의 책 Accelerate는 기술적 실천과 문화적 실천을 전달 성과에 연결하는 연구를 보고하며 일반적 논거의 출처로는 적절하지만, 여러분 팀의 수치는 여러분 자신의 데이터에서 나옵니다.

안티패턴과 함정

  • 리뷰어나 작성자의 순위 매기기. 완료한 리뷰나 변경 줄 수의 개인별 순위표는 협업을 훼손합니다. 팀 단위로 보고하고 수치는 팀의 습관을 조정하는 데 쓰십시오.
  • 품질 대응 지표 없이 첫 리뷰까지의 시간을 목표로 삼기. 결과는 고무도장입니다. 모든 속도 차트 옆에 병합 후 수정 비율과 댓글 없는 승인의 표본을 보여 주십시오.
  • 엄격한 크기 한도 정하기. 팀은 규정을 지키려고 작업을 인위적으로 쪼갭니다. 대신 크기를 대화의 소재로 쓰고 쪼개기 기법을 가르치십시오.
  • 댓글이 없는 것을 성공으로 여기기. 검토되지 않은 승인은 신뢰를 반영할 수도, 부주의를 반영할 수도 있습니다. 그런 풀 리퀘스트를 표본으로 뽑아 함께 읽으십시오.
  • 봇 활동을 리뷰로 세기. 자동화된 댓글은 기다림을 짧아 보이게 합니다. 시계와 부담 측정에서 봇을 제외하십시오.
  • 시간대와 달력 무시하기. 원시 시계 시간은 주말과 지역 간 대기를 느린 리뷰처럼 보이게 합니다. 근무 시간을 쓰고 달력에 이름을 붙이십시오.
  • 정체 목록이 커지도록 방치하기. 오래된 풀 리퀘스트는 병합 충돌이 쌓이고 맥락을 잃습니다. 목록을 매주 검토하고 각 항목을 병합하거나, 재작업하거나, 이유와 함께 닫으십시오.

성숙도 모델

차원 1 시작 2 발전 3 표준화 4 관리 5 조율
정의와 시계 리뷰 시간을 짐작하거나 느낌으로 보고함 일부 팀이 자체 규칙으로 플랫폼에서 시간을 내보냄 봇, 초안, 달력에 대한 제외 항목을 포함해 각 시계의 정의를 하나로 문서화함 정의를 주기적으로 검토하고 변경을 이유와 함께 기록함 팀과 공급업체에 걸쳐 정의를 맞추고, 의사결정에 더 이상 도움이 되지 않으면 수정함
리뷰 실천 누군가 알아차릴 때 리뷰가 이루어짐 일부 팀에 비공식 규범이 있음 요청, 응답 기대, 리뷰가 다루는 범위에 대한 작업 합의가 문서화됨 데이터에 따라 규범을 조정하고 지식 공유와 위험 영역을 추적함 팀과 공급업체에 걸쳐 리뷰 실천을 조율하고 일상 점검은 자동화가 처리함
품질 대응 지표 리뷰와 결함 사이에 연결이 없음 병합 후 수정을 가끔 살펴봄 병합 후 수정 비율을 리뷰 속도 옆에 보여 줌 방호책을 정기적으로 검토하고 표본 승인을 읽음 리뷰 증거가 서비스 전반의 변경 보증과 인시던트 학습에 연결됨
개선에의 활용 수치를 쓰지 않음 일부 회고에서 보여 줌 소유 팀이 고정 주기로 검토함 격차가 계획되고 자원이 배정된 개선 작업으로 이어짐 개선 아이디어가 팀에서 공유 실천으로, 다시 팀으로 흐름

체크리스트

  • 첫 리뷰까지의 시간과 리뷰 사이클 타임의 시계가 시작, 종료, 제외 항목과 함께 문서화되어 있다.
  • 봇, 초안, 병합 없이 닫힌 풀 리퀘스트가 제외되거나 따로 집계되며 규칙이 공개되어 있다.
  • 시간을 근무 시간 기준의 중앙값과 높은 백분위수로 보고한다.
  • 풀 리퀘스트 크기를 생성 파일과 외부 반입 파일에 대해 합의된 무시 목록으로 측정한다.
  • 리뷰를 어떻게 요청하고 첫 응답을 얼마나 빨리 기대하는지에 대한 팀의 서면 합의가 있다.
  • 리뷰 부담 쏠림을 팀 단위로만 보고한다.
  • 병합 후 수정 비율이나 다른 품질 대응 지표가 리뷰 속도와 같은 차트에 표시된다.
  • 댓글 없는 승인과 매우 빠른 승인의 표본을 매달 읽는다.
  • 정체된 풀 리퀘스트 목록을 매주 검토한다.
  • 리뷰 데이터를 회고에 쓰고 개인 평가에는 쓰지 않는다.
  • 자격을 갖춘 리뷰어가 한 명뿐인 코드 영역을 나열하고 계획을 세웠다.

AI 프롬프트

리뷰 지표의 시계 정의 초안 작성

I want to define review metrics for [team or repository]. Our platform is
[version control platform] and our workflow is [describe: draft pull requests,
required approvals, merge rules, bots in use]. Draft precise definitions for time
to first review and review cycle time, stating the event that starts and stops
each clock, what is excluded (bots, drafts, closed unmerged), how working hours
are handled for [time zones and working calendar], and which percentiles to
report. Do not invent benchmark values or tool features. List your assumptions and
the questions I should answer to finish the definitions.

리뷰 데이터 내보내기 분석

Here is an anonymized export of merged pull requests for [team] over [period],
with columns [list columns, for example ready time, first review time, merge time,
lines changed, review rounds, linked fix flag]: [paste data or summary]. Compute
the median and 85th percentile for each time measure and for size, split the
review cycle into waiting and reviewing, and point out patterns that deserve a
conversation. Do not rank individuals, and do not compare with outside
benchmarks. List your assumptions and any data quality problems you notice.

리뷰 지표의 악용 위험 찾기

Our team reports these review metrics: [list metrics and how each is calculated].
The pressures on us are [for example a release deadline, a leadership target, a
supplier contract]. For each metric, describe plausible ways it could be improved
without improving review, the early signs of each, and a paired guardrail metric
or practice that would catch it. Do not invent statistics. List your assumptions
and tell me what you would need to know to rank the risks.

리뷰 흐름에 대한 회고 준비

Prepare a 45-minute retrospective agenda for [team] on review flow. Inputs: time
to first review [value], review cycle time [value], median size [value], load
concentration [value], and post-merge fix rate [value], all labeled with their
definitions. Suggest questions that surface causes, one small experiment the team
could run for [duration], and the quality signal to watch during the experiment.
Do not invent causes or targets. List your assumptions and the data I should bring.

AI 스킬

핵심 정리

  • 리뷰 지연의 대부분은 기다림이므로, 첫 리뷰까지의 시간과 리뷰 사이클 타임을 근무 시간 기준의 분포로 측정하십시오.
  • 더 작은 풀 리퀘스트가 더 빠르고 더 신중하게 리뷰됩니다. 크기 상한을 강요하지 말고 쪼개기를 가르치십시오.
  • 모든 속도 측정치에 병합 후 수정 비율 같은 품질 대응 지표를 짝짓고 둘을 함께 읽으십시오.
  • 리뷰 부담을 팀의 역량으로 다루고 쏠림은 팀 단위로 보고하며, 사람의 순위로 쓰지 마십시오.
  • 리뷰 지표는 회고를 위한 질문이며, 작업을 소유한 팀을 위해 존재합니다.

참고 문헌과 더 읽을거리

  1. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  2. Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 2021.
  3. Google, Code Review Developer Guide, Google Engineering Practices documentation, https://google.github.io/eng-practices/review/
  4. Bacchelli, A., and Bird, C., "Expectations, Outcomes, and Challenges of Modern Code Review," Proceedings of the 35th International Conference on Software Engineering (ICSE), 2013.
  5. Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
  6. Schwaber, K., and Sutherland, J., The Scrum Guide, Scrum.org and Scrum Inc., 2020.
  7. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  8. Wikipedia, Pull request.
  9. Wikipedia, Version control.
  10. Wikipedia, Code review.
  11. Wikipedia, Goodhart's law.
  12. Wikipedia, Continuous integration.
  13. Wikipedia, Trunk-based development.
  14. Wikipedia, Pair programming.
  15. Wikipedia, Static program analysis.