라이브 서비스에 가하는 모든 변경은 하나의 내기입니다. 가치를 더 일찍 전달할 수도 있고, 사용자가 의존하는 무언가를 망가뜨릴 수도 있습니다. 제3부는 문제가 생겼을 때 지원과 복구가 얼마나 잘 작동하는지를 측정했습니다(주제 3.0, 제3부 소개: 서비스 데스크, 인시던트, 요청 지표 참조). 이 부는 같은 동전의 반대편을 봅니다. 변경이 환경에 어떻게 들어오는지, 얼마나 자주 문제를 일으키는지, 같은 문제가 되풀이되지 않도록 조직이 얼마나 잘 배우는지입니다.

지속적 전달과 ITIL은 이 영역에 서로 다른 방향에서 접근합니다. 애자일 실천은 작은 변경으로 소프트웨어를 지속적으로 전달하는 방식을 선호하며, 빠른 피드백을 안전장치로 봅니다. 문제 관리, 변경 활성화(change enablement), 릴리스 관리 같은 ITIL 프랙티스는 안정성을 지키고 인시던트의 원인을 찾아 제거하기 위해 존재합니다. 이 부의 지표는 두 관점을 같은 증거로 점검할 수 있게 해 줍니다. 잦은 변경이 안전하다면 실패 지표와 재작업 지표가 그것을 보여 줄 것입니다. 어떤 통제가 위험을 줄이지 못한 채 전달만 늦추고 있다면, 승인 지표와 리드 타임 지표가 대신 그 사실을 보여 줄 것입니다.

두 가지 주의 사항이 이 부 전체를 관통합니다. 속도와 안정성은 함께 읽어야 합니다. 한쪽을 개선하면서 다른 쪽을 조용히 해치는 숫자는 나쁜 거래이기 때문입니다. 시간 지표 역시 제1부에서 설명한 대로 백분위수를 곁들인 분포로 읽어야 합니다(주제 1.6, 서비스 지표를 위한 통계 소양 참조). 여기 나오는 모든 지표는 팀, 서비스, 시스템을 설명합니다. 개인의 순위를 매기는 지표는 하나도 없으며, 단독으로 밀어붙일 목표도 아닙니다(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조).

이 부는 네 가지 렌즈로 형성됩니다. 지속적 전달은 작고 잦은 변경을 기본으로 삼기 때문에, 변경과 릴리스 지표는 흐름과 안전을 함께 설명합니다. AI 지원 변경과 AI가 생성한 위험 점수에는 별도의 품질 짝 지표가 필요합니다. 파이프라인은 증거와 승인을 자동화하므로, 자동화 자체를 실패율로 측정해야 합니다. 분석은 변경, 인시던트, 문제를 서로 연결하고, 각 비율 뒤에 몇 건의 사례가 있는지를 알려 줍니다.

이 부의 주제

  • 4.1 문제 관리 지표: 열린 문제와 닫힌 문제, 알려진 오류의 재사용, 재발, 영구 수정까지의 시간.
  • 4.2 사후 분석과 학습 지표: 검토 완료, 조치 항목 종결, 원인의 재발, 비난 없는 학습의 신호.
  • 4.3 변경 활성화 지표: 유형별 변경 규모, 승인 리드 타임, 표준 변경 비중, 승인의 자동화.
  • 4.4 변경 실패와 재작업: 변경 실패율, 긴급 변경 비중, 롤백과 핫픽스 비율, 일관된 실패 정의.
  • 4.5 릴리스와 배포 지표: 배포 빈도, 릴리스 빈도, 기능 플래그 사용, 릴리스 리드 타임, 배포와 릴리스의 분리.
  • 4.6 기술 부채와 알려진 오류: 알려진 오류 백로그, 부채의 규모와 이자, 기능 작업 대비 수정의 우선순위 결정.

이 주제들의 상호 관계

이 부는 서로 의존하는 두 절반으로 나뉩니다. 주제 4.1과 4.2는 학습을 다룹니다. 인시던트가 어떻게 원인까지 추적되는지, 그리고 검토가 어떻게 완료된 수정으로 이어지는지입니다. 주제 4.3, 4.4, 4.5는 변경을 다룹니다. 변경이 어떻게 승인되는지, 얼마나 자주 실패하는지, 어떻게 사용자에게 도달하는지입니다. 주제 4.6은 두 절반을 잇습니다. 학습이 드러내는 부채와 알려진 오류가 바로 새 기능과 팀의 시간을 두고 경쟁하는 항목이기 때문입니다.

가장 중요한 짝은 속도와 실패 사이에 있습니다. 주제 4.5의 배포 빈도와 릴리스 빈도(주제 4.5, 릴리스와 배포 지표 참조)는 변경이 얼마나 자주 프로덕션에 도달하는지를 설명하고, DORA 연구 프로그램은 이런 처리량 지표를 안정성 지표와 짝지어 봅니다(주제 2.8, DORA 지표 참조). 주제 4.4(주제 4.4, 변경 실패와 재작업 참조)가 그 안정성 쪽을 채웁니다. 배포는 더 자주 하는데 실패율과 재작업률이 그대로이거나 내려가는 팀은 개선되고 있습니다. 빈도가 오르는 만큼 롤백과 핫픽스도 늘어나는 팀은 비용을 다른 곳으로 옮기고 있을 뿐입니다.

변경 활성화는 둘 사이에 있습니다. 주제 4.3(주제 4.3, 변경 활성화 지표 참조)은 통제 쪽을 측정합니다. 승인에 얼마나 걸리는지, 얼마나 많은 변경이 표준으로 사전 승인되어 있는지, 승인의 얼마만큼이 자동화되어 있는지입니다. 승인 리드 타임은 통제의 비용이고, 주제 4.4의 변경 실패율은 그 통제가 작동하는지를 보여 주는 증거입니다. 함께 읽으면 무거운 승인 단계가 안전을 사고 있는지 지연만 더하고 있는지, 그리고 더 가볍고 자동화된 승인이 실패율을 그대로 유지했는지를 알 수 있습니다.

학습 주제는 나머지를 지켜 줍니다. 주제 4.1의 문제 관리(주제 4.1, 문제 관리 지표 참조)는 재발과 영구 수정까지의 시간을 측정하는데, 이는 제3부의 인시던트 처리가 원인을 제거하고 있는지 서비스만 복구하고 있는지를 가리는 장기적 시험입니다. 주제 4.2(주제 4.2, 사후 분석과 학습 지표 참조)는 검토가 실제로 이루어지는지, 그 조치가 종결되는지를 확인합니다. 후속 조치 없이 완료된 검토는 아무것도 바꾸지 못하기 때문입니다. 검토나 문제의 종결 건수는 악용하기 쉬우므로, 위조하기 더 어려운 같은 원인의 재발 지표와 나란히 읽어야 합니다.

마지막으로 주제 4.6(주제 4.6, 기술 부채와 알려진 오류 참조)은 다른 지표들이 왜 표류하는지를 설명합니다. 해소되지 않은 알려진 오류와 쌓인 부채는 실패 가능성과 이후 모든 변경의 비용을 높입니다. 알려진 오류 백로그를 변경 실패율 옆에 놓고 보면, 수정을 미루는 일이 언제부터 전달을 늦추기 시작했는지 알 수 있습니다.

이후의 부들이 이 지표들 위에 쌓입니다. 제5부의 서비스 수준 목표와 오류 예산은 변경의 속도를 판단할 신뢰성 한계를 제공하고, 제11부는 두려움을 키우지 않고 이 지표들을 도입하는 방법을 보여 줍니다.