개요와 동기

운영 중인 서비스에 대한 모든 변경에는 상황을 악화시킬 어느 정도의 가능성이 있습니다. 실용적인 질문은 그런 일이 얼마나 자주 일어나는지, 얼마나 많은 계획 외 작업을 만드는지, 팀이 얼마나 빨리 복구하는지입니다. 이 주제는 그에 답하는 측정치를 다룹니다. 실패하는 변경의 비율, 긴급 경로가 필요한 비율, 롤백과 핫픽스의 비율, 나쁜 변경 뒤에 따르는 재작업입니다. 또 이 주제에서 가장 덜 화려한 부분, 즉 무엇이 실패로 세는지 합의하는 일도 다룹니다.

먼저 몇 가지 용어입니다. ITIL 4에서 변경 활성화라는 프랙티스는 서비스에 영향을 줄 수 있는 모든 것의 추가, 수정, 제거를 다룹니다. 따라서 변경은 코드 배포보다 넓습니다. 구성 편집, 인증서 갱신, 방화벽 규칙, 데이터베이스 이전을 포함합니다. 표준 변경은 사전 승인되고 저위험이며, 정상 변경은 평가를 거치며, 긴급 변경은 대개 서비스를 복구하거나 심각한 취약점을 막으려고 급히 이루어집니다. 배포는 소프트웨어의 한 버전을 환경에 올리는 행위이고, 릴리스는 사용자에게 기능을 제공하게 합니다. 기능 토글(feature toggle)을 쓰는 팀은 릴리스하지 않고도 코드를 배포할 수 있습니다(주제 4.5, 릴리스와 배포 지표 참조).

변경 실패는 서비스 저하로 이어지거나 복구가 필요한 변경입니다. 복구에는 여러 모양이 있습니다. 롤백(rollback)은 시스템을 이전 상태로 되돌립니다. 핫픽스(hotfix)는 정상 릴리스 리듬 밖에서 적용하는 긴급 패치입니다. 롤포워드 수정은 망가진 변경 위에 새 변경을 출시합니다. 재작업(rework)은 끝났어야 할 것을 다시 하거나 수리하는 데 쓰는 계획 외 노력입니다. 작은 변경이 자주 운영에 흐르는 지속적 전달(continuous delivery) 환경에서 이 측정치들은 속도가 안정성을 희생하고 있는지에 대한 주된 증거입니다.

두 전통은 같은 사건을 다르게 봅니다. ITIL 관점은 변경 레코드를 중심으로 구성됩니다. 변경이 승인되었는지, 성공했는지, 결과가 기록되었는지입니다. 서류상으로 성공한 변경도 한 시간 뒤에 인시던트를 일으킬 수 있습니다. 애자일 관점은 작업 항목과 배포를 중심으로 구성됩니다. 팀의 완료의 정의가 유지되었는지, 변경이 곧 계획 외 작업을 일으켰는지입니다. 어느 한 관점만으로는 완전하지 않습니다. DORA 프로그램의 연구는 변경 실패율과 배포 재작업률을 처리량 측정치 옆의 두 "불안정성" 측정치로 다룹니다(프로그램 수준에서 정의하는 주제 2.8, DORA 지표 참조). 이 주제는 메커니즘을 더 깊이 다룹니다. 실패를 어떻게 정의하는지, 인시던트를 변경에 어떻게 붙이는지, 긴급 작업을 어떻게 세는지, 숫자가 어떻게 악용되는지입니다.

처음부터 경고가 적용됩니다. 이 측정치들은 팀, 서비스, 파이프라인을 설명합니다. 사람을 설명하지 않습니다. 개별 엔지니어에게 붙은 변경 실패율은 사람들에게 위험하지만 가치 있는 작업을 피하고, 숫자가 좋아 보일 때까지 변경을 쪼개고, 문제 보고를 그만두도록 가르칩니다(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조). "더 적은 실패"는 더 적은 실패를 기록해서 쉽게 달성되므로 굿하트의 법칙(Goodhart's law)이 여기서 크게 작용합니다.

인시던트 시간은 주제 3.3, 인시던트 대응 및 해결 시간에, 최악의 인시던트는 주제 3.4, 중대 인시던트 지표에, 승인 흐름과 표준 변경 비중은 주제 4.3, 변경 활성화 지표에, 근본 원인은 주제 4.1, 문제 관리 지표에, 서면 검토는 주제 4.2, 사후 분석과 학습 지표에 속합니다.

핵심 원칙

  • 실패에는 하나의 서면 정의가 필요합니다. 건별로 결정하는 팀은 추세를 보거나 비교할 수 없는 숫자를 만들고, 정의에 대한 논쟁이 일에 대한 논쟁을 대체합니다.
  • 실패는 그 변경까지 추적할 수 있어야 합니다. 인시던트, 롤백, 핫픽스와 그것을 일으킨 변경 사이의 기록된 연결이 없으면 실패율은 추측입니다.
  • 모든 복구 경로를 세십시오. 롤백, 핫픽스, 롤포워드, 수작업 우회책은 같은 사건에 이르는 네 가지 길입니다. 그중 하나만 세는 측정치는 팀이 다른 길을 고르도록 보상합니다.
  • 실패를 속도와 복구와 함께 읽으십시오. 단독으로 본 변경 실패율은 덜 자주 바꿔서 개선할 수 있지만, 그것은 목표가 거의 아닙니다. 리드 타임, 배포 빈도, 복구 시간과 짝지우십시오.
  • 작은 표본에는 백분율만이 아니라 건수가 필요합니다. 한 달에 변경 여덟 건에 실패 한 건인 팀은 거의 아무것도 말해 주지 않는 12.5퍼센트 실패율을 가지므로, 건수를 보여 주고 더 긴 구간을 쓰십시오(주제 1.6, 서비스 지표를 위한 통계 소양 참조).
  • 긴급은 죄가 아니라 신호입니다. 설명된 긴급 변경의 꾸준한 비중은 정상입니다. 오르는 비중은 대개 상류의 품질, 계획, 감지 문제를 가리킵니다.

지표 정의

실패와 재작업 측정치는 변경 레코드, 배포 로그, 인시던트 도구를 결합하는 데 달려 있습니다. 아래 각 정의는 무엇을 세는지, 무엇을 제외하는지, 시계가 어디서 시작하고 멈추는지 밝힙니다. 팀은 정의를 지표 레지스트리에 복사하고 명시된 이유로 조정해야 합니다.

지표 정의 공식 단위 데이터 원천 ITIL 프랙티스 애자일 대응 주기
변경 실패율 서비스 저하를 일으키거나 복구가 필요한 운영 변경의 비율 실패 기간 안에 롤백, 핫픽스, 롤포워드 수정, 연결된 인시던트가 필요했던 변경 / 기간 중 완료된 모든 운영 변경. 기간은 변경 완료 시 시작해 고정된 일수(예: 7일) 뒤에 멈추며 지표 레지스트리에 적음. 아직 기간 안에 있는 변경은 따로 보고하고 기간이 닫힐 때까지 비율에서 제외 퍼센트 인시던트 도구와 핫픽스 목록에 결합한 변경 레코드 또는 배포 로그 변경 활성화, 인시던트 관리 완료의 정의, 유출 결함 월, 90일 이동 구간
긴급 변경 비중 긴급 경로로 이루어진 변경의 비율 긴급으로 기록된 변경 / 기간 중 완료된 모든 변경. 긴급은 긴급성 때문에 정상 평가를 건너뛰었거나 단축했다는 뜻이며, 사전 승인된 표준 변경은 양쪽 건수에서 제외 퍼센트 변경 레코드 유형 필드 변경 활성화 계획 외 작업과 긴급 서비스 등급 월
롤백률 이전 버전으로 되돌려진 변경의 비율 운영에 도달한 후 되돌려진 변경 / 기간 중 모든 운영 변경. 변경이 어떤 사용자에게도 도달하기 전에 이루어진 롤백(예: 첫 단계에서 멈춘 카나리)은 따로 셈 퍼센트 배포 로그와 릴리스 도구 릴리스 관리, 배포 관리 파이프라인과 릴리스 실천 월
핫픽스율 정상 릴리스 흐름 밖에서 적용한 긴급 패치인 변경의 비율 핫픽스로 태그되거나 분기된 변경 / 기간 중 모든 운영 변경. 분모에는 핫픽스 자체가 포함 퍼센트 버전 관리 브랜치 또는 태그와 배포 로그 변경 활성화, 인시던트 관리 계획 외 작업, 긴급 처리 월
배포 재작업률 앞선 배포의 문제에 대한 계획 외 수정이었던 배포의 비율 같은 실패 기간 안에 최근의 앞선 배포의 결함이나 실패를 고치는 운영 배포 / 기간 중 모든 운영 배포. 로드맵의 계획된 후속 작업은 제외 퍼센트 "수정" 링크나 태그가 있는 배포 로그와 작업 트래커 변경 활성화, 지속적 개선 재작업, 유출 결함, 실패 수요 월
변경-인시던트 연결률 변경이 원인인지, 어느 변경인지 기록한 해결된 인시던트의 비율 "변경으로 인함" 필드(예 또는 아니오, 예이면 변경 식별자)가 완료된 인시던트 / 기간 중 해결된 인시던트. 시계는 인시던트가 닫힐 때 멈춤 퍼센트 인시던트 도구와 변경 레코드 인시던트 관리, 변경 활성화 인시던트 사후 검토, 완료의 정의 월
실패 정의 일치도 변경 표본이 실패했는지에 대한 두 검토자 간 일치 서면 정의를 써서 독립적인 두 검토자가 같은 실패 평결에 이른 표본 변경 / 표본 변경. 매 분기 무작위로 최소 20건의 변경 표본을 뽑음 퍼센트 지표 레지스트리와 함께 보관하는 표본 검토 시트 지속적 개선, 측정 및 보고 회고 분기

표에 대한 두 가지 메모입니다. 실패율과 재작업률은 겹치지만 다릅니다. 새 배포 없이 되돌려진 실패는 실패율에는 들어가고 재작업률에는 들어가지 않습니다. 또 단위는 인시던트가 아니라 변경이나 배포입니다. 변경 하나가 인시던트 세 개를 일으킬 수 있고 인시던트 하나가 변경 세 개에서 올 수 있기 때문입니다.

권장 사항

데이터를 수집하기 전에 실패의 정의를 쓰십시오

"실패"가 무엇을 뜻하는지 합의하고 지표 레지스트리에 넣으십시오. 쓸 만한 정의는, 변경이 완료 후 명시된 기간 안에 롤백되었거나, 핫픽스나 롤포워드 수정이 필요했거나, 명시된 심각도 이상의 인시던트에 연결되었다면 실패했다는 것입니다. 기간(7일이 흔하며 올바른 값은 서비스가 문제를 얼마나 빨리 보이는지에 달려 있습니다), 인시던트 심각도 임계값, 분쟁 시 누가 결정하는지를 밝히십시오. 정전 없이 성능을 저하시킨 변경처럼 까다로운 것을 포함해 최소 다섯 개의 실제 예를 적으십시오. 매년 정의를 다시 검토하고 변경을 이유와 함께 기록해 규칙이 움직이면 추세선을 다시 산출할 수 있게 하십시오.

인시던트 레코드에서 실패를 변경에 연결하십시오

인시던트 레코드에 필수 필드를 추가하십시오. 변경이 원인인지 예 또는 아니오, 예이면 변경 식별자입니다. 필드는 해결 중에 완료하고 인시던트 사후 검토에서 확인해야 합니다(주제 4.2, 사후 분석과 학습 지표 참조). 연결률을 별도의 지표로 추적하십시오. 인시던트의 절반만 필드가 있다면 실패율은 알 수 없는 만큼 진실을 과소평가하며, 숫자 옆에 그렇게 밝혀야 합니다. 가능한 곳에서는 인시던트가 시작되기 몇 시간 전에 영향받은 서비스에서 완료된 변경을 나열하는 것처럼 첫 추측을 자동화하고 사람이 확인하게 하십시오.

하나가 아니라 모든 복구 경로를 세십시오

여러 신호에서 하나의 실패를 정의하십시오. 롤백은 배포 도구에서, 핫픽스는 버전 관리나 릴리스 로그에서, 롤포워드 수정은 "수정" 링크에서, 인시던트는 인시던트 도구에서 가져와 변경별로 중복을 제거하십시오. 롤백만 세는 팀은 앞으로 고치는 방식으로 바꾸는 날 실패가 사라지는 것을 보게 됩니다. 각 경로를 별도의 분해로도 유지하십시오. 구성이 이야기를 하기 때문입니다. 핫픽스는 많고 롤백이 적다면 롤백이 어렵다는 뜻이며, 그 자체로 고칠 가치가 있습니다.

긴급 변경 비중을 점수가 아니라 질문으로 다루십시오

긴급 변경을 목표가 아니라 그룹으로 검토하십시오. 분기마다 모두 읽고 이유를 분류하십시오. 서비스 복구, 취약점 차단, 늦은 비즈니스 요청, 놓친 계획 단계, 일상 작업에는 너무 느린 승인 경로입니다. 마지막 둘은 시스템 문제이므로 사람들이 우회할 필요가 없도록 표준 경로를 개선해 고쳐야 합니다(주제 4.3, 변경 활성화 지표 참조). 진짜 긴급 상황이 일어나므로 0이라는 비중은 의심스럽습니다. 꾸준히 오르는 비중은 문제 레코드를 받을 자격이 있습니다(주제 4.1, 문제 관리 지표 참조).

재작업을 실패 수요로 측정하십시오

재작업을 앞선 실패가 만든 일로 추적하십시오. 실패 수요라는 발상은 서비스 설계에서 왔습니다. 처음에 제대로 되지 않았기 때문에 존재하는 수요입니다. 전달 용어로는 유일한 목적이 최근 변경을 바로잡는 것인 배포와 작업 항목을 세는 것입니다. 이는 계획된 일과 계획 외 일의 구분에 직접 연결됩니다(주제 2.9, 운영 작업과 계획 외 작업 참조). 재작업에 쓰는 용량의 비중을 제품 소유자와의 대화 시작으로 쓰십시오. 추상적인 비율을 다음에 무엇을 할지에 대한 상충 관계로 바꿔 주기 때문입니다.

건수, 분포, 기간과 함께 비율을 보고하십시오

백분율 옆에 건수를 보여 주고 이동 구간을 쓰십시오. 배포를 열 번 하는 팀의 월간 실패율은 잡음이 많습니다. 90일 이동 구간을 쓰고, 비율 뒤의 변경과 실패 건수를 보여 주고, 불확실성의 대략적 표시를 주십시오(주제 1.6, 서비스 지표를 위한 통계 소양 참조). 복구에는 평균 대신 실패부터 복구까지 시간의 중앙값과 85번째 백분위수를 보여 주십시오. 서비스에 변경이 아주 적다면 비율 대신 실제 실패의 목록으로 이야기를 하십시오.

실패를 속도와 짝지워 개선이 어느 쪽에도 숨지 못하게 하십시오

변경 실패율을 항상 리드 타임 및 배포 빈도 옆에 표시하십시오. 실패율이 떨어지는데 배포 빈도도 급격히 떨어지고 리드 타임이 길어진다면, 팀이 변경을 묶고 있어서 각 변경의 위험이 커질 수 있습니다. 속도가 오르는데 실패율이 일정하다면 시스템이 변경에 더 능숙해지고 있습니다. 이 짝짓기는 악용과, 배포가 적으면 더 안전하다는 편안한 믿음에 대한 주된 방어입니다(주제 2.8, DORA 지표 참조).

숫자를 써서 변경 자체를 개선하십시오

실패 데이터를 엔지니어링 실험으로 바꾸십시오. 실패한 변경의 공통 특징을 보십시오. 크기, 시간대, 유형, 관련된 사람의 수, 공유 구성 요소를 건드렸는지, 테스트 범위가 얇았는지입니다. 그다음 더 작은 배치, 위험한 영역의 자동 회귀 테스트(regression testing), 다음 위험한 변경의 카나리 릴리스(canary release), 배포와 릴리스를 분리하는 기능 토글 같은 작고 되돌릴 수 있는 실험 하나를 시도하십시오. 한 구간이 지난 뒤 다시 측정하십시오. 목표는 더 나은 변경이며 개선된 지표는 증거일 뿐입니다.

비난 없는 포럼에서 지표를 함께 검토하십시오

변경을 한 사람들과 함께 실패한 변경의 월간 검토를 여십시오. 안건은 세 가지입니다. 건수와 추세, 연구할 실패한 변경 두세 건, 소유자가 있는 개선 조치 하나입니다. 사람들이 당시 무엇을 알고 있었는지 서술하도록 비난 없는 검토 실천을 쓰십시오. 검토 메모를 지표와 함께 게시하십시오. 숫자가 쓰이는 방식 때문에 사람들이 실패 보고를 망설인다면 다른 무엇을 바꾸기 전에 그것을 고치십시오(주제 11.3, 두려움을 키우지 않고 지표 도입하기 참조).

악용 방식과 방호책

지표 악용되는 방식 짝을 이루는 방호책 지표 또는 실천
변경 실패율 실패 기간을 좁힘, 인시던트를 변경에 연결하지 않음, 나쁜 변경을 "서비스 요청"이나 "유지보수"로 분류함, 앞으로 고치고 새 변경이라고 부름, 한 번의 실패가 덮도록 많은 편집을 하나의 변경에 묶음 변경-인시던트 연결률, 인시던트 목록에 대한 분기별 표본 감사, 실패 정의 일치도, 옆에 리드 타임과 배포 빈도
긴급 변경 비중 긴급 작업을 거짓 위험 평가로 표준 경로로 보냄, 승인을 피하려고 일반 작업을 긴급으로 보냄, 긴급 하나를 여러 정상 변경으로 쪼갬 모든 긴급 변경의 분기별 읽기, 이유를 분류해 검토, 표준 변경 비중과 승인 리드 타임(주제 4.3, 변경 활성화 지표 참조)
롤백률 롤백 기록을 피하려고 앞으로 고침, 망가진 버전을 계속 운영함, 되돌릴 것이 없도록 변경을 운영에서 보류함 옆에 핫픽스율과 재작업률, 복구 시간 분포, 배포 로그에 대한 인시던트 표본
핫픽스율 핫픽스에 태그하지 않음, 정상 브랜치로 밀어 넣음, 핫픽스를 "작은 개선"이라고 부름 배포 재작업률, 브랜치와 태그 감사, 계획 외 작업 비중(주제 2.9, 운영 작업과 계획 외 작업 참조)
배포 재작업률 수정을 원래 배포에 연결하지 않음, 수정을 "계획됨"으로 라벨링함, 수정을 새 기능과 묶음 교정 배포의 필수 "수정" 링크, 계획됨으로 라벨링한 배포의 표본 검토, 옆에 변경 실패율
변경-인시던트 연결률 확인하지 않고 필드를 "아니오"로 채움, 필드가 "아니오"로 기본값이 되게 둠, 비율을 올리려고 인시던트를 일괄 닫음 인시던트 사후 검토에서 "아니오" 답의 표본 점검, 기본값 없음, 표본에 대한 검토자 의견
실패 정의 일치도 표본에 쉬운 예를 고름, 검토자가 측정되는 사람임, 모두가 동의하도록 정의를 느슨하게 함 팀 밖의 누군가 뽑는 무작위 표본, 경계 사례를 일부러 포함, 불일치를 게시하고 정의를 고침

건강한 수치는 다음과 같습니다. 실패율이 팀이 이해하고 설명하는 범위에 있고, 연결률이 실패율을 신뢰할 수 있을 만큼 높고, 긴급 변경이 적고 설명되며, 롤백과 핫픽스가 짧고 훈련되어 있습니다. 실패는 빨리 보고되고 비난 없이 논의됩니다. 낮은 연결률, 떨어지는 배포 빈도, 커지는 배치 크기와 함께 부자연스럽게 낮은 실패율은 성공이 아니라 경고입니다. 어떤 갑작스러운 개선이든 먼저 계측기를 점검하라는 촉구로 다루십시오(주제 1.5, 데이터 원천과 계측 참조).

상충 관계: 장점과 단점

접근 방식 강점 약점
엄격하고 자동화된 실패 정의 일관되고, 반복하기 싸고, 추세를 보기 쉬움 미묘한 저하를 놓침, 무해한 롤백을 실패로 셀 수 있음
변경별 판단 기반 검토 맥락과 심각도를 포착함 느리고, 주관적이고, 압박과 어긋남에 열려 있음
긴 실패 기간(몇 주) 지연된 실패를 잡아냄 원인과 결과를 흐리게 함, 최근 변경은 아직 보고할 수 없음
모든 복구 경로 세기 경로를 바꿔서 악용하기 어려움 여러 데이터 원천을 신중히 결합해야 함

자동화된 정의를 토대로 삼고 표본 사람 검토를 추가하며, 다른 무엇을 구축하기 전에 변경과 인시던트 사이의 결합을 개선하십시오.

팀과 논의할 질문

1. 여기서 정확히 무엇이 실패한 변경으로 셈하며, 우리 중 둘이 같은 변경에 대해 의견이 갈릴 수 있나요? 최근 변경 다섯 건을 골라 각자에게 실패했는지 투표하게 하십시오. 표와 이유를 비교하십시오. 불일치는 서면 정의가 얇은 곳을 보여 줍니다. 정전 없는 성능 하락처럼 까다로운 사례에 대한 규칙에 합의하고 예와 함께 적으십시오.

2. 어떤 인시던트가 변경으로 일어났는지 어떻게 알 수 있나요? 오늘 연결이 어떻게 기록되고 누가 채우는지 물으십시오. 최근 인시던트 열 건을 검토해 몇 건에 변경이 붙어 있고 몇 건에 붙어 있어야 하는지 보십시오. 필드가 선택 사항인지, "아니오"가 기본값인지, 누가 확인하는지 논의하십시오. 진행자는 기본값 없는 필수 필드 같은 레코드의 구체적인 개선을 목표로 해야 합니다.

3. 우리는 어떤 복구 경로를 쓰며, 모두 세어지고 있나요? 롤백, 핫픽스, 롤포워드 수정, 수작업 우회책, 기능 토글 끄기를 나열하십시오. 각각에 대해 사건이 어디에 기록되고 실패율에 공급되는지 물으십시오. 흔적을 남기지 않는 경로를 알아차리십시오. 논의는 흔히 팀이 선호하는 경로가 지표가 볼 수 없는 경로임을 드러냅니다.

4. 마지막 긴급 변경은 언제였으며, 피할 수 있었을까요? 마지막 서너 건을 훑어보십시오. 각각을 긴급하게 만든 것, 더 일찍 알려졌던 것, 더 나은 표준 경로가 어땠을지 물으십시오. 진짜 긴급 상황과 늦은 발견 및 느린 승인을 구분하십시오. 반복되는 긴급 이유를 없앨 일반 경로의 수정 하나에 합의하십시오.

5. 우리 한 주 중 얼마가 최근 변경을 고치는 데 쓰이나요? 기억이 아니라 트래커를 써서 지난 4주 동안 재작업에 쓴 용량의 비중을 추정하십시오. 추정치를 트래커와 비교하십시오. 그 숫자가 계획된 일에서 얼마나 비용이 드는지, 제품 소유자가 어떻게 쓸지 이야기하십시오. 실패 패턴 하나와 그것을 줄일 실험 하나를 고르십시오.

6. 다음 분기에 실패율이 절반으로 떨어진다면 우리는 그것을 믿을까요? 머리기사를 상상하고 그것이 사실이려면 무엇이 또 사실이어야 하는지 물으십시오. 안정적인 연결률, 일정한 배포 빈도, 빠른 복구, "유지보수"의 새 범주 없음입니다. 팀이 이미 하는 점검과 빠진 점검이 무엇인지 논의하십시오. 갑작스러운 개선을 축하하기 전에 어떻게 조사할지 합의하십시오.

네 가지 관점

제품 및 전달 팀

전달 팀은 변경을 소유하므로 실패의 정의와 수정을 소유합니다. 일에서 시작하십시오. 검토에서 실패한 변경을 보고, 공통 특징을 찾고, 더 작은 배치, 더 나은 테스트, 토글을 시도하십시오. 재작업을 보드의 일부로 추적해 계획 외 수정이 계획된 작업 옆에 보이게 하십시오. 숫자를 팀 자신의 학습용으로 유지하고 개인 수준 데이터의 공유에 저항하십시오. 지표가 리더에게 보여진다면 팀은 그 안의 모든 변경을 설명할 수 있어야 합니다.

서비스 및 운영 팀

운영 팀은 인시던트 대기열에서 변경의 결과를 보며 인시던트와 변경 사이의 연결을 유지하기에 가장 좋은 위치에 있습니다. 필수 필드를 추가하고, 해결 단계에서 확인하고, 비난 없이 결과를 전달 팀에 되돌려 줄 수 있습니다. 운영은 긴급 경로도 소유하며 그 사용을 검토해야 합니다. 복구 경로에 대한 정보를 공유하고 전달 팀과 함께 롤백을 훈련하십시오. 실패 비용을 줄이는 최선의 방법은 변경을 되돌릴 수 있게 만드는 공유된 습관입니다(주제 3.3, 인시던트 대응 및 해결 시간 참조).

리더십과 거버넌스

리더는 서비스별 추세, 속도와 함께하는 두 종류의 불안정성 측정치, 그 뒤의 개선 실험을 요청해야 합니다. "실패율 5퍼센트 미만" 같은 고정 목표는 재정의를 부르므로 피하고, 개인 평가에 수치를 쓰지 마십시오. 거버넌스 기구는 통제가 완화되는 동안 실패와 복구가 안정적이었음을 확인함으로써 더 가벼운 승인 경로가 안전한지에 대한 증거로 데이터를 쓸 수 있습니다. 긴급 변경의 증가 추세는 온콜 엔지니어를 탓할 것이 아니라 계획과 승인 설계를 살펴보라는 신호입니다.

고객과 사용자

고객은 실패율을 신경 쓰지 않습니다. 업데이트 뒤에 서비스가 고장 나는지, 얼마나 빨리 돌아오는지를 신경 씁니다. 실패 데이터는 정직한 소통을 뒷받침합니다. 위험한 변경의 사전 공지, 변경이 문제를 일으켰을 때의 분명한 상태 메시지, 배우겠다는 눈에 보이는 약속입니다. 사용자가 핵심 작업을 서비스에 의존하는 곳에서는 유지보수 창과 롤백 기대를 미리 합의하십시오(주제 3.4, 중대 인시던트 지표 참조).

실제 적용: 서비스 관리 사례

한 지역 의료 제공자의 IT 부서가 환자 일정 서비스를 운영합니다. 일곱 명의 제품 팀이 주당 여러 번 변경을 릴리스하고, 다섯 명의 운영 팀이 인시던트와 변경 프로세스를 처리합니다. 이 사례의 모든 숫자는 예시입니다.

한 분기 동안 월간 보고서는 변경 실패율이 전 분기의 11퍼센트에서 4퍼센트로 떨어졌다고 보여 줍니다. 최고정보책임자는 기뻐합니다. 플랫폼 책임자는 납득하지 못합니다. 온콜 팀이 자신들의 밤이 나아지지 않았다고 말하기 때문입니다. 그녀는 팀에게 지표 레지스트리의 표본 감사를 실행해 달라고 요청합니다.

감사는 무작위로 변경 30건을 뽑고 두 검토자가 서면 정의를 적용합니다. 30건 중 24건의 평결에 일치하므로 실패 정의 일치도는 80퍼센트(예시)입니다. 그다음 표본을 인시던트 목록과 비교합니다. 분기에 해결된 22건의 인시던트 중 9건만 "변경으로 인함" 필드가 있어서 연결률은 41퍼센트입니다. 검토자들이 나머지 13건을 손으로 읽어 보니 5건이 변경 하루 안에 시작되었습니다. 보정한 건수는 실패율을 약 9퍼센트로 올리고, 감사는 숫자가 좋아 보인 이유를 찾아냅니다. 수정을 "유지보수"라는 라벨로 배포하는 새 습관이 보고서의 분모와 분자 모두에서 제외되었던 것입니다.

악용 위험은 라벨이고 아무도 계획하지 않았습니다. 팀은 실패가 우려라는 말을 들었고 "유지보수"는 대화를 피하게 해 주었습니다. 팀은 세 가지를 결정합니다. "변경으로 인함" 필드를 기본값 없는 필수로 만들고 인시던트 사후 검토가 확인합니다. "유지보수" 라벨을 폐기하고, 교정 배포는 수정하는 변경에 대한 링크를 가져야 하며 이는 재작업률에 공급됩니다. 실패의 정의를 정전을 일으키지 않은 느린 쿼리 회귀를 포함한 여섯 개의 실제 예와 함께 다시 씁니다.

다음 분기는 다시 산출한 실패율 8퍼센트와 연결률 90퍼센트(예시)를 보여 줍니다. 리더십 보고서는 이제 리드 타임 옆에 건수, 연결률, 재작업률을 보여 주고, 최고정보책임자는 단일 백분율을 인용하기를 그만둡니다.

애자일, AI, 자동화, 분석

애자일

작고 잦은 변경은 실패를 더 싸고 추적하기 쉽게 만들며, 팀은 이해관계자와 정기적으로 검토합니다. 주의할 점은 실패가 벌을 받으면 사람들이 실패를 신고하지 않는다는 것입니다.

AI

AI 지원 변경은 빨라 보이면서 양과 재작업을 늘릴 수 있습니다. AI 지원 작업의 실패한 변경과 재작업을 다른 작업과 같은 정의로 보고하고 데이터에 표시하십시오. 주의할 점은 AI 지원 작업과 다른 작업의 비교에는 변경의 종류가 다를 수 있으므로 신중해야 한다는 것입니다.

자동화

식별자로 변경, 배포, 인시던트를 자동으로 연결하고 연결률을 측정하십시오. 자동 롤백은 성공과 부작용으로 측정해야 합니다. 주의할 점은 끊어진 연결이 실패율을 실제보다 좋아 보이게 한다는 것입니다.

분석

실패 정의를 한 번 진술하고 연결을 손으로 표본 조사하십시오. 이는 변경 실천을 어디서 강화해야 하는지에 정보를 줍니다. 주의할 점은 적은 수의 변경에 대한 비율은 크게 흔들리므로 건수를 보여 줘야 한다는 것입니다.

부문별 관점

스타트업. 변경이 작고 잦으며 팀이 모든 실패를 외우고 있는 경우가 많습니다. 정의를 한 단락으로 유지하고, 배포 도구에서 롤백과 핫픽스를 태그하고, 주간 회고에서 실패를 검토하십시오. 변경 20건의 실패율은 잡음이 많으므로 실패의 목록을 주된 증거로 쓰십시오. 위험은 비공식성입니다. 서면 정의가 없으면 누가 세느냐에 따라 비율이 달라집니다.

소규모 사업. 같은 사람들이 배포하고, 운영하고, 지원하므로 재작업이 계획된 작업과 직접 경쟁합니다. 이미 쓰는 도구에 실패를 기록하고, 인시던트 레코드에 필수 필드를 추가하고, 분기마다 긴급 변경을 검토하십시오. 숫자를 개선하려고 무거운 승인을 도입하지 마십시오. 공유 롤백 체크리스트가 변경 위원회보다 가치 있습니다.

대기업. 많은 팀, 공급업체, 도구는 많은 정의를 뜻합니다. 팀 간에 실패 정의와 연결 필드를 표준화하고, 지표 카탈로그에 게시하고, 상위 집계하기 전에 서비스별로 비율을 계산하십시오. 표본 감사로 어긋남을 찾고 각 공급업체의 변경 레코드를 자체 품질이 있는 또 하나의 원천으로 다루십시오(주제 1.5, 데이터 원천과 계측 참조). 상위 집계가 팀 순위표가 되지 않도록 주의하십시오.

정부 및 공공 부문. 변경 레코드는 감사와 책임에 쓰이며, 롤백은 법령, 조달, 공유 플랫폼에 제약받을 수 있습니다. 공식 기록을 유지하고 실패 연결을 그 일부로 추가하십시오. 중요한 서비스의 단일 실패가 불균형하게 관심을 끌 수 있으므로 감독 기관에 숫자를 건수와 맥락과 함께 신중히 설명하십시오. 저위험 변경에 더 가벼운 경로를 정당화하는 데 데이터를 쓰되, 실패와 복구가 안정적이었다는 증거와 함께 하십시오.

비즈니스 케이스: 동기, ROI, TCO

동기는 실패한 변경의 비용입니다. 인시던트 작업, 재작업, 지연된 로드맵 항목, 사용자 신뢰의 상실입니다. 많은 조직이 노력의 얼마가 최근 변경을 수리하는 데 가는지 말할 수 없으며, 재작업 측정치가 첫 정직한 답을 제공합니다. 간접적인 이득도 있습니다. 변경이 안전하다는 것을 보여 줄 수 있는 팀은 더 가벼운 승인을 옹호할 수 있고 이는 리드 타임을 단축합니다. DORA 연구는 무거운 외부 승인과 더 약한 전달 성과 사이의 연관성을 보고하며(주제 4.3, 변경 활성화 지표 참조), 실패 데이터는 팀이 그 주장을 자체 이력에 비춰 시험하는 수단입니다.

기초가 있다면 수집 비용은 적당합니다. 인시던트 레코드의 필수 필드, 태그된 교정 배포, 세 데이터 원천의 결합, 월간 검토입니다. 더 큰 비용은 주의입니다. 누군가 정의를 소유하고, 감사를 실행하고, 발견 사항에 대해 행동해야 하기 때문입니다. 정의와 연결이 손으로 작동하기 전에는 도구를 사지 마십시오.

수익은 더 적은 반복 실패, 더 짧은 복구, 더 적은 계획 외 작업, 거버넌스와의 더 나은 대화로 나타납니다. 백분율을 약속하지 마십시오. 대신 자체 기준선을 추정하십시오. 한 분기 동안 변경에 연결된 재작업과 인시던트 대응에 쓴 시간을 세고, 일반적인 내부 단가로 가격을 매기고, 개선 후에 비교하십시오. 가정을 밝히고 결과를 단일 수치가 아니라 범위로 보고하십시오. 프로그램의 비용 및 핵심 서비스의 심각한 실패 한 건의 비용과 비교하십시오.

안티패턴과 함정

  • 실패율에 대한 목표 세우기. 재정의와 숨겨진 실패를 부릅니다. 대신 모든 검토를 완료하고 모든 교정 조치를 닫는 것 같은 학습에 대한 목표를 정하고 추세를 위해 비율을 지켜보십시오.
  • 실패로 팀이나 사람의 순위 매기기. 보고를 파괴하고 위험하지만 가치 있는 작업을 맡는 팀을 벌합니다. 팀을 자기 과거와 비교하고 맥락을 논의하십시오.
  • 인시던트만 실패로 세기. 일찍 잡혀 롤백된 실패는 사라집니다. 모든 복구 경로를 포함하고 인시던트는 여러 신호 중 하나로 쓰십시오.
  • 긴급 변경을 나쁜 것으로 취급하기. 압박이 위장된 긴급 상황으로 이어집니다. 이유를 위해 검토하고 일반 경로를 고치십시오.
  • 인시던트 연결이 "아니오"로 기본값이 되게 두기. 기본값은 듣기 좋고 틀린 숫자를 만듭니다. 필드를 필수로 만들고 표본을 점검하십시오.
  • 건수 없는 비율 보고하기. 작은 표본은 크게 흔들립니다. 건수와 이동 구간을 보여 주십시오.

성숙도 모델

차원 1 시작 2 발전 3 표준화 4 관리 5 조율
실패의 정의 묻는 사람에 따라 건별로 결정됨 일부 팀이 정의를 적으며 팀마다 다름 실제 예와 명시된 기간이 있는 서면 정의 하나 표본 감사로 정의를 시험하고 일치도를 측정함 결정에 정보를 주지 못하면 공급업체 및 고객과 정의를 개정함
변경과 인시던트의 연결 연결을 사람이 기억하거나 기억하지 못함 일부 팀이 선택 필드를 씀 기본값 없는 필수 필드를 인시던트 사후 검토에서 확인함 연결률을 추세로 검토하고 공백에 행동함 합의된 인터페이스로 팀과 공급업체 간에 연결을 공유함
복구와 긴급 처리 롤백과 핫픽스를 임시방편으로 처리하고 기록하지 않음 일부 팀이 롤백과 핫픽스를 태그함 모든 복구 경로를 기록하고 긴급 시험을 적어 둠 긴급 변경을 분기마다 검토하고 롤백을 훈련함 복구 경로를 서비스에 설계해 넣고 팀 간에 함께 시험함
개선에서의 활용 후속 조치 없이 보고서에 숫자를 인용함 중대 인시던트 뒤에 실패를 논의함 조치가 있는 실패한 변경의 월간 비난 없는 검토 실패와 재작업을 속도와 짝지움, 실험을 계획하고 자금을 댐 개선이 일상적이고 팀 간에 공유되며 학습을 게시함

체크리스트

  • 명시된 기간과 최소 다섯 개의 실제 예가 있는 서면 변경 실패 정의가 있다.
  • 집계 단위(변경, 배포, 릴리스)를 지표 레지스트리에 명명했다.
  • 인시던트 레코드에 기본값 없는 필수 "변경으로 인함" 필드가 있다.
  • 롤백, 핫픽스, 롤포워드 수정을 배포 또는 버전 관리 도구에서 태그한다.
  • 교정 배포가 수정하는 변경에 대한 링크를 가진다.
  • 긴급 변경에 짧은 서면 시험이 있고 모든 긴급 변경을 정해진 일수 안에 검토한다.
  • 비율을 건수와 이동 구간과 함께 보여 주며 단독 백분율로 보여 주지 않는다.
  • 변경 실패율을 항상 리드 타임, 배포 빈도, 복구 시간 옆에 표시한다.
  • 분기별 표본 감사로 실패 평결과 인시던트 연결을 점검한다.
  • 각 조치에 소유자가 있는 실패한 변경의 비난 없는 월간 검토를 연다.
  • 이 주제의 어떤 지표도 개인의 순위를 매기거나 평가하는 데 쓰지 않는다.

AI 프롬프트

변경 실패의 서면 정의 초안을 작성합니다.

우리는 [팀 규모]명으로 [서비스 또는 제품 유형]을 운영하며 [빈도, 예: 주당 여러
번] 릴리스합니다. 도구는 [변경 도구, 배포 도구, 인시던트 도구]입니다. 단위(변경,
배포, 릴리스), 실패 기간, 셈하는 복구 경로(롤백, 핫픽스, 롤포워드 수정, 연결된
인시던트), 제외 항목을 밝힌 "실패한 변경"의 한 쪽짜리 정의 초안을 작성해
주세요. 경계 사례를 포함해 [개수]개의 실제 예를 넣어 주세요. 기준 값이나
임계값을 지어내지 말고 필요한 것은 내게 물어보세요. 가정한 내용을 나열해
주세요.

변경-인시던트 연결을 설계합니다.

다음은 우리 인시던트 레코드 템플릿입니다: [필드]. 다음은 변경 레코드 템플릿입니다:
[필드]. 어떤 변경이 어떤 인시던트를 일으켰는지 기록하는 방법을 필수 필드, 허용
값, 누가 완료하는지, 검토가 어떻게 확인해야 하는지를 포함해 제안해 주세요.
[가용한 데이터, 예: 배포 시각과 서비스 이름]를 써서 후보 변경을 자동으로
제안하는 방법을 제안해 주세요. 우리 도구가 어떻게 설정되어 있는지 추측하지
마세요. 가정한 내용과 내가 답해야 할 질문을 나열해 주세요.

실패한 변경 목록에서 패턴을 분석합니다.

아래는 [기간]의 실패한 변경 [개수]건이며 필드는 [필드 목록, 예: 크기, 유형,
요일과 시각, 서비스, 복구 경로, 복구 시간]입니다. 패턴과 가능한 기여 요인을 찾고,
실패를 줄이기 위한 작고 되돌릴 수 있는 실험을 최대 [개수]개 제안해 주세요.
분석은 팀과 서비스 수준에 두고 개인의 순위를 매기지 마세요. 통계나 기준 값을
지어내지 마세요. 표본 크기를 고려해 각 패턴에 얼마나 확신하는지 밝히고, 가정한
내용을 나열해 주세요.

실패 대시보드의 악용 위험을 점검합니다.

우리 대시보드는 다음 정의로 [지표 목록, 예: 변경 실패율, 긴급 비중, 롤백률,
핫픽스율, 재작업률]을 보여 줍니다: [정의]. 각 지표에 대해 서비스가 개선되지 않고도
숫자가 좋아질 수 있는 그럴듯한 방법과 각각의 방호책을 나열해 주세요. [팀 규모]명
팀이 분기마다 실행할 수 있는 감사 점검 두 가지를 제안해 주세요. 기준 값이나 규정
준수 주장을 지어내지 마세요. 가정한 내용을 나열해 주세요.

AI 스킬

핵심 정리

  • 변경 실패율은 그 정의만큼만 좋으므로, 기간, 실제 예, 명명된 단위가 있는 정의를 쓰십시오.
  • 인시던트 레코드의 필수 필드로 모든 실패를 그 변경에 연결하고 연결률을 측정하십시오.
  • 롤백, 핫픽스, 롤포워드 수정, 연결된 인시던트를 함께 세어 팀이 경로를 바꿔 지표를 피하지 못하게 하십시오.
  • 긴급 변경 비중과 재작업을 점수가 아니라 계획과 일반 경로에 대한 신호로 읽으십시오.
  • 항상 실패를 속도와 복구 옆에, 건수와 이동 구간과 함께 보여 주고, 사람의 순위를 절대 매기지 마십시오.

참고 문헌과 더 읽을거리

  1. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  2. DORA, DORA's software delivery performance metrics, Google Cloud, https://dora.dev/guides/dora-metrics/
  3. Humble, J., and Farley, D., Continuous Delivery: Reliable Software Releases through Build, Test, and Deployment Automation, Addison-Wesley, 2010.
  4. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  5. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  6. Wikipedia, ITIL.
  7. Wikipedia, Feature toggle.
  8. Wikipedia, Rollback (data management).
  9. Wikipedia, Hotfix.
  10. Wikipedia, Rework.
  11. Wikipedia, Continuous delivery.
  12. Wikipedia, Goodhart's law.
  13. Wikipedia, Regression testing.
  14. Wikipedia, Canary release.