서비스 연속성 지표
복구 계획은 연습이 시험하기 전까지는 가설이므로, 연속성 지표는 선반에 놓인 계획의 수가 아니라 실제로 복구한 것, 얼마나 빨리 했는지, 얼마나 많은 데이터가 돌아왔는지를 세어야 합니다.
개요와 동기
대부분의 인시던트 측정치는 평범한 나쁜 날을 설명합니다. 실패한 배포, 포화된 데이터베이스, 시끄러운 이웃입니다. 서비스 연속성은 드물고 심각한 날, 즉 리전이 실패하거나, 데이터 저장소가 손상되거나, 공급업체가 사라지거나, 랜섬웨어가 전체 환경을 암호화하는 날을 설명합니다. 업무 연속성 계획(business continuity planning)은 그런 사건을 거치면서도 조직이 받아들일 만한 수준으로 계속 전달할 수 있도록 준비하는 학문 분야입니다. ITIL 4에서 이 프랙티스는 서비스 연속성 관리라고 하며, 그 더 큰 목표의 IT 서비스 관점입니다(동반서 Service Management Guide의 대응 주제 참조).
두 용어가 대부분의 무게를 집니다. 복구 시간 목표(RTO)는 중단 뒤 서비스를 복원하는 데 받아들일 수 있는 시간입니다. 복구 시점 목표(RPO)는 받아들일 수 있는 데이터 손실량으로 시간의 길이로 표현합니다. RPO가 1시간이면 마지막 1시간의 쓰기를 잃는 것은 감수할 수 있고 그 이상은 안 된다는 뜻입니다. 둘 다 업무 영향 분석(BIA)에서 나옵니다. BIA는 어떤 활동이 가장 중요한지, 무엇이 무엇에 의존하는지, 중단에 얼마의 비용이 드는지 식별하는 방법입니다. 목표는 가격이 있는 비즈니스의 결정입니다. 더 엄격한 목표는 더 많은 중복성, 자동화, 연습 시간이 필요하기 때문입니다.
어려움은 목표가 아직 일어나지 않은 미래의 사건에 대한 약속이라는 점입니다. 정직한 증거는 시험입니다. 팀이 지난 연습에서 RTO 안에 서비스를 복원했습니까? 복원된 데이터가 RPO를 충족했습니까? 계획의 단계가 팀이 실제로 밟은 단계였습니까? 따라서 연속성 지표는 대부분 연습의 측정이며, 측정의 품질은 연습이 얼마나 현실적이었는지에 달려 있습니다.
애자일 팀과 사이트 신뢰성 엔지니어링(SRE) 팀은 여기에 유용한 습관을 가져옵니다. 그들의 시스템은 매주 바뀌므로 한 번 쓰고 서류철에 넣은 계획은 몇 달 안에 낡습니다. 애자일의 대응은 복구를 코드로 유지하고(예: 코드형 인프라로), 자주 리허설하고, 각 리허설을 백로그 항목의 원천으로 다루는 것입니다. 카오스 엔지니어링과 게임 데이는 같은 발상을 더 작은 규모로 적용합니다. 통제된 방식으로 일부러 실패를 일으키고 무슨 일이 일어나는지 지켜봅니다. SRE의 관점은 구글의 Site Reliability Engineering 책에 설명되어 있으며, 더 넓은 분야는 사이트 신뢰성 엔지니어링 문서에 요약되어 있습니다.
관점은 어떻게 다른가
- ITIL 관점. 서비스 연속성 관리는 BIA에서 복구 목표를 정하고, 계획을 설계하고, 시험으로 입증하는 프랙티스입니다. 산출물은 계획, 연습 보고서, 기록된 발견 사항입니다. ISO 22301 표준은 업무 연속성 경영 체계를 설명합니다. 2026년 10월 기준으로, 고객이나 규제 기관이 적합성을 요구한다면 현재 판을 직접 확인하십시오.
- 애자일 관점. 복구 능력은 완료의 정의에 있는 제품 속성입니다. 데이터 저장소를 추가하는 스토리는 복원 경로를 시도해 보기 전까지는 완료가 아닙니다.
- SRE 관점. 신뢰성 작업은 예산이 있고 측정됩니다. 장애 조치, 복원 훈련, 게임 데이는 소유자가 있는 일정된 작업이며 발견 사항은 백로그로 들어갑니다.
이 주제는 일곱 가지 측정치를 다룹니다. 시험에서의 시간 및 데이터 목표에 대한 복구, 연습의 포괄과 최신성, 백업 복원, 발견 사항의 종료, 계획의 최신성입니다. 실제 장애는 중대 인시던트 지표(주제 3.4, 중대 인시던트 지표 참조)와 가용성 지표(주제 5.3, 가용성 지표 참조)에 있습니다. 사용자 대면 목표로 표현한 목표는 지표와 예산에 대한 주제(주제 5.2, SLI, SLO, 오류 예산 참조)에 있습니다. DORA 연구 프로그램의 "실패한 배포 복구 시간"은 훨씬 작은 시계입니다(주제 2.8, DORA 지표 참조). 시험이 드러내는 근본 원인은 문제와 학습 주제에 속합니다(주제 4.1, 문제 관리 지표와 주제 4.2, 사후 분석과 학습 지표 참조).
티어(tier)는 얼마나 빨리 돌아와야 하는지로 묶은 서비스 부류입니다. 테이블톱 연습(tabletop exercise)은 시스템 변경 없이 토론 기반으로 하는 리허설입니다. 게임 데이(game day)는 팀이 실패를 일으키거나 모사하고 대응을 관찰하는 실전형 리허설입니다. 발견 사항(finding)은 계획과 실제 일어난 일 사이의 기록된 간극입니다. 계획 최신성(plan currency)은 계획이 오늘의 서비스를 얼마나 잘 반영하는지입니다.
핵심 원칙
- 시험한 다음 주장하십시오. RTO나 RPO는 실제로 수행하고 시간을 잰 복구로만 검증됩니다. 목표와 마지막으로 입증된 결과를 나란히 보고하십시오.
- 성공만이 아니라 현실성을 측정하십시오. 몇 분 만에 통과한 빈 시험 데이터베이스의 복원은 운영 규모의 복원에 대해 거의 말해 주지 않습니다. 결과 옆에 각 연습의 범위와 조건을 기록하십시오.
- 환경을 티어로 나누고 티어별로 노력을 쓰십시오. 핵심 서비스는 자주, 현실적으로 시험합니다. 낮은 티어 서비스는 더 가벼운 점검을 합니다. 모든 것에 대한 단일 빈도 목표는 노력을 낭비하거나 위험을 놓칩니다.
- 발견 사항을 연습의 산물로 다루십시오. 게임 데이의 가치 있는 산출물은 종료된 간극의 목록입니다. 발견 사항이 없는 시험은 훌륭하거나 너무 무른 것이며, 어느 쪽인지 알아내야 합니다.
- 서비스와 순환 근무를 설명하고 개인은 설명하지 마십시오. 연습 결과는 시스템과 계획을 설명합니다. 훈련을 얼마나 빨리 복구했는지로 순위를 매기는 사람은 없습니다.
- 각 연습을 독립된 행으로 보여 주십시오. 서비스당 연간 시험 횟수가 적으므로 평균은 오해를 부릅니다(주제 1.6, 서비스 지표를 위한 통계 소양 참조).
지표 정의
각 지표는 시계나 건수, 무엇이 제외되는지, 데이터 원천을 열거합니다. 모든 행은 신뢰하기 전에 서면 규칙이 필요합니다. 아래의 "티어 1 서비스"는 자체 BIA가 정의한 가장 높은 복구 티어의 서비스를 뜻합니다.
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 |
|---|---|---|---|---|---|---|---|
| RTO 충족률 | 명시된 RTO 안에 서비스를 복원한 복구 연습의 비율 | 복원 시간 <= RTO인 연습 / 실행한 연습. 시계는 연습 실패의 선언된 시작(주입 시각 또는 시나리오 선언)에서 시작해 서비스가 실제 또는 합성 사용자에 대한 합의된 상태 점검을 통과할 때 멈춤. 테이블톱 연습과 시간을 잰 복원이 없는 연습은 제외하고 따로 셈 | 퍼센트, 연습 횟수를 함께 표시 | 연습 보고서, 모니터링의 타임라인, RTO가 있는 서비스 레지스트리 | 서비스 연속성 관리, 가용성 관리 | 게임 데이 결과, 전달 지표의 복구 시간 | 연습별, 분기마다 집계 |
| RPO 충족률 | 데이터 손실이 명시된 RPO 안에 머문 복구 연습의 비율 | 측정된 데이터 손실 길이 <= RPO인 연습 / 데이터를 복원한 연습. 데이터 손실 길이는 복구 뒤 존재하는 마지막 쓰기와 실패 순간 사이의 시간. 상태를 복원하지 않는 연습은 제외 | 퍼센트, 연습 횟수를 함께 표시 | 연습 보고서, 복원된 데이터와 원본 또는 쓰기 로그의 비교 | 서비스 연속성 관리, 정보 보안 관리 | 완료의 정의의 일부인 복원 훈련 | 연습별, 분기마다 집계 |
| 시험된 복구 포괄률 | 합의된 시험 간격 안에 실전형 복구 시험을 한 티어 1 및 티어 2 서비스의 비율 | 간격 안에 적격 시험이 있는 서비스 / 범위 안 서비스. 적격 시험은 실전형(테이블톱만이 아님)이고 시험 또는 운영 환경에서 서비스를 복원함. 간격은 티어별로 정함 | 퍼센트, 티어별 | 서비스 레지스트리, 연습 일정과 보고서 | 서비스 연속성 관리, 서비스 카탈로그 관리 | 게임 데이 일정 | 월 |
| 마지막 성공한 복구 시험 이후 일수 | 각 핵심 서비스에서 가장 최근에 통과한 복구 시험의 경과 | 보고일 빼기 RTO와 RPO를 모두 충족한 가장 최근 시험의 날짜. 실패한 시험은 시계를 재설정하지 않음. 한 번도 시험하지 않은 서비스는 0이 아니라 "없음"으로 표시 | 서비스별 일수, 가장 오래된 것을 강조 | 연습 보고서, 서비스 레지스트리 | 서비스 연속성 관리 | 게임 데이 일정, 작업 항목 경과 시간 | 월 |
| 백업 복원 성공률 | 검증된 사용 가능한 데이터로 완료된 시도된 백업 복원의 비율 | 완료되고 데이터 검증 점검을 통과한 복원 / 시도한 복원, 자동 및 수동 복원 시험에 걸쳐. 백업 작업의 성공만으로는 제외. 실행된 작업이 작동한 복원은 아니기 때문 | 퍼센트, 데이터 티어별 | 백업 시스템 로그, 자동 복원 검증 결과 | 서비스 연속성 관리, 인프라 및 플랫폼 관리 | 복원 훈련, 완료의 정의에 있는 운영 가능성 기준 | 자동 시험은 주, 검토는 월 |
| 연습 발견 사항 종료율 | 복구 연습의 발견 사항 중 합의된 시간 안에 종료된 비율로, 심각도별로 나눔 | 목표 안에 종료된 발견 사항 / 기간 중 기한이 도래한 발견 사항. 시계는 발견 사항이 연습 보고서에 기록될 때 시작해 검증된 수정(재시험이나 확인하는 검토)에서 멈춤. 지명된 소유자가 위험으로 수용한 발견 사항은 따로 셈 | 퍼센트, 기한이 지난 발견 사항의 건수와 함께 | 연습 보고서, 이슈 트래커 | 서비스 연속성 관리, 지속적 개선 | 회고 조치 항목, 백로그 항목 경과 시간 | 월 |
| 계획 최신성 | 서비스의 마지막 중대한 변경 뒤 또는 검토 간격 안에 검토된 연속성 계획과 런북의 비율 | 검토 날짜가 마지막 중대한 변경보다 늦고 간격 안인 계획 / 범위 안 계획. 중대한 변경은 아키텍처, 데이터 저장소, 의존성, 공급업체를 바꾸는 것으로 표시된 변경 레코드 | 퍼센트, 검토되지 않은 가장 오래된 계획의 경과와 함께 | 계획 저장소(버전 관리), 변경 레코드, 서비스 레지스트리 | 서비스 연속성 관리, 변경 활성화 | 완료의 정의에 런북 갱신 포함 | 분기 |
연습에서의 RTO 시계는 영향에서 시작하는 실제 장애의 시계와 다르므로(주제 3.4, 중대 인시던트 지표 참조) 연습은 연습과 비교하십시오. 엄격하게 대본이 있는 연습은 리허설 속도를 측정하므로, 얼마나 많은 놀라움이 담겼는지 기록하십시오.
권장 사항
시험할 수 있는 목표를 정하십시오
1. RTO와 RPO를 업무 영향 분석에서 도출하고 서비스 옆에 적으십시오. BIA는 비즈니스에 한 시간, 하루, 한 주의 장애에 얼마가 드는지와 어떤 데이터를 잃어도 되는지 묻습니다. 모든 시험을 명시된 목표와 비교할 수 있도록 답을 서비스 레지스트리에 기록하십시오. 엔지니어만으로 고른 목표는 감당할 수 없거나 고객이 필요로 하는 것과 무관한 경향이 있습니다.
2. 서비스를 티어로 나누고 티어별로 시험 간격을 정하십시오. 서비스마다 다른 규칙을 두는 것보다 소수의 티어, 아마도 셋이나 넷이 운영하기 더 쉽습니다. 최상위 티어에 가장 잦고 가장 현실적인 시험을 주고, 최하위 티어에는 표본의 주기적 복원 같은 가벼운 점검을 주십시오. 간격을 적어 두고 BIA가 바뀌면 검토하십시오.
3. 목표가 아키텍처에 맞는지 점검하십시오. 야간 백업이 있는데 RPO가 5분인 것은 최악의 순간에 시험이 드러낼 모순입니다. 첫 연습 전에 각 목표를 백업, 복제, 장애 조치 설계와 비교하고 간극은 발견 사항으로 기록하십시오.
무언가를 드러내는 방식으로 시험하십시오
4. 테이블톱, 복원 훈련, 게임 데이를 섞으십시오. 테이블톱 연습은 싸고 역할, 연락처, 결정의 간극을 찾습니다. 실전형 복원 훈련은 절차, 권한, 데이터의 간극을 찾습니다. 실패를 일으키고 대응을 지켜보는 게임 데이는 모니터링, 런북, 조율의 간극을 찾습니다. 쉬운 테이블톱의 연속이 복구의 증거처럼 보이지 않도록 각 유형을 따로 보고하십시오.
5. 운영 규모의 데이터로 복원 시간을 재십시오. 작은 복사본에서 작동하는 복원은 처리량이나 저장소 한도 때문에 실제 용량에서는 실패할 수 있습니다. 전체 규모 시험을 자주 실행하기에 비용이 너무 크다면 주기적으로 하나를 실행하고 외삽을 명시하십시오. 결과와 함께 데이터 크기를 기록하십시오.
6. 복원된 데이터가 쓸 만한지 검증하십시오. 행 수, 체크섬, 합성 트랜잭션 같은 자동 점검을 복원 뒤에 추가하십시오. 그 점검을 통과할 때만 복원을 성공으로 셈하십시오.
7. 놀라움을 점진적으로 더하십시오. 초기 연습은 공지하고 대본을 따를 수 있습니다. 나중의 연습은 실패의 세부를 숨기고 만료된 자격 증명이나 닿을 수 없는 공급업체 같은 의존성을 포함해야 합니다. 결과를 맥락 속에서 읽을 수 있도록 놀라움의 수준을 기록하십시오.
발견 사항을 변화로 바꾸십시오
8. 모든 발견 사항을 소유자, 심각도, 기한과 함께 기록하십시오. 게임 데이는 목록을 만듭니다. 빠진 권한, 도구와 더 이상 맞지 않는 런북 단계, 한 번도 울리지 않은 모니터입니다. 각각을 기능 작업과 같은 가시성으로 팀의 백로그에 넣으십시오. 열린 발견 사항의 경과 시간과 제때 종료된 비중을 추적하고, 가능한 곳에서는 재시험으로 종료를 확인하십시오.
9. 발견 사항을 문제 관리와 학습에 연결하십시오. 연습에 걸쳐 재발하는 발견 사항은 ITIL 의미의 문제입니다(주제 4.1, 문제 관리 지표 참조). 사후 분석처럼 각 연습을 비난 없이 검토하고 조치를 종료까지 추적하십시오(주제 4.2, 사후 분석과 학습 지표 참조).
계획을 살아 있게 유지하십시오
10. 계획과 런북을 버전 관리에 두고 변경에 연결하십시오. 변경 레코드가 아키텍처, 데이터 저장소, 공급업체를 바꿀 때는 같은 작업에서 소유한 계획을 검토하도록 요구하십시오(주제 4.3, 변경 활성화 지표 참조). 계획 최신성을 달력만이 아니라 마지막 중대한 변경에 대해 측정하십시오. 지난달의 마이그레이션을 무시한 채 분기마다 검토한 계획은 이름뿐인 최신입니다.
11. 의존성 맵을 정직하게 유지하십시오. 복구 순서는 신원, 이름 확인, 비밀 저장소 같은 공유 서비스에 달려 있습니다. 맵을 구성 레코드에 대조하고 연습이 드러내는 간극을 고치십시오(주제 7.4, 구성 및 CMDB 품질 지표 참조).
12. 공급업체를 포함하고 연습 임무를 순환시키십시오. 각 핵심 공급업체에 자체 시험 증거를 요청하고 공동 단계를 연습하는 방법에 합의하십시오(주제 8.4, 공급업체와 계약 지표 참조). 연습은 시간을 쓰므로 임무를 순환 근무에 걸쳐 나누고 운영 부하로 셈하십시오(주제 5.7, 토일과 온콜 지표 참조).
악용 방식과 방호책
연속성 수치는 연습을 자세히 보는 사람이 적고 진짜 시험이 드물게 일어나기 때문에 좋게 보이게 하기 쉽습니다. 표는 각 지표를 악용되는 방식과 그것을 잡는 점검과 짝지웁니다. 짝은 주제 1.2에 제시된 형식을 따릅니다(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조).
| 지표 | 악용되는 방식 | 짝을 이루는 방호책 지표 또는 실천 |
|---|---|---|
| RTO 충족률 | 작은 시험 데이터 집합, 쉬운 시나리오, 리허설된 대본을 고름, 팀이 시작한 뒤 늦게 시계를 시작함, "복원됨"이 더 빨리 오도록 상태 점검을 느슨하게 함, 모든 시험이 통과하도록 후한 RTO를 정함 | 각 결과와 함께 데이터 크기, 시나리오 놀라움, 상태 점검 정의를 기록, RTO를 BIA와 비교, 실패를 포함해 각 연습을 독립된 행으로 표시 |
| RPO 충족률 | 모든 상태가 아니라 기본 테이블에 대해서만 손실을 측정함, 부하가 없어서 동기화된 복제본을 시험함, 놓친 결과 뒤에 RPO를 재정의함 | 범위 안 모든 데이터 저장소의 쓰기 로그에 비춰 데이터 손실 검증, 현실적인 쓰기 부하에서 시험, 이유와 함께 목표의 변경 로그 유지 |
| 시험된 복구 포괄률 | 테이블톱 토론을 시험으로 셈, 비율을 올리려고 사소하게 작은 서비스를 시험함, 서비스를 낮은 티어로 재분류해 범위 안 목록을 줄임 | 티어 1 건수에 실전형 시험을 요구, 서비스 중요도로 가중한 포괄률을 보고, BIA에 비춰 티어 변경을 감사 |
| 마지막 성공한 복구 시험 이후 일수 | 경과를 재설정하려고 쉬운 시험을 다시 실행함, 부분 시험을 통과로 라벨함, 서면 검토 뒤에 날짜를 재설정함 | 마지막으로 통과한 시험의 범위를 표시, 가장 오래된 경과와 한 번도 시험하지 않은 서비스를 표시, RTO와 RPO 모두 충족했을 것을 요구 |
| 백업 복원 성공률 | 백업 작업의 성공을 복원의 성공으로 보고함, 좋다고 알려진 백업만 시험함, 실패할 수 없는 점검으로 검증함 | 무작위로 표본 추출한 백업의 복원을 추적, 데이터 검증 결과를 요구, 감사마다 점검 자체를 검토 |
| 연습 발견 사항 종료율 | 수정 없이 발견 사항을 닫음, 기한을 늦추려고 심각도를 낮춤, 하나의 발견 사항을 쉬운 여러 개로 쪼갬, 애초에 발견 사항을 적게 기록함 | 재시험으로 종료를 검증, 줄어드는 건수는 더 무른 연습을 뜻할 수 있으므로 종료율 옆에 연습별 발견 사항을 보고, 심각도 변경을 검토 |
| 계획 최신성 | 계획을 읽지 않고 검토 날짜를 갱신함, 변경을 중대하지 않은 것으로 표시함, 낡지 않는 일반적 문구로 계획을 채움 | 계획을 표본 추출해 쓰지 않은 사람과 함께 훑어봄, 중대한 변경 표시 비율을 아키텍처 변경 이력과 비교, 최신성을 시험 결과에 연결 |
건강한 수치는 분기당 소수의 시험에 정직한 변동이 있음을 보여 줍니다. 일부는 첫 시도에 통과했고, 일부는 실패해 반복했으며, 각각의 발견 사항이 백로그에 나타나 명시된 시간 안에 종료됩니다. 해마다 이어지는 만점은 연습이 얼마나 어려운지 물어야 할 이유입니다.
상충 관계: 장점과 단점
| 접근 방식 | 강점 | 약점 |
|---|---|---|
| 자주 하는 작은 자동 복원 시험 | 싸고 지속적인 증거, 조용한 백업 실패를 일찍 잡음 | 조율, 사람, 전체 규모 복구는 시험하지 않음 |
| 연간 전체 규모 장애 조치 연습 | 현실적임, 사람, 공급업체, 의존성을 함께 연습함 | 비싸고 드묾, 수정 뒤 반복하기 어려움, 운영에서 실행하면 위험이 따름 |
| 테이블톱 연습 | 저비용, 역할과 결정의 간극을 찾음, 훈련에 좋음 | 기술이 작동함을 증명하지 못함, 배우는 것 없이 실행하기 쉬움 |
| 일으킨 실패가 있는 운영 게임 데이 | 가장 높은 현실성, 모니터링과 런북을 있는 그대로 시험함 | 성숙한 안전장치와 리더십의 지원이 필요함, 부주의하게 실행하면 고객에게 해를 줄 수 있음 |
| 티어별 목표 | 위험이 있는 곳에 노력을 씀 | 티어 배정이 표류할 수 있고 소유자가 필요함 |
실용적인 답은 층이 있는 프로그램입니다. 항상 도는 싼 자동 복원 점검, 고정 간격으로 하는 각 티어 1 서비스의 실전형 훈련, 더 긴 주기의 더 큰 연습, 결정과 소통을 위한 테이블톱입니다. 독자가 증거가 얼마나 최근인지 판단할 수 있도록 간격을 명시하십시오.
팀과 논의할 질문
1. 가장 중요한 서비스를 마지막으로 복원한 때는 언제이며, 정확히 무엇을 증명했나요? 날짜, 데이터 크기, 시나리오, 결과를 물어 보드에 적으십시오. 진행자는 판단을 자제하고 주장과 증거 사이의 간극에 집중해야 합니다. 가장 큰 간극을 메울 시험 하나에 합의하며 마치십시오.
2. 우리의 RTO와 RPO는 누가 골랐으며, 비즈니스가 오늘도 그것을 고를까요? 각 목표를 업무 영향 분석이나 결정으로 거슬러 올라가 추적하십시오. 아키텍처가 서류상으로라도 목표를 충족할 수 있는지, 충족하는 비용이 언급된 적이 있는지 물으십시오. 누가 언제까지 비즈니스와 핵심 서비스의 목표를 확인할지 합의하십시오.
3. 실패한 연습은 평판에 어떤 비용을 치르게 하며, 그것이 연습의 난이도를 좌우하나요? 이 질문은 연습을 무르게 만드는 압력을 드러냅니다. 실패한 시험이 팀의 실패로 다뤄지는지 연습의 성공으로 다뤄지는지 물으십시오.
4. 지난 연습의 발견 사항 중 아직 열려 있는 것은 무엇이며, 왜인가요? 경과와 소유자와 함께 목록을 소리 내어 읽으십시오. 기한이 지난 각 항목에 대해 무엇이 막고 있는지 물으십시오. 경쟁하는 작업, 불분명한 소유권, 비용, 위험이 수용 가능하다는 믿음입니다. 목표는 소유자 없는 상태로 남은 발견 사항이 없게 하는 것입니다.
5. 우리 계획이 가정하는 것 중 더 이상 사실이 아닌 것은 무엇인가요? 계획 하나를 골라 쓰지 않은 사람과 함께 읽으십시오. 폐기된 도구, 이름이 바뀐 계정, 떠난 공급업체를 찾으십시오. 서비스가 바뀔 때 계획이 어떻게 갱신되는지, 그렇지 않을 때 누가 알아차리는지 물으십시오. 답을 변경 프로세스에 연결하십시오.
6. 어떤 의존성이 모든 것을 멈추게 하며, 그것 없이 시험한 적이 있나요? 신원, 이름 확인, 비밀, 호출 시스템 자체 같은 공유 서비스는 흔한 단일 장애 지점입니다. 팀에게 그것들을 명명하고 각각을 마지막으로 일부러 쓸 수 없게 한 때를 설명하게 하십시오.
네 가지 관점
제품 및 전달 팀
제품 팀은 복구를 가능하게 하는 설계를 소유하므로, 핵심 서비스의 완료의 정의의 일부로 연속성을 만납니다. 백업 경로, 복원 절차, 작동하는 런북입니다. 자체 주기의 일부로 복원 훈련을 실행하고, 복구 코드를 서비스와 함께 보관하고, 실패한 훈련을 백로그 항목으로 다뤄야 합니다.
서비스 및 운영 팀
운영 팀이 대부분의 연습을 실행하고 준비의 부담을 집니다. 연습 일정을 관리하고, 연습이 진행되는 동안 타임라인을 기록하고, 같은 날 발견 사항을 써야 합니다. 결과는 서비스와 계획을 설명하며, 개인이 훈련을 얼마나 빨리 복구했는지로 순위를 매기는 사람은 없습니다.
리더십과 거버넌스
리더는 비즈니스와 함께 목표를 정하고 얼마의 복구를 살 가치가 있는지 결정합니다. 각 목표 옆에 마지막으로 입증된 결과, 증거의 경과, 열린 발견 사항을 보여 달라고 요청해야 하며 깨끗한 성적표를 보상하는 것을 피해야 합니다. 거버넌스 기구는 위험 레지스트리와 적용되는 곳의 규제 보고에 연결된 작고 안정적인 연속성 측정치 집합을 기대해야 합니다(주제 8.2, 위험과 통제 지표와 주제 8.5, 규제 및 정부 보고 참조).
고객과 사용자
고객은 중요해지기 전에는 연속성을 거의 보지 못하고, 중요해지면 전적으로 결과로 판단합니다. 서비스 없이 얼마나 있었는지와 데이터가 살아남았는지입니다. 약속된 것에 대한 이해할 수 있는 말의 분명한 진술, 인시던트가 계획을 발동할 때의 정직한 소통에서 이득을 얻습니다. 계약에 복구 확약이 포함된 곳에서는 요청 시 연습 증거를 공유하십시오(주제 5.1, SLA, OLA, XLA 지표 참조).
실제 적용: 서비스 관리 사례
한 지역 병원의 IT 부서가 환자 일정 시스템, 의료 영상 보관소, 직원 메시징 서비스를 운영합니다. 여덟 명의 제품 팀이 일정 시스템을 유지하고 운영 팀이 플랫폼을 운영합니다. 이 사례의 모든 숫자는 예시입니다.
부서의 레지스트리는 일정 시스템을 RTO 2시간, RPO 15분인 티어 1로 나열합니다. 분기 보고서는 "RTO 충족률: 연습 4건에 걸쳐 100퍼센트"와 "시험된 복구 포괄률: 100퍼센트"를 보여 줍니다. 새 운영 책임자가 숫자 뒤의 연습 보고서를 읽습니다. 네 건의 연습 중 세 건은 테이블톱이었고, 유일한 실전형 복원은 운영 데이터의 약 10분의 1을 담은 데이터베이스 복사본을 썼습니다. 14개월 동안 아무도 백업을 깨끗한 환경에 복원한 적이 없었습니다.
팀은 측정하고 시험하는 것을 바꾸기로 합니다. 시험된 복구 포괄률이 실전형 시험만 세도록 재정의하자 세 개의 티어 1 서비스에 걸쳐 수치가 33퍼센트로 떨어집니다. 행 수의 자동 검증과 합성 예약 트랜잭션을 갖춘, 일정 시스템의 운영 규모 복원을 예약합니다. 실행은 RTO 2시간에 대해 3시간 40분이 걸리고, 복원된 데이터는 마이그레이션 중 로그 전송이 멈춘 뒤 재개되지 않았기 때문에 RPO 15분에 대해 실패 시점보다 40분 뒤처져 있습니다. 게임 데이는 9건의 발견 사항을 낳습니다. 심각도 높음 2건, 중간 5건, 낮음 2건입니다.
로그에 기록된 결정은 놓친 것을 올해 가장 가치 있는 결과로 다루는 것입니다. 팀은 지연에 대한 경보와 함께 로그 전송을 재개하고, 복원을 병렬화하고, 데이터 볼륨 하나를 더 빠른 저장소로 옮기는 작업을 엽니다. RTO는 2시간으로 유지되고, 팀은 일정 시스템에 문서화된 수동 대체 수단을 추가합니다. 처음 60일의 발견 사항 종료율은 9건 중 7건이 제때이고, 나머지 둘은 지명된 소유자가 위험으로 수용했습니다.
여기서 잡은 악용 위험은 미묘했습니다. 아무도 숫자를 위조하지 않았습니다. 후하게 센 테이블톱과 작은 시험 데이터 집합이 보고서를 초록색으로 만들었습니다. 효과가 있었던 방호책은 각 결과와 함께 데이터 크기와 연습 유형을 기록하는 것과, 숫자 뒤의 연습 보고서를 읽는 실천이었습니다. 다음 보고서에서 팀은 실패한 실행을 포함해 각 연습을 독립된 행으로 보여 줍니다.
애자일, AI, 자동화, 분석
애자일
이해관계자와 작고 잦은 연습으로 복구를 리허설하고 그것이 드러내는 것을 고치십시오. 주의할 점은 항상 통과하는 대본 연습은 거짓 안도를 준다는 것입니다.
AI
AI 서비스는 모델, 벡터 저장소, 제3자 API 같은 새 의존성을 복구 계획에 더합니다. 이를 시험된 복구 포괄률에 포함하고 복구 시간을 복원 뒤 답이 올바른지 점검하는 것과 짝지우십시오. 주의할 점은 복원된 AI 서비스가 다른 모델 버전을 실행하거나 데이터를 잃을 수 있으므로 가용성만이 아니라 동작을 검증해야 한다는 것입니다.
자동화
백업 검증과 복원 시험을 자동화하고, 자동화를 실패한 복원으로 측정하십시오. 주의할 점은 완료된 백업이 복원되는 백업이 아니므로 복원을 시험해야 한다는 것입니다.
분석
시험에서 충족한 목표를 마지막 시험의 날짜 및 종료된 연습 발견 사항과 함께 보고하십시오. 이는 어떤 복구가 가장 덜 입증되었는지에 정보를 줍니다. 주의할 점은 실제 복구가 적으면 표본이 작으므로 건수를 보여 줘야 한다는 것입니다.
부문별 관점
스타트업. 보통 운영 환경 하나, 작은 팀, 관리형 클라우드 제공자가 있습니다. 가장 가치 있는 측정치는 가장 단순한 것입니다. 매달 운영 데이터베이스를 백업에서 깨끗한 환경으로 복원하고, 시간을 재고, 결과를 검증하십시오. RTO와 RPO를 한 페이지에 쓰십시오.
소규모 사업. IT는 외주이거나 호스팅 서비스를 쓰는 한두 사람이 운영하는 경우가 많습니다. 공급업체에 어떤 복구를 확약하는지와 어떤 증거를 보여 줄 수 있는지 서면으로 묻고, 분기마다 자체 데이터의 복원 하나를 시험하십시오. 주 시스템이 중단되었을 때 읽을 수 있는 곳에 한 쪽짜리 계획을 보관하십시오.
대기업. 많은 서비스, 많은 공급업체, 공유 플랫폼은 티어 구분과 의존성 맵을 필수로 만듭니다. 목표가 있는 중앙 서비스 레지스트리, 연습 일정, 자동 복원 검증, 팀 간에 결과를 비교할 수 있는 일관된 보고에 투자하십시오.
정부 및 공공 부문. 연속성 의무는 법, 감사, 정책에서 비롯될 수 있고, 공공 서비스는 비상 상황 중에도 계속 작동해야 할 수 있습니다. 시험 증거는 외부에서 검토되는 경우가 많으므로 연습 보고서, 발견 사항, 종료 기록을 감사자가 읽을 수 있는 형태로 보관하십시오. 조달이 복구 협정을 고정할 수 있으므로 계약에 연습 권리와 증거를 포함하십시오(주제 8.5, 규제 및 정부 보고 참조).
비즈니스 케이스: 동기, ROI, TCO
투자할 이유는 비즈니스가 감당할 수 있는 것보다 오래 가는 심각한 장애의 비용, 다시 만들 수 없는 데이터의 손실, 준비의 증거를 요구하는 고객, 규제 기관, 보험사에 대한 의무입니다. 연속성 작업은 보험이므로 수익은 피한 손실과 의사 결정자의 확신이며, 수치를 지어내지 않고는 표현하기 어렵습니다. 관찰할 수 있는 패턴으로 설명하십시오. 명시된 복구 시간과 입증된 복구 시간 사이의 간극, 실제 사건이 아니라 연습에서 찾은 심각도 높은 발견 사항의 수, 고객이나 감사자의 증거 요청에 답하는 시간입니다.
비용은 세 그룹입니다. 목표가 요구하는 중복성과 도구, 연습을 계획하고 실행하고 검토하는 사람의 시간, 계획과 의존성 맵을 최신으로 유지하는 노력입니다.
총소유비용은 사람과 더 엄격한 티어가 지배합니다. 24시간 RTO에서 2시간 RTO로 옮기면 설계와 청구서가 바뀌므로, 그 교환을 비즈니스와 함께 명시적으로 만드십시오. 작고 잦은 자동 시험은 결함이 고치기 싼 동안 표면화되므로 하나의 큰 연간 행사보다 비용이 적게 드는 경향이 있습니다.
안티패턴과 함정
- 선반 위의 계획. 문서가 준비로 셈하지만 아무도 시도해 보지 않았습니다. 대신 모든 목표 옆에 마지막 실전형 시험의 날짜와 결과를 보고하십시오.
- 복원의 성공으로서 백업의 성공. 작업은 초록색을 보고하지만 데이터는 복원할 수 없습니다. 대신 복원을 정기적으로 시험하고 성공으로 세기 전에 데이터를 검증하십시오.
- 리허설된 연극. 연습이 대본대로이고 계획의 저자들이 실행합니다. 대신 놀라움을 점진적으로 더하십시오.
- 모든 것에 하나의 목표. 템플릿이 그렇게 말했기 때문에 모든 서비스에 4시간 RTO가 있습니다. 대신 업무 영향 분석에서 서비스를 티어로 나누고 맞는 목표를 정하십시오.
- 끝나지 않는 발견 사항. 연습 보고서는 간극을 나열하지만 백로그는 그것을 보지 못합니다. 대신 각 발견 사항에 소유자와 기한을 주고 재시험으로 종료를 검증하십시오.
- 실패한 시험을 벌하기. 놓친 RTO로 비난받는 팀은 어려운 시험을 실행하지 않게 됩니다. 대신 좋은 발견 사항이 있는 실패한 연습이 좋은 결과라고 미리 합의하고 비난 없이 검토하십시오.
- 빠른 변화 뒤의 낡은 계획. 달력이 검토를 이끌고 아키텍처 변경은 빠져나갑니다. 대신 계획 검토를 중대한 변경 레코드에 연결하고 그에 대해 계획 최신성을 측정하십시오.
성숙도 모델
| 차원 | 시작 | 발전 | 표준화 | 관리 | 조율 |
|---|---|---|---|---|---|
| 목표와 티어 | RTO와 RPO가 서면화되지 않았거나 템플릿에서 복사함 | 일부 핵심 서비스에 목표를 서면화함 | 티어와 목표가 업무 영향 분석에서 나오고 서비스 레지스트리에 있음 | 입증된 결과와 아키텍처에 비춰 목표를 검토함 | 비즈니스 및 공급업체와 목표를 공동으로 합의하고 서비스가 바뀌면 조정함 |
| 시험과 증거 | 복구를 한 번도 시험하지 않았거나 인시던트 뒤에 한 번만 시험함 | 일부 팀의 임시 복원 시험, 결과는 개인 메모에 보관 | 기록된 범위, 타임라인, 결과가 있는 티어별 시험 간격 | 결과를 추세로 보고, 테이블톱, 훈련, 게임 데이를 따로 보고함 | 놀라움이 있는 팀 간 및 공급업체 연습을 위험에서 일정을 잡음 |
| 발견 사항과 학습 | 간극을 비공식적으로 알아차림 | 일부 연습 뒤에 발견 사항을 나열함 | 모든 발견 사항에 소유자, 심각도, 기한이 있음 | 종료율과 경과를 검토하고 재시험으로 종료를 확인함 | 발견 사항이 공유 플랫폼, 공급업체 계약, 설계 표준에 공급됨 |
| 계획 최신성 | 계획을 한 번 씀 | 인시던트 뒤에 계획을 갱신함 | 검토 간격이 있는 버전 관리의 계획 | 검토를 중대한 변경에 연결하고 측정함 | 계획과 런북을 코드로 시험하고 가능한 곳에서는 서비스 정의에서 생성함 |
체크리스트
- 각 티어 1 서비스에 업무 영향 분석에서 나온 서면 RTO와 RPO가 있다.
- 서비스 레지스트리가 각 서비스의 티어, 목표, 시험 간격을 보여 준다.
- RTO와 RPO 시계, 상태 점검, 제외가 적혀 있다(주제 1.5, 데이터 원천과 계측 참조).
- 실전형 복구 시험, 테이블톱, 게임 데이를 별도의 유형으로 보고한다.
- 모든 복구 시험이 데이터 크기, 시나리오, 놀라움의 수준, 측정한 복원 시간과 데이터 손실을 기록한다.
- 백업에서의 복원을 자동으로 시험하고 데이터 검증 점검이 성공을 결정한다.
- 각 연습 발견 사항에 소유자, 심각도, 기한, 백로그의 자리가 있다.
- 계획 검토가 중대한 변경 레코드에 연결되어 있고 검토되지 않은 가장 오래된 계획이 보인다.
- 의존성 맵에 공유 서비스가 포함되고, 최소 하나의 시나리오가 그중 하나를 제거한다.
- 이 주제의 각 지표에 지표 레지스트리의 지명된 방호책과 소유자가 있다(주제 1.4, 지표 거버넌스와 소유권 참조).
- 연습 임무가 순환하고 그에 드는 시간을 운영 부하로 셈한다.
AI 프롬프트
복구 시험과 그에 따르는 측정치를 설계합니다.
명시된 RTO가 [RTO]이고 RPO가 [RPO]인 [티어] 서비스 [서비스 이름]의 복구를
시험하려 합니다. 주요 구성 요소는 [목록: 데이터 저장소, 큐, 컴퓨트, 공유
서비스]이고 공급업체는 [목록]입니다. 현실적인 시나리오, 시계를 시작하는 사건,
시계를 멈추는 상태 점검, RPO에 비춰 데이터 손실을 측정하는 방법, 쓸 데이터
크기, 기록할 것, 운영에 해를 주지 않기 위한 안전장치가 있는 시험 계획의
초안을 작성해 주세요. 기준 시간을 지어내거나 어떤 목표든 달성할 수 있다고
주장하지 마세요. 가정한 내용과 계획을 마치기 위해 내가 답해야 할 질문을
나열해 주세요.
연습 보고서에서 실제보다 좋아 보이게 하는 증거를 검토합니다.
다음은 최근 [개수]건의 복구 연습 요약입니다: [각각에 대해 유형, 날짜, 범위,
데이터 크기, 복원 시간, 데이터 손실, 발견 사항 건수 붙여 넣기]. 우리 목표는
[티어별 RTO와 RPO]입니다. 작은 데이터 집합, 대본 시나리오, 테이블톱만의 포괄,
느슨한 상태 점검처럼 보고된 결과가 실제 복구 능력을 과대평가할 수 있는 곳을
찾아 주세요. 추가로 기록할 정보와 각 결과에 짝지을 방호책 지표를 제안해
주세요. 기준 값을 지어내거나 내가 주지 않은 사실을 가정하지 마세요. 가정한
내용을 나열해 주세요.
게임 데이 메모를 발견 사항과 백로그 항목으로 바꿉니다.
다음은 [서비스]에 대한 게임 데이의 원본 메모입니다: [메모와 타임라인 붙여
넣기]. 계획과 실제 일어난 일 사이의 각 간극을 짧은 제목, 설명, 이 척도
[심각도 척도]를 쓴 제안 심각도, 소유자 후보 역할(지명된 사람이 아님), 수정을
검증하는 방법이 있는 별도의 발견 사항으로 추출해 주세요. 근본 원인을 공유할 수
있는 발견 사항은 묶어 주세요. 메모에 없는 사건을 지어내지 마세요. 가정한
내용과 명확히 해야 할 것을 나열해 주세요.
최근 변경에 비춰 계획의 최신성을 점검합니다.
다음은 [날짜]에 마지막으로 검토한 [서비스]의 연속성 계획입니다: [계획 또는 개요
붙여 넣기]. 이후의 중대한 변경은 다음과 같습니다: [아키텍처, 데이터 저장소,
의존성, 공급업체, 도구의 변경 목록]. 변경이 틀리게 만들었을 수 있는 계획의
단계, 연락처, 도구, 의존성을 찾고 검토자가 물어야 할 질문을 나열해 주세요.
우리 시스템에 대한 세부를 지어내지 마세요. 가정한 내용을 나열해 주세요.
AI 스킬
- 서비스 관리 지표 스킬: 연속성, 복구, 연습 지표를 정의하는 주제와 그것과 짝지을 방호책을 찾을 때 사용합니다.
- 서비스 관리 지표 유지보수 스킬: 수정한 연속성 지표가 시계, 제외, 악용 방식을 명시하는지 확인할 때 사용합니다.
핵심 정리
- 복구 목표는 약속이며, 시간을 잰 현실적인 연습만이 그것을 지킬 수 있는지 보여 줍니다.
- 각 RTO와 RPO 옆에 마지막으로 입증된 결과와 그 경과를 보고하고, 모든 연습을 독립된 행으로 보여 주십시오.
- 백업이 아니라 복원을 시험하십시오. 복원은 데이터가 쓸 만하다고 검증되었을 때만 셈합니다.
- 연습의 산물은 종료된 발견 사항의 목록이므로, 경과를 추적하고 재시험으로 종료를 확인하십시오.
- 계획을 버전 관리에 두고 검토를 달력만이 아니라 중대한 변경에 묶으십시오.
- 서비스와 계획을 측정하고 사람은 측정하지 말며, 좋은 발견 사항이 있는 실패한 연습을 안전하고 존중받는 결과로 만드십시오.
참고 문헌과 더 읽을거리
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, https://sre.google/workbook/table-of-contents/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- ISO 22301:2019, Security and resilience: Business continuity management systems: Requirements, International Organization for Standardization.
- ISO 22313:2020, Security and resilience: Business continuity management systems: Guidance on the use of ISO 22301, International Organization for Standardization.
- Rosenthal, C., and Jones, N., Chaos Engineering: System Resiliency in Practice, O'Reilly Media, 2020.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Business continuity planning.
- Wikipedia, Recovery time objective.
- Wikipedia, Recovery point objective.
- Wikipedia, Business impact analysis.
- Wikipedia, ISO 22301.
- Wikipedia, Backup.
- Wikipedia, Chaos engineering.
- Wikipedia, Site reliability engineering.
- Wikipedia, Infrastructure as code.