개요와 동기

가용성은 서비스 관리에서 가장 많이 인용되는 숫자이면서 가장 정밀하지 않게 정의된 숫자 중 하나입니다. "지난달 서비스는 99.9퍼센트 가용했다"는 진술은 정확하게 들리지만, 최소한 네 가지 결정을 숨깁니다. 무엇이 서비스로 셈하는지, 무엇이 "가용"으로 셈하는지, 어떤 시간이 범위에 들어가는지, 어떤 중단이 제외되는지입니다. 두 팀이 같은 달의 같은 서비스를 보고하면서, 어느 쪽도 산술 실수를 하지 않았는데도 자릿수 하나만큼 다른 수치를 공표할 수 있습니다.

이 주제는 그런 결정을 명시적으로 만듭니다. 가동 시간과 중단 시간 계산, 사용자 가중 가용성, 계획된 중단 대 계획에 없던 중단, 9의 산수를 다룹니다. 서비스 수준 지표(SLI), 서비스 수준 목표(SLO), 오류 예산(주제 5.2, SLI, SLO, 오류 예산 참조)과 서비스 수준의 계약상 관점(주제 5.1, SLA, OLA, XLA 지표 참조) 위에 서 있습니다. 그 주제들은 목표를 고르는 방법을 말합니다. 이 주제는 목표와 비교하는 숫자를 계산하는 방법을 말합니다.

이 주제에서 쓰는 용어

  • 가용성은 서비스가 사용자가 필요로 할 때 필요로 하는 일을 해내는 능력으로, 보통 기간에 걸친 퍼센트로 표현합니다. 일반 개념은 고가용성 문서에 설명되어 있습니다.
  • 중단 시간(downtime)은 서비스를 쓸 수 없는 기간입니다. 이 주제는 연속된 중단 시간의 한 에피소드를 장애(outage)로, 서비스가 작동하지만 합의된 품질 아래인 기간을 저하(degradation)로 부릅니다.
  • 가동 시간(uptime)은 측정 구간 안에서 중단 시간의 여집합입니다. 시간 기반 가용성은 가동 시간을 범위 안 총 시간으로 나눈 값입니다.
  • 요청 기반 가용성은 성공한 유효 요청의 비율이므로, 한 시간 동안 요청의 5퍼센트에 영향을 준 실패는 한 시간 전체의 중단이 아니라 한 시간 트래픽의 5퍼센트로 셉니다.
  • 사용자 가중 가용성은 영향받은 사용자의 수나 중요도로 실패에 가중치를 주어 요청 기반 관점을 확장합니다. 예를 들어 원시 요청이 아니라 실패한 세션이나 실패한 여정을 셉니다.
  • 서비스 수준 협약(SLA)은 고객에 대한 확약이고 서비스 수준 목표(SLO)는 지표에 대한 내부 목표입니다. 서비스 수준 협약과 서비스 수준 목표 문서가 일반 정의를 줍니다.
  • 계획된 중단은 사전에 공지하고 변경 활성화를 통해 승인한 장애입니다. 계획에 없던 중단은 그 밖의 모든 것입니다. 둘 사이의 경계는 가용성 보고에서 가장 다투는 선 중 하나입니다.
  • 평균 고장 간격(MTBF)은 장애 사이의 평균 운영 시간이고, 평균 수리 시간은 복구까지의 평균 시간입니다. 둘 다 평균이므로 이 책은 분포로 읽습니다(주제 1.6, 서비스 지표를 위한 통계 소양 참조).
  • 합성 모니터링은 사용자처럼 행동하고 성공 또는 실패를 보고하는 스크립트화된 프로브를 씁니다. 실사용자 모니터링은 실제 사용자가 서비스를 쓸 때의 경험을 기록합니다.
  • ITIL은 IT 서비스 관리에서 가장 잘 알려진 프레임워크입니다. ITIL 4에서 가용성 관리 프랙티스는 서비스가 합의된 수준의 가용성을 전달하도록 보장하는 데 관심을 두며, 모니터링 및 이벤트 관리, 인시던트 관리, 서비스 연속성 관리와 긴밀히 일합니다.

하나의 숫자가 결코 충분하지 않은 이유

4분짜리 장애 열 번과 40분짜리 장애 한 번은 같은 중단 시간 총량을 만들지만 사용자에게 느낌이 다르고 다른 대응을 요구합니다. 첫 번째 패턴은 취약한 서비스를 가리킵니다. 두 번째는 느린 감지나 복구를 가리킵니다. 그래서 여기의 지표는 각각 방호책이 있는 작은 집합으로 오며, 팀이 가장 많은 9를 다투지 않고 가용성을 정직하게 논의할 수 있게 합니다.

ITIL과 애자일 관점의 차이

ITIL에서 가용성은 서비스의 관리되는 속성으로, 고객과 합의하고 서비스 수준 관리가 명시된 목표에 비춰 보고하며, 분명한 서비스 시간과 계획된 유지보수 같은 제외가 있습니다.

애자일과 사이트 신뢰성 엔지니어링(SRE) 실천에서 가용성은 SLO와 비교하는 여러 SLI 중 하나입니다. 구글의 Site Reliability Engineering 책은 시간 기반 가용성이 단일 시스템에 맞고, 요청 성공률이 항상 부분적으로 가동 중인 분산 서비스에 맞는다고 말합니다. 또 9가 하나 늘 때마다 비용이 가파르게 오르므로 100퍼센트는 거의 결코 올바른 목표가 아니라고 말합니다.

분모를 정의하는 데는 합의된 범위, 시간, 제외라는 ITIL의 규율을 쓰십시오. 분자를 정의하고 결과로 무엇을 할지 정하는 데는 사용자 중심 지표와 오류 예산이라는 SRE의 규율을 쓰십시오.

핵심 원칙

  • 사용자 쪽에서 "가용"을 정의하십시오. 사용자가 로그인할 수 없는데 상태 점검에 응답하는 서비스는 중요한 사람들에게는 중단된 것입니다.
  • 분모를 적어 두십시오. 무엇이든 계산하기 전에 서비스 경계, 범위 안 시간, 시간대, 측정 구간을 밝히십시오.
  • 계획된 중단과 계획에 없던 중단을 따로 세십시오. 둘 다 함께 보고하고, 어느 하나가 다른 하나 안에 숨지 않게 하십시오.
  • 분산 서비스에는 요청 기반 및 사용자 가중 측정치를 선호하십시오. 부분적 실패는 완전한 가동도 완전한 중단도 아닙니다.
  • 9를 분으로 환산하십시오. 목표는 사람들이 그것이 한 달에 허용하는 실패의 분 수를 말할 수 있을 때만 이해됩니다.
  • 사용자가 필요로 하는 만큼의 9를 고르십시오. 그 지점을 넘으면 9가 하나 늘 때마다 되돌려받는 것보다 비용이 더 듭니다.
  • 서비스를 설명하고 사람은 설명하지 마십시오. 가용성은 서비스와 그것을 운영하는 팀에 속하며, 개인의 점수가 아닙니다.

지표 정의

각 행은 시계와 경계를 명시합니다. 행에서 달리 말하지 않는 한 달력 시간을 씁니다. 측정치가 분포를 쓰는 곳에서는 중앙값과 95번째 백분위수를 보고하고 구간을 명시하십시오.

지표 정의 공식 단위 데이터 원천 ITIL 프랙티스 애자일 대응 주기
시간 기반 가용성 서비스가 "정상"의 서면 정의를 충족한 범위 안 시간의 비율 (구간의 범위 안 분 - 계획에 없던 중단 분) / 구간의 범위 안 분. 시계는 나중에 사용자 영향으로 확인된 첫 실패한 프로브에서, 또는 인시던트 검토에 기록된 확인된 영향 시작에서 시작하고, 서비스가 다시 정의를 충족할 때 멈춤. 합의된 서비스 시간 안의 계획된 중단은 따로 표시하고, 합의된 서비스 시간 밖의 시간은 분모에서 제외 퍼센트 합성 모니터링 결과, 영향 시작 및 복구 타임스탬프가 있는 인시던트 레코드 가용성 관리, 서비스 수준 관리 단일 시스템의 시간 기반 SLI(주제 5.2, SLI, SLO, 오류 예산 참조) 월
요청 기반 가용성 성공한 유효 요청의 비율 구간의 성공한 유효 요청 / 전체 유효 요청. 유효 요청은 잘못된 형식의 요청과 호출자가 일으킨 클라이언트 오류를 제외하며, 타임아웃을 포함해 서비스가 일으킨 실패는 실패로 셈. 서비스별, 사용자 여정별로 보고 퍼센트 로드 밸런서, 게이트웨이 또는 애플리케이션 로그와 지표 가용성 관리, 모니터링 및 이벤트 관리 SLO와 오류 예산이 있는 성공률 SLI(주제 5.2, SLI, SLO, 오류 예산 참조) 일별 추세, 월간 보고
사용자 가중 가용성 영향받은 사용자나 여정으로 가중한 가용성으로, 피크 시간의 장애가 밤샘 장애보다 더 크게 셈 1 - (구간의 실패한 사용자 세션 또는 실패한 여정 / 전체 사용자 세션 또는 여정). 정의된 핵심 단계가 실패하면 세션을 실패로 셈. 부분 성공은 합치지 않고 별도의 저하 비중으로 보고 퍼센트 실사용자 모니터링, 애플리케이션 세션 로그, 분석 이벤트 가용성 관리, 서비스 수준 관리 여정 기반 SLI와 주제 6.2의 경험 측정치(주제 6.2, 경험 수준 협약 참조) 월
계획에 없던 중단 사전에 승인된 공지 없이 서비스를 쓸 수 없었던 분 시작 전에 변경 활성화를 통해 공지하고 승인하지 않은 장애의, 확인된 영향 시작부터 확인된 복구까지의 구간 내 장애 지속 시간 합. 같은 서비스에서 겹치는 장애는 더하지 않고 병합. 총 분, 장애 건수, 장애 지속 시간의 중앙값과 95번째 백분위수로 보고 분 영향 시작 및 복구 타임스탬프가 있는 인시던트 레코드 인시던트 관리, 가용성 관리 분포로 읽는 복구까지의 시간(주제 3.3, 인시던트 대응 및 해결 시간 참조) 월
계획된 중단 비중 사전에 공지하고 승인한 전체 중단 시간의 비율 구간의 계획된 중단 분 / (계획된 분 + 계획에 없던 중단 분). 시작 전에 변경 레코드로 승인되었고 시작 및 종료 시각을 사용자에게 알린 경우에만 계획된 장애로 셈. 승인된 구간을 넘긴 초과는 구간이 끝난 순간부터 계획에 없던 것으로 재분류 퍼센트 승인된 구간이 있는 변경 레코드, 인시던트 레코드, 상태 페이지 이력 변경 활성화, 가용성 관리 무중단 배포를 선호하는 릴리스 및 유지보수 실천(주제 4.3, 변경 활성화 지표 참조) 월
장애 빈도와 간격 장애가 얼마나 자주 시작하고 그 사이에 서비스가 얼마나 오래 운영되는지 구간에서 시작한 장애 수, 그리고 연속한 두 장애마다 첫 장애의 복구부터 두 번째 장애의 시작까지의 가동 분, 중앙값과 5번째 백분위수로 요약. 간격이 열 개 미만이면 단일 평균으로 보고하지 않음 건수, 분 인시던트 레코드, 모니터링 이력 인시던트 관리, 문제 관리 변경 실패율 옆의 안정성 신호(주제 4.4, 변경 실패와 재작업 참조) 월
저하 비중 서비스가 작동했으나 합의된 품질 아래였던 시간 이미 중단 시간으로 셈한 분을 제외하고 지연, 오류, 정확성 지표가 임계값을 위반한 분 / 범위 안 분. 임계값은 예를 들어 SLO에서 서비스별로 명시 퍼센트 모니터링과 SLI 측정 가용성 관리, 용량 및 성능 관리 지연 SLI(주제 5.4, 용량과 성능 지표 참조) 월
측정 포괄률 가용성 측정이 서비스의 사용자 대면 동작을 실제로 얼마나 관찰하는지 서비스 정의에 열거된 핵심 사용자 여정 중 활성 프로브나 실사용자 측정이 있는 여정 / 서비스 정의에 열거된 핵심 사용자 여정 퍼센트 서비스 정의, 모니터링 구성 모니터링 및 이벤트 관리, 가용성 관리 관측 가능성 포괄과 경보 품질(주제 5.5, 모니터링과 경보 품질 지표 참조) 분기

데이터에 대한 두 가지 메모입니다. 5분마다 점검하는 프로브는 2분짜리 장애를 포착할 수 없으므로, 수치 옆에 프로브 간격을 기록하고 인시던트 레코드의 영향 시작 필드를 쓰십시오(주제 1.5, 데이터 원천과 계측 참조). "정상"의 정의가 바뀔 때마다 추세 차트에 표시하십시오.

권장 사항

측정을 정의하십시오

1. 퍼센트보다 서비스 정의를 먼저 쓰십시오. 서비스 경계, 핵심 사용자 여정, 범위 안 시간, 시간대, 구간(달력 월이 일반적)을 나열하십시오. 어떤 의존성이 셈에 들어가는지 말하십시오. 결제 공급자가 실패해 사용자가 결제할 수 없다면 그것은 당신의 장애입니까? 답을 지표 레지스트리에 기록하십시오(주제 1.4, 지표 거버넌스와 소유권 참조). 가용성에 대한 분쟁 대부분은 이 페이지에 대한 분쟁이며, 미리 해결하는 것이 장애 뒤에 해결하는 것보다 훨씬 쌉니다.

2. "정상"을 서버 상태가 아니라 사용자 성과로 정의하십시오. 로그인이 망가졌는데 성공을 반환하는 상태 점검은 잘못된 것을 측정합니다. "항목 검색 및 보기", "로그인", "청구 제출" 같은 소수의 핵심 여정을 고르고, 각각의 성공을 사용자가 알아볼 말로 정의하십시오. 여정을 처음부터 끝까지 프로빙하고, 합의된 임계값을 넘는 느린 응답은 정상이 아니라 저하로 다루십시오.

3. 분산 서비스에는 요청 기반 측정치를, 서비스가 진정으로 켜졌다 꺼지는 곳에서는 시간 기반 측정치를 쓰십시오. 전역 서비스가 완전히 중단되는 일은 드물어서, 전면 실패의 분 수를 세면 실제 실패 대부분을 무시하게 됩니다. 가능하면 둘 다 보고하고 어느 것이 헤드라인이며 왜 그런지 말하십시오.

4. 부하가 고르지 않은 곳에는 사용자 가중을 더하십시오. 새벽 4시의 10분 장애와 거래일 시작 때의 10분 장애는 지속 시간이 같고 비용은 매우 다릅니다. 실패한 분의 세션이나 거래로 가중하거나, 피크 시간 장애 분을 별도 수치로 보고하십시오.

5. 실패 영역 밖에서 측정하십시오. 서비스와 같은 네트워크나 리전 안의 프로브는 서비스와 함께 실패하거나, 사용자가 가는 경로가 망가졌는데도 성공을 계속 보고합니다. 합성 프로브를 최소 두 개의 독립된 위치에서 실행하고 실사용자 데이터와 교차 점검하십시오.

계획된 중단과 계획에 없던 중단을 정직하게 다루십시오

6. 계획된 중단 시간과 계획에 없던 중단 시간을 나란히 보고하십시오. 많은 협약이 계획된 유지보수를 제외하며, 이는 합리적입니다. 그래도 사용자는 그것을 중단으로 경험하므로, 헤드라인 옆에 제외된 분과 계획된 비중을 보여 주십시오(주제 4.3, 변경 활성화 지표 참조).

7. 계획된이라는 라벨을 얻기 어렵게 만드십시오. 계획됨은 장애 시작 전에 변경 레코드로 승인되고 시작 및 종료 시각을 사용자에게 미리 알린 것으로 정의하십시오. 시작된 뒤에 공지한 장애는 계획에 없던 것입니다. 승인된 구간을 넘긴 초과는 구간이 끝난 순간부터 계획에 없던 것입니다. 이 세 규칙이 라벨이 실패를 재라벨링하는 방법이 되는 것을 막습니다.

8. 계획된 중단 시간을 줄이도록 노력하십시오. 롤링 배포, 기능 플래그, 잠금 없는 스키마 마이그레이션, 블루-그린 릴리스는 팀이 서비스를 내리지 않고 변경하게 해 줍니다. 계획된 중단 분을 추세로 추적하고 0에 가깝게 하려면 무엇이 필요한지 물으십시오.

숫자를 잘 읽으십시오

9. 9를 분으로 환산해 보여 주십시오. 아래 표는 30일 월(43,200분)과 365일 연(525,600분)의 산수를 줍니다. 허용되는 분을 목표 옆의 대시보드에 두고, 구간에서 지금까지 쓴 분을 보여 주십시오. 사람들은 "9가 세 개"보다 "한 달에 43분"에 대해 더 좋은 결정을 합니다.

가용성 목표 30일 월에 허용되는 중단 시간 365일 연에 허용되는 중단 시간
99퍼센트 432분(7.2시간) 5,256분(87.6시간)
99.5퍼센트 216분(3.6시간) 2,628분(43.8시간)
99.9퍼센트 43.2분 525.6분(8.76시간)
99.95퍼센트 21.6분 262.8분(4.38시간)
99.99퍼센트 4.32분 52.56분
99.999퍼센트 약 26초 약 5.26분

값은 시계가 구간 내내 흐른다고 가정합니다. 합의된 서비스 시간만 측정한다면 허용되는 분은 비례해서 줄어들며, 그렇게 말해야 합니다.

10. 9가 하나 늘 때의 비용과 의존성의 한계를 존중하십시오. SRE 책은 신뢰성 비용이 9가 하나 늘 때마다 가파르게 오르며 목표는 사용자가 필요로 하는 것과 비즈니스가 지불할 것을 반영해야 한다고 지적합니다. 서비스는 직렬로 필요한 의존성보다 가용성이 높기 어렵습니다. 필수 구성 요소 셋이 각각 99.9퍼센트를 달성하고 요청이 셋 모두를 필요로 한다면, 구성 요소가 독립적일 때 실패 확률이 더해지므로 조합의 최선의 기대 가용성은 대략 99.7퍼센트입니다. 수치를 약속하기 전에 곱셈을 하십시오.

11. 총계만이 아니라 간격과 모양을 보십시오. 잦은 짧은 장애는 드문 긴 장애 한 번과 다른 대응이 필요합니다. 긴 장애를 감지와 복구(주제 3.3, 인시던트 대응 및 해결 시간 참조), 그리고 주요 인시던트 관점(주제 3.4, 중대 인시던트 지표 참조)에 연결하십시오.

12. 오류 예산과 문제 레코드로 고리를 닫으십시오. 가용성 목표는 팀이 하는 일을 바꿀 때 유용합니다. 허용된 중단 시간의 월간 예산이 거의 소진되면, 오류 예산 정책에 설명된 대로 위험한 변경을 늦추고 노력을 신뢰성 작업으로 옮기십시오(주제 5.2, SLI, SLO, 오류 예산 참조). 같은 원인이 재발하면 문제 레코드를 열고 수정까지 추적하십시오(주제 4.1, 문제 관리 지표 참조).

악용 방식과 방호책

지표 악용되는 방식 짝을 이루는 방호책 지표 또는 실천
시간 기반 가용성 실제 여정이 실패하는 동안 가동 상태인 사소한 페이지를 프로빙함, 짧은 장애가 점검 사이로 빠지도록 프로브 간격을 늘림, 범위 안 시간을 줄임, 장애를 저하로 셈 사용자 가중 가용성과 실사용자 모니터링, 수치 옆에 명시한 프로브 간격, 모니터링 기록에 비춘 인시던트 표본
요청 기반 가용성 실패를 희석하려고 쉬운 요청(상태 점검, 캐시된 자산)을 분모에 셈, 서버 오류를 클라이언트 오류로 분류함, 사용자가 실패로 경험한 재시도를 제외함 요청별이 아니라 핵심 여정별 성공률, 제외 목록 검토, 사용자가 보고한 인시던트와 비교
사용자 가중 가용성 피크 실패가 거의 중요하지 않도록 가중치를 고름, 망가진 단계도 통과할 만큼 느슨하게 "성공한" 세션을 정의함 가중 규칙과 여정 목록 공개, 장애 중 불만 건수와 지원 접촉에 비춰 비교
계획에 없던 중단 사후에 장애를 계획된 것으로 재분류함, 확인된 영향 시작을 늦춤, 더 짧아 보이도록 장애 하나를 둘로 쪼갬 시작한 뒤 공지한 장애는 계획에 없던 것이라는 규칙을 둔 계획된 중단 비중, 영향 시작을 모니터링 데이터와 비교
계획된 중단 비중 초과와 실패가 계획된 것으로 셈하도록 변경을 승인된 구간으로 예약함, 불필요한 유지보수를 일정에 넣어 계획된 비중을 부풀림 계획에 없던 것으로 재분류한 초과 분, 변경 실패율과 긴급 변경 비중(주제 4.4, 변경 실패와 재작업 참조)
장애 빈도와 간격 건수를 낮게 유지하려고 인시던트를 병합하거나 긴 간격 뒤에야 새 인시던트를 엶, 짧은 장애가 기록되지 않도록 경보를 억제함 원시 모니터링 이벤트에 비춘 경보와 인시던트 표본 조사, 모니터링 포괄과 경보 품질(주제 5.5, 모니터링과 경보 품질 지표 참조)
저하 비중 느린 서비스가 결코 위반하지 않을 만큼 임계값을 느슨하게 정함, 저하 시간을 가동으로 선언함 수치 옆에서 검토하는 지연 백분위수와 사용자가 보고한 느림(주제 5.4, 용량과 성능 지표 참조)
측정 포괄률 프로빙하기 쉬운 여정만 나열해 포괄률이 100퍼센트로 읽히게 함, 한 번도 실행되지 않는 프로브로 여정이 포괄된 것으로 셈 서비스 소유자 및 사용자와 합의한 여정 목록, 분기마다 표본 조사하는 프로브 실행 이력

건강한 수치는 팀이 설명할 수 있는 이유로 움직이고, 계획된 중단과 계획에 없던 중단이 모두 보이며, 사용자 가중 수치가 헤드라인에 가깝습니다. 불만이 따르는 완벽한 달은 의심하십시오. 이따금의 정직한 하락은 기록 체계가 작동한다는 것을 보여 줍니다.

상충 관계: 장점과 단점

접근 방식 강점 약점
시간 기반 가용성 단순하고, 널리 이해되고, 계약과 비교하기 쉬움 부분적 실패를 전부 아니면 전무로 다룸, 언제와 누구를 무시함
요청 기반 가용성 부분적 실패를 반영함, 분산 서비스로 확장됨 유효한 요청의 건전한 정의에 의존함, 쉬운 트래픽으로 희석될 수 있음
사용자 가중 가용성 사용자가 경험한 것에 가까움, 피크 시간 실패의 비용을 보여 줌 세션 또는 여정 데이터가 필요함, 설명에 더 많은 노력이 듦
계획된 중단 제외 많은 협약과 맞음, 사전 공지를 보상함 실제 영향을 가릴 수 있음, 재라벨링을 부름
오류 예산이 있는 적당한 목표 신뢰성과 전달 속도의 균형을 맞춤 예산을 다 썼을 때 행동할 규율이 필요함

실용적인 답은 서비스에 맞는 가장 단순한 측정치를 고르고, 부하가 고르지 않은 곳에는 사용자 가중을 더하고, 모든 제외를 명시하는 것입니다. 모두가 이해하는 조금 덜 우아한 측정치가 아무도 믿지 않는 정교한 측정치보다 더 많은 도움이 됩니다.

팀과 논의할 질문

1. 우리의 가장 중요한 서비스에서 "가용"은 무슨 뜻이며, 사용자가 동의할까요? 서비스가 정상으로 셈하려면 사용자가 무엇을 할 수 있어야 하는지 각자 한 문장으로 설명하게 하십시오. 답을 서면 정의와 대시보드에 공급하는 프로브와 비교하십시오. 진행자는 로그인, 검색, 결제가 프로브에서는 작동하지만 실제로는 실패하는 것 같은 간극을 들어야 합니다. 정의가 이름을 붙여야 할 사용자 여정에 합의하며 마치십시오.

2. 지난 분기의 장애 중 우리 계산이 제외했을 것은 무엇이며, 그것은 공정했나요? 장애를 나열하고 각각을 계획됨, 계획에 없음, 제외됨으로 표시하십시오. 각 판정을 누가 언제 내렸는지 물으십시오. 진행자는 사용자가 라벨에 동의하지 않았을 사례를 기록하고, 그것으로 규칙을 조여야 합니다.

3. 우리 목표가 허용하는 중단 시간은 몇 분이며, 이번 구간에 몇 분을 썼나요? 화이트보드에서 목표를 한 달과 한 해의 분으로 환산하십시오. 지금까지 쓴 분과 비교하십시오. 예산이 20퍼센트만 남았다면 팀이 무엇을 다르게 할지 물으십시오. 이는 추상적인 목표를 구체적으로 만들고 숫자를 오류 예산 정책에 연결합니다.

4. 우리 측정이 사용자가 느낄 실패를 놓칠 수 있는 곳은 어디인가요? 프로브 위치, 간격, 포괄하는 여정, 의존성을 훑어보십시오. 모든 프로브를 통과하면서도 사용자에게 서비스를 망가뜨릴 실패가 무엇인지 물으십시오. 추가할 새 프로브나 실사용자 측정 하나에 합의하십시오.

5. 우리는 피할 수 있는 장애를 계획하고 있나요? 6개월간의 계획된 중단 시간을 보고 각 장애를 무엇이 강제했는지 물으십시오. 공급업체 요구 사항처럼 피할 수 없는 것도 있습니다. 바꿀 수 있는 릴리스나 마이그레이션 방식에서 오는 것도 있습니다. 가장 큰 원천을 없애려면 무엇이 필요하고 누가 그 일을 소유하는지 물으십시오.

6. 헤드라인 숫자가 완벽해 보인다면 무엇이 우리를 의심하게 할까요? 대시보드와 모순될 신호를 명명하십시오. 불만 건수, 지원 접촉, 온콜 팀의 기억입니다. 지금 있는지 확인하십시오. 대시보드에 둘 비교 하나에 합의하십시오.

네 가지 관점

제품 및 전달 팀

전달 팀은 서비스를 변경할 때마다 가용성에 영향을 줍니다. 무중단 배포를 설계하고, 기능 플래그로 영향 범위를 제한하고, 오류 예산을 릴리스 결정의 입력으로 다루며, 가용성을 배포 측정치 옆에서 읽을 수 있습니다(주제 2.8, DORA 지표 참조).

서비스 및 운영 팀

운영 팀은 프로브, 인시던트 레코드, 데이터를 만드는 순환 근무를 소유합니다. 정의와 제외 목록을 최신으로 유지하고, 영향 시작을 정직하게 기록하고, 실제 인시던트에 비춰 모니터링을 검토해야 합니다. 가용성은 서비스와 그 순환 근무에 속하며, 온콜인 한 엔지니어에게 속하지 않습니다(주제 5.7, 토일과 온콜 지표 참조).

리더십과 거버넌스

리더는 가용성 데이터가 솔직한지를 결정하는 유인을 정합니다. "왜 9를 하나 잃었습니까?"라고 묻는 검토는 팀이 장애를 제외 속에 숨기도록 가르칩니다. 팀이 무엇을 배웠고 어떤 투자가 장애를 줄일지 물으십시오. 사용자가 알아차릴 이상의 9를 요구하지 마십시오(공급업체 확약은 주제 8.4, 공급업체와 계약 지표 참조).

고객과 사용자

사용자는 자신이 하러 온 일을 할 수 있었는지로 가용성을 판단합니다. 예고된 유지보수 구간은 갑작스러운 중단보다 훨씬 잘 참습니다. 정직한 시작 및 종료 시각이 있는 상태 페이지를 주고, 숫자 옆에서 그들의 피드백을 읽으십시오(주제 6.2, 경험 수준 협약 참조).

실제 적용: 서비스 관리 사례

중견 온라인 소매업체가 스토어프런트, 결제 서비스, 주문 추적 서비스를 운영합니다. 이 사례의 숫자는 예시입니다.

결제 팀은 월 시간 기반 가용성 99.95퍼센트를 보고하는데, 이는 계획에 없던 중단 21.6분을 허용하며 대시보드는 99.96퍼센트를 보여 줍니다. 고객 지원 책임자는 같은 달 결제 실패에 대한 지원 접촉이 늘어서 불안합니다. 그는 팀에게 측정을 검토하라고 요청합니다.

팀은 세 가지 문제를 찾습니다. 프로브는 전체 결제 여정이 아니라 "결제에 접근 가능" 페이지를 5분마다 점검합니다. 요청 기반 데이터는 이틀 저녁 동안 결제 공급자의 타임아웃이 각각 약 50분 동안 결제 시도의 약 4퍼센트를 실패시켰음을 보여 주는데, 페이지 자체는 로드되었기 때문에 프로브는 알아차리지 못했습니다. 그리고 승인된 구간을 18분 초과한 데이터베이스 마이그레이션이 전부 계획된 유지보수로 기록되어 있었습니다.

팀은 네 가지를 바꿉니다. 두 위치에서 1분 간격으로 전체 결제 여정에 대한 합성 프로브를 추가합니다. 결제 단계에 도달한 세션을 써서 요청 기반 및 사용자 가중 수치를 추가합니다. 초과한 분을 계획에 없던 것으로 재분류합니다. 그리고 계획된 중단 비중과 측정 포괄률을 보고서에 추가합니다.

수정된 기준으로 그 달은 시간 기반 가용성 99.93퍼센트, 요청 기반 가용성 99.90퍼센트, 사용자 가중 가용성 99.84퍼센트를 보이는데, 실패가 저녁 피크에 떨어졌기 때문입니다. 셋 모두 99.95퍼센트 목표를 놓치며 불편한 일입니다. 팀과 지원 책임자는 이전의 숫자가 너무 후했다는 데 동의합니다. 수정된 정의를 지표 레지스트리에 쓰고 오류 예산 정책을 발효시킵니다. 다음 달 동안 결제의 위험한 변경은 예산이 회복될 때까지 기다리고, 팀은 결제 공급자 타임아웃에 대한 문제 레코드를 엽니다(주제 4.1, 문제 관리 지표 참조).

그들이 잡아낸 악용 위험은 재라벨링입니다. 한 관리자가 목표를 지키려고 초과를 "연장된 유지보수"라고 부르자고 제안했습니다. 초과가 계획에 없던 것이 된다는 규칙이 있는 계획된 중단 비중이 재분류를 보이게 했고, 팀은 정직한 수치를 유지했습니다.

애자일, AI, 자동화, 분석

애자일

사용자 쪽에서 가용성을 정의하고 서비스가 바뀔 때 이해관계자와 정의를 검토하십시오. 주의할 점은 구성 요소의 높은 9 수는 사용자가 가는 여정에 대해 거의 말해 주지 않는다는 것입니다.

AI

AI 구성 요소는 느리거나, 틀리거나, 일부 입력에서만 쓸 수 없는 식으로 부드럽게 실패할 수 있으며, 단순한 가동 시간은 이를 놓칩니다. 올바르고 시의적절한 답을 낸 요청의 비율 같은 품질 보정 관점을 더하고 사용자가 보고한 문제와 짝지우십시오. 주의할 점은 저하된 AI 답을 정상으로 셈하면 숫자가 실제보다 좋아 보인다는 것입니다.

자동화

실제 트래픽과 합성 프로브에서 요청 결과를 자동으로 수집하고 프로브의 포괄을 측정하십시오. 주의할 점은 상태 페이지를 점검하는 프로브는 사용자가 로그인할 수 없는데도 정상이라고 말할 수 있다는 것입니다.

분석

시간 기반 및 요청 기반 가용성을 저하 비중과 함께 보고하고 측정 구간을 밝히십시오. 이는 신뢰성 작업이 사용자에게 어디서 도움이 될지에 정보를 줍니다. 주의할 점은 드문 장애는 연간 퍼센트를 불안정하게 하므로 퍼센트만이 아니라 사건을 보여 줘야 한다는 것입니다.

부문별 관점

스타트업. 작은 팀은 서비스 하나에 모니터링이 거의 없는 경우가 많습니다. 가장 중요한 여정에 대한 프로브 하나와 "정상"의 한 단락 정의로 시작하십시오. 적당한 목표를 고르고, 분으로 환산하고, 팀이 아직 측정할 수 없는 9를 약속하지 마십시오.

소규모 사업. 서비스는 호스팅된 도구에 몇몇 맞춤 시스템을 더한 경우가 많고 가용성은 공급업체에 달려 있습니다. 공급업체 장애를 당신의 사용자에게 영향을 준 대로 기록하고, 공급업체가 보고하는 것과 비교하고, 수치 집합을 둘이나 셋으로 유지하십시오.

대기업. 많은 서비스, 많은 팀, 많은 공급업체가 쓰이는 정의를 늘립니다. 허용되는 변형의 짧은 목록과 함께 가용성의 표준 정의 하나를 공표하고, 지표 레지스트리를 최신으로 유지하고, 비교하기 전에 계획된 규칙과 계획에 없던 규칙이 팀 간에 같도록 하십시오. 서비스는 부하와 중요도가 다르므로 팀 순위표보다 서비스 수준 보고를 선호하십시오.

정부 및 공공 부문. 공공 서비스에는 법정 서비스 시간, 공표된 확약, 공식 크레딧이 있는 계약이 있는 경우가 많습니다. 쓰인 대로 그에 비춰 보고하고, 옆에 사용자 가중 관점을 보여 주고, 제외에 대해 솔직하십시오(주제 8.5, 규제 및 정부 보고 참조).

비즈니스 케이스: 동기, ROI, TCO

주요 비용은 서비스 정의와 레지스트리를 쓰는 시간, 실패 영역 밖에서 핵심 여정을 프로빙하는 모니터링, 계획된 중단과 계획에 없던 중단을 분리할 수 있도록 인시던트, 변경, 모니터링 데이터를 합치는 노력입니다. 실사용자 모니터링은 도구와 저장소 비용을 더합니다. 대부분의 조직은 이미 데이터 일부를 가지고 있으므로 첫 투자는 보통 정의에 있습니다.

수익은 더 나은 결정과 더 적은 분쟁에서 옵니다. 사용자 쪽에서 측정하는 팀은 상태 점검이 놓치는 실패를 찾고, 하나의 정의로 협약을 관리하기가 더 쉬우며, 9 하나를 더하는 비용을 사용자에게 주는 가치와 견줄 수 있습니다. 이익을 협약 검토에서의 더 적은 놀라움 같은 패턴으로 설명하고, 헤드라인과 사용자 가중 수치 사이의 간극 같은 자체 기준선을 측정하십시오. 다른 조직의 수치를 빌려 오지 마십시오.

안티패턴과 함정

  • 분 없이 9만 인용하기. 아무도 허용되는 중단 시간으로 번역할 수 없는 목표는 결정을 이끌 수 없습니다. 모든 목표 옆에 허용되는 분과 사용한 분을 보여 주십시오.
  • 여정 대신 서버를 측정하기. 초록색 상태 점검이 망가진 로그인 옆에 있을 수 있습니다. 핵심 여정을 처음부터 끝까지 프로빙하고 실사용자 데이터와 비교하십시오.
  • 계획된 라벨이 실패를 흡수하게 두기. 쉽게 주장할 수 있는 계획된 범주는 계획에 없던 수치를 비웁니다. 장애 전에 승인을 요구하고, 알리고, 초과를 재분류하십시오.
  • 서비스와 시간에 걸쳐 평균 내기. 뒤섞은 수치는 핵심 서비스와 바쁜 시간을 가립니다. 서비스별로 보고하고 사용자 가중 관점을 더하십시오.
  • 의존성이 허용하는 것보다 많은 9 약속하기. 직렬 구성 요소는 결합된 가용성을 넘을 수 없습니다. 약속하기 전에 곱하고, 공급업체에 측정한 수치를 요청하십시오.
  • 100퍼센트를 목표로 삼기. 비용이 가파르게 오르고 변경이 느려집니다. 사용자 필요에서 목표를 고르고 오류 예산을 쓰십시오.
  • 9로 팀이나 사람의 순위 매기기. 서비스는 부하와 중요도가 다르며, 순위표는 팀이 장애를 숨기도록 가르칩니다. 각 서비스에 자체 추세를 보여 주고 자체 목표와 비교하십시오.

성숙도 모델

차원 1 시작 2 발전 3 표준화 4 관리 5 조율
정의와 시계 "정상"은 모니터링 도구가 보여 주는 대로임, 장애 시간은 나중에 추정함 일부 서비스에 서면화됨, 프로브와 인시던트 시간이 어긋남 여정, 시간, 제외, 시계 규칙이 있는 서비스별 서면 정의 하나 정의를 주기에 따라 검토하고 변경을 기록해 차트에 표시함 정의를 공급업체 및 고객과 맞추고 결정에 정보를 주지 못하면 개정함
측정 품질 수작업 보고서나 단일 상태 점검 일부 서비스에 프로브, 일부 로그에 요청 데이터 핵심 여정에 대한 외부 시점 프로브와 표준 원천의 요청 기반 수치 실사용자 데이터의 사용자 가중 수치, 포괄률을 추적하고 표본 조사함 팀과 공급업체 간에 측정치를 공유하고 자동으로 대조함
계획된 것과 계획에 없던 것의 처리 구분 없음, 유지보수를 임시로 셈 일부 팀이 계획된 라벨을 쓰고 규칙이 다름 하나의 규칙: 장애 전에 승인하고 공지, 초과는 재분류 계획된 비중을 추세로 보고 줄이는 목표를 둠 무중단 변경이 기본이고 계획된 중단은 드물며 협상함
결정에서의 활용 불만 뒤에 보고함 운영이 매달 검토함 목표를 분으로 보여 줌 오류 예산 정책이 자금과 함께 작업을 바꿈 가용성, 비용, 경험을 함께 교환함

체크리스트

  • 각 서비스에 핵심 사용자 여정을 명명하는 "가용"의 서면 정의가 있다.
  • 모든 수치에 측정 구간, 범위 안 시간, 시간대가 명시되어 있다.
  • 제외 목록이 적혀 있고, 검토되며, 헤드라인 옆에 표시된다.
  • 계획된 중단은 승인된 변경과 사전 공지가 필요하며, 초과는 계획에 없던 것으로 셈한다.
  • 프로브는 실패 영역 밖에서, 명시된 간격으로, 핵심 여정에 대해 실행된다.
  • 요청 기반 또는 사용자 가중 수치가 시간 기반 수치 옆에 있다.
  • 각 목표를 현재 구간의 허용 분과 사용 분으로 보여 준다.
  • 총계만이 아니라 장애 건수와 지속 시간 백분위수를 보고한다.
  • 목표를 약속하기 전에 의존성 가용성을 곱한다.
  • 정의 변경을 기록하고 추세 차트에 표시한다.
  • 가용성은 서비스별로 보고하고 사람별로는 결코 보고하지 않는다.

AI 프롬프트

서비스 가용성 정의의 초안을 작성합니다.

[서비스 이름]에 대한 가용성 정의를 쓰고 있습니다. [사용자 그룹]이 쓰는
[서비스 유형]입니다. 핵심 사용자 여정은 [여정 목록]입니다. 합의된 서비스 시간은
[시간과 시간대]입니다. 알려진 의존성은 [목록]입니다. 우리 모니터링은 [프로브,
로그, 실사용자 데이터]로 구성됩니다.

각 여정에서 무엇이 정상으로 셈하는지, 측정 구간, 범위 안 시간, 제외, 계획된
중단과 계획에 없던 중단의 규칙, 장애의 시계 시작과 정지, 보고할 지표를 다루는
한 쪽짜리 정의의 초안을 작성해 주세요. 목표나 기준 값을 지어내지 마세요. 가정한
내용과 정의를 마치기 위해 내가 답해야 할 질문을 나열해 주세요.

목표를 허용되는 중단 시간으로 환산하고 시험합니다.

[서비스 이름]의 목표는 [구간, 예: 30일 월] 동안 [가용성 퍼센트]입니다. 범위 안
시간은 [시간]입니다. 필수 의존성과 그 명시되거나 측정된 가용성은 [목록 또는
"알 수 없음"]입니다.

범위 안 시간을 써서 이 목표가 구간과 한 해에 허용하는 중단 시간을 분으로
계산해 주세요. 그런 다음 의존성이 직렬로 필요하고 독립적으로 실패한다고 할 때
최선의 결합 가용성을 추정하고 쓴 공식을 설명해 주세요. 내 입력이 너무 불확실해
아무것도 결론 내릴 수 없는 곳을 표시해 주세요. 내가 주지 않은 의존성의 가용성
수치를 제공하지 마세요. 가정한 내용을 나열해 주세요.

한 달의 장애 기록에서 분류 문제를 검토합니다.

다음은 [월] 동안 [서비스 이름]의 장애 기록입니다: [영향 시작, 복구 시각, 계획됨
또는 계획에 없음 라벨, 승인 시각, 메모가 있는 기록 붙여 넣기, 개인 정보 제거].

각 장애에 대해 계획됨 또는 계획에 없음 라벨이 다음 규칙을 따르는지 점검해
주세요: [규칙 붙여 넣기]. 영향 시작이 늦어 보이는 기록, 장애 하나가 쪼개지거나
병합된 것으로 보이는 곳, 초과를 재분류했어야 하는 곳을 찾아 주세요. 패턴을
서비스와 원인별로 요약하고 사람별로는 하지 마세요. 데이터로 판단할 수 없었던
것을 알려 주세요. 가정한 내용을 나열해 주세요.

AI 스킬

핵심 정리

  • 가용성은 "정상", 서비스 경계, 시간, 제외를 사용자 쪽에서 적어 두었을 때만 의미가 있습니다.
  • 요청 기반 및 사용자 가중 측정치는 전면 실패의 분 수보다 분산 서비스와 고르지 않은 부하를 더 잘 설명합니다.
  • 계획된 중단과 계획에 없던 중단을 함께 보고하고, 계획된 라벨을 얻기 어렵게 만드십시오.
  • 모든 목표를 분으로 환산하고, 9의 수를 약속하기 전에 직렬 의존성을 곱하십시오.
  • 9가 하나 늘 때마다 앞선 것보다 비용이 더 드므로, 사용자가 필요로 하는 것에서 목표를 고르고 오류 예산으로 행동하십시오.
  • 서비스와 순환 근무를 설명하고 사람은 설명하지 말며, 모든 헤드라인 수치를 사용자의 경험에 비춰 시험하십시오.

참고 문헌과 더 읽을거리

  1. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, chapter "Embracing Risk", https://sre.google/sre-book/embracing-risk/.
  2. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, chapter "Service Level Objectives", https://sre.google/sre-book/service-level-objectives/.
  3. Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SLOs, O'Reilly Media, 2018, chapter "Implementing SLOs", https://sre.google/workbook/implementing-slos/.
  4. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  5. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  6. Wikipedia, High availability.
  7. Wikipedia, Downtime.
  8. Wikipedia, Service-level agreement.
  9. Wikipedia, Service-level objective.
  10. Wikipedia, Mean time between failures.
  11. Wikipedia, Mean time to repair.
  12. Wikipedia, Synthetic monitoring.
  13. Wikipedia, Real user monitoring.
  14. Wikipedia, ITIL.