개요와 동기

가용성은 서비스가 응답하는지를 알려 줍니다. 용량과 성능은 얼마나 잘 응답하는지, 수요가 늘어도 얼마나 오래 그럴 수 있는지를 알려 줍니다. 8초 만에 응답하는 결제 페이지는 대부분의 가용성 정의로는 "가동 중"이고 모든 고객의 정의로는 "고장"입니다. 저장소의 95퍼센트가 찬 데이터베이스는 오늘은 건강하고 다음 달에는 장애입니다. 이 주제는 그런 간극을 메우는 측정치를 다룹니다.

용량 계획(capacity planning)은 변화하는 수요를 충족하는 데 서비스가 필요로 하는 자원을 결정하는 프랙티스입니다. ITIL 4에서 이는 서비스가 합의되고 기대되는 성능을 달성하고 현재와 미래의 수요를 비용 효율적으로 충족하도록 보장하는 것을 목표로 하는 용량 및 성능 관리 프랙티스에 속합니다. 프랙티스는 이를 세 수준에서 설명합니다. 비즈니스(조직이 서비스에 무엇을 요구할지), 서비스(서비스가 부하 아래에서 어떻게 동작하는지), 구성 요소(각 서버, 데이터베이스, 네트워크 링크, 큐가 어떻게 동작하는지)입니다. 이 주제의 측정치는 주로 서비스와 구성 요소 수준에서 작동하며, 무엇이든 예측하려면 비즈니스 수준의 입력이 필요합니다.

사이트 신뢰성 엔지니어링(SRE)은 지연, 트래픽, 오류, 포화를 모든 사용자 대면 시스템에서 지켜볼 가치가 있는 네 가지 신호로 보고, 성능 목표를 서비스 수준 목표에 연결합니다(주제 5.2, SLI, SLO, 오류 예산 참조). 애자일 팀은 용량을 전달의 질문으로 만납니다. 다음 릴리스가 예상 부하를 감당할 수 있는가, 그 답은 누가 소유하는가입니다. 성능을 파이프라인에서 점검하는 인수 기준으로 다루면 대화가 더 일찍 일어납니다.

이 주제에는 여러 용어가 반복해서 나옵니다. 사용률(utilization)은 프로세서 시간 중 바쁜 비율처럼 한 구간 동안 자원의 용량 중 쓰이는 비율입니다. 포화(saturation)는 실행 큐 길이나 요청 적체처럼 자원이 완전히 쓰이고 있어서 기다리는 작업의 양입니다. 사용률은 자원이 얼마나 바쁜지를 말합니다. 포화는 작업이 그것을 위해 줄 서 있는지를 말하며, 사용자가 느끼는 것은 줄입니다. 지연(latency)은 요청과 응답 사이의 시간입니다. 처리량(throughput)은 서비스가 초당 요청 수처럼 작업을 완료하는 속도입니다. 여유(headroom)는 현재 피크 부하와 서비스가 목표 충족을 멈추는 부하 사이의 간극입니다. 수요는 사용자와 비즈니스가 서비스에 요구하는 작업이며, 서비스가 완료하는 작업과 같지 않습니다. 과부하된 서비스는 요청받은 것보다 적게 완료합니다.

대기 행렬의 한 속성이 이 측정치들이 왜 그렇게 행동하는지 설명합니다. 대기 행렬 이론은 무작위 도착이 있는 서비스에서 사용률이 적당한 동안에는 대기 시간이 천천히 늘다가 사용률이 완전 사용에 가까워지면 가파르게 오른다는 것을 보여 줍니다. 리틀의 법칙은 시스템 안의 평균 요청 수를 도착률과 각 요청이 거기서 보내는 평균 시간에 연결합니다. 평균 사용률이 높은 자원은 벼랑 근처에 있습니다. 곡선의 정확한 모양은 서비스마다 다르므로, 일반 문서에서 임계값을 빌려 오지 말고 부하 시험으로 자기 시스템을 시험해서 찾으십시오.

지연은 평균이 중요한 경험을 가리기 때문에 특별한 주의가 필요합니다. 백분위수는 관측값의 주어진 비율이 그 아래에 속하는 값을 말합니다. 95번째 백분위수(p95)는 요청의 95퍼센트가 이기는 지연입니다. 꼬리 지연은 사용자 행동 하나가 많은 내부 호출로 퍼지는 시스템에서 지배적인 경향이 있습니다. 평균만이 아니라 백분위수를 보고하십시오(주제 1.6, 서비스 지표를 위한 통계 소양과, 해결 시간에 대해 같은 주장을 하는 주제 3.3, 인시던트 대응 및 해결 시간 참조).

마지막으로, 용량은 수요의 예측에 달려 있고, 수요에는 패턴이 있습니다. 일별 주기, 주별 주기, 달력, 캠페인, 제품 출시에 묶인 계절성입니다. 오토스케일링은 이것이 느껴지는 방식을 바꿉니다. 클라우드 플랫폼이 몇 분 안에 자원을 추가할 수 있기 때문입니다. 그러나 주제를 없애지는 않습니다. 오토스케일링에는 한계, 지연, 비용, 그리고 데이터베이스나 제3자 인터페이스처럼 확장되지 않는 의존성이 있습니다. 비용 측면은 FinOps에 속합니다(주제 7.6, FinOps와 클라우드 비용 지표 참조).

이웃한 주제들이 가용성 산수(주제 5.3, 가용성 지표 참조), 경보 설계(주제 5.5, 모니터링과 경보 품질 지표 참조), 순환 근무 부하(주제 5.7, 토일과 온콜 지표 참조)를 다룹니다. 여기서의 주제는 서비스 자체의 자원과 응답 시간입니다.

핵심 원칙

  • 사용률뿐 아니라 포화도 측정하십시오. 사용률은 자원이 얼마나 바쁜지를, 포화는 작업이 기다리는지를 보여 줍니다. 사용자가 경험하는 것은 기다림입니다.
  • 지연을 분포로 보고하십시오. 사용자 대면 작업별로 백분위수를 쓰고 느린 꼬리를 보이게 유지하십시오. 치우친 분포의 평균은 거의 아무도 설명하지 않습니다.
  • 목표를 사용자 경험에 묶으십시오. 임계값은 도구가 우연히 차트로 그리는 것이 아니라 사용자나 비즈니스가 신경 쓰는 것으로 거슬러 올라갈 수 있을 때 의미가 있습니다.
  • 범위로 계획하고 검토하십시오. 예측은 명시된 가정이 있는 범위입니다. 일어난 일과 비교하고 오차에서 배우십시오.
  • 시험으로 한계를 아십시오. 용량은 현실적인 부하 시험이 확인하기 전까지는 가설입니다. 중요한 변경 뒤에 시험을 반복하십시오.
  • 시스템을 설명하고 사람은 설명하지 마십시오. 이 측정치는 서비스, 구성 요소, 팀에 속합니다. 개인의 성적표가 아닙니다.
  • 비용을 위험과 견주십시오. 여분의 용량은 돈이 들고, 부족한 용량은 고객을 잃습니다. 교환을 눈에 보이게 해서 흘러 들어가는 것이 아니라 선택되게 하십시오.

지표 정의

표는 일곱 개의 측정치를 나열합니다. 시계와 경계는 각 공식에 명시되어 있습니다. 백분위수 기반 측정치는 레지스트리에 명시한 고정 구간을 쓰며, 평균의 평균이 아니라 원시 관측값이나 히스토그램에서 계산합니다.

지표 정의 공식 단위 데이터 원천 ITIL 프랙티스 애자일 대응 주기
자원 사용률 한 구간 동안 쓰이는 자원 용량의 비율로, 구간 시계열의 높은 백분위수로 보고 1분에서 5분 구간별 바쁜 용량 / 전체 용량. 검토 구간에 걸친 중앙값과 95번째 백분위수를 보고. 자원을 비운 유지보수 구간은 제외 퍼센트 인프라 모니터링과 클라우드 플랫폼 지표 용량 및 성능 관리, 모니터링 및 이벤트 관리 완료의 정의에 있는 운영 인수 기준, SRE 자원 신호 주
포화 완전히 쓰이는 자원을 기다리는 작업의 양 구간별 큐 길이, 실행 큐, 대기 요청, 또는 스로틀된 요청. 95번째 백분위수와 대기가 하나라도 있었던 구간의 비율을 보고. 수요가 없는 구간은 제외 건수, 또는 구간의 퍼센트 애플리케이션 및 인프라 텔레메트리 용량 및 성능 관리, 모니터링 및 이벤트 관리 SRE 포화 신호, 서비스 큐의 진행 중 작업 한도 주
지연 백분위수 사용자 대면 작업 하나의 요청에 응답하는 데 걸린 시간으로, 중앙값, p95, p99로 보고 엣지에서 요청을 받은 때부터 마지막 바이트를 보낼 때까지의 응답 시간, 성공한 요청별. 실패한 요청은 빠른 응답이 아니라 오류로 보고. 이동 구간에 걸쳐 측정 밀리초 로드 밸런서 또는 게이트웨이 로그, 트레이싱, 실사용자 모니터링 서비스 수준 관리, 용량 및 성능 관리 SRE 지연 지표와 서비스 수준 목표 지속적, 주간 검토
여유 서비스가 목표를 위반하기 전에 감당할 수 있는 남은 부하 (시험했거나 모델링한 한계 부하 - 현재 피크 부하) / 현재 피크 부하. 피크는 구간에서 가장 바쁜 시간이고, 한계 부하는 하드웨어 최대치가 아니라 시험에서 지연 목표가 처음 위반되는 부하 퍼센트, 또는 현재 성장률에서의 일수 부하 시험 결과와 트래픽 텔레메트리 용량 및 성능 관리, 서비스 수준 관리 비기능 요구 사항과 파이프라인의 성능 시험 월, 주요 출시 전
예측 오차 한 기간의 예측 수요와 실제 수요의 차이 명시된 지평에 대한 절댓값 (예측 피크 - 실제 피크) / 실제 피크. 예측은 지평 시작 시 고정하고 이후 수정하지 않음. 예측하지 못한 일회성 사건은 제거하지 않고 나열 퍼센트 예측 레지스트리와 트래픽 텔레메트리 용량 및 성능 관리, 서비스 재무 관리의 수요 관련 계획 릴리스 및 로드맵 예측, SRE 수요 예측 분기
용량 리드 타임 필요가 수락된 뒤 새 용량을 서비스에 투입하는 데 필요한 시간 시계는 용량 요청이 승인될 때 시작해 용량이 운영 트래픽을 받을 때 멈춤. 중앙값과 85번째 백분위수를 보고. 취소된 요청은 제외 일 ITSM 도구의 요청 레코드, 변경 레코드, 프로비저닝 로그 용량 및 성능 관리, 서비스 요청 관리, 변경 활성화 플랫폼 백로그 항목의 리드 타임(주제 2.2, 리드 타임, 사이클 타임, 흐름 효율 참조) 분기
성능 시험 포괄률 최근의 현실적인 부하 시험이 있는 핵심 서비스의 비율 대표적인 환경과 워크로드에서 명시된 나이보다 최근에 통과한 부하 시험이 있는 핵심 서비스 / 레지스트리의 핵심 서비스. 나이 한도는 문서화 퍼센트 시험 결과 저장소와 서비스 레지스트리 용량 및 성능 관리, 릴리스 관리 지속적 전달 파이프라인의 비기능 시험 분기

이 측정치들은 함께 네 가지 질문에 답합니다. 얼마나 가득 찼는가, 얼마나 느린가, 얼마나 여유가 남았는가, 답이 바뀔 때 얼마나 빨리 대응할 수 있는가입니다.

권장 사항

사용자에서 시작한 다음 자원으로 가십시오

1. 사용자가 신경 쓰는 소수의 작업을 고르고 그것을 측정하십시오. 서비스에는 수백 개의 엔드포인트와, 로그인, 검색, 결제, 명세서 다운로드처럼 중요한 소수의 여정이 있습니다. 제품 소유자와 고객과 이를 합의하고 각각에 지연 기대를 정하십시오. 이는 자연스럽게 서비스 수준 지표로 이어집니다(주제 5.2, SLI, SLO, 오류 예산 참조).

2. 모든 자원 차트를 포화 차트와 짝지우십시오. 프로세서 사용량만 보여 주면 "70퍼센트까지만 올라갔다"는 거짓 안도를 부릅니다. 옆에 큐, 대기 요청, 스로틀 건수를 더하십시오. 사용률이 위험해 보이기 전에 포화가 나타나면 실제 제약을 찾은 것이며, 그 제약은 연결 풀, 스레드 한도, 파트너 인터페이스의 속도 제한처럼 지켜보던 자원이 아닌 경우가 많습니다.

3. 조용한 평균보다 바쁜 꼬리를 선호하십시오. 하루 평균은 한밤중과 점심시간 피크를 섞습니다. 가장 바쁜 시간대를 보고 최악의 구간의 날짜와 원인을 기록하십시오. 계획의 질문은 서비스가 예상되는 최악의 시간에 어떻게 동작하느냐입니다.

지연을 정직하게 보고하십시오

4. 작업별 백분위수를 게시하고 구간을 명시하십시오. 중요한 작업마다 이동 구간에 걸친 중앙값, p95, p99를 밝히고 어떤 요청이 포함되는지 말하십시오. 서버나 작업에 걸쳐 백분위수를 평균 내지 마십시오. 결과가 어떤 실제 사용자의 경험에도 대응하지 않기 때문입니다. 대신 히스토그램이나 원시 관측값을 결합하십시오. 표본이 작으면 그렇게 말하십시오. 수백 건의 요청에서 나온 p99는 잡음이 많은 숫자입니다(주제 1.6, 서비스 지표를 위한 통계 소양 참조).

5. 서버가 있는 곳만이 아니라 사용자가 있는 곳에서도 측정하십시오. 서버 쪽 타이밍은 네트워크, 브라우저, 장치를 빠뜨립니다. 실사용자 모니터링이나 합성 점검을 더해 느린 백엔드와 느린 마지막 구간을 구분할 수 있게 하십시오.

6. 오류와 타임아웃을 지연 대신이 아니라 지연과 함께 세십시오. 빨리 실패하는 서비스는 지연 차트에서 빨라 보이고, 타임아웃되는 서비스는 잘못된 이유로 느려 보입니다. 빠른 실패가 결과를 좋아 보이게 하지 못하도록 지연 백분위수와 함께 오류율을 보고하십시오.

한계를 찾은 다음 여유를 두십시오

7. 일부러 한계점을 시험하십시오. 현실적인 작업 구성을 재생하는 부하 시험을 실행하고, 부하를 올리고, 지연 목표가 처음 위반되는 곳과 어떤 자원이 먼저 포화되는지 기록하십시오. 중요한 점에서 운영과 닮은 환경에서 시험하고, 닮지 않은 점을 적어 두십시오. 안전한 곳의 실패한 시험은 가장 싼 인시던트입니다(파이프라인에 점검을 넣는 방법은 주제 4.5, 릴리스와 배포 지표 참조).

8. 여유를 정책으로 정하고 상충 관계로 검토하십시오. 서비스가 예상 피크 위에 얼마의 여유를 두는지와 이유를 결정하십시오. 핵심 고객 대면 서비스는 더 많이, 내부 배치 서비스는 더 적게 정당화됩니다. 수치는 비용과 위험에 대한 비즈니스의 선택이므로 이유를 기록하고, 장애의 비용이나 용량의 가격이 바뀌면 다시 보십시오. 다른 조직의 숫자를 복사하지 마십시오.

수요를 아는 사람들과 함께 예측하십시오

9. 비즈니스에 무엇이 오고 있는지 묻고 예측을 적어 두십시오. 마케팅 캠페인, 신규 고객, 규제 기한, 계절 행사는 트래픽이 보여 주기 훨씬 전에 수요를 바꿉니다. 날짜, 가정, 범위, 소유자, 각 입력의 출처를 담은 짧은 예측 레지스트리를 유지하십시오. 낮음, 기대, 높음 사례 같은 범위로 준 예측은 단일 숫자보다 더 정직하고 얼마나 살지 결정하는 데 더 유용합니다.

10. 예측에 점수를 매기고 오차를 개선에 쓰십시오. 각 기간 뒤에 고정한 예측을 일어난 일과 예측 오차로 비교하고 큰 빗나감의 원인을 나열하십시오. 흔한 원인은 공지되지 않은 캠페인, 사용자 행동의 변화, 움직인 의존성입니다. 목표는 달성할 수 없는 0의 오차가 아니라 어떤 입력이 믿을 만한지 배우고 그렇지 않은 곳에서 범위를 넓히는 것입니다.

용량을 쉽게 추가할 수 있게 하십시오

11. 정확성을 쫓기 전에 용량 리드 타임을 줄이십시오. 새 용량이 도착하는 데 몇 주가 걸린다면 멀리 앞서 예측하고 더 많은 여분을 지녀야 합니다. 몇 분이 걸린다면 필요에 더 가깝게 운영할 수 있습니다. 조달, 승인, 프로비저닝, 구성, 시험처럼 "승인됨"과 "트래픽을 받음" 사이의 단계를 보고 가장 긴 기다림부터 없애십시오(주제 4.3, 변경 활성화 지표 참조). ITIL 용어로 이는 수요를 앞서거나, 맞추거나, 뒤따르는 용량 전략의 선택입니다. 서비스별로 의식적으로 선택하십시오.

12. 오토스케일링을 측정할 시스템으로 다루십시오. 스케일링이 얼마나 자주 트리거되는지, 새 용량이 쓸모 있어지는 데 얼마나 걸리는지, 설정된 최대치에 얼마나 자주 닿는지, 비용이 얼마인지 기록하십시오. 한계에 붙어 있는 오토스케일러는 이미 실패한 용량 계획입니다. 성능과 지출을 함께 논의하도록 비용 관점과 함께 검토하십시오(주제 7.5, 서비스 비용과 단위 경제성 참조).

악용 방식과 방호책

지표 악용되는 방식 짝을 이루는 방호책 지표 또는 실천
자원 사용률 피크를 숨기려고 긴 구간에 걸쳐 평균 냄, 유휴 예약 용량을 "사용"으로 셈, 가장 조용한 자원만 보고함 평균 옆의 피크 시간 95번째 백분위수, 포화 측정치, 서비스 맵에 비춰 검토하는 범위 안 자원 목록
포화 아무것도 거부되거나 스로틀된 것으로 보고되지 않도록 큐 한도를 올림, 대기를 측정되지 않는 다른 큐로 옮김 같은 작업의 지연 백분위수와 오류율, 한 단계가 아니라 처음부터 끝까지의 큐 시간, 경로의 모든 큐 검토
지연 백분위수 평균이나 중앙값만 보고함, 표본에서 느리거나 실패한 요청을 뺌, 빠른 내부 위치에서 측정함, "이상치"를 제외함 p95와 p99를 항상 표시, 지연 옆에 오류 및 타임아웃율 표시, 실사용자 모니터링과 서버 쪽 타이밍 비교, 원시 표본 크기 표시
여유 완만한 시험 워크로드를 고름, 운영보다 큰 환경에서 시험함, 한계점을 하드웨어 최대치로 정의함 운영 트래픽 모양에 비춘 시험 워크로드 검토, 시험과 운영의 차이 서면 목록, 관련 변경 뒤 여유 재시험
예측 오차 사후에 예측을 수정함, 모든 결과가 "범위 안"이 되도록 아주 넓은 범위를 정함, 놀라움이 있던 달을 "예측하지 못한 사건"으로 제거함 레지스트리에 날짜와 함께 고정한 예측, 오차와 함께 보고하는 범위 폭, 제외한 모든 사건을 나열하고 검토
용량 리드 타임 승인 레코드를 미뤄 시계를 늦게 시작함, 용량이 트래픽을 받을 때가 아니라 주문을 낼 때 요청을 닫음, 요청을 쪼갬 승인부터 트래픽을 받을 때까지로 정의한 시계, 프로비저닝 로그와 비교한 닫은 요청 표본, 다시 열린 요청 건수
성능 시험 포괄률 포괄을 주장하려고 사소한 시험을 실행함, 핵심 서비스 목록을 줄임, 오래된 통과 시험을 장부에 둠 기록한 시험 나이와 워크로드 현실성, 서비스 카탈로그와 인시던트 이력에 비춰 검토하는 핵심 서비스 목록, 통과뿐 아니라 실패한 시험도 보고

건강한 수치는 보이는 일별 주기와 여유가 있는 사용률, 드물고 짧게 나타나는 포화, 가장 바쁜 시간에 안정적이거나 개선되는 지연 백분위수, 알려져 있고 천천히 줄어드는 예측 오차를 보여 줍니다. 건강한 신호는 놀라움이 원인과 함께 논의된다는 것입니다. 완벽한 수치는 의심을 불러야 합니다. 대개 측정이 후하다는 뜻이기 때문입니다.

상충 관계: 장점과 단점

접근 방식 강점 약점
넉넉한 여유로 운영 놀라움을 흡수함, 지연과 가용성을 보호함 더 높은 비용, 비효율과 약한 예측을 가림
빠른 오토스케일링으로 빠듯하게 운영 더 낮은 비용, 용량이 수요를 따라감 스케일링 속도와 한계에 의존함, 의존성이 확장되지 않을 수 있음, 인시던트 중에 추론하기 더 어려움
백분위수 지연 목표 느린 요청이 어떻게 느껴지는지 반영함, 평균 속임수에 저항함 더 많은 데이터와 더 큰 표본이 필요함, 트래픽이 적은 서비스는 높은 백분위수에서 잡음이 많음
평균 또는 중앙값 지연만 단순하고 안정적임 불만과 이탈을 부르는 꼬리를 가림
합성 부하 시험 통제되고, 반복 가능하고, 안전함 워크로드 모델과 환경만큼만 현실적임
운영 텔레메트리를 기반으로 함 실제 동작과 실제 구성을 반영함 한계에 도달한 뒤에야 드러남, 현재 수요를 넘어서는 탐침이 불가능함
상세한 예측 모델 계절성과 성장을 포착함 데이터와 기술이 필요함, 입력이 약하면 거짓 정밀성의 느낌
비즈니스와 합의한 단순한 범위 설명하고 업데이트하기 쉬움, 가정에 집중함 더 거침, 비즈니스의 정직한 입력에 의존함

결정을 뒷받침하는 가장 가벼운 방법을 고르십시오. 대부분의 서비스에는 피크 시간 사용률, 포화, 지연 백분위수의 주간 확인, 주요 변경 전의 부하 시험, 분기 예측 검토로 충분합니다. 틀렸을 때의 비용이 큰 곳에는 모델링을 더하십시오.

팀과 논의할 질문

1. 가장 중요한 사용자 여정 셋은 무엇이며, 각각 사용자는 어느 정도의 응답 시간을 기대하나요? 그룹에게 여정을 명명하게 한 다음 대시보드가 차트로 그리는 것과 비교하십시오. 진행자는 엔지니어링 선호가 아니라 사용자나 고객으로 거슬러 올라갈 수 있는 기대를 촉구해야 합니다.

2. 우리 서비스는 어디에서 벼랑에 가까우며, 어떻게 아나요? 연결 풀, 스레드 한도, 파트너의 속도 제한 같은 자원을 찾아보십시오. 각각을 마지막으로 한계점까지 시험한 때가 언제인지 물으십시오. 아무도 모른다면 그것이 첫 번째 일입니다.

3. 오늘 지연을 어떻게 보고하며, 가장 느린 1퍼센트의 사용자는 뭐라고 말할까요? 작업 하나의 평균, 중앙값, p95, p99를 나란히 보여 주고 간극을 논의하십시오. 어떤 요청을 왜 제외하는지, 실패한 요청을 세는지 물으십시오.

4. 우리는 얼마의 여유를 두며, 누가 그것을 정했고, 마지막으로 선택을 다시 본 것은 언제인가요? 여유의 비용과 가장 바쁜 날의 장애 비용을 논의하십시오. 검토 날짜와 여유를 바꿀 증거에 합의하십시오.

5. 우리의 지난 세 번의 수요 예측은 얼마나 좋았으며, 무엇을 배웠나요? 날짜가 있는 예측을 실제 값 및 큰 빗나감의 원인과 비교하십시오. 비즈니스는 알았는데 운영은 받지 못한 것이 무엇인지 물으십시오. 마케팅 달력이나 출시 일정처럼 예측 레지스트리에 추가할 입력 하나를 결정하십시오.

6. 다음 달에 용량이 두 배 필요하다면 무엇이 우리를 막을까요? 요청에서 운영 트래픽까지 모든 단계를 나열하고 어디서 기다리는지 표시하십시오. 조달, 승인, 라이선스, 확장되지 않는 의존성을 포함하십시오. 진행자는 기술적이지 않은 가장 긴 기다림을 찾아야 합니다. 대개 승인이나 계약이기 때문입니다. 줄일 단계 하나에 합의하고 용량 리드 타임으로 효과를 측정하십시오.

네 가지 관점

제품 및 전달 팀

바쁜 경로를 건드리는 기능의 인수 기준에 성능 기대를 포함하고, 가능하면 파이프라인에서 부하 시험을 실행하고, 출시를 운영에 일찍 알리십시오. 성능을 나중의 "강화" 작업으로 다루는 습관에 주의하십시오. 그것은 계획 외 작업으로 변합니다(주제 2.9, 운영 작업과 계획 외 작업 참조).

서비스 및 운영 팀

운영 팀은 텔레메트리, 용량 계획, 한계에 도달했을 때의 대응을 소유합니다. 실제로 쓰는 대시보드의 포화와 꼬리 지연, 비즈니스와 공유하는 예측 레지스트리, 신뢰받는 시험 결과가 필요합니다. 용량과 관련된 각 인시던트를 원인과 함께 기록해야 합니다(주제 4.1, 문제 관리 지표와 주제 3.4, 중대 인시던트 지표 참조).

리더십과 거버넌스

리더는 조직이 얼마의 위험과 비용을 받아들일지 결정하며, 여유 정책이 그 결정이 나타나는 곳입니다. 핵심 서비스별 지연 백분위수와 여유를 예측 오차와 함께 요청하고, 용량 요청을 증거를 갖춘 투자 결정으로 다루십시오. 거버넌스 기구는 모든 서비스를 벼랑의 같은 지점으로 밀어 넣는 조직 전체의 단일 사용률 목표에 저항해야 합니다.

고객과 사용자

고객은 어떤 가용성 숫자가 바뀌기 훨씬 전에 느림을 불안정성으로 느낍니다. 성능을 명시된 부하에서의 백분위수로 진술하고 서비스가 피크 기간을 어떻게 다루는지 공유하십시오(주제 5.1, SLA, OLA, XLA 지표와 주제 6.2, 경험 수준 협약 참조).

실제 적용: 서비스 관리 사례

중견 온라인 소매업체가 스토어프런트, 결제 서비스, 주문 서비스를 운영하며 각각 제품 팀이 소유하고, 플랫폼 팀이 공유 인프라를 제공합니다. 이 사례의 모든 숫자는 예시입니다.

플랫폼 팀의 주간 검토는 스토어프런트 검색의 지연 중앙값이 180밀리초, p95가 420밀리초로 둘 다 목표 안에 있고, 프로세서 사용량은 피크 시간 95번째 백분위수 58퍼센트임을 보여 줍니다. 예정된 세일 3주 전에 한 지원 책임자가 저녁 캠페인 동안 사이트가 "기어간다"고 고객들이 말한다고 보고합니다. 대시보드는 초록색입니다.

팀은 직전 세일의 가장 바쁜 시간대 검색의 p99를 보고 p99 목표 1.5초에 대해 3.1초를 찾습니다. 포화가 나머지 이야기를 해 줍니다. 제품 데이터베이스로의 연결 풀은 피크 동안 1분 구간의 14퍼센트에서 대기 요청을 보이는 반면 프로세서 사용량은 60퍼센트를 넘은 적이 없었습니다. 제약은 결코 프로세서가 아니었습니다. 트래픽이 오늘의 3분의 1이던 때에 정한 풀 한도였습니다.

제품 소유자와 플랫폼 책임자는 운영의 작업 구성으로 작년 피크의 1.5배에서 부하 시험을 실행합니다. 시험은 작년 피크의 1.15배에서 p99 목표가 위반됨을 보여 주므로, 여유는 고객 대면 서비스 정책 40퍼센트에 대해 15퍼센트입니다. 마케팅 달력은 개막일 수요가 작년 피크의 1.6배임을 시사합니다. 레지스트리에 고정된 이전 예측은 범위를 1.2배에서 1.4배로 잡았고, 작년 세일에 대한 오차는 22퍼센트였으며 대부분 공지되지 않은 이메일 캠페인에서 나왔습니다.

결정 로그에 기록된 결정은 네 부분입니다. 첫째, 풀 한도를 올리고 읽기 복제본을 추가한 뒤 다시 시험합니다. 둘째, 캠페인이 최소 6주 전에 예측 레지스트리에 도달하도록 릴리스 프로세스에 세일 준비 체크리스트를 추가합니다. 셋째, 주간 검토에 p99와 풀 포화를 추가합니다. 넷째, 연중 여분 대신 예약된 스케일링을 써서 세일 기간의 추가 용량 비용에 대해 재무와 합의합니다.

변경 뒤 두 번째 시험은 p99 목표가 작년 피크의 1.8배까지 유지됨을 보여 줍니다. 악용 위험은 검토 중에 드러났습니다. 한 계약자가 이상치라는 이유로 5초보다 느린 요청을 지연 보고서에서 제외하는 "빠른 개선"을 제안했습니다. 팀은 거절했습니다. 제외될 요청은 정확히 불평하던 고객들이었기 때문입니다. 방호책은 모든 지연 백분위수 옆에 오류와 타임아웃율을 두고 표본 크기를 기록하는 것이었습니다. 세일 동안 p99는 1.2초에서 정점을 찍고, 풀 포화는 구간의 1퍼센트 미만에 머물고, 예측 오차는 9퍼센트이며, 남은 빗나감의 이유와 함께 레지스트리에 기록됩니다.

애자일, AI, 자동화, 분석

애자일

제품 이해관계자와 짧은 주기로 용량을 계획하고, 데이터와 함께 갱신되는 범위로 예측을 쓰십시오. 주의할 점은 헤드라인 숫자를 보호하려고 과도하게 프로비저닝하면 돈을 낭비한다는 것입니다.

AI

모델 추론 같은 AI 워크로드는 수요가 변동이 크고 때로는 비용이 많이 들며, AI 기능은 사용 패턴을 빠르게 바꿀 수 있습니다. AI 경로의 지연 백분위수와 요청당 비용을 추적하고 답변 품질과 짝지우십시오. 주의할 점은 속도를 위한 조정이 답변 품질을 낮출 수 있으므로 둘 다 측정해야 한다는 것입니다.

자동화

사용률과 지연을 자동으로 수집하고 한계 안에서 스케일링을 자동화하십시오. 스케일링을 진동과 그것이 더하는 비용으로 측정하십시오. 주의할 점은 오토스케일링이 한계에 닿을 때까지 포화를 가리므로 현재 부하만이 아니라 여유를 추적해야 한다는 것입니다.

분석

백분위수 지연과 여유를 예측 범위 및 예측 오차 이력과 함께 보여 주십시오. 이는 언제 용량을 추가할지에 정보를 줍니다. 주의할 점은 짧은 이력의 예측은 취약하므로 구간을 밝혀야 한다는 것입니다.

부문별 관점

스타트업. 트래픽이 작고 성장이 불확실하므로 정교한 측정치보다 싼 측정치가 낫습니다. 돈을 버는 두세 개 여정의 지연 백분위수를 추적하고, 데이터베이스의 포화를 지켜보고, 출시 전에 단순한 부하 시험을 실행하십시오. 버그나 트래픽 급증이 청구서가 되지 않도록 지출 경보를 설정하십시오.

소규모 사업. 서비스는 호스팅되거나 구매한 경우가 많아서 용량은 공급업체의 문제입니다. 공급업체에 성능과 용량 보고서를 서면으로 요청하고, 계약이 피크 기간에 대해 무엇을 말하는지 알고, 몇 개의 합성 점검으로 고객의 관점을 지켜보십시오. 사업이 없어서는 안 되는 시스템 하나의 여유를 추적하십시오.

대기업. 많은 서비스가 인프라를 공유하므로 용량 문제가 엉뚱한 곳에 나타납니다. 서비스를 그들이 쓰는 구성 요소에 연결하는 서비스 맵, 사업 부문과의 공유 예측 프로세스, 팀 간 지연 백분위수의 공통 정의에 투자하십시오. 여유 정책은 서비스 중요도로 정하십시오.

정부 및 공공 부문. 수요는 세금 신고일, 급여 청구, 선거처럼 법으로 정해진 기한이 형성하며, 그 날짜의 실패는 공개됩니다. 예측은 법정 달력을 써야 하고, 피크를 위한 용량은 몇 달 앞서 계약해야 할 수 있습니다. 조달 리드 타임은 용량 리드 타임을 늘리므로 측정하고 그에 맞춰 계획하십시오. 서비스 성능의 공개 보고서는 백분위수와 부하 조건을 밝혀야 합니다(주제 8.5, 규제 및 정부 보고 참조).

비즈니스 케이스: 동기, ROI, TCO

비용은 네 부분입니다. 첫째는 계측으로, 텔레메트리와 그 저장소입니다. 둘째는 시험으로, 대표적인 환경과 유지해야 하는 워크로드 모델입니다. 셋째는 계획 루틴으로, 예측 레지스트리를 유지하고 분기마다 오차를 검토하는 것입니다. 넷째는 여분의 용량 자체로, 가장 큰 비용인 경우가 많고 명시적으로 드러낼 가치가 가장 큰 비용입니다.

수익은 용량 관련 인시던트의 감소, 언제 사고 언제 사지 않을지에 대한 더 나은 결정, 데이터가 불필요함을 보여 주는 용량에 대한 지출 회피에서 옵니다. 퍼센트 절감을 미리 약속하지 마십시오. 대신 자체 패턴을 측정하십시오. 분기당 용량이 원인인 인시던트 수, 긴급 조치가 필요했던 피크의 비율, 합의된 여유 정책에 상대적인 유휴 용량에 대한 지출, 예측 오차의 추세입니다. 구글 SRE 책은 신뢰성을 경제적 결정으로 다룹니다.

총소유비용은 사람과 시험 환경이 지배합니다. 작은 팀은 기존 모니터링, 주간 검토, 가장 중요한 여정 하나의 부하 시험으로 시작할 수 있습니다.

안티패턴과 함정

  • 평균 사용률을 용량 이야기로 보고하기. 평균은 피크와 벼랑을 가립니다. 피크 시간의 높은 백분위수와 포화 측정치를 보고하십시오.
  • 경영진 대시보드의 평균 지연. 불만을 부르는 것은 꼬리입니다. 오류율과 표본 크기와 함께 p95와 p99를 보여 주십시오.
  • 지연에서 "이상치" 제외하기. 가장 느린 요청은 실제 사용자입니다. 그것을 유지하고, 데이터를 다듬는 대신 원인을 조사하십시오.
  • 서버에 걸쳐 백분위수 평균 내기. 결과는 아무도 설명하지 않습니다. 백분위수를 계산하기 전에 히스토그램이나 원시 관측값을 결합하십시오.
  • 작년 트래픽만으로 세운 용량 계획. 수요는 비즈니스 사건에 달려 있습니다. 비즈니스 달력을 포함하고 예측 오차를 검토하십시오.
  • 운영과 닮지 않은 환경에서 시험하기. 통과한 결과는 거짓 확신을 줍니다. 차이를 기록하고 보정하거나, 안전하게 운영에서 시험하십시오.
  • 용량 지표로 엔지니어나 팀의 순위 매기기. 사용률과 지연은 시스템을 설명합니다. 서비스 설계와 수요의 관점에서 검토하고 개인을 그림 밖에 두십시오.

성숙도 모델

차원 1 시작 2 발전 3 표준화 4 관리 5 조율
사용률, 포화, 지연의 측정 몇몇 서버의 평균, 높은 프로세서 사용에 대한 경보 일부 팀이 지연 백분위수와 큐를 차트로 그림 공유 정의: 핵심 작업별 백분위수, 사용률 옆의 포화, 서면 구간 목표에 비춰 추세를 보고, 오류율과 짝지우고, 매주 검토함 공급업체 및 고객과 함께 정의를 개정하고 사용자 쪽과 서버 쪽 관점을 대조함
한계와 여유 실패 전까지 한계를 모름 큰 출시 전에 가끔 하는 부하 시험 서면 여유 정책에 맞춘 핵심 서비스의 부하 시험 서비스별로 여유를 추적하고 관련 변경 뒤 재시험함 팀과 공급업체에 걸쳐 비용, 위험, 인시던트 데이터로 여유 정책을 조정함
예측 요청 시점의 임시 추측 개별 팀이 머릿속이나 스프레드시트에 예측을 보관함 범위와 소유자가 있고 비즈니스 달력이 공급하는 공유 예측 레지스트리 예측 오차에 점수를 매기고 빗나감의 원인과 함께 검토함 비즈니스 및 공급업체와 함께 예측을 만들고 입력을 일상적으로 개선함
용량 전달 인시던트 뒤에 용량을 추가함 흔한 경우에 대한 표준 요청 승인부터 운영 트래픽까지의 문서화된 경로, 용량 리드 타임을 측정함 자금이 투입된 개선으로 가장 긴 기다림을 겨냥함 정책 안에서 용량이 자동으로 추가되고 스케일링 동작과 비용을 함께 검토함

체크리스트

  • 핵심 사용자 여정이 명명되어 있고 각각 소유자와 합의한 지연 기대가 있다.
  • 지연을 작업별 중앙값, p95, p99로 보고하며 구간과 표본 크기를 명시한다.
  • 백분위수는 히스토그램이나 원시 관측값에서 계산하며 서버에 걸쳐 평균 내지 않는다.
  • 모든 사용률 차트 옆에 포화 차트가 있다.
  • 각 지연 백분위수 옆에 오류 및 타임아웃율을 보여 준다.
  • 각 핵심 서비스에 부하 시험이 있고 워크로드와 환경의 차이가 적혀 있다.
  • 서비스 중요도별 여유 정책이 있고 이유가 기록되어 있다.
  • 날짜가 있는 예측 레지스트리에 범위, 가정, 소유자가 있고 비즈니스 달력이 공급한다.
  • 예측 오차를 분기마다 검토하고 큰 빗나감의 원인을 기록한다.
  • 용량 리드 타임을 승인부터 트래픽을 받을 때까지 측정한다.
  • 오토스케일링의 한계, 지연, 비용을 서비스 소유자와 검토한다.
  • 어떤 용량 또는 성능 측정치도 개인별로 보고하지 않는다.

AI 프롬프트

지연 보고서에서 숨은 왜곡을 검토합니다.

다음은 [작업 또는 서비스]의 지연을 보고하는 방식입니다: [측정 지점, 구간, 보여
주는 통계, 포함하거나 제외하는 요청에 대한 설명]. 사용자가 신경 쓰는 것은
[사용자 여정 또는 기대]입니다. 이 보고서가 평균, 제외 규칙, 표본 추출, 측정
위치 같은 이유로 가장 느린 사용자의 경험을 과소평가할 수 있는 방법을 찾아
주세요. 대신 무엇을 보여 줄지와 내게 필요한 추가 데이터를 제안해 주세요.
기준 값이나 임계값을 지어내지 말고, 필요한 것은 내게 물어보세요. 가정한 내용을
나열해 주세요.

서비스의 부하 시험 계획 초안을 작성합니다.

[서비스 이름]의 부하 시험 계획이 필요합니다. 주요 사용자 여정은 [여정],
의존성은 [의존성], 운영 트래픽 구성은 대략 [구성 설명]입니다. 시험 환경은
운영과 다음 점에서 다릅니다: [차이]. 워크로드 모델, 부하를 올리는 패턴, 기록할
측정치(지연 백분위수, 오류율, 사용률, 포화), 중지 조건, 결과가 답해야 할
질문을 제안해 주세요. 도구 기능을 가정하거나 목표 값을 지어내지 마세요. 가정한
내용과 시험의 위험을 나열해 주세요.

비즈니스와 함께 수요 예측을 구조화합니다.

[지평]을 다루는 [서비스]의 용량 예측을 준비하고 있습니다. 알려진 입력은
[과거 트래픽 설명], [비즈니스 사건과 날짜], [계획된 변경]입니다. 낮음, 기대,
높음 사례, 각각의 가정, 각 입력의 소유자, 예측 오차에 점수를 매기는 검토
루틴이 있는 예측 레지스트리 레이아웃의 초안을 작성해 주세요. [비즈니스
이해관계자]에게 물을 질문을 제안해 주세요. 성장률이나 계절 요인을 지어내지
마세요. 가정한 내용을 나열해 주세요.

증상에서 실제 제약을 찾습니다.

서비스가 피크 부하 중 다음 증상을 보입니다: [증상, 예: 느린 p99, 큐 증가, 오류
유형]. 사용률 데이터: [자원 사용률 요약]. 포화 데이터: [큐, 풀, 스로틀링 요약].
아키텍처 메모: [짧은 설명]. 제약일 수 있는 자원과 한계, 그것들을 구분할 증거,
각각에 대한 가장 싼 다음 시험을 나열해 주세요. 데이터가 뒷받침하지 않는 원인을
주장하지 마세요. 가정한 내용을 나열해 주세요.

AI 스킬

핵심 정리

  • 사용자는 퍼센트가 아니라 큐를 느끼므로 사용률과 함께 포화를 측정하십시오.
  • 지연을 오류율과 표본 크기와 함께 작업별 백분위수로 보고하고, 백분위수의 평균은 절대 내지 마십시오.
  • 시험으로 한계를 찾고 여유를 비용과 위험을 견주는 기록된 정책으로 정하십시오.
  • 비즈니스와 함께 수요를 범위로 예측하고, 예측을 고정하고, 오차에서 배우십시오.
  • 용량이 필요를 따라가도록 용량 리드 타임을 줄이고 오토스케일링을 측정하십시오.
  • 서비스와 시스템을 설명하고 사람은 설명하지 말며, 완벽해 보이는 수치는 측정을 점검하라는 신호로 다루십시오.

참고 문헌과 더 읽을거리

  1. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  2. Google, "Monitoring Distributed Systems," chapter in Site Reliability Engineering, 2016, https://sre.google/sre-book/monitoring-distributed-systems/
  3. Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, https://sre.google/workbook/table-of-contents/
  4. Dean, J., and Barroso, L. A., "The Tail at Scale," Communications of the ACM, 56(2), 2013.
  5. Little, J. D. C., "A Proof for the Queuing Formula: L = λW," Operations Research, 9(3), 1961.
  6. Gregg, B., Systems Performance: Enterprise and the Cloud, 2nd edition, Addison-Wesley, 2020.
  7. Allspaw, J., The Art of Capacity Planning, O'Reilly Media, 2008.
  8. Gunther, N. J., Guerrilla Capacity Planning, Springer, 2007.
  9. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  10. AXELOS (now PeopleCert), ITIL 4 Foundation and the ITIL 4 practice guide for capacity and performance management, 2019 onwards.
  11. Wikipedia, Capacity planning.
  12. Wikipedia, Site reliability engineering.
  13. Wikipedia, Latency (engineering).
  14. Wikipedia, Throughput.
  15. Wikipedia, Queueing theory.
  16. Wikipedia, Little's law.
  17. Wikipedia, Load testing.
  18. Wikipedia, Percentile.
  19. Wikipedia, Tail latency.
  20. Wikipedia, Forecasting.
  21. Wikipedia, Seasonality.
  22. Wikipedia, Autoscaling.