SLI, SLO, 오류 예산
서비스 수준 목표는 "충분히 믿을 만하다"를 사용자, 제품 팀, 운영 팀이 모두 볼 수 있는 숫자로 바꾸고, 그것이 남기는 오류 예산은 그 숫자를 책임 공방이 아니라 위험에 대한 공유되고 쓸 수 있는 결정으로 바꿉니다.
개요와 동기
모든 서비스에는 누가 측정했든 아니든 이미 어떤 수준의 신뢰성이 있습니다. 아무도 그것을 진술하지 않으면 사용자는 한 수준을, 제품 팀은 다른 수준을, 운영 팀은 세 번째 수준을 방어합니다. 그 차이는 장애 중에 발견됩니다. 이 주제는 사이트 신뢰성 엔지니어링(SRE)이 그 간극을 메우려고 쓰는 서로 연결된 세 가지 발상, 즉 서비스 수준 지표, 서비스 수준 목표, 오류 예산을 다룹니다.
서비스 수준 지표(SLI)는 사용자가 경험하는 서비스의 한 측면에 대한 측정입니다. 전형적인 측면은 요청이 성공했는지, 얼마나 걸렸는지, 반환된 데이터가 최신이었는지, 정확했는지입니다. 좋은 SLI는 비율로 표현됩니다. 정의된 구간 동안 유효한 이벤트 수 대비 좋은 이벤트 수입니다. 서비스 수준 목표(SLO)는 기간에 걸친 그 비율의 목표입니다. 예를 들어 "이동 28일 동안 유효한 결제 요청의 99.9퍼센트가 성공"입니다. 오류 예산은 목표가 잘못되도록 허용하는 모든 것입니다. 100퍼센트에서 SLO를 뺀 값입니다. 99.9퍼센트에서 예산은 유효한 이벤트의 0.1퍼센트입니다.
오류 예산은 대화를 바꿉니다. 서비스가 예산을 거의 쓰지 않았다면 팀에는 더 빨리 릴리스하고, 위험한 변경을 시도하고, 실험할 여유가 있습니다. 예산이 거의 바닥났다면 같은 팀이 기능 작업을 늦추고 예산이 회복될 때까지 신뢰성에 노력을 씁니다. 결정은 미리 합의한 숫자에서 나오므로, 회의에서 누가 가장 직급이 높거나 설득력이 있는지에 달려 있지 않습니다.
소진율(burn rate)은 예산이 쓰이는 속도로, 구간이 끝날 때까지 정확히 전부를 쓰게 되는 속도에 상대적입니다. 소진율 1은 예산이 구간 끝에 정확히 바닥난다는 뜻입니다. 소진율 10은 구간의 10분의 1 안에 바닥난다는 뜻입니다. 소진율은 SLO에서 경보로 가는 다리입니다. 문제가 얼마나 시급한지를 목표에 얼마나 비용이 드는지로 말해 주기 때문입니다.
애자일 관점과 ITIL 관점이 여기서 만나며, 관련된 발상에 서로 다른 어휘를 씁니다. ITIL 4에서 서비스 수준 관리는 서비스 수준을 설정하고, 측정하고, 보고하는 프랙티스이며, 서비스 수준 협약(SLA)은 제공자와 고객 사이의 문서화된 협약입니다(주제 5.1, SLA, OLA, XLA 지표 참조). SLO는 보통 SLA보다 엄격하고 서비스를 운영하는 팀이 소유하는 내부 목표입니다. SLA에는 크레딧이나 위약금 같은 결과가 따릅니다. SLO에는 결정 규칙이 따릅니다. 자기 서비스를 소유하는 애자일 팀("만든 사람이 운영한다")은 SLO로 신뢰성의 비용을 기능과 같은 백로그에서 보이게 합니다. ITIL 프랙티스를 따르는 팀은 SLI를 고객이 필요하다고 말하는 것의 측정 가능한 형태로, SLO를 SLA를 안전하게 지키는 작업 목표로 다룰 수 있습니다.
가용성은 가장 익숙한 SLI이며 다른 곳에서 자세히 다룹니다(주제 5.3, 가용성 지표 참조). 지연, 정확성, 신선도, 처리량도 후보입니다. 기술은 수집하기 쉬운 것이 아니라 사용자가 신경 쓰는 것에서 지표를 고르는 것입니다. 서버의 CPU 사용량은 수집하기 쉽지만 고객이 결제할 수 있었는지는 거의 말해 주지 않습니다. 2초 안에 완료되는 결제 요청의 비율은 많은 것을 말해 줍니다. 지연은 평균이 아니라 백분위수로 보고하십시오. 평균은 사용자가 알아차리는 느린 꼬리를 가리기 때문입니다(주제 1.6, 서비스 지표를 위한 통계 소양과 주제 5.4, 용량과 성능 지표 참조).
핵심 원칙
- 서버가 아니라 사용자에서 시작하십시오. "내 결제가 처리되었다"처럼 사람이 알아볼 경험을 설명하는 지표를 고르고, 거꾸로 일해서 무엇을 측정할지 정하십시오.
- 100퍼센트 미만의 목표는 인정이 아니라 결정입니다. 완벽한 신뢰성은 달성할 수 없고 감당할 수도 없으며, 사용자는 대개 어느 지점을 넘으면 차이를 구분하지 못합니다. 예산은 그 교환을 명시적으로 만듭니다.
- 그것에 의존하는 사람들과 함께 목표를 정하십시오. SLO는 한 팀이 혼자 고른 숫자가 아니라 제품, 운영, 고객 사이의 협상된 합의입니다.
- 예산이 바닥나기 전에 결과에 합의하십시오. 평온한 주에 쓴 오류 예산 정책은 스트레스 받는 주에도 따릅니다. 장애 중에 지어낸 정책은 논쟁거리가 됩니다.
- 작은 흔들림마다가 아니라 소진에 경보를 울리십시오. 예산이 목표를 위협할 만큼 빨리 소비될 때만 사람을 호출하고, 느린 소진은 티켓으로 보내십시오.
- SLO는 서비스를 설명하며 사람을 설명하지 않습니다. 예산은 서비스와 그 팀에 속합니다. 엔지니어의 점수가 아닙니다.
지표 정의
아래 지표는 서비스의 SLO 체계를 설명합니다. 앞의 넷은 프랙티스의 핵심이고, 마지막 둘은 프랙티스 자체의 건강을 설명합니다. 모든 시계와 경계는 공식 열에 명시되어 있습니다. "유효한 이벤트"는 팀 자체 부하 시험의 요청처럼 SLO 문서에서 합의한 제외 이후 SLI에 셈하는 이벤트입니다.
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 |
|---|---|---|---|---|---|---|---|
| SLI 달성 | 한 서비스의 한 지표에 대해 좋았던 유효 이벤트의 비율 | 보고 기간의 시작부터 끝까지 구간의 좋은 이벤트 / 유효한 이벤트. SLO 문서에서 제외한 이벤트(부하 시험, SLO가 그렇게 정했다면 사전에 공지한 계획된 유지보수)는 분자와 분모 모두에서 제거 | 퍼센트 | 로드 밸런서, 애플리케이션 또는 합성 프로브 텔레메트리, 모니터링 또는 관측 가능성 플랫폼 | 서비스 수준 관리, 모니터링 및 이벤트 관리 | 운영 가능성에 대한 완료의 정의, 서비스 상태에 대한 이해관계자 검토 | 지속적, 일별 및 구간별 보고 |
| SLO 준수 | 서비스 SLO 구간에 걸쳐 SLI가 목표를 충족했는지, 최근 몇 개 구간에서 그랬는지 | SLI 달성이 목표 이상이었던 구간 / 평가한 구간, 최근 12개월 대상. 아직 열려 있는 구간은 제외 | 구간의 퍼센트 | SLI 달성 이력 | 서비스 수준 관리, 지속적 개선 | 신뢰성에 대한 팀 목표 또는 업무 합의 | 월, 분기 추세 |
| 남은 오류 예산 | 현재 구간에서 아직 쓰지 않은 예산의 부분 | 1 - (지금까지의 나쁜 이벤트 / 전체 구간의 허용 나쁜 이벤트). 허용 나쁜 이벤트 = (1 - SLO) x 전체 구간의 예상 유효 이벤트. 시계는 구간 시작에서 시작해 구간 끝에서 멈춤 | 예산의 퍼센트 | SLI 달성과 물량 예측 | 서비스 수준 관리, 위험 관리 | 릴리스 준비 점검, 계획된 작업 입력 | 일별, 주간 검토 |
| 소진율 | 균등 소비 속도에 상대적으로 예산이 쓰이는 속도 | (되돌아본 기간의 나쁜 이벤트 / 유효한 이벤트) / (1 - SLO). 되돌아보는 기간은 예를 들어 1시간 또는 6시간으로 명시 | 비율(1은 정확히 예산대로) | 세밀한 시간 해상도의 SLI 텔레메트리 | 모니터링 및 이벤트 관리, 인시던트 관리 | 온콜 경보 규칙, 스웜 트리거 | 지속적, 경보 규칙에서 평가 |
| 예산 정책 준수 | 오류 예산 정책의 트리거에 도달했을 때 합의된 결과를 얼마나 자주 적용했는지 | 합의된 시간 안에 정책 조치를 취한 기간 중 트리거 / 기간 중 도달한 트리거. 기록된 이유로 공식 면제한 트리거는 제거하지 않고 따로 셈 | 퍼센트 | 정책 문서, 결정 로그, 백로그 이력 | 서비스 수준 관리, 변경 활성화 | 업무 합의, 회고 후속 조치 | 분기 |
| SLO 포괄률 | 현재 SLO와 작동하는 SLI가 있는 핵심 사용자 여정 또는 범위 안 서비스의 비율 | 지난 7일 안에 SLI 데이터가 도착한 SLO가 하나 이상 있는 범위 안 서비스 또는 여정 / 범위 안 서비스 또는 여정. "범위 안"은 서비스 카탈로그(ITIL 용어로는 service catalogue)에 열거 | 퍼센트 | 서비스 카탈로그, SLO 레지스트리, 모니터링 구성 | 서비스 카탈로그 관리, 서비스 수준 관리 | 팀 서비스 소유 목록 | 분기 |
소진율의 되돌아보는 기간과 SLO 구간은 선택입니다. 이동 28일 구간은 온전한 주를 포함합니다. 선택을 SLO 문서에 밝히고 안정적으로 유지하십시오. 그렇지 않으면 추세가 오해를 부릅니다.
권장 사항
사용자가 신경 쓰는 것에서 지표를 고르십시오
1. 핵심 사용자 여정에서 시작하십시오. 서비스가 쓸 가치가 있으려면 사용자가 할 수 있어야 하는 세 가지에서 여섯 가지를 나열하십시오. 로그인, 검색, 결제, 명세서 다운로드 같은 것입니다. 각각을 사용자 쪽에서 한 문장으로 쓰십시오. 그런 다음 그 문장이 참이었는지 보여 주는 SLI를 고르십시오. 이렇게 하면 SLO가 적게 유지되고 아무도 읽지 않는 기술적 계기판의 카탈로그를 막을 수 있습니다.
2. 각 SLI를 유효한 이벤트 대비 좋은 이벤트로 표현하십시오. 비율은 설명하기 쉽고, 집계하기 쉽고, 예산으로 바꾸기 쉽습니다. "좋음"은 사용자가 받아들일 임계값으로 정의하고, 남용으로 차단된 요청처럼 합리적으로 처리할 수 없는 트래픽이 문서화된 방식으로 제외되도록 "유효"를 정의하십시오. 두 정의를 모두 SLO 문서에 쓰십시오. 의견 불일치 대부분이 분모에 숨어 있기 때문입니다.
3. 실용적으로 가능한 한 사용자와 가깝게 측정하십시오. 서버 쪽 성공률은 완벽한데 네트워크나 클라이언트 문제 때문에 서비스를 쓸 수 없을 수 있습니다. 로드 밸런서나 엣지에서 측정하고, 가장 중요한 여정에는 합성 프로브나 클라이언트 쪽 측정을 추가하십시오. 각 측정 지점에는 비용과 사각지대가 있으므로 각 SLI가 어느 것을 쓰는지 기록하십시오(주제 1.5, 데이터 원천과 계측 참조).
4. 지연에는 임계값이 있는 백분위수를 쓰십시오. "검색 요청의 95퍼센트가 800밀리초 안에 완료"는 SLI입니다. "평균 지연"은 몇 개의 빠른 요청이 많은 느린 요청을 상쇄할 수 있으므로 SLI가 아닙니다. 도움이 되는 곳에서는 중앙값과 99번째 백분위수 같은 두 임계값을 쓰십시오. 느린 꼬리가 서비스의 느낌을 만들기 때문입니다(주제 5.4, 용량과 성능 지표 참조).
사람들이 방어할 수 있는 목표를 정하십시오
5. 첫 SLO를 현재 성능과 사용자 필요에서 정한 다음 조이십시오. 몇 주 동안 SLI를 측정하고, 사용자와 지원 직원에게 어떤 수준을 알아차리는지 물은 뒤, 서비스가 오늘 어느 정도 여유를 두고 충족할 수 있는 목표를 정하십시오. 현재 성능보다 훨씬 높게 정한 목표는 영구적 위반이어서 사람들이 쳐다보지 않게 됩니다. 사용자가 얻는 것보다 훨씬 낮게 정한 목표는 품질이 보이지 않게 저하되도록 둡니다. 한 분기 뒤에 다시 보십시오.
6. SLO를 SLA보다 엄격하게 유지하고 둘을 분리하십시오. 고객 협약이 99.5퍼센트를 약속한다면 팀의 목표는 99.9퍼센트일 수 있어서, 계약상의 선을 넘기 전에 예산이 소진됩니다. SLO와 SLA를 같은 숫자로 만들지 말고, 하나를 다른 하나인 것처럼 보고하지 마십시오. 협약은 상업적이고 법적인 문서이고, 목표는 엔지니어링의 결정 규칙입니다(주제 5.1, SLA, OLA, XLA 지표 참조).
7. 의존성을 고려하십시오. 서비스는 우아하게 저하되지 않는 한 의존하는 것보다 더 믿을 수 있을 수 없습니다. 공급업체를 포함한 핵심 의존성을 나열하고, 그들의 실제 성능이 당신의 목표에 무엇을 뜻하는지 물으십시오.
예산을 결정 도구로 운영하십시오
8. 필요하기 전에 오류 예산 정책을 쓰십시오. 정책은 정의된 소비 수준에서 무슨 일이 일어나는지 말합니다. 단순한 버전은 세 단계입니다. 예산이 남아 있는 동안은 정상 운영, 명시된 비율을 썼을 때는 위험한 변경의 추가 검토와 신뢰성 작업 우선, 소진되면 예산이 회복될 때까지 필수가 아닌 기능 릴리스 중지입니다. 누가 예외를 허용할 수 있고 어떻게 기록하는지 명시하십시오. 정책이 양쪽에 똑같이 적용되도록 제품 리더와 운영 리더 모두 서명해야 합니다.
9. 예산을 의도적으로 쓰십시오. 전혀 건드리지 않는 예산은 목표가 너무 엄격하거나 팀이 너무 조심스럽다는 뜻입니다. 남는 예산을 실험, 빠른 릴리스 주기, 카나리 롤아웃, 제한된 노출로 운영에서 시험하게 해 주는 기능 토글에 쓰고, 소수의 사용자만 영향받을 때 문제를 잡으려고 카나리 릴리스를 쓰십시오. 꾸준히 건드리지 않는 예산은 목표가 사용자에게 필요한 것과 맞는지 묻는 신호로 다루십시오(주제 4.5, 릴리스와 배포 지표 참조).
10. 여러 소진율에 경보를 울리십시오. 한 시간 안에 예산의 큰 비율을 쓸 만큼 높은 소진율 같은 빠른 소진은 사람을 호출합니다. 며칠 안에 예산을 소진할 만한 완만한 소진율 같은 느린 소진은 업무 시간용 티켓을 만듭니다. 둘 이상의 되돌아보는 구간을 쓰면 갑작스러운 실패와 느린 누수 모두를 잡고, 예산을 거의 쓰지 않는 짧은 흔들림에 대한 호출을 줄입니다. Site Reliability Workbook의 SLO 경보 장이 이 패턴을 설명하며, 임계값은 복사하지 말고 서비스에 맞게 조정해야 합니다(주제 5.5, 모니터링과 경보 품질 지표 참조).
11. 인시던트, 문제, 학습을 예산에 연결하십시오. 인시던트 뒤에는 지속 시간과 영향 옆에 그것이 소비한 예산을 기록하십시오. 그 숫자로 문제 레코드와 후속 조치의 우선순위를 정하십시오(주제 4.1, 문제 관리 지표와 주제 4.2, 사후 분석과 학습 지표 참조). 예산 비용은 매우 다른 실패를 비교하는 공통 단위를 주요 인시던트 검토에도 줍니다(주제 3.4, 중대 인시던트 지표 참조).
프랙티스를 정직하고 살아 있게 유지하십시오
12. 분기마다 SLO를 현실에 비춰 검토하십시오. SLO를 지원 접촉, 불만, 만족도 결과와 비교하십시오. SLO가 초록색인데 사용자가 불만이면 SLI가 틀렸거나 목표가 너무 느슨합니다. SLO가 빨간색인데 아무도 불평하지 않으면 목표가 너무 엄격할 수 있습니다. 각 변경과 이유를 기록하고, 추세 차트에 변경을 표시하십시오(주제 6.2, 경험 수준 협약 참조).
악용 방식과 방호책
| 지표 | 악용되는 방식 | 짝을 이루는 방호책 지표 또는 실천 |
|---|---|---|
| SLI 달성 | 실패가 빠지도록 "유효" 이벤트를 좁힘(재시도된 요청이나 오류 부류 전체를 제외하는 등), 가장 건강한 구성 요소만 측정함, 유리한 위치에서만 프로빙함 | SLO 문서에 변경 로그와 함께 SLI 정의와 제외를 공개, SLI를 지원 접촉 및 사용자 불만과 비교, 제외된 이벤트와 그 물량의 정기 검토 |
| SLO 준수 | 항상 통과할 만큼 목표를 낮게 정함, 나쁜 기간 뒤 구간 길이를 바꿈, 위반을 유지보수 기간으로 재정의함 | 사용자 의견으로 목표를 정하고 일정에 따라 검토, 문서에 구간 고정, 준수와 함께 보고하는 제외 건수와 계획에 없던 구간 변경 |
| 남은 오류 예산 | 나쁜 이벤트를 제외로 재분류함, 허용되는 나쁜 건수가 커 보이도록 예상 물량을 부풀림, 구간을 일찍 초기화함 | 구간 끝의 실제 물량으로 계산한 허용 나쁜 이벤트, 예산 옆에 제외된 이벤트 물량 표시, 미리 고정한 구간 날짜 |
| 소진율 | 소진이 결코 트리거되지 않도록 경보 임계값을 조정함, 빠른 소진이 평균에 묻히도록 너무 긴 되돌아보기를 씀 | 과거 인시던트로 하는 경보 포괄 시험("이 규칙이 호출했을까?"), 실행 가능한 경보 비율과 놓친 감지 건수(주제 5.5, 모니터링과 경보 품질 지표 참조) |
| 예산 정책 준수 | 예외를 일상적으로 허용함, 도달할 수 없는 트리거로 정책을 씀, 형식적인 신뢰성 티켓을 정책 조치로 셈 | 예외를 따로 세고 검토, 기간 중 예외의 비율, 완료한 신뢰성 작업(주제 4.1, 문제 관리 지표 참조) |
| SLO 포괄률 | 비율을 올리려고 모든 서비스에 사소한 SLO를 추가함, 데이터가 흐르지 않는데 여정을 포괄된 것으로 셈 | SLI 데이터 신선도 점검(지난 7일 안에 데이터 도착), SLO가 보조 엔드포인트가 아니라 핵심 여정을 포괄하는지 검토 |
건강한 수치는 사용자가 보고하는 것을 따라가는 SLI, 때로는 놓치고 때로는 편안히 충족하는 목표, 의도적으로 쓰이는 예산을 보여 줍니다. 정책은 트리거에 도달했을 때 적용되고, 예외는 드물고 기록되며, 모든 정의 변경은 차트에 보입니다. 항상 예산이 100퍼센트 남아 있는 서비스나 항상 위반하는 서비스는 칭찬이나 비난이 아니라 목표에 대한 대화가 필요합니다. 어떤 단일 수치도 질문을 위한 신호임을 기억하십시오(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조).
상충 관계: 장점과 단점
| 접근 방식 | 강점 | 약점 |
|---|---|---|
| 사용자 여정 SLI | 사용자가 느끼는 것과 일치함, 수가 적음, 비엔지니어에게 설명하기 쉬움 | 처음부터 끝까지 계측하는 노력이 필요함, 아직 사용자에게 닿지 않은 내부 결함을 놓칠 수 있음 |
| 구성 요소 또는 자원 SLI(CPU, 메모리, 큐 깊이) | 수집하기 쌈, 진단과 용량에 유용함 | 사용자 경험의 약한 대리 지표, 중요하지 않은 경보를 많이 만듦 |
| 이동 구간 | 매끄러움, 월말의 벼랑이 없음, 항상 최신 | 달력 월보다 경영진에게 설명하기 어려움, 나쁜 하루가 구간 내내 남음 |
| 소진율 경보 | 목표가 정말 위험할 때 호출함, 오경보가 적음 | 구성하고 시험하기 더 복잡함, 서비스마다 임계값을 조정해야 함 |
SLI를 적게 고르고, 사용자와 함께 정하고, 예산이 변경의 속도를 결정하게 하십시오. 알맞은 엄격함은 사용자를 만족시키는 가장 느슨한 목표입니다. 9가 하나 늘 때마다 앞선 것보다 비용이 더 들기 때문입니다.
팀과 논의할 질문
1. 이 서비스의 사용자는 무엇을 할 수 있어야 하며, 할 수 없다면 어떻게 알까요? 각자 대시보드를 보지 않고 사용자가 서비스로 하는 가장 중요한 세 가지를 적게 하십시오. 목록을 비교하고 제품, 운영, 지원 사이의 차이를 기록하십시오. 그런 다음 그 여정 중 현재 SLI가 있는 것이 무엇인지 물으십시오. 진행자는 측정이 없는 중요한 여정과 어떤 여정도 설명하지 않는 측정을 찾아야 합니다.
2. SLO가 99.9퍼센트이고 우리가 충족했다면 사용자는 만족할까요? 어떻게 알까요? 현재 SLO를 지난 분기의 지원 접촉, 불만, 만족도 결과 옆에 두십시오. 일치하는지 물으십시오. SLO가 초록색인데 사용자가 불만이면 SLI나 목표를 손봐야 합니다. 사용자가 만족하는데 SLO가 빨간색이면 목표가 누구에게도 필요 없을 만큼 엄격할 수 있습니다. 목표와 경험을 맞출 조치 하나에 합의하십시오.
3. 오류 예산이 바닥나면 우리는 실제로 무엇을 다르게 할까요? 현재 오류 예산 정책을 소리 내어 읽거나, 없다면 함께 초안을 쓰십시오. 누가 무엇을 멈추고 누가 예외를 허용할 권한이 있는지 물으십시오. 진행자는 일반적 의도가 아니라 필수가 아닌 릴리스를 중지하고 지명된 사람을 신뢰성 작업으로 옮기는 것 같은 구체적 조치를 촉구해야 합니다. 아무도 따를 것이라 믿지 않는 정책은 정책이 없는 것보다 나쁩니다.
4. 우리가 마지막으로 여유 예산이 있어서 위험을 감수한 때는 언제인가요? 팀이 예산을 쓰는지 지키기만 하는지 논의하십시오. 지난 분기를 보십시오. 릴리스가 느린데 예산이 거의 건드려지지 않은 기간이 있었나요? 안전하다는 것을 알았다면 팀이 무엇을 시도했을지 물으십시오. 이 질문은 지나친 조심을 드러내며, 답이 팀이 예산을 잘 쓰게 해 줄 카나리 릴리스, 토글, 더 빠른 파이프라인을 가리키는 경우가 많습니다.
5. 우리 경보 중 마지막 심각한 인시던트에 제때 울렸을 것은 무엇이고, 아무 이유 없이 울렸을 것은 무엇인가요? 마지막 중대한 인시던트를 골라 경보 이력을 그에 대해 재생해 보십시오. 도착한 호출의 수, 영향이 시작된 뒤 얼마나 지나서였는지, 예산을 거의 쓰지 않는 이벤트에 대해 몇 건의 호출이 왔는지 세십시오. 소진율 경보가 더 잘했을지 논의하십시오. 목표는 누가 온콜이었는지에 대한 비난 논의가 아니라 각각 소유자가 있는 경보 변경의 짧은 목록입니다.
6. 각 SLO는 누가 소유하며, 마지막으로 의도적으로 하나를 바꾼 때는 언제인가요? SLO를 나열하고 각각 옆에 팀이나 역할로 소유자를 적으십시오. 각각을 마지막으로 언제 검토했고 무엇이 바뀌었는지 물으십시오. 1년 동안 아무도 건드리지 않은 SLO는 더 이상 결정에 정보를 주지 못한다는 신호입니다. 각각의 검토 날짜에 합의하고, 쓸모없어진 SLO를 누가 폐기할 권리가 있는지 합의하십시오.
네 가지 관점
제품 및 전달 팀
전달 팀은 얼마나 빨리 움직일지에 대한 분명한 규칙을 얻습니다. 예산이 남아 있을 때는 더 자주 릴리스하고 더 과감한 변경을 시도할 수 있습니다. 예산이 적을 때는 긴 협상 없이 신뢰성 작업을 백로그에 올립니다. 어떤 여정이 중요한지 알기 때문에 지표를 고르는 일을 도와야 하고, 새 기능을 처음부터 SLI를 염두에 두고 계측해야 합니다(주제 2.8, DORA 지표 참조). 예산은 숨겨야 할 숫자가 아니라 함께 계획할 팀의 자원입니다.
서비스 및 운영 팀
운영 팀은 SLO로 무엇이 호출할 가치가 있고 무엇이 아침까지 기다릴 수 있는지 결정합니다. 소진율 경보는 잡음을 줄이고 온콜 작업을 사용자가 느끼는 것에 연결합니다(주제 5.7, 토일과 온콜 지표 참조). SLI 정의를 정직하게 유지하고, 그 뒤의 텔레메트리를 유지하고, 인시던트와 문제 레코드에 예산 비용을 기록합니다.
리더십과 거버넌스
리더는 세 가지를 물어야 합니다. 목표가 무엇이고, 예산이 얼마나 남았고, 바닥나면 무엇을 할 것인가입니다. 오류 예산 정책에 서명하고 정책이 늦추라고 말할 때 팀을 뒷받침합니다. SLO 준수를 보너스 지표로 바꾸는 것을 피합니다. 그것은 정의를 좁히고 목표를 무르게 정하도록 부추깁니다.
고객과 사용자
고객은 목표가 자신이 필요로 하는 것을 반영하고 서비스가 그에 비해 어떻게 수행되는지 볼 수 있을 때 이득을 얻습니다. 느림이나 중단에 대한 허용도는 작업과 하루 중 시간대에 따라 다르므로 목표를 정할 때 의견을 구해야 합니다. 만족도와 노력 같은 경험 측정치는 SLO가 그들이 느끼는 것을 포착하는지 점검합니다(주제 6.1, 고객 만족도 지표 참조).
실제 적용: 서비스 관리 사례
중견 온라인 소매업체에 결제 팀, 플랫폼 팀, 서비스 데스크가 있습니다. 결제 서비스는 비즈니스에 결정적입니다. 이 사례의 모든 숫자는 예시입니다.
팀은 "주문 결제" 여정에 하나의 SLI를 정의합니다. 로드 밸런서에서 측정한, 2초 안에 성공을 반환하는 유효한 결제 요청의 비율입니다. 유효한 요청은 팀 자체 부하 시험과 사기 방지 서비스가 설계상 거부하는 요청을 제외합니다. SLO는 이동 28일 동안 99.9퍼센트입니다. 구간에는 유효한 요청이 12,000,000건 예상되므로 예산은 나쁜 요청 12,000건(0.1퍼센트)입니다. 제품 책임자와 플랫폼 책임자가 서명한 오류 예산 정책은 세 단계입니다. 예산의 50퍼센트를 쓰면 위험한 변경에 두 번째 검토자와 카나리 롤아웃이 필요하고, 75퍼센트에서는 다음 계획 대화에서 신뢰성 작업이 우선하며, 100퍼센트에서는 예산이 회복될 때까지 필수가 아닌 기능 릴리스가 중지됩니다.
구간의 10일째에 팀은 지금까지 예상된 약 4,285,714건 중 나쁜 요청 7,800건을 봅니다. SLI 달성은 약 99.82퍼센트, 예산의 65퍼센트 소비, 구간은 36퍼센트만 경과했습니다. 이 기간의 소진율은 약 1.8이므로 이 속도면 예산은 15일 무렵 바닥납니다. 나쁜 배포 하나가 실패 중 5,000건을 차지했습니다. 인시던트 레코드는 실패가 22분 지속되었음을 보여 주고, 주요 인시던트 검토는 파이프라인의 누락된 점검을 식별하며, 인시던트의 예산 비용은 문제 레코드에 기록됩니다(주제 4.1, 문제 관리 지표 참조).
팀은 정책을 따릅니다. 두 번째 단계 조치가 즉시 적용되어 위험한 변경에는 카나리 롤아웃이 필요하고, 계획 회의가 파이프라인 점검을 작업 대기열의 맨 위로 옮깁니다. 제품 책임자는 급하지 않은 프로모션 기능의 중지를 받아들입니다. 28일째에 예산은 94퍼센트 소비되었고, 팀은 목표 안에서 구간을 마칩니다.
악용 위험은 검토에서 나타납니다. 소매업체의 검색 서비스를 운영하는 다른 팀이 분기에 99.95퍼센트를 보고했는데 서비스 데스크에는 "검색이 안 됨" 접촉이 늘었다고 기록되었습니다. 조사해 보니 플랫폼 팀은 검색 팀이 "유효"를 재정의해 5초 안에 재시도된 요청을 제외했고, 그것이 많은 실제 실패를 없앴음을 알아냅니다. 검토는 원래 정의를 복원하고, 분기를 다시 작성하고, 두 방호책을 추가했습니다. 정의를 바꿀 때는 이유와 함께 SLO 문서에 기록하고, SLI 달성을 매달 지원 접촉과 비교합니다. 변경이 잡음을 줄이려는 것이었으므로 아무도 거짓말을 하지 않았고, 해법은 질책이 아니라 더 분명한 정의였습니다.
애자일, AI, 자동화, 분석
애자일
오류 예산은 신뢰성을 제품 이해관계자와의 공유된 결정으로 바꾸고, 팀이 얼마나 많은 위험을 쓸 수 있는지 보여 줌으로써 지속적 전달에 맞습니다. 목표를 정기적인 주기로 검토하십시오. 주의할 점은 사용자와 합의하지 않은 SLO는 추측이라는 것입니다.
AI
AI 기능에는 가용성만이 아니라 정확성과 지연 같은 자체 지표가 필요하며, 목표는 틀린 답을 어떻게 셈할지 말해야 합니다. AI 가용성을 표본 추출로 측정한 품질 지표와 짝지우십시오. 주의할 점은 틀린 답을 빨리 내놓는 서비스가 사용자에게 실패하면서도 가용성 SLO를 충족할 수 있다는 것입니다.
자동화
텔레메트리에서 지표와 소진율을 자동으로 계산하고, 작은 흔들림마다가 아니라 소진율에 경보를 울리십시오. 경보 자체를 놓친 경보와 거짓 경보로 측정하십시오. 주의할 점은 자동화된 예산 동결이 유용한 작업을 멈출 수 있으므로 정책에 사람의 결정을 남겨 두어야 한다는 것입니다.
분석
사용자가 느끼는 지표를 고르고 각각 뒤의 구간과 이벤트 수를 보여 주십시오. 이는 언제 변경을 늦추거나 신뢰성에 투자할지에 정보를 줍니다. 주의할 점은 짧은 구간은 예산의 변동을 크게 하므로 구간을 밝혀야 한다는 것입니다.
부문별 관점
스타트업. 엣지에서 측정한 가장 중요한 여정의 SLO 하나와 한 페이지에 들어가는 단순한 정책으로 시작하십시오. 수십 개의 SLO를 위한 플랫폼을 만들지 마십시오. 예산은 작은 팀이 금요일에 배포할지를 두고 덜 다투도록 도와줍니다.
소규모 사업. 작은 사업은 호스팅된 도구와 공급업체에 의존하는 경우가 많아서 SLI가 공급업체의 상태 데이터나 단순한 외부 프로브에서 나올 수 있습니다. 공급업체의 서비스 수준을 서면으로 읽고 자체 필요에 비춰 점검하십시오.
대기업. 많은 서비스, 팀, 공급업체가 일관성의 중요성을 높입니다. 리더가 정의를 두고 다투지 않고 비교하고 상위 집계할 수 있도록 SLO 문서의 공유 템플릿, 공통 레지스트리, 달성률과 예산을 계산하는 표준 방법을 제공하십시오. SLO는 서비스 팀이 소유하고 레지스트리는 중앙에서 관리하게 하십시오.
정부 및 공공 부문. 서비스는 법정이거나 공표된 목표를 충족해야 하는 경우가 많고 실패가 공개적으로 보고될 수 있습니다. 계약상이나 법정 확약을 내부 목표와 분리하고 내부 SLO가 더 엄격하도록 하십시오. 감사를 위해 SLI 정의, 제외, 데이터 계보를 문서화하고, 접근성과 대안 제공자를 선택할 수 없는 사용자를 위해 계획하십시오(주제 8.5, 규제 및 정부 보고 참조).
비즈니스 케이스: 동기, ROI, TCO
동기는 신뢰성에 대한 논쟁을 줄이고 더 나은 결정을 하는 것입니다. 목표가 없으면 신뢰성 작업은 가장 크게 주장하는 사람의 힘으로 기능과 경쟁합니다. 목표와 예산이 있으면 교환이 보이고 미리 합의되며, 사용자는 필요한 만큼 믿을 만한 서비스를 얻고 팀은 그 이상의 신뢰성에 대가를 치르지 않습니다.
비용은 네 부분입니다. 첫째는 설계로, 여정, 지표, 목표를 고르고 정책을 쓰는 워크숍입니다. 둘째는 계측으로, 올바른 위치의 텔레메트리, 프로브, 이벤트를 달성률과 예산으로 바꾸는 파이프라인입니다(주제 1.5, 데이터 원천과 계측 참조). 셋째는 운영으로, 경보 규칙, 대시보드, 분기 검토, 정의를 최신으로 유지하는 시간입니다. 넷째는 정책이 기능 작업을 중지시킬 때의 기회비용으로, 합의를 지키는 비용이며 압박이 오기 전에 합의해야 하는 이유입니다.
수익은 팀이 스스로 추적할 수 있는 패턴으로 나타납니다. 조치가 필요 없었던 호출의 감소, 릴리스 여부에 대한 더 짧은 논쟁, 주요 인시던트 뒤가 아니라 예산이 바닥나기 전에 일정이 잡힌 신뢰성 작업, 고객에게 더 적은 놀라움입니다. 이익을 팀 자체의 이전과 이후 수치, 즉 순환 근무당 호출 수와 가장 큰 인시던트가 소비한 예산의 비율 같은 것을 비교해 설명하십시오.
안티패턴과 함정
- 너무 많은 SLO. 수십 개의 목표는 주의를 흩뜨리고 아무도 어느 것이 중요한지 말할 수 없습니다. 핵심 사용자 여정에서 시작하고 나머지는 폐기하십시오.
- SLO가 SLA와 같음. 하나의 숫자를 둘로 보고하면 안전 여유가 사라지고 엔지니어링 규칙이 상업적 약속과 섞입니다. 목표를 협약보다 엄격하게 유지하십시오.
- 집행되지 않는 정책. 예산이 바닥났는데 아무것도 바뀌지 않으면 프랙티스는 신뢰를 잃습니다. 리더가 정책에 서명하게 하고 모든 예외를 이유와 함께 기록하십시오.
- 예산을 사람의 성적표로 쓰기. 사용한 예산으로 엔지니어나 온콜 직원의 순위를 매기면 사람들이 인시던트를 숨기고 정의를 좁힙니다. 예산을 서비스에 귀속시키고 원인은 시스템 수준에서 논의하십시오(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조).
- 모든 하락에 경보 울리기. 원시 증상에 호출하면 경보 피로가 생기고 사람들이 호출을 무시하도록 길들입니다. 소진율에 호출하고 느린 소진은 티켓으로 보내십시오.
- 정해 놓고 잊기. 아무도 검토하지 않는 SLO는 사용자가 필요한 것에서 멀어집니다. 분기 검토를 일정에 넣고 무엇이 왜 바뀌었는지 기록하십시오.
성숙도 모델
| 차원 | 1 시작 | 2 발전 | 3 표준화 | 4 관리 | 5 조율 |
|---|---|---|---|---|---|
| 지표와 목표 | 신뢰성을 말로 설명하고 서버 가동 시간을 보고함 | 일부 팀이 SLI를 정의함, 목표가 다양하고 검토는 드묾 | 핵심 사용자 여정에 공유 템플릿으로 문서화된 SLI와 SLO가 있음 | SLO를 추세로 보고 사용자 피드백에 비춰 점검하며 증거로 조이거나 느슨하게 함 | SLO를 고객 및 공급업체와 합의하고 의존하는 서비스와 계약에 맞춤 |
| 오류 예산과 정책 | 예산 없음, 신뢰성 대 기능을 논쟁으로 결정함 | 일부 서비스에 예산을 계산함, 합의된 결과 없음 | 제품과 운영이 서명한 서면 정책, 정의된 트리거 | 정책 준수를 측정하고 예외를 검토하며 예산이 릴리스 계획에 정보를 줌 | 의존성을 공유하는 팀 사이에 예산 결정을 조율하고 조건이 바뀌면 정책을 개정함 |
| 경보와 대응 | 원시 자원에 대한 임계값 경보, 호출이 많음 | 일부 소진율 경보, 예시에서 복사한 임계값 | 핵심 SLO에 대한 다중 구간 소진율 경보, 느린 소진은 티켓 | 과거 인시던트로 경보 품질을 측정하고 조정함 | 서비스 체인에 걸쳐 경보를 맞추고 공동 검토로 개선을 이끎 |
체크리스트
- 서비스의 핵심 사용자 여정이 나열되어 있고 각각 사용자 쪽에서 쓰여 있다.
- 각 SLI는 제외를 적어 둔 채 유효한 이벤트 대비 좋은 이벤트로 정의되어 있다.
- 지연 SLI는 평균이 아니라 백분위수와 명시된 임계값을 쓴다.
- 각 SLO는 목표, 구간, SLI를 측정하는 위치를 명시한다.
- SLO는 어떤 SLA보다 엄격하며 둘을 따로 보고한다.
- 오류 예산 정책이 있고, 제품과 운영 리더가 서명했으며, 누가 예외를 허용할 수 있는지 명시한다.
- 소진율 경보는 되돌아보는 기간을 둘 이상 쓰고, 느린 소진은 호출이 아니라 티켓을 만든다.
- 각 인시던트 레코드가 소비한 예산을 보여 준다.
- SLI 달성을 매달 지원 접촉 및 만족도 결과와 비교한다.
- 모든 SLO에 소유자(팀 또는 역할)와 검토 날짜가 있고 변경은 이유와 함께 기록한다.
- 어떤 SLO 결과도 개인의 순위를 매기거나 보상하는 데 쓰지 않는다.
AI 프롬프트
사용자 여정에서 SLI 후보를 초안으로 작성합니다.
저는 [서비스 이름]을 운영하며, [사용자 유형]이 [핵심 사용자 여정 목록]에 씁니다.
[측정 지점 목록, 예: 로드 밸런서, 애플리케이션 로그, 합성 프로브]에서 측정할 수
있습니다. 각 여정에 대해 유효한 이벤트 대비 좋은 이벤트로 쓴 후보 SLI를 하나나
둘 제안하고, "좋음", "유효", 제외의 정의를 제안해 주세요. 각 측정 지점의 강점과
사각지대를 적어 주세요. 목표 값이나 기준 값을 지어내지 말고, 사용자가 무엇을
허용하는지 내게 물어보세요. 가정한 내용을 나열해 주세요.
오류 예산 정책의 초안을 작성합니다.
[서비스 이름]에 대해 [구간] 동안 SLO가 [목표]인 오류 예산 정책의 초안 작성을
도와주세요. 이해관계자는 [제품 역할]과 [운영 역할]입니다. 트리거 수준, 각각의
조치, 누가 예외를 허용할 수 있고 어떻게 기록하는지, 정책을 어떻게 검토하는지
제안해 주세요. 한 쪽으로 유지하고 사람 후원자가 필요한 결정을 표시해 주세요.
다른 조직의 임계값을 지어내지 말고, 선택지와 상충 관계를 제시해 주세요. 가정한
내용을 나열해 주세요.
SLO의 악용 위험을 검토합니다.
다음은 [서비스 이름]의 SLO 문서입니다: [SLI 정의, 제외, 목표, 구간, 변경 로그
붙여 넣기]. SLI를 좁히거나, 구간이나 목표를 바꾸거나, 이벤트를 제외해 결과가
사용자 경험보다 좋아 보이게 만들 수 있는 방법을 찾아 주세요. 각 위험에 대해
방호책 지표나 실천을 제안해 주세요. 의도를 가정하지 마세요. 가정한 내용과 내가
답해야 할 질문을 나열해 주세요.
AI 스킬
- 서비스 관리 지표 스킬: 가용성, 경보 품질, 주요 인시던트 같은 관련 주제와 각 SLO 측정치 옆에 있어야 할 방호책을 찾을 때 사용합니다.
- 서비스 관리 지표 유지보수 스킬: 이 주제의 수정이 악용 표의 모든 지표와 제목을 붙인 모든 상호 참조를 유지하는지 확인할 때 사용합니다.
핵심 정리
- 사용자가 하는 일에서 SLI를 적게 고르고, 각각을 유효한 이벤트 대비 좋은 이벤트로 표현하십시오.
- 100퍼센트 미만의 SLO는 위험에 대한 결정이며, 오류 예산은 그 결정이 변경에 남기는 여유입니다.
- 오류 예산 정책을 미리 쓰고, 리더십 수준에서 서명하고, 모든 예외를 기록하십시오.
- 호출이 목표에 대한 실제 위험을 반영하도록 둘 이상의 되돌아보는 구간으로 소진율에 경보를 울리십시오.
- 정의를 지키십시오. 모든 변경을 기록하고 SLI 결과를 사용자가 보고하는 것과 비교하십시오.
- 예산을 서비스와 팀에 귀속시키고 개인에게는 절대 귀속시키지 말며, 각 SLO를 최소한 분기마다 검토하십시오.
참고 문헌과 더 읽을거리
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Jones, C., Wilkes, J., Murphy, N., and Smith, C., "Service Level Objectives," chapter 4 in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/service-level-objectives/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, https://sre.google/workbook/table-of-contents/
- "Implementing SLOs," chapter 2 in The Site Reliability Workbook, O'Reilly Media, 2018, https://sre.google/workbook/implementing-slos/
- "Alerting on SLOs," chapter 5 in The Site Reliability Workbook, O'Reilly Media, 2018, https://sre.google/workbook/alerting-on-slos/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Site reliability engineering.
- Wikipedia, Service level indicator.
- Wikipedia, Service-level objective.
- Wikipedia, Service-level agreement.
- Wikipedia, Availability.
- Wikipedia, Percentile.
- Wikipedia, Feature toggle.
- Wikipedia, Canary release.