개요와 동기

모니터링은 시스템에 대한 실시간 데이터를 수집하고, 처리하고, 표시하는 일입니다. 시스템 모니터링은 "서비스가 사용자가 필요로 하는 방식으로 작동하고 있는가?"라는 질문에 답합니다. 경보는 그 데이터가 사람에게 무언가를 하라고 요청하는 지점입니다. 대부분의 팀은 첫 번째 활동을 형편없이 측정하거나 전혀 측정하지 않고, 두 번째는 불만을 통해서만 측정합니다. 이 주제는 둘 모두를 위한 작은 측정치 집합을 줍니다. 모니터링이 중요한 실패를 보는지, 그것이 울리는 경보가 요구하는 주의를 받을 만한지입니다.

먼저 몇 가지 용어입니다. ITIL 4 어휘에서 이벤트는 서비스를 관리하는 데 의미 있는 상태의 변화이며, 이벤트 관리는 이벤트를 감지하고, 어떤 것이 중요한지 정하고, 대응을 고르는 프랙티스입니다. 경보는 호출, 메시지, 티켓으로 전달되는 사람에 대한 알림입니다. 호출(page)은 누군가를 즉시 방해하는 경보입니다. 거짓 양성은 아무것도 주의가 필요하지 않았는데 울린 경보이고, 거짓 음성은 어떤 경보도 보고하지 않은 실패입니다. 두 용어는 거짓 양성과 거짓 음성의 언어에서 왔습니다. 실행 가능한 경보는 사람이 취할 유용한 조치가 있었고 그것을 취했거나, 기록된 이유로 의도적으로 취하지 않기로 한 경보입니다.

모니터링의 두 측면은 서로 반대로 당깁니다. 인시던트마다 경보를 추가하면 잡음의 벽이 쌓입니다. 조용히 하려고 줄이면 중요한 실패 중에 침묵할 위험이 있습니다. 정밀도와 재현율의 언어가 잘 맞습니다. 정밀도는 울린 경보 중 울릴 만했던 비율을 묻습니다. 재현율은 실제 문제 중 경보가 잡은 비율을 묻습니다. 경보 품질은 둘 사이의 균형이며, 하나만 보는 지표는 팀이 다른 하나를 희생하도록 부추깁니다. 신호 대 잡음비도 같은 긴장을 담고 있습니다.

사람이 치르는 비용이 이것이 서비스 지표 책에 속하는 이유입니다. 경보 피로는 대부분 중요하지 않은 많은 경보에 노출된 사람들이 둔감해지고 중요한 경보에 대한 대응이 느려지는, 잘 문서화된 경향입니다. 처음에는 임상 환경에서 연구되었고, 어디로도 이어지지 않는 경보로 너무 자주 호출되는 모든 온콜 순환 근무에 적용됩니다. 피로한 대응자는 실제 인시던트를 놓치고 결국 순환 근무를 떠납니다.

이 책이 합치는 두 전통에서 관점이 다릅니다. ITIL 4는 이 일을 인시던트 관리와 서비스 수준 관리에 연결된 모니터링 및 이벤트 관리 프랙티스에 둡니다. 관심사는 인시던트가 일찍 발견되고 일관되게 처리되도록 이벤트가 감지되고, 분류되고, 라우팅되는 것입니다. 사이트 신뢰성 엔지니어링(SRE)은 반대쪽 끝에서 접근합니다. 구글의 Site Reliability Engineering 책은 호출이 긴급하고, 중요하고, 실행 가능하고, 실제여야 하며, 나머지는 티켓이나 대시보드에 속한다고 주장합니다. 애자일 팀은 이를 업무 합의로 만납니다. 누구를 무엇 때문에 깨우는지, 잘못된 경보는 누가 고치는지입니다. 아래 지표는 셋 모두에서 빌려 오되 한 규칙을 지킵니다. 지표는 순환 근무, 서비스, 경보 규칙을 설명하며 개인은 결코 설명하지 않습니다.

이 주제는 이웃 주제를 반복하지 않습니다. 인시던트 타이밍은 주제 3.3, 인시던트 대응 및 해결 시간에, 주요 인시던트는 주제 3.4, 중대 인시던트 지표에, 목표와 오류 예산은 주제 5.2, SLI, SLO, 오류 예산에, 사람의 부하는 주제 5.7, 토일과 온콜 지표에 속합니다. 여기서의 주제는 그 모든 것을 시작하는 신호의 품질입니다. 계측은 주제 1.5, 데이터 원천과 계측에서 다룹니다.

핵심 원칙

  • 사용자가 느끼는 증상에 호출하고 나머지는 티켓이나 대시보드로 보내십시오. 사용자가 경험하는 것(오류, 느림, 사용 불가)에 대한 경보는 시스템이 바뀌어도 유용합니다. 원인(가득 찬 디스크, 바쁜 CPU)에 대한 경보는 증상을 예측하고 증상이 오기 전에 사람이 조치할 수 있을 때만 유용합니다.
  • 모든 경보는 조치로 이어져야 합니다. 경보에 대한 올바른 대응이 아무것도 하지 않는 것이라면 경보를 바꾸거나, 티켓으로 강등하거나, 삭제해야 합니다. 조치로 이어지는 비율을 측정하고 나머지는 모니터링의 결함으로 다루십시오.
  • 정밀도와 재현율을 모두 측정하십시오. 잡음만 세면 침묵을 보상하고, 포괄만 세면 물량을 보상합니다. 둘이 함께 품질을 설명하며, 각각이 서로의 방호책 역할을 합니다.
  • 모든 경보 규칙을 소유자가 있는 제품으로 다루십시오. 규칙에는 목적, 임계값, 런북, 검토 날짜가 있습니다. 소유자 없는 규칙은 쌓이고, 그것이 만드는 잡음은 누구의 것도 아닙니다.
  • 순환 근무와 서비스에 대해 보고하고 사람에 대해서는 하지 마십시오. 경보 부하는 시스템과 순환 근무가 어떻게 설계되었는지의 속성입니다. 개인을 지명하면 설계 문제가 비난 문제로 변하고 실제 해법을 가립니다.

지표 정의

아래 지표는 하나의 집합으로 골랐습니다. 물량만으로는 의미가 없고, 실행 가능성은 물량이 문제인지 알려 주며, 포괄과 감지 시간은 고요함이 무엇을 숨기고 있는지 알려 줍니다. 모두 서비스별 또는 순환 근무별로 계산하며, 모두 모니터링 및 호출 도구의 경보 레코드를 인시던트 및 티켓 레코드와 결합해 씁니다.

지표 정의 공식 단위 데이터 원천 ITIL 프랙티스 애자일 대응 주기
경보 물량 호출과 티켓으로 나눈, 사람에게 알린 경보의 수 기간 중 순환 근무나 큐에 전달된 서로 다른 알림의 수. 같은 열린 경보의 반복은 하나로 묶음. 사람에게 알리지 않고 자동화가 전부 처리한 경보는 제외. 순환 근무 주당으로 보고하고 근무 시간 외 비중은 따로 보고 순환 근무 주당 경보 호출 및 경보 라우팅 도구 모니터링 및 이벤트 관리 온콜에 대한 팀 업무 합의 주
실행 가능한 경보 비율 사람이 유용한 조치를 취한 경보의 비율 기록된 조치(수정, 완화, 에스컬레이션, 경보 규칙 변경)가 있는 경보 / 기간 중 검토한 경보. 확인 전에 자동 해소된 경보는 실행 가능하지 않은 것으로 셈. 검토하지 않은 경보는 버리지 않고 별도의 건수로 보고 퍼센트 검토 라벨, 티켓 또는 인시던트와 결합한 경보 레코드 모니터링 및 이벤트 관리, 인시던트 관리 운영에 대한 팀 개선 조치 주간 검토, 월간 추세
거짓 양성률 문제가 없는데 울린 경보의 비율 검토에서 거짓 양성으로 라벨된 경보 / 기간 중 검토한 경보. "거짓 양성"은 조건이 결함이 아니었고 아무도 알림을 원하지 않았을 것이라는 뜻이며, 조치하기에는 너무 사소한 실제 문제는 거짓 양성이 아님 퍼센트 경보 검토 라벨 모니터링 및 이벤트 관리 잡음 회고 검토 월
감지 포괄률 사용자 대면 증상에 대한 시험된 경보가 하나 이상 있는 범위 안 서비스의 비율 지난 12개월 안에 시험이나 실제 사건으로 작동이 확인된 증상 경보가 있는 서비스 / 서비스 카탈로그 범위의 서비스. 범위 안 서비스의 목록은 기간 시작 시 고정 퍼센트 서비스 카탈로그, 경보 규칙 목록, 시험 기록 서비스 구성 관리, 모니터링 및 이벤트 관리 신규 서비스에 대한 완료의 정의 분기
모니터링 감지 비중 사용자나 동료가 보고하기 전에 모니터링이 감지한 인시던트의 비율 첫 신호가 경보였던 인시던트 / 기간 중 인시던트. 시계는 인시던트 개시 시각이고, 기록된 첫 신호가 없는 인시던트는 감지된 것이 아니라 알 수 없음으로 보고 퍼센트 첫 신호 필드가 있는 인시던트 레코드, 경보 타임라인 인시던트 관리 인시던트 검토(인시던트 후 학습) 월
감지까지의 시간(TTD) 사용자 영향의 시작과 사람에게 알린 첫 경보 사이의 경과 시간 사람에게 알린 첫 경보 시각 빼기 영향 시작 시각. 영향 시작은 인시던트 검토에서 확립한 서비스 수준 지표가 처음 위반된 시각. 중앙값과 95번째 백분위수를 보고. 경보가 없는 인시던트는 제외하고 따로 셈 분 인시던트 검토, 경보 타임라인, 서비스 수준 지표 이력 인시던트 관리, 모니터링 및 이벤트 관리 인시던트 후 검토 월, 인시던트별
경보 집중도 가장 시끄러운 소수의 경보 규칙이 만든 경보 물량의 비율 경보가 가장 많은 규칙 다섯 개의 경보 / 기간 중 모든 경보. 같은 경보는 한 번 묶음. 규칙 수 다섯은 관례이며 팀이 이유를 밝히면 바꿀 수 있음 퍼센트 경보 규칙 목록과 호출 기록 지속적 개선, 모니터링 및 이벤트 관리 회고 개선 백로그 월
경보 규칙 최신성 소유자, 런북 링크, 합의된 간격 안의 검토가 있는 호출 규칙의 비율 세 조건을 모두 충족하는 호출 규칙 / 모든 호출 규칙. 기간 중 비활성화한 규칙은 제외 퍼센트 경보 규칙 목록 지식 관리, 모니터링 및 이벤트 관리 운영 준비에 대한 업무 합의 분기

경보 물량은 맥락이 필요하므로 실행 가능한 경보 비율 옆에서 읽으십시오. 감지까지의 시간은 티켓 시계가 감지 후에 시작하기 때문에 티켓이 아니라 사용자 영향의 시작을 씁니다. 영향 시작은 인시던트 검토의 추정치이므로 그렇게 라벨해야 합니다. 거짓 양성률과 실행 가능한 경보 비율은 서로의 여집합이 아닙니다. 경보가 참이면서도 사람의 시간을 쓸 가치가 없을 수 있기 때문입니다.

권장 사항

무엇이 호출을 받을 만한지 결정하십시오

1. 호출 정책을 쓰고 짧게 유지하십시오. 무엇이 호출을 얻는지(사용자가 지금 느끼거나 곧 느낄 증상으로 사람이 조치할 수 있는 것)와 아닌 것을 한 단락으로 진술하십시오. 나머지는 모두 티켓 큐나 대시보드로 갑니다. 구글 SRE 책의 분산 시스템 모니터링 장이 좋은 출발점입니다(주제 5.2, SLI, SLO, 오류 예산 참조).

2. 증상에 경보를 울리고 원인은 진단용으로 두십시오. "오류율이 합의된 임계값 초과"에 대한 호출은 사용자에 대한 호출입니다. "CPU가 높음"에 대한 호출은 추측에 대한 호출입니다. 원인 수준의 신호는 증상 경보가 울린 뒤 대응자가 볼 대시보드에 두고, 조치할 만한 충분한 사전 경고로 증상을 믿을 만하게 예측할 때만 호출로 승격하십시오.

3. 호출 임계값을 서비스 수준 목표에 묶으십시오. 서비스에 서비스 수준 목표(SLO)가 있다면 원시 임계값 대신 오류 예산이 소비되는 속도에 경보를 울리십시오. SRE Workbook의 SLO 경보 장은 소진율 경보와 정밀도, 재현율, 감지 시간, 재설정 시간 사이의 상충 관계를 설명합니다. 이 방식은 목표를 위협하는 것에 호출하고 그렇지 않은 짧은 흔들림에는 조용합니다.

모든 경보를 리듬에 따라 검토하십시오

4. 짧은 정기 검토에서 모든 경보에 라벨을 다십시오. 각 순환 근무마다 매주 15분을 따로 두어 무엇이 울렸는지 보십시오. 경보마다 하나의 라벨을 기록하십시오. 실행 가능, 거짓 양성, 실제지만 호출할 가치 없음, 중복입니다. 라벨은 실행 가능한 경보 비율과 거짓 양성률의 데이터이며, 검토는 시끄러운 규칙을 다음 분기가 아니라 다음 날 고치는 자리입니다.

5. 검토가 변경을 낳게 하십시오. 매주 최소 하나의 규칙을 조정하거나, 강등하거나, 병합하거나, 삭제하도록 고르고, 변경을 팀의 백로그에 일반 작업으로 기록하십시오.

6. 두려움 없이 삭제하십시오. 팀은 삭제가 위험하게 느껴지고 아무도 왜 있는지 기억하지 못해서 경보를 유지합니다. 모든 호출 규칙이 목적과 소유자를 갖도록 요구하고, 명시된 기간 동안 한 번도 조치로 이어지지 않은 규칙은 되돌릴 수 있도록 변경을 기록한 채 제거하거나 강등하기로 합의하십시오. 규칙 최신성 지표가 그 규율을 보이게 합니다.

모니터링이 놓치는 것을 측정하십시오

7. 사용자가 먼저 발견한 인시던트의 비중을 추적하십시오. 각 인시던트 뒤에 처음 어떻게 알아차렸는지 기록하십시오. 경보, 동료, 고객, 지원 티켓, 정기 점검입니다. 모니터링이 발견한 비중은 재현율에 가장 가까운 실용적 측정치입니다. 아무도 알아차리지 못한 인시던트는 표본에 들어가지 않으므로 완전하지 않습니다. 따라서 경보 자체의 주기적 시험과 짝지우십시오.

8. 감지까지의 시간을 정직하게 추정하십시오. 사용자 영향의 시작을 누군가 티켓을 입력한 때가 아니라 서비스 수준 지표 이력에서 인시던트 후 검토 때 확립하십시오. 중앙값과 높은 백분위수를 보고하고, 경보가 전혀 없던 인시던트는 별도의 건수로 보여 주십시오. 단일 평균은 전형적인 경우와 나쁜 꼬리를 모두 가립니다(주제 1.6, 서비스 지표를 위한 통계 소양과 주제 3.3, 인시던트 대응 및 해결 시간 참조).

9. 의존하는 경보를 시험하십시오. 감지 포괄률은 경보가 작동하는 것이 확인되었을 때만 믿을 만합니다. 게임 데이와 릴리스 리허설에 일부러 증상을 일으켜 올바른 경보가 울리고, 올바른 순환 근무에 도달하고, 쓸 만한 런북에 연결되는지 확인하는 점검을 포함하십시오. 한 번도 연습하지 않은 경보는 희망이지 통제가 아닙니다(주제 5.6, 서비스 연속성 지표 참조).

신호 경로를 건강하게 유지하십시오

10. 모니터링을 모니터링하십시오. 모니터링 체계의 조용한 실패는 건강한 서비스와 똑같아 보입니다. 경보 파이프라인이 전달을 멈추면 호출하는 하트비트 점검을 추가하고, 파이프라인 자체가 얼마나 자주 실패하는지 기록하십시오.

11. 세기 전에 묶고, 중복을 제거하고, 연결하십시오. 관련된 경보를 하나로 묶고, 이미 열린 경보의 반복을 억제하고, 각각을 소유한 순환 근무로 라우팅하십시오. 각 경보를 런북과 그것이 만든 인시던트 또는 티켓에 연결하십시오. 이 결합이 수작업 집계 없이 실행 가능한 경보 비율과 모니터링 감지 비중을 계산하게 해 줍니다(주제 1.5, 데이터 원천과 계측 참조).

악용 방식과 방호책

지표 악용되는 방식 짝을 이루는 방호책 지표 또는 실천
경보 물량 문제가 보이지 않는 채 건수가 줄도록 임계값을 올리거나, 긴 지연을 추가하거나, 경보를 호출에서 조용한 큐로 옮김, 건수를 바꾸려고 경보를 쪼개거나 병합함 모니터링 감지 비중과 감지까지의 시간, 모든 강등을 이유와 함께 기록하고 한 분기 뒤 검토한다는 규칙
실행 가능한 경보 비율 사후에 경보를 실행 가능으로 라벨함, 자격을 얻으려고 사소한 조치(댓글, 확인)를 취함, 시끄러운 경보가 분모에 들어가지 않도록 검토하지 않고 둠 비율 옆에 표시하는 검토하지 않은 경보 건수, 순환 근무 밖의 누군가가 하는 표본 점검, 서면화된 "유용한 조치"의 정의
거짓 양성률 "실제지만 무의미한" 경보가 참으로 셈하도록 거짓 양성을 좁게 정의함, 라벨 없이 시끄러운 경보를 닫음 따로 추적하는 실행 가능한 경보 비율과 "실제지만 호출할 가치 없음" 라벨, 닫은 경보의 주기적 표본 조사
감지 포괄률 포괄을 주장하려고 모든 서비스에 사소한 경보(핑)를 추가함, 시험한 적 없는 경보를 셈 경보가 사용자 대면 증상을 지켜보고 지난 12개월 안에 작동이 확인되었다는 요구, 모니터링 감지 비중
모니터링 감지 비중 사용자가 먼저 보고했는데도 모든 인시던트를 "모니터링이 감지"로 기록함, 사후에 경보를 만들고 인용함, 나쁜 숫자를 피하려고 첫 신호 필드를 비워 둠 비중 옆에 표시하는 알 수 없음 건수, 기억이 아니라 경보 타임라인에서 가져온 첫 신호 증거, 지원 레코드에서 연결한 고객 보고 인시던트
감지까지의 시간(TTD) 영향 시작을 실제보다 늦게 선언함, 경보가 없는 인시던트를 제외함, 꼬리를 숨기려고 평균을 보고함 서비스 수준 지표 이력에서 가져온 영향 시작, 경보 없는 인시던트를 세어 보여 줌, 중앙값과 95번째 백분위수를 함께 보고
경보 집중도 시끄러운 규칙 하나를 여럿으로 쪼개 어느 것도 상위 다섯에 들지 않게 함, 규칙 이름을 바꿈 규칙별뿐 아니라 근본 결함 또는 서비스별로 집중도를 보고, 옆에서 총 물량과 실행 가능한 경보 비율을 추적
경보 규칙 최신성 조건을 충족하려고 자리표시자 소유자, 빈 런북 링크, 형식적 검토를 추가함 런북 링크가 열리고 실제 대응에서 쓰였는지 표본 점검, 게임 데이에서 런북을 시험하는 실천

건강한 수치는 여러 가지를 함께 보여 줍니다. 순환 근무당 경보 물량은 안정적이거나 줄고 있으며 팀이 지속 가능하다고 고른 수준 안에 있습니다. 가장 시끄러운 규칙이 조정되면서 실행 가능한 경보 비율이 몇 달에 걸쳐 오릅니다. 모니터링 감지 비중은 높고 감지까지의 시간은 짧으며 물량이 줄어도 길어지지 않는데, 이는 고요함이 사 온 것이 아니라 얻은 것임을 증명합니다. 감지 포괄률은 사소한 경보를 더해서가 아니라 서비스를 시험해서 늘어납니다. 감지 비중이나 감지까지의 시간이 나빠지는데 물량이 줄면, 팀은 재현율을 평화와 바꾼 것이며 방호책이 그것을 드러냅니다.

상충 관계: 장점과 단점

접근 방식 장점 단점
소수의 증상 기반 호출 조용한 밤, 각 호출에 대한 높은 신뢰, 최신으로 유지하기 쉬움 천천히 쌓이는 문제의 감지가 늦을 위험, 나머지를 위해 좋은 티켓과 대시보드 습관이 필요함
많은 민감한 경보 원인 수준 문제의 조기 경고, 놓치는 인시던트 감소 경보 피로, 느린 확인, 온콜 순환 근무의 이탈
SLO 소진율 경보 목표를 위협하는 것에 묶인 호출, 흔들림 감소 좋은 지표와 합의된 목표가 필요함, 감지 시간과 정밀도의 균형을 맞추려면 조정이 필요함
주간 경보 검토 빠른 피드백, 시끄러운 규칙을 빨리 고침 매주 시간이 듦, 변경이 따르지 않으면 연극이 됨
사람이 하는 라벨링 어떤 도구에도 없는 판단을 포착함 주관적임, 정의를 서면화하지 않으면 검토자와 순환 근무 사이에 라벨이 표류함
자동 억제와 묶기 대규모로 잡음을 줄임, 반복 호출을 줄임 규칙이 틀리면 실제 신호를 가릴 수 있음, 자체 모니터링과 검토가 필요함

모든 선택은 정밀도와 재현율을 맞바꾸며, 교환은 의도적으로 하고 서비스별로 적어 두어야 합니다. 그것이 누구든 숫자를 공정하게 읽게 하는 맥락이기 때문입니다. 놓친 실패의 결과가 심각한 서비스는 더 이른 경고를 위해 더 낮은 실행 가능 비율을 받아들이되, 추가 경보를 밤에는 티켓 큐로 보내는 분류 계층을 둘 수 있습니다.

팀과 논의할 질문

1. 우리는 무엇 때문에 깨고 싶으며, 지난달의 호출 중 그 기준을 충족한 것은 무엇인가요? 호출 정책을 한두 문장으로 쓴 다음 지난달의 호출 각각을 그에 비춰 시험하십시오. 이 연습은 그것이 만드는 퍼센트보다 더 가치가 있습니다. 의견 불일치가 팀의 기대가 다른 곳을 드러내기 때문입니다. 불필요했던 것은 강등 후보로 포착하십시오.

2. 가장 시끄러운 경보 규칙이 내일 사라진다면 우리는 무엇을 잃을까요? 물량 상위 다섯 규칙 각각에 대해 질문하십시오. 아무도 그 규칙이 잡은 구체적 실패를 말하지 못하는 경우가 흔하며, 그것은 조정하거나 제거할 수 있다는 신호입니다. 말할 수 있는 사람이 있다면 그 실패가 증상 경보도 울렸을지 물으십시오.

3. 모니터링이 놓친 것을 우리는 어떻게 알아내나요? 최근 몇 건의 인시던트를 보고 누가 먼저 알아차렸는지, 그 전에 영향이 얼마나 지속되었는지 물으십시오. 답은 새 도구 없이 모니터링 감지 비중과 대략적인 감지까지의 시간을 줍니다. 각각을 더 일찍 잡았을 신호가 무엇이었을지 논의하십시오.

4. 우리의 온콜 부하는 지속 가능하며, 어떻게 알까요? 주당 근무 시간 외 호출 한도처럼 순환 근무에 지속 가능함이 무엇인지 합의하고, 사람별이 아니라 순환 근무별로 추세를 검토하십시오. 부하가 합의된 수준 위에 있다면 서비스 결함으로 다루고 줄이는 작업을 계획하십시오. 측정치를 주제 5.7, 토일과 온콜 지표와 일관되게 유지하십시오.

5. 우리 경보 중 한 번도 시험하지 않은 것은 무엇이며, 어떻게 안전하게 시험할 수 있을까요? 단일 증상 경보에 의존하는 서비스를 나열하고, 누가 그것이 실제 상황이나 리허설에서 울리는 것을 본 적이 있는지 물으십시오. 시험 하나를 계획하고 감지, 라우팅, 알림, 런북의 전체 경로를 점검하십시오. 실패하는 경보 파이프라인이 보이기는 할지 생각해 보십시오.

6. 여기서 이 숫자들은 어떻게 악용될 수 있으며, 우리는 무엇을 알아차릴까요? 팀에게 아무것도 개선하지 않고 각 수치를 더 좋아 보이게 만들 방법을 솔직하게 설명하라고 하십시오. 그런 다음 어떤 방호책이 그것을 보여 줄지와 누가 보는지 합의하십시오. 속임수를 미리 명명하면 덜 유혹적입니다(주제 1.2, 굿하트의 법칙과 지표의 심리학 참조).

네 가지 관점

제품 및 전달 팀

서비스를 만들고 운영하는 팀이 그것이 자신에 대해 무엇을 보고할지 결정하므로, 경보 품질은 완료의 정의에서 시작합니다. 시험된 자체 지표와 경보와 함께 출시되는 새 기능은 첫 인시던트 뒤에 덧붙인 모니터링을 피합니다. 경보 조정을 일반 백로그 작업으로 다루십시오.

서비스 및 운영 팀

운영 팀이 호출기를 들고 비용을 가장 먼저 느끼므로, 검토 리듬, 라벨링, 파이프라인 하트비트를 소유합니다. 경보가 틀렸을 때 해법은 호출을 받은 사람이 아니라 규칙의 소유자에게 있습니다.

리더십과 거버넌스

리더는 서비스별 감지와 실행 가능성 수치를 요청하고, 조정 시간에 자금을 대고, 침묵을 보상하는 경보 물량 목표에 저항할 수 있습니다. 물량 감소는 감지 비중과 감지까지의 시간이 유지될 때만 좋은 소식입니다. 지속 가능한 온콜 한도는 동기 부여가 아니라 인력과 설계의 결정입니다.

고객과 사용자

고객은 경보를 결코 보지 못합니다. 서비스가 실패했는지와 고치는 데 얼마나 걸렸는지를 봅니다. 좋은 모니터링은 고객이 알아차리기 전에 고쳐진 인시던트와 고객이 먼저 보고하는 경우의 감소로 나타납니다. 조직이 경험 측정치를 쓰는 곳에서는(주제 5.1, SLA, OLA, XLA 지표 참조) 사용자가 먼저 보고한 인시던트의 비중이 경험 간극의 직접 지표입니다.

실제 적용: 서비스 관리 사례

중견 온라인 소매업체가 네 개의 제품 팀과 온콜 순환 근무를 지원하는 하나의 플랫폼 팀으로 주문 플랫폼을 운영합니다. 이 사례의 모든 숫자는 예시입니다. 4주(예시) 동안 순환 근무는 호출 240건을 받았고 그중 70건은 22시에서 07시 사이였습니다. 팀은 네 가지 라벨로 모든 호출을 검토합니다. 실행 가능, 거짓 양성, 실제지만 호출할 가치 없음, 중복입니다.

검토는 실행 가능한 경보 비율 31퍼센트(예시)와 거짓 양성률 22퍼센트(예시)를 보여 줍니다. 규칙 다섯 개가 호출의 58퍼센트(예시)를 만들었고, 가장 큰 것은 늘 스스로 복구되는 배치 서버의 디스크 임계값이었습니다. 이전 분기의 모니터링 감지 비중은 62퍼센트(예시)였고, 감지까지의 시간 중앙값은 14분(예시), 95번째 백분위수는 51분(예시)이었습니다.

팀은 시끄러운 규칙 셋을 티켓 큐로 강등하고, 중복을 병합해 결함 하나가 호출 하나를 만들게 하고, 결제의 원시 오류 건수 경보를 오류 예산 소진율 경보로 대체하고(주제 5.2, SLI, SLO, 오류 예산 참조), 고객이 보고한 인시던트 둘 뒤에 있던 간극인 주문 확인 이메일에 대한 증상 경보를 추가합니다. 각 변경은 소유자가 있는 백로그 항목입니다. 4주 뒤 호출은 96건(예시)으로 줄고 실행 가능 비율은 64퍼센트(예시)로 오르며, 감지 비중은 71퍼센트(예시)로 오르고 감지까지의 시간 중앙값은 14분으로 유지됩니다. 고요함이 얻은 것으로 보입니다.

악용 위험은 세 번째 달에 나타납니다. 새 관리자가 4주당 호출 60건 미만이라는 비공식 목표를 세우고, 한 순환 근무가 결제 오류 경보의 지연을 늘려 그것에 도달합니다. 감지 비중은 55퍼센트(예시)로 떨어지고 95번째 백분위수 감지까지의 시간은 80분(예시)으로 오릅니다. 방호책이 물량 옆에 있었기 때문에 검토가 그것을 잡아냅니다. 팀은 물량 목표를 철회하고, 경보를 복원하고, 사례를 지표 레지스트리에 기록합니다(주제 1.4, 지표 거버넌스와 소유권 참조).

애자일, AI, 자동화, 분석

애자일

경보를 온콜 담당자가 쓰는 제품으로 정기 주기에 검토하고, 이해관계자와 함께 시끄러운 것을 폐기하거나 조정하십시오. 주의할 점은 경보 물량을 줄이라는 목표가 유용한 경보를 없앨 수 있다는 것입니다.

AI

AI는 경보를 묶고, 요약하고, 순위를 매기고, 원인을 제안할 수 있습니다. 잡음 감소를 실제 인시던트의 놓침률과 짝지우고, 사람이 쪼개거나 병합한 AI 묶기의 비중을 추적하십시오. 주의할 점은 모델의 억제가 드물지만 심각한 경보를 가릴 수 있다는 것입니다.

자동화

규칙별, 결과별로 경보를 자동으로 세고, 경보 자동화를 억제 오류로 측정하십시오. 주의할 점은 규칙이 그저 깜빡이는 것일 때 자동 해소된 경보가 건강한 시스템처럼 보일 수 있다는 것입니다.

분석

실행 가능한 경보 비율과 감지 포괄률을 사용자가 먼저 알아차린 인시던트와 함께 보고하십시오. 이는 어떤 경보를 고치거나 없앨지에 정보를 줍니다. 주의할 점은 알려진 인시던트에 비춰 측정한 포괄은 아직 아무도 보지 못한 실패 양상을 무시한다는 것입니다.

부문별 관점

스타트업. 모든 엔지니어가 온콜인 소수의 팀에서는 짧은 호출 정책과 돈을 버는 경로의 몇 가지 증상 경보가 우선입니다. 월요일 10분 동안 무엇이 사람들을 깨웠는지 보는 것으로 충분합니다. 주된 위험은 경보가 전혀 없어서 고객이 모니터링이 되는 것입니다. 고객이 먼저 알려 준 횟수를 세십시오.

소규모 사업. 작은 조직은 공급업체의 모니터링에 의존하는 경우가 많습니다. 유용한 측정치는 사업을 멈추게 하는 소수 시스템의 감지 포괄률과 사용자가 발견한 인시던트의 비중입니다. 공급업체에 계약이 부여하는 경보 데이터를 요청하십시오.

대기업. 대규모 조직에는 많은 도구와 순환 근무가 있고 팀마다 "실행 가능"을 다르게 정의할 수 있습니다. 정의와 라벨을 표준화하고, 팀 수준에서 검토하고, 도구가 아니라 서비스별로 집계하십시오. 이벤트 상관 분석 플랫폼은 대규모로 물량을 줄이지만 자체 재현율 점검이 필요합니다.

정부 및 공공 부문. 일부 서비스는 근무 시간에 운영되고, 응급이나 급여 시스템 같은 다른 서비스는 연속으로 운영됩니다. 감지 포괄률과 시험된 경보는 실패가 법적이거나 안전상의 결과를 갖는 곳에서 가장 중요하며, 시험 기록이 감사를 뒷받침할 수 있습니다. 오해하기 쉬운 원시 경보 건수가 아니라 포괄과 감지를 감독 기관에 보고하십시오(주제 8.5, 규제 및 정부 보고 참조).

비즈니스 케이스: 동기, ROI, TCO

투자할 이유는 실용적입니다. 더 나은 감지는 사용자가 영향받는 시간을 줄입니다. 무의미한 호출이 줄면 수면을 지키고, 순환 근무의 이탈을 줄이고, 중요한 경보를 위한 주의를 보존합니다. 나쁜 경보 품질의 비용은 방해받은 수면, 느린 대응, 숙련된 엔지니어의 이탈에 퍼져 있어서 보기 어렵습니다.

이 지표를 수집하는 비용은 경보, 호출, 인시던트 도구를 결합할 수 있다면 작고, 라벨을 손으로 추가한다면 보통입니다. 주요 비용은 주간 검토 시간, 조정과 삭제 작업, 가끔의 감지 시험입니다. 쓰이지 않는 규칙을 정리하면 모니터링 라이선스와 저장 비용도 줄어들며, 총소유비용에는 사람의 시간을 포함해야 합니다.

수익은 몇 달 안에 더 조용한 순환 근무, 오르는 모니터링 감지 비중, 나빠지지 않는 감지까지의 시간으로 나타납니다. 이를 돈으로 바꾸려면 인시던트 시간과 순환 근무 이직의 비용을 검토의 비용과 자체 수치로 비교하십시오. 검증된 출처를 인용할 수 없다면 업계 평균을 쓰지 마십시오.

안티패턴과 함정

  • 경보 물량을 목표로 삼기. 건수에 대한 목표는 침묵을 보상하고 경보를 숨기도록 부추깁니다. 실행 가능한 경보 비율과 감지 비중에 목표를 두고, 물량은 팀이 고른 지속 가능성 한도가 있는 맥락 수치로 쓰십시오.
  • 모든 원인에 경보 울리기. 수십 개의 원인 수준 호출은 잡음을 만들면서도 아무도 생각하지 못한 증상을 여전히 놓칩니다. 대신 사용자 대면 증상에 경보를 울리십시오.
  • 인시던트마다 경보를 추가하고 하나도 제거하지 않기. 모든 새 경보를 그것이 중복으로 만드는 경보의 검토와 짝지우십시오.
  • 라벨 없이 경보 세기. 유용성에 대한 판단 없는 건수는 시끄러운 순환 근무와 바쁜 순환 근무를 구분하지 못합니다. 몇 분밖에 없더라도 매주 표본에 라벨을 다십시오.
  • 포괄을 경보 수로 취급하기. 원인 경보 쉰 개에 증상 경보가 없는 서비스는 포괄이 부족합니다. 포괄을 시험된 증상 감지로 정의하십시오.
  • 처리하거나 확인한 호출 수로 사람의 순위 매기기. 어려운 교대를 맡는 순환 근무 구성원을 벌하고 호출기를 피하도록 부추깁니다. 순환 근무와 서비스별로 보고하고 설계 해법을 찾으십시오.
  • 경보 경로를 시험하지 않기. 작동하는 것을 본 적 없는 경보는 가정입니다. 게임 데이에 경보 시험을 포함하고 파이프라인 자체를 모니터링하십시오.

성숙도 모델

차원 시작 발전 표준화 관리 조율
호출 정책과 규칙 소유권 경보를 임시로 추가함, 많은 경보가 왜 있는지 아무도 모름 일부 팀에 규칙의 정책과 소유자가 있음 짧은 호출 정책 하나, 모든 호출 규칙에 소유자와 런북이 있음 규칙 최신성을 추적하고 검토함, 쓰이지 않는 규칙을 일정에 따라 제거함 서비스가 바뀌면 팀과 공급업체에 걸쳐 정책과 소유권을 조정함
경보 품질 측정 잡음에 대한 불만, 건수 없음 일부 팀이 물량을 셈, 라벨링 없음 공통 라벨이 있는 주간 검토, 서비스별로 보고하는 실행 가능한 경보 비율과 거짓 양성률 비율을 추세로 보고 감지 측정치와 짝지움, 개선 작업에 자금을 댐 서비스와 공급업체에 걸쳐 품질을 연결하고 결정에 정보를 주지 못하면 정의를 개정함
감지와 포괄 고객과 동료가 대부분의 문제를 보고함 몇몇 핵심 서비스에 증상 경보 시험된 경보로 감지 포괄률을 추적하고 모든 인시던트에 첫 신호를 기록함 방호책과 함께 감지까지의 시간과 모니터링 감지 비중을 검토함, 간극이 계획된 작업이 됨 경보 파이프라인을 포함해 의존성과 공급업체에 걸쳐 감지를 일상적으로 시험함
개선에서의 활용 경보 수정이 최악의 밤을 뒤따름 수정이 인시던트를 뒤따름 각 검토가 최소 하나의 변경을 낳음 변경을 물량, 실행 가능성, 감지에 대한 효과까지 추적함 투자를 이끌려고 순환 근무 부하, 감지, 오류 예산을 함께 검토함

체크리스트

  • 무엇이 호출을 얻는지 말하는 몇 문장의 서면 호출 정책이 있다.
  • 모든 호출 규칙에 소유자, 목적, 런북 링크가 있다.
  • 각 순환 근무가 최소 매주 무엇이 울렸는지 검토하고 각 경보에 라벨을 단다.
  • 각 검토가 규칙에 대한 기록된 변경을 최소 하나 낳는다.
  • 경보 물량, 실행 가능한 경보 비율, 거짓 양성률을 순환 근무와 서비스별로 보고하며 사람별로는 하지 않는다.
  • 모든 인시던트가 처음 어떻게 감지되었는지 알 수 없음 선택지와 함께 기록한다.
  • 서비스 수준 지표 이력에서 영향 시작을 추정하고 감지까지의 시간의 중앙값과 95번째 백분위수를 보고한다.
  • 각 범위 안 서비스에 지난 12개월 안에 시험한 증상 경보가 있다.
  • 경보 파이프라인이 멈추면 하트비트 점검이 호출한다.
  • 각 순환 근무의 지속 가능한 근무 시간 외 부하에 합의하고 검토한다.
  • 경보 물량만으로 목표를 세우지 않는다.

AI 프롬프트

목적: 서비스의 지표와 결과에서 호출 정책의 초안을 작성합니다.

[서비스 이름] 서비스의 호출 정책 초안 작성을 도와주세요.
맥락: 사용자는 [사용자 그룹]입니다. 우리가 신경 쓰는 사용자 대면 증상은 [증상, 예: 오류, 지연, 사용 불가]입니다. 놓친 실패의 결과는 [결과]입니다. 온콜 순환 근무는 [순환 근무 설명, 예: 시간과 팀 규모]입니다.
무엇이 호출을 얻고, 무엇이 티켓 큐로 가고, 무엇이 대시보드에 남는지 말하는 짧은 정책(200단어 미만)을 작성해 주세요.
임계값이나 기준 값을 지어내지 말고, 우리가 자체 데이터로 정할 수 있도록 [임계값] 자리표시자를 남겨 주세요.
확정하기 전에 우리에게 물을 질문을 나열하고, 가정한 내용도 나열해 주세요.

내보낸 경보 검토에서 잡음 패턴을 분석합니다.

[기간] 동안 순환 근무 [순환 근무 이름]의 경보 표를 다음 열과 함께 붙여 넣겠습니다: [열 이름, 예: 규칙, 시각, 라벨, 취한 조치, 서비스].
내가 붙여 넣은 데이터만 사용해서 실행 가능한 경보 비율, 거짓 양성률, 근무 시간 외 비중, 가장 시끄러운 다섯 규칙에서 나온 경보의 비중을 계산해 주세요.
어떤 규칙을 조정하고, 병합하고, 강등하고, 삭제할지 각각 이유와 함께 제안하고, 각 제안을 확인할 가설로 표시해 주세요.
규칙, 서비스, 순환 근무별로 보고하고 사람별로는 하지 마세요. 기준 값을 지어내지 마세요.
가정한 내용과 제외한 행을 나열해 주세요.

게시하기 전에 경보 지표 집합의 악용 위험을 점검합니다.

다음은 게시할 계획인 경보 품질 지표입니다: [정의와 공식이 있는 지표 목록].
각 지표에 대해 [조직 유형과 서비스]라는 우리 맥락에서 악용되거나 오해될 수 있는 두 가지 방법을 설명하고, 같은 목록의 짝을 이루는 방호책이나 우리가 채택할 수 있는 실천을 제안해 주세요.
방호책 없이 표시되는 지표를 짚어 주세요.
출처나 기준 값을 지어내지 마세요.
우리 도구가 경보와 인시던트를 기록하는 방식에 대한 가정을 나열해 주세요.

포괄이 약한 서비스의 감지 시험을 계획합니다.

우리 서비스는 [서비스 목록]이고, 존재한다고 믿는 증상 경보는 [경보 목록]입니다.
다음 [게임 데이 또는 리허설]에서 각 서비스에 대해 의도적인 증상이 경보를 울리고, [순환 근무]에 도달하고, 런북에 연결되는지 점검하는 안전한 시험 계획을 제안해 주세요.
누구에게 사전에 알려야 하는지와 감지 포괄률을 위해 결과를 어떻게 기록할지 말해 주세요.
도구 기능을 지어내지 말고, [모니터링 도구]가 어떻게 작동하는지 내게 물어보세요.
가정한 내용을 나열해 주세요.

AI 스킬

핵심 정리

  • 경보는 조치로 이어졌는지로, 모니터링은 실제 문제를 얼마나 잡았는지로 판단하십시오. 정밀도와 재현율은 서로를 지킵니다.
  • 사용자가 느끼는 증상에 호출하고, 있는 곳에서는 임계값을 서비스 수준 목표에 묶고, 원인은 진단용으로 두십시오.
  • 매주 무엇이 울렸는지 검토하고, 라벨을 달고, 매번 최소 하나를 변경하십시오.
  • 경보 물량만으로 목표를 세우지 말고, 실행 가능한 경보 비율, 모니터링 감지 비중, 감지까지의 시간 옆에서 읽으십시오.
  • 시험하지 않은 경보는 가정이므로 경보와 경보 파이프라인을 시험하십시오.
  • 순환 근무와 서비스별로 보고하고 사람별로는 하지 말며, 지속 가능한 온콜 부하를 설계 목표로 다루십시오.

참고 문헌과 더 읽을거리

  1. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, "Monitoring Distributed Systems," https://sre.google/sre-book/monitoring-distributed-systems/
  2. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, "Practical Alerting from Time-Series Data," https://sre.google/sre-book/practical-alerting/
  3. Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, "Alerting on SLOs," https://sre.google/workbook/alerting-on-slos/
  4. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  5. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  6. Wikipedia, System monitoring.
  7. Wikipedia, False positives and false negatives.
  8. Wikipedia, Precision and recall.
  9. Wikipedia, Signal-to-noise ratio.
  10. Wikipedia, Alarm fatigue.
  11. Wikipedia, On-call.
  12. Wikipedia, Site reliability engineering.
  13. Wikipedia, Service-level objective.