관측 가능성과 텔레메트리 지표
관측 가능성은 운영 중인 서비스에 새로운 질문을 던지고 그 서비스 자체의 신호에서 답을 얻는 능력이므로, 대시보드나 데이터 물량을 세는 대신 서비스를 얼마나 볼 수 있는지, 신호의 품질이 어떤지, 신호가 얼마나 빨리 이해로 이어지는지, 텔레메트리에 얼마가 드는지를 측정하십시오.
개요와 동기
관측 가능성은 시스템의 속성입니다. 시스템이 만들어 내는 출력으로 그 내부 상태를 얼마나 잘 이해할 수 있는가입니다. 실제로 그 출력을 텔레메트리라 부르며, 보통 세 종류로 묶습니다. 로그는 개별 사건의 기록입니다. 지표는 요청률이나 오류율처럼 시간에 따른 수치 측정입니다. 트레이스는 분산 시스템의 여러 부분을 거치는 단일 요청을 따라갑니다. 많은 팀이 프로파일, 사용자 기기의 이벤트, 비즈니스 이벤트를 더합니다.
모니터링은 "오류율이 임계값을 넘었는가?" 같은 알려진 질문을 던지고 답이 그렇다면 경보를 냅니다. 관측 가능성은 "이 지역의 요청이 이 고객 부문에서 왜 느린가?" 같은, 계획하지 않은 질문을 팀이 던지게 하려는 것입니다. 둘 다 필요합니다. 모니터링은 앞선 주제에서 다뤘습니다(주제 5.5, 모니터링과 경보 품질 지표 참조). 이 주제는 신호 자체의 품질과 그것으로 시스템을 이해하는 실천을 다룹니다.
텔레메트리에는 비용과 위험이 있습니다. 모든 것을 수집하면 저장과 돈이 많이 들고, 개인 정보나 기밀 데이터를 포착할 수 있습니다. 너무 적게 수집하면 인시던트 동안 팀이 앞을 보지 못합니다. 텔레메트리는 앞선 주제의 의미에서 데이터이기도 하므로(주제 10.8, 분석과 데이터 품질 지표 참조) 완전성, 시의성, 계보의 질문이 있습니다. 그리고 AI 도구가 텔레메트리를 읽어 인시던트를 요약하고 원인을 제안하므로, 요약이 옳은지는 신호의 품질이 정합니다.
여기서 쓰는 용어입니다. 신호는 로그, 지표, 트레이스 같은 텔레메트리의 흐름입니다. 계측은 신호를 만드는 코드입니다. 카디널리티는 지표의 레이블이 가지는 서로 다른 값의 수이며, 높은 카디널리티는 비용을 늘립니다. 서비스 수준 지표(SLI)는 사용자가 경험하는 서비스의 한 측면을 측정합니다(주제 5.2, SLI, SLO, 오류 예산 참조). 표본 추출은 데이터의 일부만 유지해 비용을 아끼고 세부를 잃습니다. 보존은 데이터를 얼마나 오래 유지하는가입니다. 상관은 공유 식별자를 통해 같은 요청이나 사건을 설명하는 신호를 연결하는 것입니다.
핵심 원칙
- 물량이 아니라 질문을 위해 계측하십시오. 사용자 경험과 시스템 행동에 대한 질문에 답하는 신호를 고르십시오.
- 볼 수 있는 것과 볼 수 없는 것을 측정하십시오. 서비스와 여정의 포괄이 사각지대를 보여 줍니다.
- 신호는 연결되어야 합니다. 로그, 트레이스, 지표를 잇는 식별자가 이해를 빠르게 합니다.
- 텔레메트리는 비용이자 위험입니다. 예산을 잡고, 이유와 규칙이 없다면 개인 및 기밀 데이터를 빼 두십시오.
- 관측 가능성은 사람을 섬깁니다. 이해까지의 시간과 온콜 사람들의 경험을 측정하십시오.
- 개방 표준은 종속을 줄입니다. 맞는 곳에서는 계측에 공통 형식을 선호하고 현재 명세를 확인하십시오.
지표 정의
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 |
|---|---|---|---|---|---|---|---|
| 계측 포괄률 | 합의된 핵심 신호를 내보내는 서비스와 핵심 사용자 여정의 비율 | 합의된 표준을 충족하는 로그, 지표, 트레이스가 있는 서비스 또는 여정 / 서비스 카탈로그의 서비스 또는 여정 | 퍼센트 | 서비스 카탈로그와 텔레메트리 플랫폼 목록 | 모니터링 및 이벤트 관리, 서비스 구성 관리 | 새 서비스에 대한 완료의 정의 | 분기 |
| 트레이스 완전성 | 진입부터 마지막 의존성까지 끊김 없는 트레이스가 있는 표본 요청의 비율 | 트레이스가 기대한 모든 홉에 걸치는 요청 / 점검한 표본의 요청 | 퍼센트 | 트레이싱 플랫폼과 표본 점검 | 모니터링 및 이벤트 관리 | 기능에서의 관측 가능성 시험 | 월 |
| 신호 상관율 | 로그, 지표, 트레이스를 식별자로 연결할 수 있었던 인시던트의 비율 | 타임라인 검토에서 연결이 작동한 인시던트 / 검토한 인시던트 | 퍼센트 | 인시던트 검토와 트레이싱 플랫폼 | 인시던트 관리, 문제 관리 | 회고 조치 | 분기 |
| 이해까지의 시간 | 탐지부터 원인에 대한 기록된 작동하는 설명까지의 시간 | 원인이 기록된 인시던트에 대한 (첫 작동하는 원인이 기록된 시각 빼기 인시던트가 탐지된 시각)의 중앙값과 85번째 백분위수 | 분 | 인시던트 타임라인과 검토 메모 | 인시던트 관리 | 비난 없는 검토 | 분기 |
| 서비스당 텔레메트리 비용 | 서비스의 사용 단위당 서비스에 귀속된 텔레메트리 지출 | 서비스에 배분된 텔레메트리 비용 / 요청 1,000건 같은 밝힌 사용 단위 | 단위당 통화 | 텔레메트리 청구 및 사용 데이터 | 재무 관리 | 설계 입력으로서의 비용 | 월 |
| 텔레메트리 속 민감 데이터 | 있어서는 안 될 데이터가 들어 있는 확인된 레코드의 수 | 기간 중 스캔이나 검토로 찾은 확인된 사례 | 건수 | 텔레메트리 스캔과 검토 | 정보 보안 관리 | 완료의 정의, 개인정보 검토 | 월 |
| 사각지대 인시던트 | 사용자가 먼저 보고했고 텔레메트리에 징후가 없었던 인시던트 | 관련 경보나 신호 없이 사용자가 먼저 보고한 인시던트 / 기간 중 인시던트 | 퍼센트 | 인시던트 레코드와 검토 메모 | 인시던트 관리, 모니터링 | 회고 조치 | 분기 |
계측 포괄률은 지표 레지스트리에 밝힌 요청률, 오류율, 지연, 트레이스 식별자 같은 합의된 핵심 표준에 달려 있습니다. 이해까지의 시간은 원인이 기록된 인시던트만 세므로 알려진 원인이 없는 인시던트는 따로 보고합니다.
권장 사항
무엇을 볼지 결정하십시오
1. 사용자 여정과 서비스 수준에서 시작하십시오. 중요한 여정과 사용자가 성공하는지를 보여 주는 지표를 나열하십시오. 텔레메트리를 성과에 묶으므로 그것들을 먼저 계측하십시오(주제 5.2, SLI, SLO, 오류 예산 참조).
2. 핵심 표준에 합의하십시오. 모든 서비스가 내보내는 최소 신호와 이름 및 식별자 규약을 정의하십시오. 표준을 새 서비스의 완료의 정의에 넣으십시오.
3. 포괄을 정직하게 매핑하십시오. 서비스 카탈로그를 핵심 신호를 내보내는 서비스와 비교하십시오. 간극과 소유자를 나열하고, 사용자 영향이 가장 큰 것부터 다루십시오.
신호를 유용하게 만드십시오
4. 공유 식별자로 신호를 연결하십시오. 사람이 느린 요청에서 정확한 로그 줄로 이동할 수 있도록 요청 또는 트레이스 식별자를 로그, 지표, 트레이스에 걸쳐 전달하십시오. 훈련에서 이를 시험하십시오.
5. 계측을 코드처럼 시험하십시오. 큐에서 끊기는 트레이스나 시간대가 틀린 로그는 인시던트를 낭비합니다. 표본 요청으로 완전성을 점검하고 끊김을 고치십시오.
6. 카디널리티와 표본 추출을 의도적으로 통제하십시오. 높은 카디널리티의 레이블은 큰 비용을 만들 수 있고, 표본 추출은 필요한 드문 사건을 떨어뜨릴 수 있습니다. 어디서 표본을 뽑을지 정하고, 비율을 기록하고, 감당할 수 있는 곳에서는 오류와 느린 요청의 전체 데이터를 유지하십시오.
7. 민감한 데이터를 빼 두십시오. 개인 데이터, 자격 증명, 건강 또는 결제 세부 정보처럼 로그와 트레이스에 나타나면 안 되는 것을 정하십시오. 스캔하고 원천을 고치십시오. 이 책은 법률 자문을 제공하지 않으므로 법률 자문과 의무를 확인하십시오.
이해를 측정하십시오
8. 고치는 시간만이 아니라 이해까지의 시간을 측정하십시오. 탐지부터 작동하는 설명까지의 시간은 신호가 사람들을 얼마나 잘 뒷받침하는지 보여 줍니다. 가장 긴 사례를 검토해 어떤 신호가 없었는지 보십시오.
9. 사각지대를 세십시오. 사용자가 먼저 찾은 인시던트는 간극의 가장 분명한 증거입니다. 각각에 대해 어떤 신호가 그것을 보여 줬을지 묻고 더하십시오.
10. 대시보드와 경보의 사용을 검토하십시오. 아무도 열지 않는 대시보드와 행동으로 이어지지 않는 경보를 폐기하십시오(주제 5.5, 모니터링과 경보 품질 지표 참조). 사람들이 신뢰하는 더 작은 집합이 차트의 벽보다 낫습니다.
비용과 표준을 관리하십시오
11. 텔레메트리 비용을 예산 잡고 귀속하십시오. 비용을 서비스에 배분하고 추세를 지켜보십시오. 가치로 보존을 정하십시오. 상세한 데이터는 짧게, 요약은 더 길게 유지하고, 쓸모없는 것은 삭제하십시오.
12. 맞는 곳에서는 개방 표준을 선호하십시오. OpenTelemetry 프로젝트가 유지하는 것 같은 공통 계측 및 데이터 형식은 도구를 바꾸기 쉽게 합니다. 표준과 제품이 바뀌므로 약속하기 전에 현재 명세와 도구의 지원을 확인하십시오.
악용 방식과 방호책
| 지표 | 악용되는 방식 | 짝을 이루는 방호책 지표 또는 실천 |
|---|---|---|
| 계측 포괄률 | 표준을 통과하려고 모든 서비스에 최소한의 신호를 더함, 어려운 서비스를 카탈로그에서 제외함 | 트레이스 완전성과 사각지대 인시던트, 카탈로그의 누락 검토 |
| 트레이스 완전성 | 단순한 요청만 표본 추출함, 부분 트레이스를 완전한 것으로 셈 | 요청 유형별로 점검 표본을 정의, 의존성 포괄 점검 |
| 신호 상관율 | 잘 풀린 인시던트만 검토함, 서류상으로만 있는 연결을 셈 | 인시던트의 무작위 표본 검토, 연결 훈련 실행 |
| 이해까지의 시간 | 원인을 일찍 느슨하게 기록함, 어려운 사례는 원인을 비워 둠 | 원인 기록의 품질 검토, 원인 없는 인시던트를 따로 보고 |
| 서비스당 텔레메트리 비용 | 비용을 줄이려고 신호를 빼 버림, 비용을 다른 계정으로 옮김 | 사각지대 인시던트와 이해까지의 시간, 총지출 조정 |
| 텔레메트리 속 민감 데이터 | 너무 좁게 스캔함, 발견을 보고하지 않음 | 스캔 포괄과 독립적 검토, 제거까지의 시간 추적 |
| 사각지대 인시던트 | 사용자가 보고한 뒤에 경보가 울렸는데 탐지된 것으로 셈, 신호를 넓게 정의함 | 첫 신호와 첫 사용자 보고의 타임스탬프 비교, 표본 검토 |
건강한 수치는 완전한 트레이스와 연결의 수와 함께 오르는 포괄, 사용자가 먼저 찾은 인시던트 비중의 하락, 신호를 줄이지 않고 줄어드는 이해까지의 시간, 이해되고 귀속된 텔레메트리 비용, 빨리 고쳐지는 민감 데이터 발견입니다.
상충 관계: 장점과 단점
| 접근 방식 | 강점 | 약점 |
|---|---|---|
| 모든 것을 수집하고 오래 유지 | 조사 능력이 최대 | 높은 비용과 위험, 검색하기 어려움 |
| 표본 추출하고 짧게 보존 | 더 낮은 비용 | 드문 사건과 오래된 인시던트를 놓칠 수 있음 |
| 서비스 전반의 표준 계측 | 일관됨, 더 빠른 이해 | 도입 노력, 모든 서비스에 맞지 않을 수 있음 |
| 팀이 고른 계측 | 지역 필요에 맞음 | 일관되지 않음, 신호를 연결하기 어려움 |
| 텔레메트리의 AI 요약 | 더 빠른 첫 관점 | 틀릴 수 있음, 신호 품질에 의존 |
산문의 결론은 오류와 느린 요청에는 풍부한 데이터를 유지하고, 일상적인 것은 표본을 뽑고, 가치로 보존을 정하는 것입니다. 소박하고, 일관되고, 연결된 신호 집합이 연결되지 않은 큰 더미보다 낫습니다.
팀과 논의할 질문
1. 마지막 인시던트에서 우리가 알고 싶었지만 알아낼 수 없었던 것은 무엇이었나요? 이것이 빠진 신호를 드러냅니다. 사람들에게 질문과 어디를 살펴봤는지 떠올려 달라고 하십시오. "어떤 고객이 영향을 받았는가"나 "무엇이 바뀌었는가" 같은 답을 예상하십시오. 누가 신호를 더하고 어떻게 시험할지 결정하며 후속 조치를 하십시오.
2. 가장 중요한 사용자 여정이 실패하고 있음을 우리는 어떻게 알까요? 여정을 단계별로 훑어보십시오. 각 단계에서 어떤 신호가 성공을 보여 주고 얼마나 빨리 보여 주는지 물으십시오. 신호가 없는 단계를 찾으십시오. 가장 약한 단계에 지표를 더하며 후속 조치를 하십시오.
3. 사용자의 클릭부터 데이터베이스를 거쳐 돌아오기까지 요청 하나를 따라갈 수 있나요? 실시간으로 해 보십시오. 큐나 제3자 호출처럼 트레이스가 끊기는 곳을 알아차리십시오. 맞는 로그 줄을 찾는 데 얼마나 걸리는지 물으십시오. 가장 큰 끊김을 고치며 후속 조치를 하십시오.
4. 텔레메트리에 얼마를 쓰며, 그 대가로 무엇을 얻나요? 많은 팀이 서비스별 비용을 모릅니다. 지난 분기에 어떤 신호를 썼는지 물으십시오. 해 없이 표본을 뽑거나 삭제할 수 있는 것을 논의하십시오. 검토할 신호 하나를 골라 후속 조치를 하십시오.
5. 지금 우리 로그와 트레이스에 어떤 민감한 정보가 있을 수 있나요? 함께 예를 찾아보십시오. 흔한 경우는 이메일 주소, 토큰, 자유 텍스트 필드입니다. 어떻게 거기 들어갔고 누가 읽을 수 있는지 물으십시오. 규칙과 스캔에 합의하며 후속 조치를 하십시오.
6. 우리 텔레메트리에 AI 도구를 어떻게 쓰고 있으며, 그것이 말하는 것을 누가 점검하나요? 점검되지 않은 인시던트 요약에 귀 기울이십시오. 어떤 데이터가 어떤 조건으로 도구에 보내지는지 물으십시오. 사람이 제안된 원인을 검증하는 방법을 논의하십시오. 짧은 규칙을 쓰며 후속 조치를 하십시오.
네 가지 관점
제품 및 전달 팀
서비스가 무엇을 내보낼지는 당신이 결정합니다. 만들면서 계측을 더하고, 신호를 잇는 식별자를 포함하고, 작업의 일부로 시험하십시오. 다음 인시던트가 대가를 치를 것이므로 빠진 관측 가능성을 결함으로 다루십시오.
서비스 및 운영 팀
압박 속에서 텔레메트리를 씁니다. 어떤 신호가 도움이 되었고 어떤 것이 없었는지 팀에 알리고, 경보를 사용자 영향에 묶어 두십시오. 이해까지의 시간과 사각지대 인시던트를 추적해 제품 팀에 가져가십시오.
리더십과 거버넌스
관측 가능성을 서비스의 일부로 보고 텔레메트리와 간극을 고치는 예산을 편성하십시오. 대시보드의 수가 아니라 포괄, 사각지대 인시던트, 비용 추세를 요청하십시오. 민감한 데이터와 텔레메트리에 대한 AI 도구의 사용에 대한 규칙을 정하십시오.
고객과 사용자
문제를 가장 먼저 알아차리는 경우가 많으므로, 어떻게 보고하고 얼마나 빨리 서비스의 신호에 연결되는지 물으십시오. 당신의 보고가 사각지대를 줄이며, 무엇을 배웠는지 들을 자격이 있습니다. 당신에 대해 어떤 텔레메트리가 수집되고 왜 수집되는지 물으십시오.
실제 적용: 서비스 관리 사례
한 중견 온라인 소매업체가 여덟 개의 더 작은 서비스로 이루어진 결제 서비스를 운영합니다. 이 사례의 숫자는 예시입니다. 고객들이 가끔 결제에서 실패한다고 보고하지만 대시보드는 건강한 오류율과 정상 지연을 보여 줍니다.
팀은 측정합니다. 계측 포괄률은 8개 서비스 중 6개가 핵심 표준을 충족합니다. 표본으로 뽑은 결제 요청 50건의 점검은 트레이스 완전성이 62퍼센트임을 보여 주는데, 트레이스가 메시지 큐와 제3자 결제 호출에서 끊기기 때문입니다. 최근 인시던트 여섯 건에서 신호 상관율은 여섯 중 둘이며, 로그가 트레이스와 다른 요청 식별자를 쓰기 때문입니다. 사각지대 인시던트는 여섯 중 셋입니다.
팀은 큐와 로그에 단일 요청 식별자를 전달하고, 결제 호출에 트레이스 스팬을 더하고, 빠진 두 서비스를 계측합니다. 한 달 뒤 표본 점검에서 트레이스 완전성이 약 90퍼센트에 이르고, 다음 인시던트는 이전의 몇 시간에 비해 35분 만에 작동하는 설명을 얻습니다. 로그를 스캔하다가 오류 메시지에서 고객 이메일 주소를 찾아 원천에서 제거하고, 민감 데이터 발견은 다음 달에 0으로 떨어집니다.
악용 위험이 나타납니다. 한 관리자가 남은 두 서비스를 "범위 밖"으로 표시해 계측 포괄률을 올리자고 요청합니다. 팀은 사각지대 인시던트 수가 계속 높을 것이므로 거절하고, 간극을 소유자와 함께 기록합니다. 남은 어려움은 결제 요청당 텔레메트리 비용이 올랐고 트레이스를 얼마나 오래 유지할지 아직 결정하지 못했다는 것입니다. 다음 분기의 계획은 일상적인 트레이스는 표본을 뽑고 오류는 전체 세부를 유지하는 것입니다.
애자일, AI, 자동화, 분석
애자일
관측 가능성을 완료의 정의에 포함해 서비스의 각 증분을 운영에서 이해할 수 있게 하십시오. 좋은 관행은 정기 개선 대화에서 마지막 인시던트의 빠진 신호를 검토하고 백로그 항목으로 더하는 것입니다. 주의할 점은 관측 가능성 작업이 기능을 위해 미뤄지는 경우가 많으므로 눈에 보이게 하고 시간을 보호해야 한다는 것입니다.
AI
AI는 텔레메트리를 요약하고, 신호를 상관시키고, 원인을 제안할 수 있으며, AI 기능 자체도 입력, 출력, 지연, 비용, 사용자 피드백 같은 텔레메트리가 필요합니다. AI가 제안한 원인을 사람의 점검과 짝지우고 얼마나 자주 맞았는지 보고하며, AI 기능을 가용성뿐 아니라 품질도 모니터링하십시오(주제 10.1, 서비스 관리 측정에서의 AI 참조). 주의할 점은 로그의 프롬프트와 응답에 개인 데이터가 들어 있을 수 있으므로 시작하기 전에 무엇을 기록할지 정해야 한다는 것입니다.
자동화
수집, 상관, 경보를 자동화하고 포괄과 민감 데이터의 점검을 자동화하십시오. 깨진 파이프라인은 건강한 시스템처럼 보이므로 텔레메트리 파이프라인 자체를 누락된 데이터와 지연으로 측정하십시오. 주의할 점은 신호에 따라 행동하는 자동 복구가 원인을 가릴 수 있으므로 무엇을 했는지 기록해야 한다는 것입니다.
분석
텔레메트리를 써서 성과에 연결된 SLI로 사용자 경험과 시스템 행동에 대한 질문에 답하십시오. 이는 신호에 어디에 투자하고 어디에서 비용을 줄일지에 정보를 줍니다. 주의할 점은 데이터 물량이 통찰이 아니며 집계된 지표가 피해를 입는 사용자를 가릴 수 있으므로 분포와 부문을 점검하고 각 수치 뒤의 이벤트 수를 보여 줘야 한다는 것입니다(주제 10.8, 분석과 데이터 품질 지표 참조).
부문별 관점
스타트업. 주요 사용자 여정의 소수 신호와 로그의 트레이스 식별자로 시작하십시오. 질문이 분명해지기 전에 큰 플랫폼을 사는 것을 피하고, 사용량이 늘면서 비용을 지켜보십시오.
소규모 사업. 호스팅 서비스는 제한된 텔레메트리를 제공하는 경우가 많습니다. 공급업체에 무엇을 볼 수 있는지 묻고 주요 여정에 대한 단순한 외부 점검을 유지하십시오. 로그에 개인 데이터를 수집하는 것을 피하십시오.
대기업. 많은 팀과 도구에는 공유 표준, 공유 식별자, 중앙 비용 귀속이 필요합니다. 팀이 표준 안에서 신호를 더하게 허용하고 보존과 접근은 중앙에서 관리하십시오.
정부 및 공공 부문. 데이터 위치, 보존, 접근에 대한 규칙이 무엇을 수집하고 어디에 저장할 수 있는지를 형성합니다. 텔레메트리 데이터 흐름을 문서화하고 법률 자문과 의무를 확인하십시오(주제 8.5, 규제 및 정부 보고 참조).
비즈니스 케이스: 동기, ROI, TCO
비용은 계측 작업, 플랫폼 또는 서비스 요금, 보존 기간별 저장, 표준과 대시보드를 유지하는 직원 시간입니다. 텔레메트리 비용은 물량과 카디널리티와 함께 빠르게 커질 수 있으므로 예산을 잡고 귀속하십시오.
수익은 인시던트에서 더 빠른 이해, 사용자가 먼저 찾는 더 적은 인시던트, 어디를 개선할지에 대한 더 나은 결정입니다. 이 이익은 실재하지만 값을 매기기 어려우므로 수치를 지어내는 것을 피하십시오. 작업 전후의 자체 이해까지의 시간과 사각지대 인시던트 비중을 비교하고 가정을 범위로 밝히십시오(주제 7.7, 투자 수익과 비즈니스 케이스 참조). 위험 쪽은 텔레메트리를 통한 데이터 유출의 비용과 한 번도 쓰이지 않는 텔레메트리의 비용입니다.
안티패턴과 함정
- 대시보드 세기. 차트가 많다고 이해가 많은 것이 아닙니다. 포괄, 연결, 이해까지의 시간을 측정하십시오.
- 모든 것을 영원히 수집하기. 사용은 적은데 비용과 위험이 커집니다. 가치로 보존을 정하십시오.
- 연결되지 않은 신호. 연결할 수 없는 로그, 지표, 트레이스는 모든 인시던트를 늦춥니다. 공유 식별자를 전달하십시오.
- 드문 사건을 표본 추출로 날려 버리기. 필요한 실패는 떨어뜨린 그것입니다. 오류와 느린 요청을 유지하십시오.
- 로그 속의 민감한 데이터. 퍼지고 제거하기 어렵습니다. 스캔하고 원천을 고치십시오.
- 모든 신호에 경보. 잡음은 사람들이 경보를 무시하도록 훈련합니다. 사용자 영향에 경보를 두십시오.
- 점검 없이 AI 요약 믿기. 틀릴 수 있고 신호가 불완전할 수 있습니다. 데이터에 비춰 검증하십시오.
- 계측을 다른 사람의 일로 여기기. 코드를 쓰는 사람이 무엇을 내보낼지 압니다. 작업의 일부로 만드십시오.
성숙도 모델
| 차원 | 시작 | 발전 | 표준화 | 관리 | 조율 |
|---|---|---|---|---|---|
| 포괄과 표준 | 신호가 팀마다 다름, 사각지대를 모름 | 주요 서비스를 계측함 | 핵심 표준과 카탈로그에 비춰 추적하는 포괄 | 사각지대 인시던트를 검토하고 간극을 닫음 | 서비스 생성에 포괄이 내장되고 사용자 영향으로 조정됨 |
| 신호 품질과 연결 | 로그만, 공유 식별자 없음 | 일부 트레이스와 지표 | 공유 식별자, 트레이스 완전성을 점검함 | 이해까지의 시간을 검토하고 훈련을 실행함 | 신호가 던지는 질문에 따라 자동으로 적응함 |
| 비용과 거버넌스 | 비용을 모름, 데이터 규칙 없음 | 비용이 전체적으로 보임 | 비용을 귀속함, 보존 및 민감 데이터 규칙 | 비용과 데이터 발견을 주기에 따라 검토함 | 팀에 걸쳐 가치로 텔레메트리 비용과 위험을 관리함 |
체크리스트
- 핵심 신호 표준이 작성되어 있고 완료의 정의의 일부이다.
- 계측 포괄률을 서비스 카탈로그에 비춰 추적한다.
- 요청 또는 트레이스 식별자가 로그, 지표, 트레이스를 연결한다.
- 실제 요청의 표본으로 트레이스 완전성을 점검한다.
- 인시던트의 이해까지의 시간을 원인과 함께 기록한다.
- 사각지대 인시던트를 세고 각각이 신호로 이어진다.
- 텔레메트리 비용을 서비스에 귀속하고 보존을 가치로 정한다.
- 텔레메트리 속 민감한 데이터를 스캔하고 원천에서 고친다.
- 텔레메트리를 읽는 AI 도구에 대한 규칙이 있다.
- 각 지표 옆에 악용 방식과 방호책이 표시되어 있다.
AI 프롬프트
핵심 신호 표준을 설계합니다.
우리 서비스는 [설명]이며 [기술]로 된 [수]개의 구성 요소로 이루어져 있습니다. 가장
중요한 사용자 여정은 [목록]입니다. 핵심 신호 표준을 제안해 주세요. 각 구성
요소가 내보내야 할 최소한의 로그, 지표, 트레이스, 이름 및 식별자 규약, 적합성을
점검하는 방법입니다. 제가 명명하지 않은 특정 공급업체를 추천하지 마세요. 가정을
표시하고 제가 답해야 할 질문을 나열해 주세요.
인시던트 검토에서 관측 가능성의 간극을 찾습니다.
다음은 최근 인시던트의 요약과 타임라인 및 메모입니다(개인 데이터 제거): [붙여
넣기]. 팀에 신호가 없었거나, 신호를 연결할 수 없었거나, 추측에 의존한 순간을
식별해 주세요. 각각에 대해 팀이 평가할 제안으로서 도움이 되었을 신호나 연결을
제안해 주세요. 텍스트가 뒷받침하지 않는 원인을 단정하지 마세요. 판단할 수 없었던
것과 가정을 나열해 주세요.
텔레메트리 속 민감 데이터의 스캔을 계획합니다.
우리는 [도구]에 로그와 트레이스를 보관합니다. 그 안에서 민감한 데이터를 찾는
계획의 초안을 작성해 주세요. 찾을 데이터의 범주, 찾을 곳, 표본을 뽑는 방법,
발견을 보고하는 방법, 원천에서 고치는 방법입니다. 법적 요건을 진술하지 말고
우리 법률 자문을 위한 질문을 나열해 주세요. 가정과 필요한 접근을 나열해 주세요.
관측 가능성 측정치의 악용 위험을 검토합니다.
우리는 이 관측 가능성 측정치를 보고합니다: [측정치와 정의 붙여 넣기]. 맥락:
[팀 규모, 도구, 청중]. 각 측정치에 대해 이해를 개선하지 않으면서 더 좋아 보일 수
있는 현실적인 방법을 나열하고, 방호책을 제안하고, 그 방호책이 악용될 수 있는
방법을 말해 주세요. 기준 값을 지어내지 마세요. 가정한 내용을 나열해 주세요.
AI 스킬
- 이상 분석: 원인을 결정하기 전에 텔레메트리의 특이한 패턴을 살필 때 사용합니다.
- 근본 원인 분석: 신호와 타임라인을 시험된 설명으로 바꿀 때 사용합니다.
- 서비스 수준 협약: 지표를 그것이 뒷받침하는 협약과 목표에 연결할 때 사용합니다.
- 서비스 관리 지표 스킬: 지표와 그 짝 방호책을 다루는 주제를 찾을 때 사용합니다.
핵심 정리
- 관측 가능성은 운영 중인 서비스에 새로운 질문을 던지는 능력이므로, 포괄, 연결된 신호, 이해까지의 시간을 측정하십시오.
- 사용자가 먼저 찾는 인시던트가 사각지대의 가장 분명한 증거이므로, 세고 신호를 더하십시오.
- 로그, 지표, 트레이스에 걸친 공유 식별자가 이해를 빠르게 합니다.
- 텔레메트리는 돈이 들고 민감한 데이터를 유출할 수 있으므로, 예산을 잡고, 가치로 보존을 정하고, 민감한 내용을 스캔하십시오.
- 텔레메트리의 AI 요약은 신호 품질에 달려 있으므로 데이터에 비춰 점검하십시오.
참고 문헌과 더 읽을거리
- Wikipedia, Observability (software).
- Wikipedia, Telemetry.
- Wikipedia, Distributed tracing.
- Wikipedia, Site reliability engineering.
- Wikipedia, Log management.
- Wikipedia, Service-level indicator.
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016.