분석과 데이터 품질 지표
이 책의 모든 숫자는 그 뒤의 데이터와 분석만큼만 신뢰할 수 있으므로, 데이터의 품질, 분석의 건전성, 결과가 결정에 쓰였는지를 측정하고, 숫자가 보여 줄 수 없는 것을 항상 밝히십시오.
개요와 동기
분석은 질문에 답하고 결정에 정보를 주기 위해 데이터와 통계를 쓰는 것입니다. 서비스 관리에서는 주간 티켓 건수 같은 단순한 것부터 어떤 변경이 실패할지 예측하는 모델까지 다양합니다. 분석은 애자일 실천, AI, 자동화와 나란히 이 책의 네 번째 관점이며, 다른 세 관점이 의존하는 것이기도 합니다. 나쁜 데이터 품질 위에 세운 대시보드는 틀린 질문에 자신 있는 답을 줍니다.
데이터 품질은 속성의 집합입니다. 데이터가 완전한지, 정확한지, 일관되는지, 시의적절한지, 고유한지, 유효한지입니다. 앞선 주제들은 서비스 데이터가 어디서 오고 어떻게 읽는지를 다뤘습니다(주제 1.5, 데이터 원천과 계측과 주제 1.6, 서비스 지표를 위한 통계 소양 참조). 이 주제는 그 발상을, 4부가 변경을 측정하듯이, 팀이 자신의 데이터와 분석에 대해 추적할 수 있는 측정치로 바꿉니다. 또 실천으로서의 분석도 다룹니다. 던지는 질문, 쓰는 방법, 누가 점검하는지, 결과가 결정을 바꾸었는지입니다.
분석은 확장되기 때문에 매력적입니다. 분석가 한 명이 여러 팀을 섬기고, 모델 하나가 모든 티켓에 점수를 매길 수 있습니다. 같은 규모가 실수도 증폭합니다. 공유 데이터셋에서 잘못 읽은 정의는 그 위에 만든 모든 보고서로 퍼지고, 과거 행동으로 학습한 모델은 오래된 편향을 빠르게 반복할 수 있습니다. 쿼리, 차트, 요약을 쓰는 AI 도구는 분석을 더 값싸게 만들고 오류를 자신 있게 만들어 내기도 더 쉽게 하므로 점검이 더 중요합니다.
여기서 쓰는 용어입니다. 데이터셋은 티켓이나 배포 같은 레코드의 정의된 모음입니다. 계보는 데이터가 어디서 왔고 무슨 처리를 했는지의 기록입니다. 조정은 일치해야 하는 두 원천을 비교합니다. 데이터 계약은 데이터셋의 생산자와 사용자 사이에 그 구조, 의미, 품질에 대해 한 합의입니다. 분석은 질문, 방법, 결과입니다. 불확실성은 데이터와 방법을 고려할 때 값이 놓일 수 있는 범위입니다. 결정 로그는 숫자가 정보를 준 결정을 기록합니다.
핵심 원칙
- 질문과 결정에서 시작하십시오. 결정이 붙지 않은 분석은 간접비입니다.
- 데이터에 대한 데이터를 측정하십시오. 완전성, 시의성, 조정은 팀이 소유할 수 있는 측정치입니다.
- 계보를 유지하십시오. 원천까지 추적할 수 없는 숫자는 바로잡을 수 없습니다.
- 불확실성과 한계를 밝히십시오. 비율 뒤의 건수를 보여 주고 숫자가 보여 줄 수 없는 것을 말하십시오.
- 분석을 코드처럼 점검하십시오. 정의와 쿼리를 검토하고 버전 관리에 두십시오.
- 사람을 보호하십시오. 사람의 행동에 대한 분석에는 개인정보 한도가 필요하며 결과는 팀과 서비스를 설명합니다.
지표 정의
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 |
|---|---|---|---|---|---|---|---|
| 필수 필드 완전성 | 그것을 쓰는 지표에 필요한 모든 필드가 있는 레코드의 비율 | 모든 필수 필드가 있고 유효한 레코드 / 범위 안 레코드 | 퍼센트 | 원천 시스템 추출과 데이터 품질 점검 | 측정 및 보고, 지식 관리 | 레코드에 대한 완료의 정의 | 월 |
| 데이터 신선도 | 보고서를 읽는 시점에 데이터셋에서 가장 최근 데이터의 나이 | 데이터셋 전반의 (보고서를 읽은 시각 빼기 적재한 최신 레코드의 시각)의 중앙값과 최댓값 | 시간 | 파이프라인 로그와 데이터셋 메타데이터 | 측정 및 보고 | 빠른 피드백 | 주 |
| 조정 편차 | 같은 양에 대해 일치해야 하는 두 원천 사이의 차이 | 원천 A와 원천 B의 절대 차이 / 원천 A, 밝힌 양의 표본과 기간에 대해 | 퍼센트 | 두 원천 시스템 | 측정 및 보고, 재무 관리 | 정의에 대한 작업 합의 | 분기 |
| 계보 포괄률 | 원천, 변환, 소유자가 문서화된 보고 지표의 비율 | 계보가 문서화된 레지스트리의 지표 / 보고한 지표 | 퍼센트 | 지표 레지스트리와 데이터 카탈로그 | 거버넌스 | 팀 합의 | 분기 |
| 파이프라인 실행 실패율 | 실패하거나 불완전한 데이터를 적재한 데이터 파이프라인 실행의 비율 | 실패했거나 불완전한 데이터를 적재한 데이터 파이프라인 실행 / 시작한 실행 | 퍼센트 | 데이터 파이프라인 로그 | 측정 및 보고 | 데이터에 대한 지속적 통합 | 주 |
| 분석 검토율 | 사용 전에 다른 사람이 검토한 발표된 분석물의 비율 | 기록된 검토가 있는 분석물 / 의사결정 청중에게 발표한 분석물 | 퍼센트 | 분석 레지스트리와 검토 로그 | 측정 및 보고, 지속적 개선 | 동료 검토 | 분기 |
| 결정 사용률 | 기간 중 기록된 결정에서 인용된 보고 지표의 비율 | 결정 로그 항목에서 인용된 지표 / 보고한 지표 | 퍼센트 | 결정 로그와 지표 레지스트리 | 지속적 개선 | 회고 조치 | 분기 |
완전성은 필드에 유효한 값이 있을 때만 있는 것으로 세므로, "n/a" 같은 자리표시자는 세지 않습니다. 조정 편차는 한 달의 티켓 건수 같은 이름 붙인 양의 표본에 적용되며 표본을 밝힙니다.
권장 사항
데이터 품질을 눈에 보이게 하십시오
1. 지표의 관점에서 데이터 품질을 정의하십시오. 가장 중요한 지표가 의존하는 필드와 타임스탬프를 나열하고 각각에 대해 유효함이 어떤 모습인지 정의하십시오. 없는 타임스탬프가 시간 측정치를 깨뜨리므로 이것들을 먼저 점검하십시오.
2. 보고서에서만이 아니라 원천에서 점검하십시오. 티켓 양식의 필수 필드처럼 데이터가 만들어질 때 실행하는 품질 점검은 이후의 어떤 정제도 온전히 고칠 수 없는 오류를 막습니다. 데이터를 적재할 때도 점검을 더하십시오.
3. 숫자 옆에 품질을 공표하십시오. 지표를 보여 주는 대시보드에 완전성과 신선도를 보여 주십시오. 독자는 묻지 않고도 데이터의 품질을 볼 수 있어야 합니다.
4. 일정에 따라 조정하십시오. 분기마다 변경 레코드와 파이프라인의 변경 수처럼 적어도 하나의 양을 두 시스템에 걸쳐 비교하십시오. 차이를 조사하고 설명하며 발견을 기록하십시오.
분석을 정직하게 유지하십시오
5. 질문과 결정을 먼저 쓰십시오. 분석 전에 질문, 그것이 정보를 주는 결정, 누가 결정할지를 기록하십시오. 결정이 지나면 무엇을 결정했는지 기록하십시오.
6. 계보와 정의를 한 레지스트리에 두십시오. 각 지표를 원천, 변환, 소유자, 검토 날짜에 연결하십시오(주제 1.4, 지표 거버넌스와 소유권 참조). 정의의 변경은 이유와 함께 기록하고 차트에 표시합니다.
7. 분석물 하나하나를 검토하십시오. 결정에 쓰이는 분석은 다른 사람이 정의, 쿼리, 결론을 점검합니다. 다시 실행할 수 있도록 쿼리를 버전 관리에 두십시오.
8. 불확실성과 한계를 밝히십시오. 각 비율 뒤의 항목 수, 중요한 곳의 구간, 분석이 보여 줄 수 없는 것을 보여 주십시오. 데이터가 뒷받침하지 않는 곳에서 단일 숫자의 정밀함은 피하십시오.
사용을 통제하십시오
9. 공유 데이터셋에는 데이터 계약을 쓰십시오. 데이터셋을 만드는 팀은 그 의미, 필드, 신선도, 알려진 문제를 밝히고 바뀔 때 사용자에게 알립니다. 호환을 깨는 변경에는 공지가 필요합니다.
10. 데이터 속의 사람을 보호하십시오. 누가 원시 레코드를 볼 수 있는지, 데이터를 얼마나 보관하는지, 보고서의 최소 집단 크기가 얼마인지 결정하십시오. 분석을 팀과 서비스 수준에 두고 적용되는 개인정보 규칙을 확인하십시오.
11. 보고서와 데이터셋을 폐기하십시오. 아무도 쓰지 않는 보고서도 유지보수 비용이 들고 오해를 부를 수 있습니다. 사용을 검토하고 결정에서 인용되지 않는 것을 폐기하십시오.
12. AI 지원 분석은 점검될 때까지 검토되지 않은 것으로 다루십시오. AI 도구는 맞아 보이지만 틀린 쿼리나 요약을 쓸 수 있습니다. 쿼리를 검토하고, 작고 알려진 표본으로 다시 실행하고, 점검했음을 기록하십시오.
악용 방식과 방호책
| 지표 | 악용되는 방식 | 짝을 이루는 방호책 지표 또는 실천 |
|---|---|---|
| 필수 필드 완전성 | 자리표시자나 기본값으로 필드를 채움, 필드를 선택 사항으로 만듦 | 내용에 대한 유효성 점검, 실제 값을 위한 레코드 표본 조사 |
| 데이터 신선도 | 사건이 아니라 적재에 타임스탬프를 찍음, 빈 업데이트를 적재함 | 사건 시각을 적재 시각과 비교, 적재당 행 수 |
| 조정 편차 | 우연히 일치하는 양을 고름, 일치하도록 한 원천을 조정함 | 양을 순환, 조정의 감사 추적 유지 |
| 계보 포괄률 | 계보를 피상적으로 문서화함, 항목 사이에 텍스트를 복사함 | 항목 표본 조사, 지표 하나를 처음부터 끝까지 추적 |
| 파이프라인 실행 실패율 | 실패한 실행을 재시도 또는 성공으로 표시함, 로그를 삭제함 | 레코드 수를 원천과 비교, 간극에 경보 |
| 분석 검토율 | 도장만 찍는 검토, 결정 뒤의 검토 | 검토자 메모 점검, 사용 전 검토 요구 |
| 결정 사용률 | 결정에 영향 없이 로그에 지표를 인용함 | 무엇이 바뀌었는지 묻기, 항목 표본 조사 |
건강한 수치는 눈에 보이고 안정적인 데이터 품질 수치, 설명되는 원천 간 차이, 사용 전에 검토되는 분석, 결정이 필요로 함에 따라 오고 가는 지표입니다.
상충 관계: 장점과 단점
| 접근 방식 | 강점 | 약점 |
|---|---|---|
| 입력 시점의 엄격한 데이터 검증 | 오류를 일찍 막음 | 사용자에게 마찰, 자리표시자 입력 |
| 사후에 데이터 정제 | 유연함, 사용자를 늦추지 않음 | 원인을 숨김, 일부 보고서에 오류가 남음 |
| 중앙 분석 팀 | 일관된 방법과 품질 | 병목, 업무와의 거리 |
| 팀의 셀프서비스 분석 | 빠름, 업무와 가까움 | 일관되지 않은 정의, 고르지 않은 품질 |
| AI 지원 분석 | 빠른 초안, 진입 장벽을 낮춤 | 자신 있는 오류, 약한 재현성 |
산문의 결론은 원천에서 오류를 막고, 정의와 계보를 한곳에서 공유하고, 결정에 정보를 주는 모든 분석에 검토를 요구하는 것입니다. 셀프서비스와 AI의 속도는 점검이 따라올 때 환영합니다.
팀과 논의할 질문
1. 그 밑의 데이터가 틀렸다면 우리가 가장 후회할 대시보드의 숫자 세 개는 무엇인가요? 결정이나 목표를 이끄는 숫자에서 시작하십시오. 그것이 무엇에 의존하고 누가 원천을 소유하는지 물으십시오. 사람들은 핵심 숫자가 손으로 입력한 필드에 의존함을 발견하는 경우가 많습니다. 이번 달에 점검할 것 하나를 골라 후속 조치를 하십시오.
2. 두 보고서가 일치하지 않은 때는 언제이며, 어떻게 해결했나요? 충돌하는 숫자의 이야기는 정의가 다른 곳을 보여 줍니다. 해결이 기록되었는지와 원인이 고쳐졌는지 물으십시오. 진행자는 시간대나 상태 정의가 다른 것처럼 반복되는 원인을 메모해야 합니다. 정의 하나와 소유자에 합의하며 후속 조치를 하십시오.
3. 우리가 가장 많이 보는 보고서의 데이터는 얼마나 오래되었나요? 많은 사람이 모릅니다. 신선도가 어떻게 표시되는지와 낡은 적재를 알아차릴지 물으십시오. 낡은 데이터로 한 결정의 비용을 논의하십시오. 보고서에 신선도를 더하며 후속 조치를 하십시오.
4. 결정을 바꾼 마지막 분석을 누가 검토했나요? 정의와 쿼리에 대한 두 번째 눈이 있었는지 보십시오. 없다면 이유를 논의하십시오. 어떤 검토가 비례적일지 물으십시오. 중요한 결정에 정보를 주는 모든 분석에 간단한 검토 단계를 고르며 후속 조치를 하십시오.
5. 가장 많이 쓰는 지표가 우리에게 말해 줄 수 없는 것은 무엇인가요? 한계를 명명하는 것이 잘 된 분석의 습관입니다. 지원 부서에 연락하지 않는 사용자 같은 구체적인 사각지대를 요청하십시오. 한계를 지표 옆에 기록하십시오. 사각지대를 덮는 측정치를 더하며 후속 조치를 하십시오.
6. 쿼리와 요약을 쓰는 데 AI 도구를 어떻게 쓰고 있으며, 어떻게 점검하나요? 정책이 아니라 실제 관행을 요청하십시오. 보고서에 쓰인 검토되지 않은 출력에 귀 기울이십시오. 알려진 표본으로 다시 실행하는 것 같은 간단한 점검을 논의하십시오. AI 지원 분석의 규칙에 합의하며 후속 조치를 하십시오.
네 가지 관점
제품 및 전달 팀
당신의 도구가 다른 사람들이 분석하는 데이터의 많은 부분을 만듭니다. 타임스탬프, 식별자, 상태를 신뢰할 수 있게 유지하고 필드가 바뀔 때 데이터 사용자에게 알리십시오. 데이터를 만드는 새 기능의 완료의 정의에 데이터 품질을 포함하십시오.
서비스 및 운영 팀
티켓 데이터는 사람들이 압박 속에서 양식을 채우는 방식에 달려 있습니다. 올바른 입력을 쉬운 입력으로 만들고, 도구에서 데이터 품질을 점검하고, 지표가 일을 잘못 읽을 때 목소리를 내십시오. 숫자를 개선하려고 레코드를 소급해 고치거나 일괄 업데이트하지 마십시오.
리더십과 거버넌스
결정이나 목표를 뒷받침하는 모든 숫자 옆에 데이터 품질과 계보를 요청하십시오. 대시보드만이 아니라 데이터 엔지니어링과 검토 시간에 자금을 대십시오. 개인정보를 보호하고 사람을 평가하려고 개인에 대한 분석을 쓰는 것을 피하십시오.
고객과 사용자
당신에 대한 데이터가 서비스가 당신을 대하는 방식을 이끌므로, 무엇이 수집되고 어떻게 쓰이는지 물으십시오. 설문 응답처럼 당신의 의견이 데이터에 있다면 어떻게 보호되고 어떻게 결정에 이르렀는지 물으십시오.
실제 적용: 서비스 관리 사례
한 지역 공익 기업의 IT 부서가 경영진을 위해 인시던트 해결 시간과 변경 실패율의 대시보드를 만듭니다. 이 사례의 숫자는 예시입니다. 대시보드는 해결 시간 중앙값 3.1시간, 변경 실패율 4퍼센트를 보여 줍니다.
한 분석가가 출시 전에 품질을 점검합니다. 해결 타임스탬프의 필수 필드 완전성은 91퍼센트이며, 빠진 레코드는 대부분 사후에 입력된 중대 인시던트입니다. 추출이 밤새 실행되므로 신선도는 26시간입니다. 변경 레코드를 파이프라인과 조정하자 파이프라인의 운영 변경이 변경 레코드보다 8퍼센트 많음이 드러나, 실패율에는 분모 문제가 있습니다.
팀은 변경을 합니다. 티켓 양식이 해결 시간을 요구하고 그것이 열린 시간보다 나중인지 점검합니다. 대시보드는 각 수치 뒤의 인시던트 수, 데이터의 나이, 쓰인 필드의 완전성을 보여 줍니다. 데이터 계약은 변경 레코드가 승인된 변경의 기록 시스템이고 파이프라인이 배포의 기록 시스템이라고 밝히며 월간 조정을 둡니다. 첫 조정은 그 간극을 파이프라인에만 기록된 긴급 변경으로 설명합니다.
한 관리자가 완전성을 개선하려고 해결 시간이 빠진 인시던트를 제외하자고 제안할 때 악용 위험이 드러납니다. 팀은 거절하고 입력을 고칩니다. 결과는 더 넓은 중앙값 구간과 6퍼센트의 변경 실패율입니다. 결정 로그에는 경영진이 목표를 정하기 전에 한 분기를 기다리기로 했음이 기록됩니다. 남은 어려움은 소급 입력을 모두 탐지할 수는 없고 조정이 수동 식별자 연결에 달려 있다는 것입니다.
애자일, AI, 자동화, 분석
애자일
짧은 피드백 고리가 데이터 품질에 도움이 됩니다. 양식을 고치고, 다음 날의 데이터를 점검하고, 사용자에게 묻습니다. 좋은 관행은 데이터를 입력하는 사람들과 정기 개선 대화에서 데이터 품질 수치를 검토하는 것입니다. 주의할 점은 필드와 상태의 지속적 변경이 추세를 깨뜨리므로 모든 정의 변경을 기록해야 한다는 것입니다.
AI
AI는 쿼리를 쓰고, 차트의 초안을 만들고, 의견을 요약하고, 이상을 표시할 수 있으며, 그럴듯한 결과를 지어낼 수도 있습니다. AI 지원 분석은 사람이 쿼리를 점검하고 작고 알려진 표본으로 다시 실행할 때까지 검토되지 않은 것으로 다루고, 점검했음을 기록하십시오. 주의할 점은 설문 의견의 AI 요약이 언어와 어조를 잘못 읽을 수 있으므로 원본 표본을 읽어야 한다는 것입니다.
자동화
적재 시점과 보고서 시점에 데이터 품질 점검을 자동화하고, 파이프라인을 실패와 간극으로 측정하십시오. 누락된 적재와 물량의 갑작스러운 변화에 경보를 두십시오. 주의할 점은 자동 정제 규칙이 원천의 문제를 숨길 수 있으므로 무엇을 왜 바꿨는지 보고해야 한다는 것입니다.
분석
이 주제가 분석에 관한 것이므로 실천은 모든 지표에 짧은 메모를 두는 것입니다. 그 질문, 결정, 계보, 품질, 한계입니다. 이는 숫자를 행동할 만큼 신뢰할지에 정보를 줍니다. 주의할 점은 깔끔해 보이는 대시보드가 약한 데이터 위에 있을 수 있으므로 결과 옆에 품질 수치를 보여 주고 서비스 관리 지표의 정의를 한 레지스트리에 유지해야 한다는 것입니다.
부문별 관점
스타트업. 데이터는 작고 변합니다. 지표마다 하나의 진실 원천을 유지하고, 정의를 짧은 문서에 쓰고, 질문이 분명해지기 전에 데이터 플랫폼을 만드는 것을 피하십시오.
소규모 사업. 데이터가 고정된 보고서가 있는 호스팅 도구에 있을 수 있습니다. 도구가 각 측정치를 어떻게 정의하는지 확인하고, 검증하려고 표본을 내보내고, 보고서가 보여 줄 수 없는 것의 짧은 목록을 유지하십시오.
대기업. 많은 원천과 팀이 충돌하는 정의를 만듭니다. 공유 지표 레지스트리, 데이터 계약, 정기 조정을 쓰고, 팀이 자신의 데이터를 점검할 수단을 주십시오.
정부 및 공공 부문. 레코드가 보존, 접근, 공개 보고 규칙의 대상일 수 있습니다. 공표하는 모든 수치의 계보를 문서화하고, 사람에 대한 데이터의 개인정보 규칙을 지키십시오(주제 8.5, 규제 및 정부 보고 참조).
비즈니스 케이스: 동기, ROI, TCO
비용은 데이터 품질 점검, 조정, 문서화, 검토에 드는 직원 시간과, 쓰는 경우 데이터 파이프라인과 카탈로그의 도구입니다. 상당 부분은 티켓 양식의 검증 같은 작은 걸음으로 시작할 수 있습니다.
수익은 더 나은 숫자로 내린 결정, 어느 보고서가 맞는지 다투는 데 쓰는 더 적은 시간, 잘못 읽은 숫자가 늦게 발견될 때의 더 적은 재작업입니다. 수치가 아니라 패턴으로 설명하십시오. 번복되는 결정이 줄고 분쟁이 줄어듭니다. 사례에 숫자가 필요하다면 변경 전후의 조정 편차와 보고서 분쟁을 해결하는 데 쓴 시간 같은 자체 기준선을 측정하십시오(주제 7.7, 투자 수익과 비즈니스 케이스 참조).
안티패턴과 함정
- 보고서에서만 정제하기. 원천이 계속 오류를 만듭니다. 입력과 적재 점검을 고치십시오.
- 품질 수치가 없는 대시보드. 독자가 숫자를 판단할 수 없습니다. 완전성, 신선도, 건수를 보여 주십시오.
- 문서화되지 않은 정의. 숫자가 조용히 의미를 바꿉니다. 계보와 변경 로그를 유지하십시오.
- 검토되지 않은 분석. 오류가 결정에 이릅니다. 두 번째 시선을 요구하십시오.
- AI 요약을 믿기. 유창하면서 틀릴 수 있습니다. 쿼리를 점검하고 원본을 표본 조사하십시오.
- 개인에 대한 분석. 감시로 변하고 데이터를 오염시킵니다. 최소 집단 크기와 함께 팀 수준으로 보고하십시오.
- 보고서를 폐기하지 않기. 쌓여서 오해를 부릅니다. 사용을 검토하고 제거하십시오.
- 불확실성 없는 단일 숫자. 과잉 반응을 부릅니다. 건수와 범위를 보여 주십시오.
성숙도 모델
| 차원 | 시작 | 발전 | 표준화 | 관리 | 조율 |
|---|---|---|---|---|---|
| 데이터 품질 | 알 수 없는 품질, 손으로 만든 스프레드시트 | 핵심 필드의 완전성을 점검함 | 입력과 적재에서 품질 점검, 보고서에 표시함 | 조정과 품질 추세를 주기에 따라 검토함 | 팀에 걸친 데이터 계약으로 품질을 관리함 |
| 계보와 정의 | 정의가 사람들의 머릿속에 있음 | 일부 정의를 씀 | 원천, 소유자, 변경 로그가 있는 레지스트리 | 핵심 지표의 계보를 처음부터 끝까지 추적함 | 팀과 공급업체에 걸쳐 정의를 공유함 |
| 분석 실천 | 일회성 보고서, 검토 없음 | 일부 동료 검토 | 질문, 결정, 검토를 기록함 | 분석을 재사용하고, 검토하고, 폐기함 | 결과에 대한 피드백과 함께 결정에 분석이 내장됨 |
체크리스트
- 각 핵심 지표에 그것이 의존하는 필드와 타임스탬프가 나열되어 있다.
- 필수 필드를 나중에 정제만 하지 않고 입력 시점에 검증한다.
- 보고서가 완전성, 신선도, 각 비율 뒤의 건수를 보여 준다.
- 분기마다 적어도 하나의 양을 두 원천에 걸쳐 조정한다.
- 레지스트리가 각 지표의 원천, 변환, 소유자, 검토 날짜를 기록한다.
- 정의 변경을 기록하고 차트에 표시한다.
- 결정에 정보를 주는 분석을 다른 사람이 검토한다.
- 알려진 표본에 대한 점검을 포함해 AI 지원 분석의 규칙이 있다.
- 사람 관련 데이터의 접근, 보존, 최소 집단 크기가 정의되어 있다.
- 각 지표 옆에 악용 방식과 방호책이 표시되어 있다.
AI 프롬프트
지표의 데이터 품질 점검 초안을 작성합니다.
우리는 이 지표를 보고합니다: [지표 이름], 정의는 [시계 시작과 정지를 포함한
정의]. [도구]의 다음 필드에 의존합니다: [필드 나열]. 완전성, 유효성, 시의성,
일관성에 대한 데이터 품질 점검을 제안하고 각 점검을 어디서 실행해야 하는지(입력
시, 적재 시, 보고서에서) 말해 주세요. 임계값을 지어내지 말고 자리표시자를 쓰세요.
가정을 표시하고 제가 답해야 할 질문을 나열해 주세요.
사용하기 전에 분석을 검토합니다.
다음은 결정에 쓰려는 분석입니다: [개인 데이터 없이 질문, 방법, 쿼리 또는 단계,
결과 붙여 넣기]. 불분명한 정의, 잘못된 분모, 작은 표본, 빠진 불확실성, 데이터를
넘어선 결론을 검토해 주세요. 텍스트에 없는 사실을 가정하지 마세요. 판단할 수
없었던 것과 사람 검토자가 점검해야 할 것을 나열해 주세요.
두 시스템 간의 조정을 계획합니다.
두 시스템이 [양]에 대해 일치해야 합니다: [시스템 A]와 [시스템 B]. 조정 계획을
제안해 주세요. 표본, 기간, 레코드를 매칭하는 방법, 차이를 분류하는 방법, 발견을
기록하는 방법입니다. 기대 편차를 지어내지 마세요. 가정과 제가 필요로 할 접근을
나열해 주세요.
데이터 품질 측정치의 악용 위험을 검토합니다.
우리는 이 데이터 품질 측정치를 보고합니다: [측정치와 정의 붙여 넣기]. 맥락:
[팀 규모, 도구, 청중]. 각 측정치에 대해 데이터를 개선하지 않으면서 더 좋아
보일 수 있는 현실적인 방법을 나열하고, 방호책을 제안하고, 그 방호책이 악용될 수
있는 방법을 말해 주세요. 기준 값을 지어내지 마세요. 가정한 내용을 나열해 주세요.
AI 스킬
- 데이터 품질: 데이터셋의 품질을 정의하고 점검할 때 사용합니다.
- 데이터 파이프라인: 서비스 데이터를 적재하는 파이프라인을 설계하고 검토할 때 사용합니다.
- 통계 분석: 방법과 그 불확실성이 질문에 맞는지 점검할 때 사용합니다.
- 서비스 관리 지표 스킬: 지표와 그 짝 방호책을 다루는 주제를 찾을 때 사용합니다.
핵심 정리
- 숫자는 그 데이터만큼만 신뢰할 수 있으므로 완전성, 신선도, 조정을 측정하고 결과 옆에 보여 주십시오.
- 계보와 정의를 한 레지스트리에 유지하고 모든 변경을 기록하십시오.
- AI 지원 분석을 포함해, 결정에 정보를 주기 전에 분석을 검토하십시오.
- 불확실성과 한계를 밝히고 각 비율 뒤의 건수를 보여 주십시오.
- 분석을 팀과 서비스 수준에 두고 사람에 대한 데이터에는 개인정보 한도를 두십시오.
참고 문헌과 더 읽을거리
- Wikipedia, Analytics.
- Wikipedia, Data quality.
- Wikipedia, Data lineage.
- Wikipedia, Data governance.
- Wikipedia, Statistical process control.
- Wikipedia, Goodhart's law.
- Wikipedia, Reproducibility.