예측과 예측 분석 지표
예측은 지키려고 애쓸 날짜나 숫자가 아니라 실적 기록이 있는 범위이므로, 실제 결과가 밝힌 범위 안에 얼마나 자주 들어왔는지, 범위의 폭이 정직했는지, 그 덕분에 누군가 더 나은 결정을 했는지를 측정하십시오.
개요와 동기
예측은 과거 데이터와 밝힌 가정으로 미래의 양을 추정합니다. 서비스 조직은 지원 수요, 플랫폼 용량, 작업이 끝나는 날짜, 변경이 실패할 확률, 내년 서비스 비용을 예측합니다. 기계 학습 모델을 포함한 예측 모델은 이를 개별 항목의 점수 매기기로 확장합니다. 어떤 티켓이 목표를 위반할지, 어떤 변경이 위험한지, 어떤 인시던트가 재발할지입니다.
예측은 평범한 방식으로 실패합니다. 서비스, 팀, 도구가 바뀌어서 과거가 미래와 닮지 않을 수 있습니다. 데이터가 빈약하거나 편향될 수 있습니다. 단일 숫자가 구간보다 더 도움이 되어 보이므로 범위가 너무 좁을 수 있습니다. 그리고 예측이 약속으로 쓰여서 사람들이 그것을 실현하려고 일하거나 그것과 어긋나는 것을 숨길 수 있습니다.
앞선 주제들은 특정 용도의 예측을 제시했습니다. 처리량에서 나오는 전달 날짜(주제 2.5, 전달 예측과 계획 지표 참조), 수요에서 나오는 용량(주제 5.4, 용량과 성능 지표 참조), 비용(주제 7.5, 서비스 비용과 단위 경제성 참조)입니다. 이 주제는 그 모두에 적용되는, 어떤 예측이나 예측 모델의 품질을 측정하는 일반적인 방법을 제시합니다. 또 출력이 행동을 이끄는 예측 모델, 즉 틀린 예측의 비용이 누군가에게 떨어지는 경우도 다룹니다.
여기서 쓰는 용어입니다. 점 예측은 하나의 예측값입니다. 예측 구간은 밝힌 확률로 실제 값을 포함하도록 의도한 범위입니다. 보정은 밝힌 확률과 관찰된 빈도의 일치입니다. 80퍼센트라고 한 예측 중 약 80퍼센트가 실현되어야 합니다. 예측 오차는 예측과 실제의 차이입니다. 기준 예측은 "지난 기간과 같음" 같은 단순한 방법으로, 더 복잡한 방법을 그것과 비교합니다. 거짓 양성은 일어나지 않는 사건의 예측이고, 거짓 음성은 일어나는 사건을 예측하지 못한 것입니다. 표류는 시간이 지나며 모델의 정확성을 떨어뜨리는, 데이터나 입력과 성과 사이 관계의 변화입니다.
핵심 원칙
- 범위로 예측하고 실적 기록을 유지하십시오. 점검되지 않는 예측은 개선될 수 없습니다.
- 단순한 기준과 비교하십시오. "지난 기간과 같음"을 이기지 못하는 복잡한 모델은 비용만큼의 값을 못 합니다.
- 보정은 정확성만큼 중요합니다. 90퍼센트라고 한 예측은 열 번에 아홉 번쯤 맞아야 합니다.
- 오류의 비용을 결정에 맞추십시오. 거짓 경보와 놓침의 비용은 같지 않습니다.
- 표류를 지켜보십시오. 세상이 바뀌면 예측이 쇠퇴하므로 모니터링하십시오.
- 예측은 약속이 아닙니다. 사람에 대한 목표로 바꾸지 마십시오.
지표 정의
| 지표 | 정의 | 공식 | 단위 | 데이터 원천 | ITIL 프랙티스 | 애자일 대응 | 주기 |
|---|---|---|---|---|---|---|---|
| 예측 구간 포괄률 | 실제 결과가 밝힌 예측 구간 안에 들어온 비율 | 구간 안에 든 결과 / 평가한 예측, 평가한 예측은 결과가 알려진 것 | 퍼센트 | 예측 로그와 실제 값 | 용량 및 성능 관리, 재무 관리 | 처리량에서 나오는 범위로 예측 | 분기 |
| 예측 오차 | 예측과 실제 사이 차이의 전형적인 크기 | 평가한 예측에 대한 절대 오차의 중앙값과 85번째 백분위수, 절대 오차 = (예측 빼기 실제)의 절댓값 / 실제 | 퍼센트 | 예측 로그와 실제 값 | 용량 및 성능 관리 | 계획 검토 | 분기 |
| 기준 대비 기량 | 단순한 기준에 비해 예측 방법이 보인 개선 | 1 빼기 (방법의 절대 오차 중앙값 / 기준의 절대 오차 중앙값), 같은 예측에 대해 | 비율 | 예측 로그, 기준 로그, 실제 값 | 지속적 개선 | 실험하고 비교 | 분기 |
| 보정 간극 | 밝힌 확률과 관찰된 빈도 사이의 차이 | 각 확률 구간에 대해 (밝힌 확률 빼기 관찰된 비중)의 절댓값을 구간에 걸쳐 평균, 밝힌 수보다 적은 사례의 구간은 따로 보고 | 퍼센트포인트 | 확률 예측 로그와 결과 | 위험 관리, 변경 활성화 | 추정에 대한 회고 | 분기 |
| 경보 정밀도와 재현율 | 예측 경보나 점수에 대해, 맞은 경보의 비율과 포착한 사건의 비율 | 정밀도 = 참 양성 / (참 양성 + 거짓 양성), 재현율 = 참 양성 / (참 양성 + 거짓 음성) | 퍼센트 | 예측 로그와 결과 | 인시던트 관리, 이벤트 관리 | 모델에 대한 완료의 정의 | 월 |
| 예측 표류 신호 | 기준 기간에 비교한 시간에 따른 오차의 상승 | 최근 구간의 절대 오차 중앙값 빼기 기준 구간의 절대 오차 중앙값, 구간 크기를 밝힘 | 퍼센트포인트 | 예측 로그와 실제 값 | 지속적 개선, 용량 관리 | 점검하고 적응 | 월 |
| 예측 결정 연결 | 기록된 결정에서 인용된 예측의 비율 | 결정 로그에서 인용된 예측 / 발표한 예측 | 퍼센트 | 결정 로그와 예측 로그 | 지속적 개선, 거버넌스 | 검토 조치 | 분기 |
예측 오차와 포괄률은 결과가 알려진 예측에 대해서만 계산하므로, 최근 예측은 그때까지 제외합니다. 정밀도와 재현율은 사건을 어떻게 정의하느냐에 달려 있으므로, "48시간 안에 인시던트를 일으키는 변경" 같은 사건의 정의를 지표와 함께 밝힙니다.
권장 사항
정직하게 예측하십시오
1. 단일 날짜가 아니라 범위를 공표하십시오. "85퍼센트 신뢰로 12일에서 18일 사이의 영업일"처럼 밝힌 확률이 있는 구간을 주고 그 뒤의 가정을 설명하십시오. 단일 숫자는 약속을 부릅니다.
2. 예측 로그를 유지하십시오. 각 예측을 만들 때 기록하십시오. 양, 값 또는 범위, 날짜, 방법, 가정입니다. 알려지면 실제 값을 더하십시오. 로그가 없으면 실적 기록이 없습니다.
3. 단순한 기준에서 시작하십시오. 새로운 방법을 지난 기간의 값이나 최근 평균 같은 단순한 것과 비교하십시오. 복잡한 방법이 시간이 지나며 분명히 이기지 못하면 단순한 것을 유지하십시오.
4. 예측을 무효로 만들 가정을 밝히십시오. 수요 예측은 큰 출시, 장애, 새 고객 집단이 없다고 가정합니다. 독자가 언제 불신해야 하는지 알도록 가정을 숫자 옆에 적으십시오.
품질을 측정하십시오
5. 포괄률과 보정을 점검하십시오. 결과가 구간 안에 드는 빈도를 세십시오. 85퍼센트 구간이 절반만 결과를 포함한다면 너무 좁습니다. 작은 표본은 잡음이 크므로 보정을 사례 수와 함께 보고하십시오.
6. 오차를 분포로 읽으십시오. 10퍼센트의 오차 중앙값은 가장 중요한 가끔의 50퍼센트 놓침을 숨길 수 있습니다. 높은 백분위수와 가장 큰 놓침을 보여 주고 검토하십시오.
7. 측정치를 결정의 비용에 맞추십시오. 예측 경보에서는 거짓 경보와 놓침의 비용에 따라 정밀도나 재현율을 고르십시오. 사기 경보와 위험이 낮은 라우팅 제안은 균형이 다릅니다.
8. 표류를 지켜보십시오. 최근 오차를 기준 기간과 비교하고 상승을 조사하십시오. 흔한 원인은 새 서비스, 바뀐 프로세스, 새 도구, 데이터를 기록하는 방식의 변화입니다.
예측을 잘 쓰십시오
9. 예측을 결정에 연결하십시오. 예측이 어떤 결정에 정보를 주는지 말하고 무엇을 결정했는지 결정 로그에 기록하십시오. 아무도 쓰지 않는 예측은 폐기하십시오.
10. 예측을 사람에 대한 목표와 떼어 두십시오. 서비스 데스크의 할당량이 되는 인시던트 물량 예측은 보고를 왜곡합니다. 예측을 시스템에 대한 정보로 다루십시오.
11. 예측에 따른 행동에 책임지는 사람을 두십시오. 항목에 점수를 매기는 모델에는 소유자, 점수에 따라 취하는 행동, 사람이 재정의하는 방법, 오류를 보고하는 방법을 지명하십시오. 표본 사례로 거짓 양성과 거짓 음성을 검토하십시오.
12. 편향과 피해를 지켜보십시오. 과거 결정으로 학습한 모델은 그 편향을 반복할 수 있습니다. 서로 다르게 처우받는 사용자나 서비스 집단에 대해 결과를 점검하고, 점검이 보여 줄 수 없는 것을 보고하십시오. 이 책은 법률 자문을 제공하지 않으므로 의무는 자체 법률 자문과 확인하십시오.
악용 방식과 방호책
| 지표 | 악용되는 방식 | 짝을 이루는 방호책 지표 또는 실천 |
|---|---|---|
| 예측 구간 포괄률 | 포괄률이 좋아 보일 때까지 구간을 넓힘, 쉬운 예측만 평가함 | 포괄률과 함께 구간 폭을 보고, 기록된 모든 예측을 평가 |
| 예측 오차 | 결과 직전에 예측을 수정함, 평가 구간을 고름 | 기록된 원래 예측을 씀, 구간을 미리 고정 |
| 기준 대비 기량 | 약한 기준을 고름, 평가 데이터로 방법을 조정함 | 기준을 미리 합의, 조정에 쓰지 않은 데이터로 평가 |
| 보정 간극 | 구간이나 사례를 적게 씀, 간극을 숨기려고 구간을 합침 | 구간당 사례 수를 보고, 최소 사례 수 |
| 경보 정밀도와 재현율 | 사후에 사건을 재정의함, 중복을 셈 | 사건 정의를 미리 고정, 중복 제거, 경보 표본 조사 |
| 예측 표류 신호 | 기준 기간을 재설정함, 느린 표류를 무시함 | 기준 구간을 고정하고 일정에 따라 검토 |
| 예측 결정 연결 | 결정에 영향 없이 로그에 예측을 인용함 | 무엇이 바뀌었는지 묻기, 항목 표본 조사 |
건강한 수치는 터무니없이 넓지 않으면서 결과의 밝힌 비율을 포괄하는 구간, 복잡한 방법이 분명한 차이로 이기는 단순한 기준, 알아차리고 조사한 표류, 결정에 나타나는 예측입니다.
상충 관계: 장점과 단점
| 접근 방식 | 강점 | 약점 |
|---|---|---|
| 단순한 기준 예측 | 설명하고 유지하기 쉬움, 과적합하기 어려움 | 패턴과 변화를 놓침 |
| 통계 또는 기계 학습 모델 | 더 많은 패턴을 포착함, 항목에 걸쳐 확장됨 | 설명하기 어려움, 표류, 모니터링과 데이터가 필요함 |
| 점 예측 | 소통하기 쉬움 | 거짓 정밀함, 약속을 부름 |
| 구간 예측 | 불확실성에 정직함 | 소통하기 어려움, 모호하게 읽힐 수 있음 |
| 전문가 판단 | 모델에 없는 맥락을 씀 | 편향됨, 추적하기 어려움 |
산문의 결론은 단순하게 시작하고, 로그를 유지하고, 구간을 보여 주고, 기준에 비해 자리를 얻을 때만 복잡성을 더하는 것입니다. 판단과 모델은 둘 다 기록하고 점검한다면 함께 일할 수 있습니다.
팀과 논의할 질문
1. 우리가 마지막으로 한 예측은 무엇이며, 어떻게 되었나요? 예측을 기록하지 않기 때문에 대부분의 팀은 모릅니다. 숫자, 가정, 실제 값을 요청하십시오. 놀라움이 데이터에서 왔는지 가정에서 왔는지 알아차리십시오. 그 예로 예측 로그를 시작하며 후속 조치를 하십시오.
2. 우리는 어떤 예측을 약속으로 다루며, 틀렸을 때 누가 대가를 치르나요? 전달 날짜나 물량 수치처럼 목표가 된 예측을 찾으십시오. 누가 압박을 느끼고 무엇을 하는지 물으십시오. 범위와 그것을 소통하는 데 쓰는 언어를 논의하십시오. 약속 하나를 가정이 있는 범위로 다시 쓰며 후속 조치를 하십시오.
3. 우리 예측 모델이나 도구는 "지난 기간과 같음"을 이기나요? 공급업체의 주장이 아니라 비교를 요청하십시오. 팀에 기준이 없는 경우가 많습니다. 같은 사례에 대해 공정하게 비교하는 방법을 논의하십시오. 한 분기 동안 기준을 나란히 실행하며 후속 조치를 하십시오.
4. 거짓 경보는 우리에게 무엇을 치르게 하고, 놓침은 무엇을 치르게 하나요? 이것이 정밀도와 재현율 사이의 균형을 정합니다. 실제 예를 요청하십시오. 비용은 온콜 엔지니어와 고객처럼 사람마다 다른 경우가 많습니다. 어느 오류가 더 중요한지 합의하며 후속 조치를 하십시오.
5. 무엇이 우리 예측이 작동하지 않게 만들며, 우리는 알아차릴까요? 새 제품, 새 도구, 데이터를 기록하는 다른 방식 같은 변화를 논의하십시오. 표류를 보여 줄 신호를 요청하십시오. 표류 점검과 소유자를 더하며 후속 조치를 하십시오.
6. 누가 예측에 따라 행동하며, 그들은 안 된다고 말할 수 있나요? 점수가 매겨진 항목에서 누가 무슨 일이 일어날지 결정하는지 물으십시오. 재정의 없는 자동 행동을 찾으십시오. 오류를 어떻게 보고하고 바로잡는지 논의하십시오. 재정의 규칙을 쓰며 후속 조치를 하십시오.
네 가지 관점
제품 및 전달 팀
자체 이력에서 예측하고 범위를 주십시오. 예측을 기록하고 실제 값과 비교하며, 새 도구나 팀 변경처럼 이력을 나쁜 안내자로 만드는 변경을 표시하십시오. 팀 내부의 계획 숫자를 팀 간 비교에서 빼 두십시오.
서비스 및 운영 팀
수요, 용량, 인시던트 예측은 인력 배치와 예방에 도움이 됩니다. 계획에 쓰고 할당량을 정하는 데 쓰지 마십시오. 잡음을 키우는 경보 모델을 지켜보고, 모델을 조정할 수 있도록 거짓 양성을 보고하십시오.
리더십과 거버넌스
예측의 값만이 아니라 그 뒤의 실적 기록과 구간을 요청하십시오. 예측을 사람에 대한 목표로 바꾸는 것을 피하십시오. 운영에 쓰는 예측 모델에는 소유자, 재정의 규칙, 편향 점검을 요청하십시오.
고객과 사용자
예측의 효과를 대기, 장애, 당신에 대해 내려진 결정으로 느낍니다. 당신에게 영향을 주는 예측이 어떻게 점검되고 어떻게 이의를 제기할 수 있는지 물으십시오. 잘못된 결과에 대한 당신의 보고는 모델이 필요로 하는 피드백의 일부입니다.
실제 적용: 서비스 관리 사례
한 지역 정부 기관의 IT 서비스 데스크가 인력 배치를 계획하려고 주간 티켓 물량을 예측합니다. 이 사례의 숫자는 예시입니다. 한 공급업체 도구가 기계 학습 예측을 제공하며, 관리자는 도입해야 하는지 알고 싶어 합니다.
팀은 예측 로그를 시작합니다. 열 주 동안 매주 세 가지 예측을 기록합니다. 공급업체의 점 예측, 단순 기준(지난 4주 평균), 기준의 최근 오차에서 나온 범위입니다. 이후 각각의 예측 오차를 계산합니다. 공급업체의 오차 중앙값은 11퍼센트이고 기준은 13퍼센트이므로 기준 대비 기량은 15퍼센트입니다. 공급업체의 85번째 백분위수 오차는 38퍼센트이며, 도구가 쓰는 데이터에 없는 기관의 공지가 있는 주에 큰 놓침이 있었습니다.
팀은 공급업체의 예측을 하나의 입력으로 채택하고, 알려진 행사에 대한 필드를 더하고, 과거 오차에 기반한 범위를 공표합니다. 밝힌 85퍼센트 범위에 대한 예측 구간 포괄률은 열 주에 걸쳐 약 80퍼센트이고 건수가 적으므로, 열 건은 적다는 주의와 함께 보고합니다. 또 최근 8주의 오차를 처음 8주와 비교하는 표류 점검도 설정합니다.
악용 위험이 나타납니다. 한 팀 리더가 예측이 인력 배치를 정하는 데 쓰인다고 지적하며 팀이 인력이 충분해 보이도록 예측에 여유분을 더하자고 제안합니다. 팀은 예측을 정직하게 유지하고 인력 여유분을 별도의 결정으로 기록합니다. 남은 어려움은 도구가 볼 수 없는 행사가 여전히 큰 놓침을 일으키고, 열 주의 데이터는 보정을 판단하기에 충분하지 않다는 것입니다. 더 긴 기간 뒤에 다시 검토하기로 계획합니다.
애자일, AI, 자동화, 분석
애자일
짧은 계획 주기는 팀이 예측을 자주 점검하고 이해관계자와 수정하게 해 줍니다. 좋은 관행은 팀 자체 처리량에서 나오는 범위로 예측하고 정기 개선 대화에서 실적 기록을 검토하는 것입니다. 주의할 점은 약속으로 다뤄진 예측이 여유 붙이기, 숨기기, 작업 쪼개기로 이어진다는 것입니다.
AI
기계 학습 모델과 AI 어시스턴트는 정밀해 보이는 외양으로 예측과 위험 점수를 만들 수 있습니다. 기준과 비교하고, 소유자를 두고, 표본 조사로 보정과 거짓 양성 및 거짓 음성 비율을 점검하고, 점수에 따라 취한 행동에 책임지는 사람을 두십시오(주제 10.5, AI 거버넌스와 위험 지표 참조). 주의할 점은 AI가 만든 예측이 구간도 밝힌 가정도 없이 자신 있는 숫자를 줄 수 있으므로 둘 다 요청해야 한다는 것입니다.
자동화
예측 기록, 실제 값 수집, 오차와 포괄률 계산을 자동화해 실적 기록이 스스로 쌓이게 하십시오. 예측에 따른 자동화된 행동은 잘못된 행동으로 측정하십시오. 주의할 점은 용량 확장이나 호출처럼 예측에 따라 행동하는 자동화가 예측 오류를 사용자에게 보이게 만들므로 한도와 검토를 더해야 한다는 것입니다.
분석
이 주제는 예측의 분석입니다. 오차는 분포로, 포괄률은 건수와 함께, 표류는 쓴 구간과 함께 보여 주십시오. 이는 예측을 얼마나 신뢰하고 언제 방법을 교체할지에 정보를 줍니다. 주의할 점은 작은 표본이 불안정한 보정을 주므로 각 수치 뒤의 예측 수를 밝혀야 한다는 것입니다(주제 10.8, 분석과 데이터 품질 지표 참조).
부문별 관점
스타트업. 이력이 짧고 서비스가 자주 바뀌므로 예측이 약합니다. 단순한 기준과 넓은 범위를 쓰고 짧은 로그를 유지하십시오. 데이터가 생기기 전에 예측 도구를 사는 것을 피하십시오.
소규모 사업. 계절성과 소수의 큰 고객이 지배합니다. 작년의 같은 기간을 기준으로 쓰고 패턴을 깨는 행사를 메모하십시오. 정밀함을 주장하는 공급업체 예측을 조심하십시오.
대기업. 팀에 걸친 많은 예측에는 공통 로그와 정의가 필요합니다. 팀 간에 방법을 공정하게 비교하고 예측 정확성으로 팀의 순위를 매기는 것을 피하십시오. 일정에 따라 모델의 표류를 검토하십시오.
정부 및 공공 부문. 예측은 공개되는 예산과 인력 결정을 뒷받침하는 경우가 많습니다. 방법과 가정을 문서화하고 사람에게 영향을 주는 자동화된 결정의 규칙을 확인하십시오. 데이터를 깨뜨리는 정책 변경 같은 외부 사건에 대비하십시오(주제 8.5, 규제 및 정부 보고 참조).
비즈니스 케이스: 동기, ROI, TCO
비용은 데이터 작업, 예측 기록, 쓰는 경우 모델링 도구, 검토 시간, 표류에 대한 모델 모니터링입니다. 로그와 단순한 기준으로 시작하는 데는 비용이 거의 들지 않습니다.
수익은 더 나은 계획입니다. 필요보다 먼저 오는 용량, 수요에 맞는 인력 배치, 더 적은 놀라움입니다. 귀속하기 어려우므로 수치를 주장하는 것을 피하십시오. 예측 방법의 비용과 오차를 시간에 걸쳐 기준과 비교하고 가정을 범위로 밝히십시오(주제 7.7, 투자 수익과 비즈니스 케이스 참조). 위험 쪽은 표류한 모델에 과도하게 의존하는 비용과 거짓 정밀함으로 내린 결정의 비용입니다.
안티패턴과 함정
- 약속으로 다뤄지는 단일 숫자 예측. 여유 붙이기와 비난을 낳습니다. 가정이 있는 범위를 공표하십시오.
- 예측 로그 없음. 배울 방법이 없습니다. 예측과 실제 값을 기록하십시오.
- 기준 없이 모델 사기. 이득을 알 수 없습니다. "지난 기간과 같음"과 비교하십시오.
- 학습 데이터로 정확성 판단하기. 모델에 아부합니다. 나중 데이터로 평가하십시오.
- 거짓 양성 무시하기. 잡음 많은 예측은 사람들이 무시하도록 훈련합니다. 정밀도와 재현율을 보고하십시오.
- 사람에 대한 목표로서의 예측. 데이터를 왜곡합니다. 계획에 쓰십시오.
- 표류 점검 없음. 모델이 조용히 쇠퇴합니다. 시간에 따른 오차를 모니터링하십시오.
- 사람 소유자 없는 예측. 잘못된 행동에 답할 사람이 없습니다. 소유자와 재정의 규칙을 지명하십시오.
성숙도 모델
| 차원 | 시작 | 발전 | 표준화 | 관리 | 조율 |
|---|---|---|---|---|---|
| 예측 실천 | 단일 숫자, 기록 없음 | 일부 범위, 비공식 메모 | 범위, 가정, 실제 값이 있는 예측 로그 | 오차, 포괄률, 기준을 주기에 따라 비교함 | 실험으로 예측과 방법을 개선하고 팀에 걸쳐 공유함 |
| 예측 모델 | 공급업체의 주장을 수용함 | 기준과 비교한 시범 | 모델별 소유자, 평가, 재정의 규칙 | 표류, 정밀도, 재현율을 모니터링함 | 감독과 폐기를 포함해 모델 수명 주기를 관리함 |
| 결정에서의 사용 | 약속으로서의 예측 | 의사결정자에게 보여 주는 예측 | 로그에서 결정에 연결된 예측 | 예측 결과에 비춰 결정을 검토함 | 결정이 예측의 불확실성에 적응함 |
체크리스트
- 예측 로그가 양, 값 또는 범위, 날짜, 방법, 가정을 기록한다.
- 실제 값을 더하고 예측 오차를 분포로 보고한다.
- 모든 복잡한 예측과 나란히 단순한 기준을 실행한다.
- 구간 포괄률을 구간 폭과 사례 수와 함께 보고한다.
- 예측 경보가 고정된 사건 정의에 대해 정밀도와 재현율을 보고한다.
- 표류를 고정된 기준 구간에 비춰 점검한다.
- 모든 예측 모델에 소유자, 재정의 규칙, 검토 날짜가 있다.
- 예측을 결정 로그에서 결정에 연결한다.
- 예측을 개인의 목표로 쓰지 않는다.
- 각 지표 옆에 악용 방식과 방호책이 표시되어 있다.
AI 프롬프트
예측 로그와 기준을 설계합니다.
우리는 [목적]을 위해 [양]을 예측합니다. 데이터는 [이력과 원천의 설명]입니다.
필드가 있는 예측 로그, 단순한 기준 방법, 나중에 오차와 구간 포괄률을 계산하는
방법을 제안해 주세요. 기대 정확성을 지어내지 마세요. 가정을 표시하고 데이터에
대해 제가 답해야 할 질문을 나열해 주세요.
기준에 비춰 예측 방법을 평가합니다.
다음은 [기간]의 기록된 예측과 실제 값입니다: [개인 정보 없이 데이터 붙여 넣기],
옆에 기준 예측이 있습니다. 각각의 절대 백분율 오차의 중앙값과 85번째 백분위수,
구간이 주어진 경우 구간 포괄률, 기준 대비 기량을 계산해 주세요. 데이터를 넘어
외삽하지 마세요. 사례 수를 밝히고, 판단할 수 없었던 것을 말하고, 가정한 내용을
나열해 주세요.
예측 모델의 감독을 검토합니다.
우리는 [무엇을 예측하고 어떤 행동이 따르는지 설명]하는 모델을 씁니다. 그 감독의
검토 초안을 작성해 주세요. 소유자, 요청해야 할 평가 증거, 오류를 보고하는 방법,
재정의 규칙, 표류 점검, 편향에 대한 질문입니다. 법적 요건에 대한 주장을 하지
말고 우리 법률 자문을 위한 질문을 나열해 주세요. 가정을 표시해 주세요.
예측 측정치의 악용 위험을 검토합니다.
우리는 이 예측 측정치를 보고합니다: [측정치와 정의 붙여 넣기]. 맥락: [팀 규모,
도구, 청중]. 각 측정치에 대해 예측을 개선하지 않으면서 더 좋아 보일 수 있는
현실적인 방법을 나열하고, 방호책을 제안하고, 그 방호책이 악용될 수 있는 방법을
말해 주세요. 기준 값을 지어내지 마세요. 가정한 내용을 나열해 주세요.
AI 스킬
- 수요 예측: 범위가 있는 수요 예측을 만들고 점검할 때 사용합니다.
- 추세 분석: 예측하기 전에 추세와 변화를 살필 때 사용합니다.
- 기계 학습 모델 카드: 예측 모델의 목적, 데이터, 한계를 문서화할 때 사용합니다.
- 서비스 관리 지표 스킬: 지표와 그 짝 방호책을 다루는 주제를 찾을 때 사용합니다.
핵심 정리
- 예측은 실적 기록이 있는 범위이므로, 예측을 기록하고 실제 값과 비교하십시오.
- 어떤 모델이든 단순한 기준과 비교하고, 복잡한 것이 분명히 이길 때만 유지하십시오.
- 구간 포괄률과 보정을 그 뒤의 사례 수와 함께 점검하십시오.
- 거짓 경보와 놓침의 비용에 따라 정밀도나 재현율을 고르십시오.
- 예측을 사람에 대한 목표로 바꾸지 말고, 예측에 따른 행동에 책임지는 사람을 두십시오.
참고 문헌과 더 읽을거리
- Wikipedia, Forecasting.
- Wikipedia, Prediction interval.
- Wikipedia, Machine learning.
- Wikipedia, Concept drift.
- Wikipedia, Precision and recall.
- Wikipedia, Capacity planning.
- Hyndman, R. J., and Athanasopoulos, G., Forecasting: Principles and Practice, 3rd edition, OTexts, 2021, https://otexts.com/fpp3/