पूर्वानुमान और प्रेडिक्टिव विश्लेषण मीट्रिक्स
पूर्वानुमान एक ऐसी सीमा है जिसके पीछे उसका रिकॉर्ड होता है, कोई तारीख या संख्या नहीं जिसकी रक्षा करनी पड़े। इसलिए मापें कि वास्तविक परिणाम कितनी बार घोषित सीमा के भीतर रहा, सीमा की चौड़ाई कितनी ईमानदार थी, और क्या किसी ने इसकी वजह से बेहतर निर्णय लिया।
अवलोकन और प्रेरणा
पूर्वानुमान (forecasting) पिछले डेटा और घोषित मान्यताओं के आधार पर किसी भावी मात्रा का अनुमान लगाता है। सेवा संगठन सहायता की माँग, किसी प्लेटफ़ॉर्म की क्षमता, किसी काम के पूरा होने की तारीख, किसी परिवर्तन के विफल होने की संभावना और अगले वर्ष किसी सेवा की लागत का पूर्वानुमान लगाते हैं। मशीन लर्निंग मॉडल सहित प्रेडिक्टिव मॉडल इसे अलग-अलग मदों के स्कोर तक ले जाते हैं: कौन-सा टिकट अपना लक्ष्य चूकेगा, कौन-सा परिवर्तन जोखिम भरा है, कौन-सी घटना दोबारा हो सकती है।
पूर्वानुमान और भविष्यवाणियाँ साधारण तरीकों से विफल होती हैं। अतीत भविष्य जैसा नहीं रह सकता, क्योंकि कोई सेवा, टीम या औज़ार बदल चुका होता है। डेटा कम या पक्षपाती हो सकता है। सीमा बहुत संकरी हो सकती है, क्योंकि एक संख्या अंतराल से अधिक मददगार दिखती है। और पूर्वानुमान को प्रतिबद्धता की तरह इस्तेमाल किया जा सकता है, जिससे लोग उसे सच करने में लग जाते हैं या उसके विपरीत बात छिपा लेते हैं।
पिछले विषयों में विशिष्ट उपयोगों के पूर्वानुमान दिए गए थे: थ्रूपुट से डिलीवरी की तारीखें (देखें विषय 2.5, डिलीवरी पूर्वानुमान और योजना मीट्रिक्स), माँग से क्षमता (देखें विषय 5.4, क्षमता और प्रदर्शन मीट्रिक्स) और लागत (देखें विषय 7.5, सेवा लागत और इकाई अर्थशास्त्र)। यह विषय किसी भी पूर्वानुमान या भविष्यवाणी की गुणवत्ता मापने की सामान्य पद्धति देता है, जो इन सभी पर लागू होती है। यह उन प्रेडिक्टिव मॉडलों को भी शामिल करता है जिनका परिणाम किसी कार्रवाई को चलाता है, जहाँ ग़लत भविष्यवाणी की क़ीमत किसी और को चुकानी पड़ती है।
यहाँ प्रयुक्त शब्द। बिंदु पूर्वानुमान (point forecast) एक अकेला अनुमानित मान है। भविष्यवाणी अंतराल (prediction interval) वह सीमा है जिसमें घोषित प्रायिकता के साथ वास्तविक मान आने की अपेक्षा होती है। अंशांकन (calibration) घोषित प्रायिकता और देखी गई आवृत्ति के बीच का मेल है: जिन पूर्वानुमानों ने 80 प्रतिशत कहा, उनमें से लगभग 80 प्रतिशत सच होने चाहिए। पूर्वानुमान त्रुटि पूर्वानुमान और वास्तविक मान का अंतर है। आधार-रेखा पूर्वानुमान (baseline forecast) एक सरल विधि है, जैसे "पिछली अवधि जैसा ही", जिससे अधिक जटिल विधि की तुलना की जाती है। झूठा सकारात्मक (false positive) ऐसी घटना की भविष्यवाणी है जो नहीं होती, और झूठा नकारात्मक (false negative) उस घटना को पहले न बता पाना है जो होती है। ड्रिफ़्ट (drift) डेटा में, या इनपुट और परिणामों के संबंध में आया वह बदलाव है जो समय के साथ मॉडल की सटीकता घटाता है।
मुख्य सिद्धांत
- सीमाओं में पूर्वानुमान लगाएँ और रिकॉर्ड रखें। जिस पूर्वानुमान को कभी जाँचा नहीं जाता, वह सुधर नहीं सकता।
- सरल आधार-रेखा से तुलना करें। जो जटिल मॉडल "पिछली अवधि जैसा ही" को नहीं हराता, वह अपनी लागत नहीं निकाल रहा।
- सटीकता जितना ही अंशांकन भी मायने रखता है। 90 प्रतिशत कहने वाला पूर्वानुमान दस में से लगभग नौ बार सही होना चाहिए।
- त्रुटियों की क़ीमत को निर्णय से मिलाएँ। झूठी चेतावनी और चूक की क़ीमत बराबर नहीं होती।
- ड्रिफ़्ट पर नज़र रखें। दुनिया बदलने पर पूर्वानुमान बिगड़ते हैं, इसलिए उनकी निगरानी करें।
- पूर्वानुमान प्रतिबद्धता नहीं है। उसे लोगों के लिए लक्ष्य न बनाएँ।
मीट्रिक परिभाषाएँ
| मीट्रिक | परिभाषा | सूत्र | इकाई | डेटा स्रोत | ITIL प्रैक्टिस | एजाइल समकक्ष | अवधि |
|---|---|---|---|---|---|---|---|
| पूर्वानुमान अंतराल कवरेज | वास्तविक परिणामों का वह हिस्सा जो घोषित भविष्यवाणी अंतराल के भीतर रहा | अंतराल के भीतर रहे परिणाम / मूल्यांकित पूर्वानुमान; मूल्यांकित पूर्वानुमान वे हैं जिनका परिणाम ज्ञात है | प्रतिशत | पूर्वानुमान लॉग और वास्तविक मान | क्षमता और प्रदर्शन प्रबंधन; वित्तीय प्रबंधन | थ्रूपुट से सीमाओं में पूर्वानुमान | तिमाही |
| पूर्वानुमान त्रुटि | पूर्वानुमान और वास्तविक मान के अंतर का सामान्य आकार | निरपेक्ष त्रुटि का माध्यक और उसका 85वाँ परसेंटाइल, जहाँ निरपेक्ष त्रुटि = (पूर्वानुमान घटा वास्तविक) का निरपेक्ष मान / वास्तविक, मूल्यांकित पूर्वानुमानों पर | प्रतिशत | पूर्वानुमान लॉग और वास्तविक मान | क्षमता और प्रदर्शन प्रबंधन | योजना समीक्षा | तिमाही |
| आधार-रेखा के विरुद्ध कौशल | सरल आधार-रेखा की तुलना में पूर्वानुमान विधि का सुधार | 1 घटा (विधि की माध्यक निरपेक्ष त्रुटि / आधार-रेखा की माध्यक निरपेक्ष त्रुटि), समान पूर्वानुमानों पर | अनुपात | पूर्वानुमान लॉग, आधार-रेखा लॉग और वास्तविक मान | सतत सुधार | प्रयोग करें और तुलना करें | तिमाही |
| अंशांकन अंतर | घोषित प्रायिकता और देखी गई आवृत्ति का अंतर | प्रत्येक प्रायिकता बैंड के लिए (घोषित प्रायिकता घटा देखा गया हिस्सा) का निरपेक्ष मान, बैंडों पर औसत; जिन बैंडों में घोषित न्यूनतम संख्या से कम मामले हैं, उन्हें अलग से बताया जाता है | प्रतिशत अंक | प्रायिकतात्मक पूर्वानुमान लॉग और परिणाम | जोखिम प्रबंधन; परिवर्तन सक्षमीकरण | अनुमानों पर रेट्रोस्पेक्टिव | तिमाही |
| अलर्ट परिशुद्धता और रिकॉल | किसी प्रेडिक्टिव अलर्ट या स्कोर के लिए, सही अलर्टों का हिस्सा और पकड़ी गई घटनाओं का हिस्सा | परिशुद्धता = सही सकारात्मक / (सही सकारात्मक + झूठे सकारात्मक); रिकॉल = सही सकारात्मक / (सही सकारात्मक + झूठे नकारात्मक) | प्रतिशत | भविष्यवाणी लॉग और परिणाम | घटना प्रबंधन; इवेंट प्रबंधन | मॉडल के लिए "पूर्ण" की परिभाषा | मासिक |
| पूर्वानुमान ड्रिफ़्ट संकेत | संदर्भ अवधि की तुलना में समय के साथ त्रुटि में वृद्धि | नवीनतम विंडो की माध्यक निरपेक्ष त्रुटि घटा संदर्भ विंडो की माध्यक निरपेक्ष त्रुटि, विंडो के आकार बताते हुए | प्रतिशत अंक | पूर्वानुमान लॉग और वास्तविक मान | सतत सुधार; क्षमता प्रबंधन | जाँचें और अनुकूल बनें | मासिक |
| पूर्वानुमान-निर्णय जुड़ाव | उन पूर्वानुमानों का हिस्सा जिनका हवाला किसी दर्ज निर्णय में दिया गया | निर्णय लॉग में उद्धृत पूर्वानुमान / प्रकाशित पूर्वानुमान | प्रतिशत | निर्णय लॉग और पूर्वानुमान लॉग | सतत सुधार; शासन | कार्रवाइयों की समीक्षा | तिमाही |
पूर्वानुमान त्रुटि और कवरेज केवल उन पूर्वानुमानों के लिए निकाले जाते हैं जिनका परिणाम ज्ञात है, इसलिए हाल के पूर्वानुमान तब तक बाहर रहते हैं। परिशुद्धता और रिकॉल इस पर निर्भर हैं कि घटना कैसे परिभाषित है, इसलिए घटना की परिभाषा, जैसे "ऐसा परिवर्तन जो 48 घंटे के भीतर घटना पैदा करे", मीट्रिक के साथ बताई जाती है।
सिफ़ारिशें
ईमानदारी से पूर्वानुमान लगाएँ
1. एकल तारीखें नहीं, सीमाएँ प्रकाशित करें। घोषित प्रायिकता के साथ अंतराल दें, जैसे "12 से 18 कार्य-दिवसों के बीच, 85 प्रतिशत विश्वास के साथ", और उसके पीछे की मान्यता समझाएँ। एक अकेली संख्या प्रतिबद्धता को न्योता देती है।
2. पूर्वानुमान लॉग रखें। हर पूर्वानुमान बनते समय दर्ज करें: मात्रा, मान या सीमा, तारीख, विधि और मान्यताएँ। वास्तविक मान पता चलने पर जोड़ें। लॉग के बिना कोई रिकॉर्ड नहीं बनता।
3. सरल आधार-रेखा से शुरू करें। किसी भी नई विधि की तुलना भोली विधि से करें, जैसे पिछली अवधि का मान या हाल का औसत। यदि जटिल विधि समय के साथ उसे स्पष्ट रूप से नहीं हराती, तो सरल विधि रखें।
4. वे मान्यताएँ बताएँ जो पूर्वानुमान को अमान्य कर देंगी। माँग का पूर्वानुमान मानता है कि कोई बड़ा लॉन्च, आउटेज या नया ग्राहक समूह नहीं आएगा। मान्यता को संख्या के पास लिखें, ताकि पाठक जाने कि कब उस पर भरोसा न करे।
गुणवत्ता मापें
5. कवरेज और अंशांकन जाँचें। गिनें कि परिणाम कितनी बार अंतराल के भीतर आए। यदि 85 प्रतिशत का अंतराल केवल आधी बार परिणाम को समेटता है, तो वह बहुत संकरा है। अंशांकन को मामलों की संख्या के साथ बताएँ, क्योंकि छोटे नमूने अस्थिर होते हैं।
6. त्रुटियों को वितरण की तरह पढ़ें। 10 प्रतिशत की माध्यक त्रुटि कभी-कभार की 50 प्रतिशत की चूकों को छिपा सकती है, जो सबसे ज़्यादा मायने रखती हैं। उच्च परसेंटाइल और सबसे बड़ी चूकें दिखाएँ और उनकी समीक्षा करें।
7. माप को निर्णय की लागत से मिलाएँ। प्रेडिक्टिव अलर्ट के लिए झूठी चेतावनी और चूक की लागत के अनुसार परिशुद्धता या रिकॉल चुनें। धोखाधड़ी अलर्ट और कम जोखिम वाले रूटिंग सुझाव का संतुलन अलग होता है।
8. ड्रिफ़्ट पर नज़र रखें। हाल की त्रुटि की तुलना संदर्भ अवधि से करें और वृद्धि की जाँच करें। आम कारण हैं नई सेवा, बदली हुई प्रक्रिया, नए औज़ार, या डेटा दर्ज करने के तरीक़े में बदलाव।
पूर्वानुमानों का अच्छा उपयोग करें
9. पूर्वानुमानों को निर्णयों से जोड़ें। बताएँ कि पूर्वानुमान किस निर्णय को सूचित करता है, और निर्णय लॉग में दर्ज करें कि क्या तय हुआ। जिन पूर्वानुमानों का कोई उपयोग नहीं करता, उन्हें बंद करें।
10. पूर्वानुमानों को लोगों के लक्ष्यों से दूर रखें। घटना-संख्या का जो पूर्वानुमान डेस्क के लिए कोटा बन जाए, वह रिपोर्टिंग को विकृत करेगा। पूर्वानुमान को किसी प्रणाली के बारे में सूचना मानें।
11. भविष्यवाणियों पर कार्रवाई के लिए किसी मनुष्य को जवाबदेह रखें। जो मॉडल मदों को स्कोर करते हैं, उनके लिए स्वामी, स्कोर पर की जाने वाली कार्रवाई, कोई व्यक्ति उसे कैसे पलट सकता है, और त्रुटियाँ कैसे रिपोर्ट होती हैं, यह तय करें। नमूना मामलों के साथ झूठे सकारात्मक और झूठे नकारात्मक की समीक्षा करें।
12. पक्षपात और नुकसान पर नज़र रखें। पिछले निर्णयों पर प्रशिक्षित मॉडल उनका पक्षपात दोहरा सकता है। उपयोगकर्ताओं या सेवाओं के उन समूहों के परिणाम जाँचें जिन पर अलग असर पड़ता है, और बताएँ कि यह जाँच क्या नहीं दिखा सकती। यह पुस्तक क़ानूनी सलाह नहीं देती, इसलिए दायित्वों की जाँच अपने क़ानूनी सलाहकार से करें।
गेमिंग के रास्ते और सुरक्षा-रेखाएँ
| मीट्रिक | इसमें गेमिंग कैसे होती है | साथ की सुरक्षा-रेखा मीट्रिक या प्रैक्टिस |
|---|---|---|
| पूर्वानुमान अंतराल कवरेज | कवरेज अच्छा दिखने तक अंतराल चौड़े करना; केवल आसान पूर्वानुमानों का मूल्यांकन | कवरेज के साथ अंतराल की चौड़ाई बताएँ; सभी दर्ज पूर्वानुमानों का मूल्यांकन करें |
| पूर्वानुमान त्रुटि | परिणाम से ठीक पहले पूर्वानुमान संशोधित करना; मूल्यांकन विंडो चुनना | दर्ज किया गया मूल पूर्वानुमान उपयोग करें; विंडो पहले से तय करें |
| आधार-रेखा के विरुद्ध कौशल | कमज़ोर आधार-रेखा चुनना; मूल्यांकन के डेटा पर विधि को ट्यून करना | आधार-रेखा पहले से तय करें; ट्यूनिंग में अप्रयुक्त डेटा पर मूल्यांकन करें |
| अंशांकन अंतर | कम बैंड या कम मामले लेना; अंतर छिपाने के लिए बैंड मिला देना | प्रति बैंड मामलों की संख्या बताएँ; न्यूनतम मामलों की संख्या तय करें |
| अलर्ट परिशुद्धता और रिकॉल | बाद में घटनाओं की परिभाषा बदलना; दोहराव गिनना | घटना की परिभाषा पहले से तय करें; दोहराव हटाएँ; अलर्टों का नमूना जाँचें |
| पूर्वानुमान ड्रिफ़्ट संकेत | संदर्भ अवधि को रीसेट करना; धीमे ड्रिफ़्ट की अनदेखी | संदर्भ विंडो तय करें और निर्धारित समय पर उसकी समीक्षा करें |
| पूर्वानुमान-निर्णय जुड़ाव | ऐसे लॉग में पूर्वानुमान गिनाना जिसका निर्णय पर कोई असर नहीं | पूछें कि क्या बदला; प्रविष्टियों का नमूना जाँचें |
स्वस्थ तस्वीर यह है: अंतराल घोषित हिस्से के परिणामों को समेटते हैं पर हास्यास्पद रूप से चौड़े नहीं हैं, जटिल विधियाँ सरल आधार-रेखाओं को स्पष्ट अंतर से हराती हैं, ड्रिफ़्ट देखा और जाँचा जाता है, और पूर्वानुमान निर्णयों में दिखते हैं।
समझौते: लाभ और हानि
| दृष्टिकोण | शक्ति | कमज़ोरी |
|---|---|---|
| सरल आधार-रेखा पूर्वानुमान | समझाना और बनाए रखना आसान; ओवरफ़िट करना कठिन | पैटर्न और बदलाव चूक जाते हैं |
| सांख्यिकीय या मशीन लर्निंग मॉडल | अधिक पैटर्न पकड़ते हैं; कई मदों पर चलते हैं | समझाना कठिन; ड्रिफ़्ट; निगरानी और डेटा चाहिए |
| बिंदु पूर्वानुमान | बताना आसान | झूठी सटीकता; प्रतिबद्धता को न्योता |
| अंतराल पूर्वानुमान | अनिश्चितता के बारे में ईमानदार | बताना कठिन; अस्पष्ट समझे जा सकते हैं |
| विशेषज्ञ का निर्णय | वह संदर्भ उपयोग करता है जो मॉडल में नहीं होता | पक्षपाती; ट्रैक करना कठिन |
निष्कर्ष यह है कि सरल से शुरू करें, लॉग रखें, अंतराल दिखाएँ, और जटिलता तभी जोड़ें जब वह आधार-रेखा के सामने अपनी जगह कमा ले। निर्णय और मॉडल साथ काम कर सकते हैं, यदि दोनों दर्ज और जाँचे जाएँ।
अपनी टीम के साथ चर्चा के प्रश्न
1. हमारा पिछला पूर्वानुमान क्या था, और उसका नतीजा क्या रहा? अधिकांश टीमें नहीं जानतीं, क्योंकि पूर्वानुमान दर्ज नहीं होते। संख्या, मान्यता और वास्तविक मान माँगें। देखें कि चौंकाने वाली बात डेटा से आई या मान्यता से। अनुवर्ती कार्रवाई: उसी उदाहरण से पूर्वानुमान लॉग शुरू करें।
2. हम किस पूर्वानुमान को प्रतिबद्धता मानते हैं, और ग़लत होने पर क़ीमत कौन चुकाता है? ऐसे पूर्वानुमान खोजें जो लक्ष्य बन गए, जैसे डिलीवरी की तारीखें या मात्रा के आँकड़े। पूछें कि दबाव किस पर है और वे क्या करते हैं। सीमाओं और उन्हें बताने की भाषा पर चर्चा करें। अनुवर्ती कार्रवाई: एक प्रतिबद्धता को मान्यताओं सहित सीमा के रूप में दोबारा लिखें।
3. क्या हमारा प्रेडिक्टिव मॉडल या औज़ार "पिछली अवधि जैसा ही" को हराता है? विक्रेता का दावा नहीं, तुलना माँगें। टीमों के पास अक्सर आधार-रेखा नहीं होती। समान मामलों पर निष्पक्ष तुलना कैसे हो, इस पर चर्चा करें। अनुवर्ती कार्रवाई: एक तिमाही आधार-रेखा को साथ चलाएँ।
4. झूठी चेतावनी की हमें क्या क़ीमत पड़ती है, और चूक की क्या? यह परिशुद्धता और रिकॉल का संतुलन तय करता है। वास्तविक उदाहरण माँगें। अलग-अलग लोगों के लिए क़ीमतें अक्सर अलग होती हैं, जैसे ऑन-कॉल इंजीनियर और ग्राहक। अनुवर्ती कार्रवाई: तय करें कि कौन-सी त्रुटि ज़्यादा मायने रखती है।
5. हमारे पूर्वानुमानों को क्या काम करना बंद करा देगा, और क्या हमें पता चलेगा? नए उत्पाद, नए औज़ार या डेटा दर्ज करने के अलग तरीक़े जैसे बदलावों पर चर्चा करें। ड्रिफ़्ट दिखाने वाला संकेत माँगें। अनुवर्ती कार्रवाई: ड्रिफ़्ट जाँच और उसका स्वामी जोड़ें।
6. भविष्यवाणी पर कार्रवाई कौन करता है, और क्या वह ना कह सकता है? स्कोर की गई मदों के लिए पूछें कि क्या होगा यह कौन तय करता है। बिना पलटने की व्यवस्था वाली स्वचालित कार्रवाइयाँ खोजें। त्रुटियाँ कैसे रिपोर्ट और ठीक होती हैं, इस पर चर्चा करें। अनुवर्ती कार्रवाई: पलटने का नियम लिखें।
चार दृष्टिकोण
उत्पाद और डिलीवरी टीमें
अपने इतिहास से पूर्वानुमान लगाएँ और सीमाएँ दें। पूर्वानुमान दर्ज करें और उनकी तुलना वास्तविक मान से करें, और उन बदलावों को चिह्नित करें जिनसे इतिहास कमज़ोर मार्गदर्शक बनता है, जैसे नया औज़ार या टीम में बदलाव। टीम-स्थानीय योजना संख्याओं को टीमों के बीच तुलना से बाहर रखें।
सेवा और संचालन टीमें
माँग, क्षमता और घटनाओं के पूर्वानुमान स्टाफ़िंग और रोकथाम में मदद करते हैं। उन्हें योजना बनाने के लिए इस्तेमाल करें, कोटा तय करने के लिए नहीं। शोर बढ़ाने वाले अलर्ट मॉडलों पर नज़र रखें, और झूठे सकारात्मक रिपोर्ट करें ताकि मॉडल ट्यून हो सकें।
नेतृत्व और शासन
पूर्वानुमान के मान के साथ उसके पीछे का रिकॉर्ड और अंतराल माँगें। पूर्वानुमानों को लोगों के लिए लक्ष्य बनाने से बचें। संचालन में प्रयुक्त प्रेडिक्टिव मॉडलों के लिए स्वामी, पलटने का नियम और पक्षपात की जाँच माँगें।
ग्राहक और उपयोगकर्ता
आप पूर्वानुमानों का असर प्रतीक्षा, आउटेज और अपने बारे में लिए गए निर्णयों के रूप में महसूस करते हैं। पूछें कि आपको प्रभावित करने वाली भविष्यवाणियाँ कैसे जाँची जाती हैं और आप किसी को चुनौती कैसे दे सकते हैं। ग़लत नतीजों की आपकी रिपोर्टें उस प्रतिक्रिया का हिस्सा हैं जो मॉडल को चाहिए।
व्यवहार में: सेवा प्रबंधन का एक उदाहरण
एक क्षेत्रीय सरकारी एजेंसी का IT सर्विस डेस्क स्टाफ़िंग की योजना के लिए साप्ताहिक टिकट संख्या का पूर्वानुमान लगाता है। इस उदाहरण की संख्याएँ उदाहरण-स्वरूप हैं। एक विक्रेता का औज़ार मशीन लर्निंग पूर्वानुमान देता है, और प्रबंधक जानना चाहता है कि उसे अपनाएँ या नहीं।
टीम पूर्वानुमान लॉग शुरू करती है। दस सप्ताह तक वह हर सप्ताह के तीन पूर्वानुमान दर्ज करती है: विक्रेता का बिंदु पूर्वानुमान, एक भोली आधार-रेखा (पिछले चार सप्ताहों का औसत), और आधार-रेखा की हाल की त्रुटियों से बनी एक सीमा। बाद में वह हर एक की पूर्वानुमान त्रुटि निकालती है। विक्रेता की माध्यक त्रुटि 11 प्रतिशत है और आधार-रेखा की 13 प्रतिशत, इसलिए आधार-रेखा के विरुद्ध कौशल 15 प्रतिशत है। विक्रेता की 85वें परसेंटाइल की त्रुटि 38 प्रतिशत है, जिसमें बड़ी चूकें उन सप्ताहों में हैं जब एजेंसी ने घोषणाएँ कीं, जो औज़ार के डेटा में नहीं हैं।
टीम विक्रेता के पूर्वानुमान को एक इनपुट के रूप में अपनाती है, ज्ञात आयोजनों के लिए एक फ़ील्ड जोड़ती है, और पिछली त्रुटियों पर आधारित सीमा प्रकाशित करती है। घोषित 85 प्रतिशत सीमा का पूर्वानुमान अंतराल कवरेज दस सप्ताहों में लगभग 80 प्रतिशत है। संख्या छोटी है, इसलिए वे इसे इस सावधानी के साथ बताते हैं कि दस मामले कम हैं। वे ड्रिफ़्ट जाँच भी लगाते हैं, जो नवीनतम आठ सप्ताहों की त्रुटि की तुलना पहले आठ सप्ताहों से करती है।
एक गेमिंग जोखिम सामने आता है। एक टीम लीड देखता है कि पूर्वानुमान स्टाफ़िंग तय करने में इस्तेमाल होता है और सुझाव देता है कि पूर्वानुमान में बफ़र जोड़ दें ताकि टीम पर्याप्त स्टाफ़ वाली दिखे। टीम पूर्वानुमान को ईमानदार रखती है और स्टाफ़िंग बफ़र को अलग निर्णय के रूप में दर्ज करती है। जो कठिन रहता है: जिन आयोजनों को औज़ार नहीं देख पाता, वे अब भी बड़ी चूकें पैदा करते हैं, और दस सप्ताह का डेटा अंशांकन आँकने के लिए काफ़ी नहीं है। योजना है कि लंबी अवधि के बाद फिर समीक्षा की जाए।
एजाइल, AI, स्वचालन और विश्लेषण
एजाइल
छोटे योजना-चक्र टीम को पूर्वानुमान बार-बार जाँचने और हितधारकों के साथ संशोधित करने देते हैं। अच्छी प्रैक्टिस है टीम के अपने थ्रूपुट से सीमाओं में पूर्वानुमान लगाना और नियमित सुधार-चर्चा में रिकॉर्ड की समीक्षा करना। सावधानी यह कि वादे की तरह लिया गया पूर्वानुमान अनुमान फुलाने, चीज़ें छिपाने या काम बाँटने की ओर ले जाता है।
AI
मशीन लर्निंग मॉडल और AI सहायक सटीकता का आभास देते हुए पूर्वानुमान और जोखिम स्कोर बना सकते हैं। उन्हें आधार-रेखा से तुलना करें, स्वामी रखें, नमूने से अंशांकन और झूठे सकारात्मक व नकारात्मक की दरें जाँचें, और स्कोर पर की गई कार्रवाइयों के लिए किसी मनुष्य को जवाबदेह रखें (देखें विषय 10.5, AI शासन और जोखिम मीट्रिक्स)। सावधानी यह कि AI से बना पूर्वानुमान बिना अंतराल और बिना घोषित मान्यताओं के आत्मविश्वास से भरी संख्या दे सकता है, इसलिए दोनों माँगें।
स्वचालन
पूर्वानुमान दर्ज करने, वास्तविक मान एकत्र करने और त्रुटि व कवरेज निकालने को स्वचालित करें, ताकि रिकॉर्ड अपने आप बने। भविष्यवाणी के बाद होने वाली स्वचालित कार्रवाइयों को उनकी ग़लत कार्रवाइयों पर मापें। सावधानी यह कि पूर्वानुमान पर कार्रवाई करने वाला स्वचालन, जैसे क्षमता बढ़ाना या पेज करना, पूर्वानुमान की त्रुटियों को उपयोगकर्ताओं को दिखाई देने वाला बना देता है, इसलिए सीमाएँ और समीक्षा जोड़ें।
विश्लेषण
यह विषय स्वयं पूर्वानुमानों का विश्लेषण है: त्रुटि को वितरण के रूप में, कवरेज को गिनतियों के साथ, और ड्रिफ़्ट को प्रयुक्त विंडो के साथ दिखाएँ। इससे जो निर्णय सूचित होता है वह यह है कि पूर्वानुमान पर कितना भरोसा करें और विधि कब बदलें। सावधानी यह कि छोटे नमूने अस्थिर अंशांकन देते हैं, इसलिए हर आँकड़े के पीछे के पूर्वानुमानों की संख्या बताएँ (देखें विषय 10.8, विश्लेषण और डेटा गुणवत्ता मीट्रिक्स)।
क्षेत्र का नज़रिया
स्टार्टअप। इतिहास छोटा होता है और सेवा अक्सर बदलती है, इसलिए पूर्वानुमान कमज़ोर होते हैं। सरल आधार-रेखाएँ और चौड़ी सीमाएँ उपयोग करें, और छोटा लॉग रखें। डेटा होने से पहले पूर्वानुमान औज़ार ख़रीदने से बचें।
छोटा व्यवसाय। मौसमी उतार-चढ़ाव और कुछ बड़े ग्राहक हावी रहते हैं। पिछले वर्ष की उसी अवधि को आधार-रेखा बनाएँ, और पैटर्न तोड़ने वाले आयोजन नोट करें। सटीकता का दावा करने वाले विक्रेता पूर्वानुमानों से सावधान रहें।
बड़ा उद्यम। टीमों के कई पूर्वानुमानों को साझा लॉग और परिभाषाएँ चाहिए। टीमों के बीच विधियों की निष्पक्ष तुलना करें और पूर्वानुमान की सटीकता पर टीमों की रैंकिंग से बचें। मॉडलों की ड्रिफ़्ट के लिए निर्धारित समय पर समीक्षा करें।
सरकार और सार्वजनिक क्षेत्र। पूर्वानुमान अक्सर बजट और स्टाफ़िंग के उन निर्णयों का आधार होते हैं जो सार्वजनिक होते हैं। विधियों और मान्यताओं का दस्तावेज़ बनाएँ, और लोगों को प्रभावित करने वाले स्वचालित निर्णयों के नियम जाँचें। नीति-परिवर्तन जैसी बाहरी घटनाओं की योजना बनाएँ जो डेटा को तोड़ देती हैं (देखें विषय 8.5, विनियमित और सरकारी रिपोर्टिंग)।
व्यावसायिक औचित्य: प्रेरणाएँ, ROI और TCO
लागतें हैं डेटा का काम, पूर्वानुमान दर्ज करना, मॉडलिंग के औज़ार यदि उपयोग हों, समीक्षा का समय, और ड्रिफ़्ट के लिए मॉडलों की निगरानी। लॉग और भोली आधार-रेखा से शुरू करने की लागत बहुत कम है।
प्रतिफल बेहतर योजना है: ज़रूरत से पहले पहुँची क्षमता, माँग से मेल खाता स्टाफ़, और कम आश्चर्य। इसे श्रेय देना कठिन है, इसलिए कोई आँकड़ा बताने से बचें। पूर्वानुमान विधि की लागत और त्रुटि की तुलना समय के साथ आधार-रेखा से करें, और मान्यताओं को सीमाओं के रूप में बताएँ (देखें विषय 7.7, निवेश पर प्रतिफल और व्यावसायिक औचित्य)। जोखिम की ओर है उस मॉडल पर अत्यधिक निर्भरता की क़ीमत जो ड्रिफ़्ट कर चुका है, और झूठी सटीकता पर लिए गए निर्णयों की क़ीमत।
प्रतिरूप-विरोधी और जाल
- वादे की तरह लिए गए एकल-संख्या पूर्वानुमान। ये अनुमान फुलाने और दोषारोपण को जन्म देते हैं। मान्यताओं सहित सीमाएँ प्रकाशित करें।
- पूर्वानुमान लॉग का न होना। सीखने का कोई तरीक़ा नहीं रहता। पूर्वानुमान और वास्तविक मान दर्ज करें।
- आधार-रेखा के बिना मॉडल ख़रीदना। लाभ अज्ञात रहता है। "पिछली अवधि जैसा ही" से तुलना करें।
- प्रशिक्षण डेटा पर सटीकता आँकना। यह मॉडल की चापलूसी करता है। बाद के डेटा पर मूल्यांकन करें।
- झूठे सकारात्मक की अनदेखी। शोर वाली भविष्यवाणियाँ लोगों को उन्हें अनदेखा करना सिखा देती हैं। परिशुद्धता और रिकॉल बताएँ।
- लोगों के लक्ष्य के रूप में पूर्वानुमान। वे डेटा को विकृत करते हैं। उन्हें योजना के लिए इस्तेमाल करें।
- ड्रिफ़्ट जाँच का न होना। मॉडल चुपचाप बिगड़ते हैं। समय के साथ त्रुटि की निगरानी करें।
- बिना मानवीय स्वामी की भविष्यवाणियाँ। ग़लत कार्रवाइयों का कोई जवाबदेह नहीं रहता। स्वामी और पलटने का नियम तय करें।
परिपक्वता मॉडल
| आयाम | आरंभ | विकास | मानकीकरण | प्रबंधन | समन्वयन |
|---|---|---|---|---|---|
| पूर्वानुमान प्रैक्टिस | एकल संख्याएँ; कोई रिकॉर्ड नहीं | कुछ सीमाएँ; अनौपचारिक नोट | सीमाओं, मान्यताओं और वास्तविक मान सहित पूर्वानुमान लॉग | त्रुटि, कवरेज और आधार-रेखा की तुलना निर्धारित अवधि पर | प्रयोगों से पूर्वानुमान और विधियाँ बेहतर हुईं और टीमों में साझा |
| प्रेडिक्टिव मॉडल | विक्रेता के दावे स्वीकार | आधार-रेखा से तुलना के साथ पायलट | प्रति मॉडल स्वामी, मूल्यांकन और पलटने का नियम | ड्रिफ़्ट, परिशुद्धता और रिकॉल की निगरानी | निगरानी और सेवानिवृत्ति सहित मॉडल जीवनचक्र का प्रबंधन |
| निर्णयों में उपयोग | प्रतिबद्धता के रूप में पूर्वानुमान | निर्णयकर्ताओं को पूर्वानुमान दिखाए जाते हैं | लॉग में पूर्वानुमान निर्णयों से जुड़े | निर्णयों की समीक्षा पूर्वानुमान के नतीजों से | निर्णय पूर्वानुमान की अनिश्चितता के अनुसार ढलते हैं |
जाँच-सूची
- पूर्वानुमान लॉग में मात्रा, मान या सीमा, तारीख, विधि और मान्यताएँ दर्ज हैं।
- वास्तविक मान जोड़े जाते हैं और पूर्वानुमान त्रुटि वितरण के रूप में रिपोर्ट होती है।
- किसी भी जटिल पूर्वानुमान के साथ सरल आधार-रेखा चलाई जाती है।
- अंतराल कवरेज अंतराल की चौड़ाई और मामलों की संख्या के साथ रिपोर्ट होता है।
- प्रेडिक्टिव अलर्ट तय घटना-परिभाषा के विरुद्ध परिशुद्धता और रिकॉल रिपोर्ट करते हैं।
- ड्रिफ़्ट तय संदर्भ विंडो के विरुद्ध जाँचा जाता है।
- हर प्रेडिक्टिव मॉडल का स्वामी, पलटने का नियम और समीक्षा-तिथि है।
- पूर्वानुमान निर्णय लॉग में निर्णयों से जुड़े हैं।
- पूर्वानुमानों को व्यक्तिगत लक्ष्यों के रूप में इस्तेमाल नहीं किया जाता।
- हर मीट्रिक के बगल में उसका गेमिंग का रास्ता और सुरक्षा-रेखा दिखाई गई है।
AI प्रॉम्प्ट
पूर्वानुमान लॉग और आधार-रेखा की रूपरेखा बनाएँ।
हम [उद्देश्य] के लिए [मात्रा] का पूर्वानुमान लगाते हैं। हमारा डेटा [इतिहास और
स्रोत का विवरण] है। फ़ील्ड सहित एक पूर्वानुमान लॉग, एक सरल आधार-रेखा विधि, और
बाद में त्रुटि व अंतराल कवरेज निकालने का तरीक़ा सुझाएँ। अपेक्षित सटीकता
गढ़ें नहीं। मान्यताओं को चिह्नित करें, और डेटा के बारे में वे प्रश्न सूचीबद्ध
करें जिनके उत्तर मुझे देने चाहिए।
किसी पूर्वानुमान विधि का आधार-रेखा के विरुद्ध मूल्यांकन करें।
नीचे [अवधि] के दर्ज पूर्वानुमान और वास्तविक मान हैं: [व्यक्तिगत जानकारी हटाकर
डेटा चिपकाएँ], साथ में एक आधार-रेखा पूर्वानुमान भी है। प्रत्येक के लिए निरपेक्ष
प्रतिशत त्रुटि का माध्यक और 85वाँ परसेंटाइल, अंतराल दिए गए हों तो अंतराल
कवरेज, और आधार-रेखा के विरुद्ध कौशल निकालें। डेटा से आगे का अनुमान न लगाएँ।
मामलों की संख्या बताएँ, यह बताएँ कि आप क्या नहीं आँक सके, और अपनी मान्यताएँ
सूचीबद्ध करें।
किसी प्रेडिक्टिव मॉडल की निगरानी-व्यवस्था की समीक्षा करें।
हम एक ऐसे मॉडल का उपयोग करते हैं जो [वह क्या भविष्यवाणी करता है और उसके बाद
कौन-सी कार्रवाई होती है]। उसकी निगरानी-व्यवस्था की समीक्षा का मसौदा बनाएँ:
स्वामी, जो मूल्यांकन-प्रमाण हमें माँगने चाहिए, त्रुटियाँ कैसे रिपोर्ट होती हैं,
पलटने का नियम, ड्रिफ़्ट जाँचें, और पक्षपात के बारे में प्रश्न। क़ानूनी
आवश्यकताओं के बारे में दावे न करें; हमारे क़ानूनी सलाहकार के लिए प्रश्न
सूचीबद्ध करें। मान्यताओं को चिह्नित करें।
पूर्वानुमान मापों के गेमिंग जोखिम की समीक्षा करें।
हम ये पूर्वानुमान माप रिपोर्ट करते हैं: [माप और परिभाषाएँ चिपकाएँ]। संदर्भ:
[टीम का आकार, औज़ार, श्रोता]। प्रत्येक माप के लिए वे यथार्थवादी तरीक़े सूचीबद्ध
करें जिनसे वह पूर्वानुमान सुधारे बिना बेहतर दिख सकता है, एक सुरक्षा-रेखा सुझाएँ,
और बताएँ कि उस सुरक्षा-रेखा की गेमिंग कैसे हो सकती है। बेंचमार्क मान न गढ़ें।
अपनी मान्यताएँ सूचीबद्ध करें।
AI स्किल
- Demand forecasting: माँग का पूर्वानुमान सीमाओं के साथ बनाने और जाँचने के लिए उपयोग करें।
- Trend analysis: पूर्वानुमान से पहले रुझानों और बदलावों की जाँच के लिए उपयोग करें।
- Machine learning model card: किसी प्रेडिक्टिव मॉडल का उद्देश्य, डेटा और सीमाएँ दर्ज करने के लिए उपयोग करें।
- Service Management Metrics skill: यह खोजने के लिए उपयोग करें कि कोई मीट्रिक और उसकी साथ की सुरक्षा-रेखा किस विषय में है।
मुख्य निष्कर्ष
- पूर्वानुमान एक ऐसी सीमा है जिसके पीछे उसका रिकॉर्ड है, इसलिए पूर्वानुमान दर्ज करें और उनकी तुलना वास्तविक मान से करें।
- किसी भी मॉडल की तुलना सरल आधार-रेखा से करें, और जटिल मॉडल तभी रखें जब वह उसे स्पष्ट रूप से हराए।
- अंतराल कवरेज और अंशांकन को उनके पीछे के मामलों की संख्या के साथ जाँचें।
- झूठी चेतावनी और चूक की लागत के अनुसार परिशुद्धता या रिकॉल चुनें।
- पूर्वानुमानों को लोगों के लिए लक्ष्य न बनाएँ, और भविष्यवाणी पर की गई कार्रवाइयों के लिए किसी मनुष्य को जवाबदेह रखें।
संदर्भ और आगे का अध्ययन
- Wikipedia, Forecasting.
- Wikipedia, Prediction interval.
- Wikipedia, Machine learning.
- Wikipedia, Concept drift.
- Wikipedia, Precision and recall.
- Wikipedia, Capacity planning.
- Hyndman, R. J., and Athanasopoulos, G., Forecasting: Principles and Practice, 3rd edition, OTexts, 2021, https://otexts.com/fpp3/