अवलोकन और प्रेरणा

अधिकांश सेवा मीट्रिक्स डैशबोर्ड पर एक अकेली संख्या के रूप में आते हैं: औसत समाधान-समय, लक्ष्य के भीतर सुलझी घटनाओं का प्रतिशत, इस सप्ताह बंद हुए टिकट। एक अकेली संख्या सटीक लगती है। असल में वह घटनाओं के अव्यवस्थित समूह का संपीड़ित सार होती है, और यही संपीड़न तय करता है कि पाठक क्या देखेगा। इस पुस्तक के संदर्भ में सांख्यिकीय साक्षरता उन थोड़ी-सी आदतों का समुच्चय है जो सार को ईमानदार रखती हैं: ऐसा सार चुनें जो डेटा के आकार से मेल खाए, जानें कि उसके पीछे कितना डेटा है, और वास्तविक बदलाव को शोर से अलग पहचानें।

पहली समस्या सेवा-डेटा का आकार है। समाधान-समय, साइकल टाइम और प्रतीक्षा-समय जैसे समय के माप शून्य पर सीमाबद्ध होते हैं और दाईं ओर उनकी लंबी पूँछ होती है। अधिकांश वस्तुएँ जल्दी पूरी होती हैं और कुछ बहुत लंबा समय लेती हैं। ऐसा डेटा विषम (skewed) होता है, और अंकगणितीय माध्य पूँछ की ओर खिंच जाता है, इसलिए एक अटका हुआ टिकट औसत को सौ सामान्य टिकटों से ज़्यादा हिला सकता है। माध्यिका (median), यानी वस्तुओं को क्रम में रखने पर बीच का मान, इससे बहुत कम प्रभावित होती है। प्रतिशतक (percentile) इसी का सामान्यीकरण है: 85वाँ प्रतिशतक वह मान है जिसके भीतर 85 प्रतिशत वस्तुएँ पूरी हो जाती हैं। इस तरह की अवधियों को अक्सर लॉग-सामान्य बंटन (log-normal distribution) से मॉडल किया जाता है, जिसमें मान का लघुगणक सममित होता है। सबक यह है कि विषम डेटा के लिए "सामान्य" और "औसत" अलग-अलग चीज़ें हैं।

दूसरी समस्या नमूने का आकार है। जो टीम तिमाही में प्राथमिकता 1 की 12 घटनाएँ सुलझाती है और "83 प्रतिशत लक्ष्य के भीतर" बताती है, वह असल में 12 में से 10 का वर्णन कर रही है। एक और चूक आँकड़े को आठ अंक खिसका देगी। ईमानदार कथन में गिनती शामिल होती है, और अक्सर एक दायरा भी। विश्वास अंतराल (confidence interval) डेटा से निकाला गया वह दायरा है जो बताता है कि वास्तविक मान प्रेक्षित मान से कितनी दूर तक संभव रूप से हो सकता है। छोटे नमूनों के लिए अंतराल चौड़े और बड़े नमूनों के लिए संकरे होते हैं, जो 12 घटनाओं वाली तिमाही के लिए सही संदेश है।

तीसरी समस्या उतार-चढ़ाव की है। हर प्रक्रिया ऐसी संख्याएँ पैदा करती है जो बिना कुछ बदले सप्ताह-दर-सप्ताह डगमगाती हैं। 1920 के दशक में विनिर्माण की गुणवत्ता पर काम करते हुए वॉल्टर शेवहार्ट (Walter Shewhart) ने इस नियमित डगमगाहट को उन संकेतों से अलग किया जो जाँच के योग्य हैं, और हमें नियंत्रण चार्ट (control chart) दिया। ऐसे चार्ट किसी प्रक्रिया पर लागू करना सांख्यिकीय प्रक्रिया नियंत्रण (statistical process control) कहलाता है। उस अंतिम भूल का एक हिस्सा माध्य की ओर प्रतिगमन (regression toward the mean) है: किसी चरम मान के बाद अपेक्षाकृत कम चरम मान आने की प्रवृत्ति होती है, इसलिए बहुत ख़राब सप्ताह के बाद का सप्ताह सुधार जैसा दिखता है, चाहे किसी ने कुछ किया हो या नहीं।

एजाइल प्रवाह अभ्यास, जैसे Kanban Guide में साइकल टाइम के प्रतिशतकों और कार्य-वस्तु की आयु का उपयोग, पहले से वितरण और संभावना के रूप में व्यक्त पूर्वानुमान माँगता है (देखें विषय 2.1, प्रवाह के माप)। ITIL 4 में मापन और रिपोर्टिंग अभ्यास तथा सतत सुधार अभ्यास, दोनों उन मापों पर निर्भर हैं जिनका अर्थ वही हो जो वे दिखाते हैं, और सेवा-स्तर प्रबंधन उन लक्ष्यों पर निर्भर है जो यथार्थपरक उतार-चढ़ाव के विरुद्ध तय किए गए हों। सांख्यिकीय साक्षरता दोनों के नीचे की साझा परत है। यह विषय 1.2 (गुडहार्ट का नियम और मीट्रिक्स का मनोविज्ञान) की सुरक्षा-रेखा को भी सहारा देती है: जो टीम पूरा वितरण दिखाती है, उसके पास हेरफेर किए गए औसत को छिपाने की जगहें कम होती हैं।

सामान्य-कारण उतार-चढ़ाव प्रक्रिया में अंतर्निहित होता है, और विशिष्ट-कारण उतार-चढ़ाव किसी ख़ास बदलाव या गड़बड़ी से आता है। सेवा-स्तर समझौता (SLA) ग्राहक से किया गया दस्तावेज़ी वचन है, और सेवा-स्तर लक्ष्य (SLO) किसी माप के लिए तय लक्ष्य है।

मुख्य सिद्धांत

  • सार को आकार से मिलाएँ। अवधियों के लिए माध्यिका और प्रतिशतक इस्तेमाल करें, और निर्णय महत्वपूर्ण हो तो पूरा वितरण दिखाएँ। माध्य को उस डेटा के लिए रखें जो लगभग सममित हो, या लागत जैसे योग के लिए।
  • हर दर अपनी गिनती साथ रखे। अंश और हर के बिना प्रतिशत ऐसा दावा है जिसके साथ कोई प्रमाण नहीं। एक तय न्यूनतम गिनती से नीचे दर की जगह कच्ची वस्तुएँ दिखाएँ।
  • सामान्य उतार-चढ़ाव कोई ख़बर नहीं है। प्रतिक्रिया देने से पहले किसी माप का सामान्य दायरा जानें। हर हलचल पर नहीं, संकेतों पर प्रतिक्रिया दें।
  • अनिश्चितता उत्तर का हिस्सा है। पूर्वानुमान को संभावना ("85 प्रतिशत वस्तुएँ 9 दिनों के भीतर पूरी होती हैं") और अनुमान को दायरे के रूप में व्यक्त करें, और झूठी परिशुद्धता से बचें।
  • वितरण उस टीम को दिखाएँ जो काम की स्वामी है। कच्ची वस्तुएँ और हिस्टोग्राम असामान्य मामलों को दृश्य बनाते हैं और चुपचाप हेरफेर को कठिन।
  • सहसंबंध, चयन और समय बहुत-से "सुधारों" की व्याख्या करते हैं। पूछें कि और क्या बदला, डेटा से किसे बाहर रखा गया, और क्या शुरुआती बिंदु असामान्य रूप से ख़राब था।
  • सांख्यिकी को अनुपात में रखें। टीम को निरंतर इस्तेमाल होने वाली मुट्ठी भर तकनीकें चाहिए, सांख्यिकी का पाठ्यक्रम नहीं। हर चार्ट को सरल शब्दों में समझाएँ।

मीट्रिक परिभाषाएँ

नीचे के मीट्रिक्स मीट्रिक्स अभ्यास की सांख्यिकीय गुणवत्ता और सेवा-कार्य के वितरण का वर्णन करते हैं। समय के माप हर पंक्ति में बताई घड़ियों का उपयोग करते हैं, और परिभाषाएँ आगे के विषयों द्वारा पुनः उपयोग के लिए हैं (देखें विषय 3.3, घटना की प्रतिक्रिया और समाधान का समय, तथा विषय 2.2, लीड टाइम, साइकल टाइम और प्रवाह दक्षता)।

मीट्रिक परिभाषा सूत्र इकाई डेटा स्रोत ITIL अभ्यास एजाइल समकक्ष आवृत्ति
माध्यिका समाधान-समय अवधि में सुलझी घटनाओं का बीच का समाधान-समय अवधि में सुलझी घटनाओं के (समाधान टाइमस्टैम्प घटा निर्माण टाइमस्टैम्प) का 50वाँ प्रतिशतक; घड़ी टिकट बनने पर शुरू होती है और समाधान पर रुकती है; विराम अलग से रिपोर्ट होते हैं, घटाए नहीं जाते; रद्द और डुप्लिकेट टिकट बाहर रखे जाते हैं घंटे या दिन ITSM औज़ार का स्थिति-इतिहास घटना प्रबंधन; मापन और रिपोर्टिंग माध्यिका साइकल टाइम साप्ताहिक या मासिक
ऊँचे प्रतिशतक का समाधान-समय वह समय जिसके भीतर अधिकांश घटनाएँ सुलझती हैं, प्रतिशतक का नाम देकर ऊपर के ही बीते समय का 85वाँ (या 95वाँ) प्रतिशतक; केवल तभी निकाला जाता है जब कम से कम 20 वस्तुएँ सुलझी हों, अन्यथा कच्ची वस्तुओं की सूची दी जाती है घंटे या दिन ITSM औज़ार का स्थिति-इतिहास घटना प्रबंधन; सेवा-स्तर प्रबंधन साइकल टाइम प्रतिशतक पूर्वानुमान साप्ताहिक या मासिक
सबसे पुरानी खुली वस्तु की आयु अब भी खुली सबसे पुरानी वस्तु की आयु, साथ में ऊँचे प्रतिशतक से पुरानी वस्तुओं की गिनती खुली वस्तुओं के लिए अभी का समय घटा निर्माण टाइमस्टैम्प, कोई विराम नहीं घटाया जाता; सेवा कतार की सभी खुली वस्तुएँ गिनी जाती हैं, ग्राहक की प्रतीक्षा वाली भी दिन ITSM औज़ार या इश्यू ट्रैकर घटना प्रबंधन; समस्या प्रबंधन कार्य-वस्तु की आयु साप्ताहिक
दर रिपोर्टिंग की व्याप्ति रिपोर्ट की गई उन दरों का हिस्सा जो अंश, हर और न्यूनतम-गिनती की जाँच दिखाती हैं गिनती और नमूना-चिह्न के साथ रिपोर्ट की गई दरें / रिपोर्ट की गई दरें; केवल अवधि के समीक्षा-पैक में प्रकाशित दरें गिनी जाती हैं प्रतिशत मीट्रिक रजिस्टर (देखें विषय 1.4, मीट्रिक्स का शासन और स्वामित्व) मापन और रिपोर्टिंग कार्य-समझौते त्रैमासिक
नियंत्रण चार्ट संकेत दर किसी माप के नियंत्रण चार्ट के उन बिंदुओं का हिस्सा जो टीम के लिखित नियमों के तहत विशिष्ट-कारण उतार-चढ़ाव का संकेत देते हैं नियमों के तहत चिह्नित बिंदु / आलेखित बिंदु, पिछले 20 या अधिक बिंदुओं पर; नियम पहले से तय और दर्ज होते हैं प्रतिशत नियंत्रण चार्ट औज़ार या स्प्रेडशीट सतत सुधार प्रक्रिया का रेट्रोस्पेक्टिव निरीक्षण मासिक
अंतराल की चौड़ाई मुख्य दर पर बताए गए अनिश्चितता-दायरे की चौड़ाई रजिस्टर में नामित विधि से, अवधि की मुख्य दर के अंतराल की ऊपरी सीमा घटा निचली सीमा प्रतिशत अंक ITSM गिनतियों से परिकलित सेवा-स्तर प्रबंधन योजना में पूर्वानुमान का दायरा मासिक

जहाँ अनुबंध माध्य का नाम लेता है, वहाँ अनुबंध वाला आँकड़ा रिपोर्ट करें और उसके बगल में माध्यिका और प्रतिशतक दिखाएँ।

सिफ़ारिशें

समय के डेटा का ईमानदार सार दें

1. माध्यिका और एक नामित ऊँचे प्रतिशतक को डिफ़ॉल्ट बनाएँ। समाधान-समय, साइकल टाइम और पूर्ति-समय के लिए माध्यिका और 85वाँ या 95वाँ प्रतिशतक साथ-साथ प्रकाशित करें, और प्रतिशतक को मीट्रिक के नाम में लिखें। माध्यिका बताती है कि सामान्य क्या है, और ऊँचा प्रतिशतक बताता है कि ग्राहक से उचित रूप से क्या वादा किया जा सकता है। यदि वचन के लिए एक ही संख्या चुननी पड़े, तो प्रतिशतक चुनें।

2. सार के साथ आकार भी दिखाएँ। समापन-तिथि के अनुसार समाधान-समय का हिस्टोग्राम या स्कैटर प्लॉट गुच्छे, लंबी पूँछें और अचानक बदलाव दिखाता है, जो कोई सार नहीं दिखाता। जब चित्र और संख्या में असहमति हो, तो चित्र पर भरोसा करें और संख्या की जाँच करें।

3. सबसे पुरानी खुली वस्तु की आयु जोड़ें। पूर्ण हो चुके कार्य के प्रतिशतक पीछे देखते हैं और जो अब भी अटका है उसे अनदेखा करते हैं। सबसे पुरानी खुली वस्तु और यह रिपोर्ट करें कि कितनी खुली वस्तुएँ आपके ऊँचे प्रतिशतक से पहले ही पुरानी हैं (देखें विषय 2.1, प्रवाह के माप)। कठिन वस्तुओं को पुराना होने देने से सुधरते औसत का यह सबसे उपयोगी एकल उपचार है।

छोटे नमूनों और अनिश्चितता का सम्मान करें

4. हर दर के साथ गिनती प्रकाशित करें। "83 प्रतिशत" के बजाय "12 में से 10 लक्ष्य के भीतर सुलझीं" लिखें। यह नियम जोड़ें कि जिन दरों का आधार तय संख्या से कम वस्तुएँ हों, उन्हें गिनती या मूल वस्तुओं के रूप में दिखाया जाए। सीमा एक विवेकपूर्ण निर्णय है: उसे लिखें, उसकी समीक्षा करें और हर जगह लागू करें।

5. मुख्य दरों और पूर्वानुमानों के लिए अंतराल इस्तेमाल करें। विफल होने वाले परिवर्तनों के हिस्से जैसे अनुपात के लिए ऐसी विधि से विश्वास अंतराल निकालें जिस पर आपकी टीम सहमत हो, और विधि को रजिस्टर में दर्ज करें। डिलीवरी पूर्वानुमान के लिए नमूने पर आधारित दायरा (उदाहरण के लिए, "प्रति सप्ताह संभवतः 8 से 14 वस्तुएँ") योजनाकारों को एकल थ्रूपुट आँकड़े से अधिक बताता है। यदि अंतराल इतना चौड़ा हो कि निर्णय में मदद न करे, तो यह कह दें।

संकेत को शोर से अलग करें

6. जिन मापों पर आप कार्रवाई करते हैं उनके नियंत्रण चार्ट बनाएँ। एक सरल व्यक्तिगत-मान चार्ट हर बिंदु को समय-क्रम में एक केंद्र-रेखा और डेटा से निकली सीमाओं के साथ आलेखित करता है, और सीमा से बाहर के बिंदुओं या केंद्र के एक ओर की शृंखलाओं को चिह्नित करता है। साप्ताहिक माध्यिका समाधान-समय और साप्ताहिक मात्रा से शुरू करें। संकेत-नियम एक बार लिख दें (उदाहरण के लिए, सीमा से बाहर का बिंदु, या केंद्र के एक ओर लगातार आठ बिंदु) और उन्हें स्थिर रखें, ताकि टीम नियमों को तब तक न बदलती रहे जब तक चार्ट उसकी भावनाओं से मेल न खा जाए।

7. संकेतों पर कार्रवाई करें और सामान्य-कारण उतार-चढ़ाव को अकेला छोड़ दें। जब कोई बिंदु सीमाओं के भीतर हो, तो उसकी व्याख्या गढ़ने से बचें; वह प्रक्रिया का सामान्य व्यवहार है। जब संकेत आए, तो पूछें कि उस सप्ताह क्या बदला: कोई रिलीज़, स्टाफ़ की कमी, आपूर्तिकर्ता का आउटेज, नई श्रेणी। यदि प्रक्रिया स्थिर है पर असंतोषजनक, तो सुधार प्रणाली में बदलाव है, उस व्यक्ति से बातचीत नहीं जिसका सप्ताह लाल रहा।

8. चरम अवधि के बाद माध्य की ओर प्रतिगमन की अपेक्षा रखें। यदि आप साल के सबसे ख़राब महीने में कोई पहल शुरू करते हैं, तो संयोग से कुछ सुधार आएगा ही। पहल को श्रेय देने से पहले लंबी आधार-रेखा से, किसी समान सेवा से जो नहीं बदली, या नियंत्रण सीमाओं से तुलना करें। दो बिंदुओं की पहले-और-बाद वाली जोड़ी प्रमाण का सबसे कमज़ोर रूप है।

कारण और चयन के बारे में सावधानी से सोचें

9. पूछें कि डेटा में क्या ग़ायब है। सर्वेक्षण के उत्तर उन लोगों से आते हैं जिन्होंने उत्तर देना चुना। बंद टिकट उन टिकटों को बाहर रखते हैं जो अब भी खुले हैं। निष्कर्ष निकालने से पहले सूचीबद्ध करें कि कौन या क्या अनुपस्थित है और इससे परिणाम किस ओर झुक सकता है।

10. परिभाषाएँ सोच-समझकर बदलें, और चार्ट पर उन्हें चिह्नित करें। नया स्थिति-मॉडल, नया प्राथमिकता-मैट्रिक्स या नई श्रेणी-सूची काम बदले बिना डेटा बदल देती है। हर बदलाव को चार्ट पर टिप्पणी के साथ दर्ज करें और उसके बाद नियंत्रण सीमाएँ फिर से शुरू करें (देखें विषय 1.5, डेटा स्रोत और इंस्ट्रूमेंटेशन)।

गेमिंग के रास्ते और सुरक्षा-रेखाएँ

मीट्रिक इसमें गेमिंग कैसे होती है जोड़ी गई सुरक्षा-रेखा मीट्रिक या अभ्यास
माध्यिका समाधान-समय जल्दी वाले टिकट पहले बंद करना और कठिन टिकट खुले छोड़ देना; एक टिकट को कई आसान टिकटों में बाँटना; ग्राहक-प्रतीक्षा वाली स्थिति में घड़ी रोक देना ऊँचे प्रतिशतक का समाधान-समय और सबसे पुरानी खुली वस्तु की आयु; विराम वाली स्थितियों में बिताए समय का हिस्सा; जुड़े टिकटों की दर
ऊँचे प्रतिशतक का समाधान-समय ऐसा प्रतिशतक चुनना जो परिणाम को अच्छा दिखाए, या रिपोर्टों के बीच उसे बदल देना; लंबे मामलों को "आउटलायर" कहकर बाहर करना या उनका वर्गीकरण बदल देना रजिस्टर में तय प्रतिशतक; कारण सहित बाहर रखी वस्तुओं की सूची; सबसे पुरानी खुली वस्तु की आयु
सबसे पुरानी खुली वस्तु की आयु सबसे पुरानी वस्तु को सुलझाए बिना बंद या विलय कर देना; उसे किसी दूसरी कतार या श्रेणी में भेज देना पुनः खोलने की दर; सबसे पुराने बंद मामलों का नमूना-ऑडिट; कतार-हस्तांतरण की गिनती
दर रिपोर्टिंग की व्याप्ति छोटे अक्षरों में गिनती जोड़ देना जबकि शीर्षक अब भी प्रतिशत से शुरू होते हैं; न्यूनतम गिनती इतनी कम रखना कि वह कभी लागू न हो रजिस्टर की नहीं, असल डैशबोर्ड की समीक्षा करें; न्यूनतम गिनती की समीक्षा अंतराल की चौड़ाई के साथ
नियंत्रण चार्ट संकेत दर सीमाएँ चौड़ी करना, नियम जोड़ना या आधार-रेखा फिर से शुरू करना ताकि संकेत ग़ायब हो जाएँ; माप बदलकर बिंदु खिसकाना नियम और सीमाएँ बदलाव-इतिहास के साथ रजिस्टर में रखी जाएँ; कच्चे हिस्टोग्राम से तुलना
अंतराल की चौड़ाई ऐसी विधि या अवधि चुनना जो संकरा दायरा दे; नमूना बढ़ाने के लिए असमान सेवाओं को मिला देना रजिस्टर में नामित विधि; अनुरोध पर सेवा-वार विभाजन उपलब्ध; मिलाए और बिना मिलाए परिणामों की तुलना

स्वस्थ पाठ में माध्यिकाएँ और प्रतिशतक उसी दिशा में चलते हैं जिसमें उपयोगकर्ताओं का अनुभव, पुरानी वस्तुओं की एक छोटी सूची जो चुपचाप पुनर्वर्गीकृत हुए बिना सिकुड़ती है, और दरें जो अपनी गिनती के साथ आती हैं। नियंत्रण चार्ट संकेत दर कम पर शून्य से ऊपर होनी चाहिए: जो चार्ट कभी संकेत नहीं देता वह शायद दे ही नहीं सकता, और जो हमेशा संकेत देता है वह अस्थिर प्रक्रिया या बुरी तरह चुने नियमों को दर्शाता है।

समझौते: लाभ और हानि

दृष्टिकोण शक्ति कमज़ोरी
औसत समाधान-समय सरल, कई अनुबंधों से मेल खाता है, जोड़ना आसान पूँछ से हावी; ग्राहक सामान्यतः जो अनुभव करते हैं उसे छिपाता है
माध्यिका के साथ ऊँचा प्रतिशतक आउटलायर के प्रति प्रतिरोधी; ग्राहकों से वादों का समर्थन करता है थोड़ा समझाना पड़ता है; प्रतिशतकों को स्थिर होने के लिए पर्याप्त वस्तुएँ चाहिए
गिनती के बिना कच्ची दरें संक्षिप्त और जानी-पहचानी छोटे नमूनों को छिपाती हैं और ज़रूरत से ज़्यादा पढ़ने को न्योता देती हैं
गिनती और अंतराल सहित दरें अनिश्चितता के प्रति ईमानदार; अति-प्रतिक्रिया को हतोत्साहित करती हैं कम निर्णायक दिखती हैं; अंतराल की विधियों पर सहमति चाहिए
नियंत्रण चार्ट संकेत को शोर से अलग करते हैं; कब कार्रवाई करें यह बताते हैं पर्याप्त बिंदु और स्थिर परिभाषाएँ चाहिए; सीमाओं को ग़लत पढ़ा या उनसे छेड़छाड़ की जा सकती है
पहले-और-बाद की तुलना जल्दी और बताने में आसान माध्य की ओर प्रतिगमन और साथ-साथ हुए बदलावों से ग्रस्त

जिस सेवा में साल में मुट्ठी भर घटनाएँ हों, उसके लिए कोई सांख्यिकी स्थिर नहीं होती, और सही तरीक़ा हर घटना को पढ़ना है। अधिक मात्रा वाले डेस्क के लिए वितरण-सचेत माप सस्ते और स्पष्ट रूप से बेहतर हैं। मात्रा और निर्णय के दाँव के अनुसार चुनें।

अपनी टीम के साथ चर्चा के प्रश्न

1. हमारे डैशबोर्ड की कौन-सी मौजूदा संख्या किसी विषम चीज़ का औसत है, और माध्यिका व 95वाँ प्रतिशतक क्या दिखाएँगे? सबसे ज़्यादा देखा जाने वाला समय-माप चुनें और बैठक से पहले एक ही वस्तु-समूह पर तीनों निकालें। पूछें कि औसत जो कहानी कहता है वह उपयोगकर्ताओं की बात से मेल खाती है या नहीं। अंत में तय करें कि कौन-सा सार मुख्य बनेगा और बाक़ी कहाँ दिखेंगे।

2. हमारे सबसे ज़्यादा उद्धृत प्रतिशत के पीछे कितनी वस्तुएँ हैं, और क्या हम गिनती लिखने पर भी उसे उद्धृत करेंगे? उन तीन प्रतिशतों की सूची बनाएँ जिन्हें नेतृत्व सबसे ज़्यादा पढ़ता है। हर एक के बगल में पिछली अवधि का अंश और हर लिखें। पूछें कि एक अतिरिक्त सफलता या विफलता आँकड़े का क्या करेगी। न्यूनतम गिनती पर सहमत हों जिससे नीचे टीम दर की जगह वस्तुएँ दिखाए।

3. हमने पिछली बार किसी सुधार का श्रेय किसी पहल को कब दिया, और उस समय और क्या सच था? हाल की कोई सफलता की कहानी चुनें। पूछें कि माप सबसे ख़राब कब था, लंबा इतिहास कैसा दिखता है, और क्या कोई तुलनीय सेवा भी सुधरी। लहजा जिज्ञासु रखें।

4. हमारे मुख्य मापों का सामान्य दायरा क्या है, और कौन कह सकेगा कि कोई ख़ास सप्ताह असामान्य है? किसी एक माप के पिछले 20 या अधिक साप्ताहिक मान आलेखित करें और केंद्र व सीमाएँ खींचें, या मोटे तौर पर निकालें। पूछें कि टीम ने किन सप्ताहों पर प्रतिक्रिया दी जो दायरे के भीतर थे। तय करें कि चार्ट का स्वामी कौन है और संकेत-नियम कहाँ लिखे हैं।

5. हमारे डेटा में कौन या क्या ग़ायब है? माप के स्रोतों की सूची बनाएँ: बंद टिकट, सर्वेक्षण के उत्तर, निगरानी वाली सेवाएँ, टाइमस्टैम्प वाले औज़ार। हर एक के लिए पूछें कि किसे और क्यों बाहर रखा गया है। हर कमी को सुधार या चेतावनी के रूप में दर्ज करें।

6. हम चौड़े दायरे या "अभी हमें पता नहीं" को नेतृत्व को बहाना लगे बिना कैसे समझाएँगे? किसी वास्तविक उदाहरण पर शब्दावली का अभ्यास करें: "12 घटनाओं पर 70 से 95 प्रतिशत के बीच; अगली तिमाही के बाद इसे संकरा करने की अपेक्षा है।" पूछें कि श्रोताओं को क्या तय करना है और क्या दायरा निर्णय बदलता है। बैठक में एक छोटी पटकथा लिखें।

चार दृष्टिकोण

उत्पाद और डिलीवरी टीमें

डिलीवरी टीमें पूर्वानुमान के लिए साइकल टाइम और थ्रूपुट का उपयोग करती हैं, और औसत की जगह प्रतिशतक-आधारित पूर्वानुमानों से उन्हें सबसे ज़्यादा लाभ मिलता है (देखें विषय 2.1, प्रवाह के माप)। संभावना के साथ दायरे के रूप में कहा गया पूर्वानुमान तारीख़ से अधिक बचाव-योग्य होता है। एक अवधि के बदलाव को रुझान न पढ़ें (देखें विषय 2.5, डिलीवरी पूर्वानुमान और योजना मीट्रिक्स)।

सेवा और संचालन टीमें

संचालन टीमें टिकट-डेटा और घटना-घड़ियों की स्वामी होती हैं, इसलिए माध्यिकाएँ, प्रतिशतक और सबसे पुरानी खुली वस्तु प्रकाशित करने और विराम-नियम समझाने के लिए वे सबसे उपयुक्त हैं। उन्हें साप्ताहिक मात्रा और समाधान-समय को नियंत्रण सीमाओं के साथ आलेखित करना चाहिए, ताकि ख़राब रिलीज़ जैसे वास्तविक बदलाव को बुरे सप्ताह से अलग पहचाना जा सके। जिस सेवा में घटनाएँ कम हों, वहाँ दरें निकालने के बजाय हर घटना की समीक्षा करें (देखें विषय 3.3, घटना की प्रतिक्रिया और समाधान का समय)।

नेतृत्व और शासन

नेतृत्व वे प्रश्न पूछता है जो तय करते हैं कि टीमें क्या दिखाएँगी। हर डगमगाहट पर "यह क्यों बढ़ा?" पूछना संगठन को शोर की व्याख्या करना और उसे छिपाना सिखाता है। नेतृत्व को पूछना चाहिए कि क्या कोई हलचल सामान्य दायरे के भीतर है, किसी आँकड़े के पीछे कितनी वस्तुएँ हैं, और प्रक्रिया में क्या बदला है। शासन निकाय मुख्य दरों पर गिनती अनिवार्य कर सकते हैं।

ग्राहक और उपयोगकर्ता

ग्राहक औसत नहीं, अलग-अलग मामले अनुभव करते हैं। उन्हें वह एक अनुरोध याद रहता है जिसमें पाँच सप्ताह लगे, और दो दिन का औसत उस स्मृति को ठीक नहीं करता। प्रतिशतक वाले वचन ("दस में से नौ अनुरोध तीन कार्य-दिवसों के भीतर") ग्राहक के मानसिक मॉडल से औसत समय की तुलना में बेहतर मेल खाते हैं। सर्वेक्षण परिणाम उत्तरों की गिनती के साथ दिखाए जाने चाहिए, और खुली टिप्पणियाँ संख्याओं के साथ पढ़ी जानी चाहिए (देखें विषय 6.1, ग्राहक संतुष्टि मीट्रिक्स)।

व्यवहार में: सेवा प्रबंधन का एक उदाहरण

एक मध्यम आकार के ऑनलाइन खुदरा विक्रेता के पास सर्विस डेस्क और अपनी वेब दुकान को सहारा देने वाली संचालन टीम है। नीचे के आँकड़े उदाहरण के लिए हैं।

नेतृत्व को मासिक शीर्षक दिखता है: "औसत घटना समाधान-समय 9.1 घंटे से घटकर 7.4 घंटे हुआ।" संचालन प्रमुख से कहा जाता है कि इसकी पुष्टि करें और अगले लक्ष्य, 6 घंटे, की योजना प्रस्तुत करें। सहमत होने से पहले वह विश्लेषक से मूल वस्तुएँ निकालने और आलेखित करने को कहती है। महीने की 240 घटनाओं में (उदाहरणार्थ), माध्यिका 2.5 घंटे है, 85वाँ प्रतिशतक 14 घंटे है, और 9 घटनाएँ 5 दिन से पुरानी हैं और अब भी खुली हैं। पिछले महीने माध्यिका 2.6 घंटे थी। औसत इसलिए गिरा कि पिछले महीने की तीन बहुत लंबी घटनाएँ, जिनमें एक 11 दिन पुरानी थी, संयोग से इस अवधि में पहले सुलझ गईं, और पासवर्ड रीसेट टिकटों का एक जत्था जल्दी बंद होने वाले अनुरोध-प्रकार में पुनर्वर्गीकृत कर दिया गया।

टीम पिछले 26 सप्ताहों की साप्ताहिक माध्यिका आलेखित करती है। केंद्र-रेखा 2.6 घंटे के पास है, और पिछले दो महीनों का हर बिंदु सीमाओं के भीतर है। शीर्षक की गिरावट कोई संकेत नहीं है। दूसरे सप्ताह के पुनर्वर्गीकरण ने चार्ट के बीच में परिभाषा बदल दी, इसलिए टीम उसे चिह्नित करती है और उस बिंदु से सीमाएँ फिर से शुरू करती है।

वे तीन बदलाव तय करते हैं। मासिक रिपोर्ट माध्यिका, 85वाँ प्रतिशतक और सबसे पुरानी खुली वस्तु दिखाएगी, हर एक के पीछे घटनाओं की संख्या के साथ। प्रस्तावित 6 घंटे के औसत लक्ष्य की जगह प्रतिशतक-लक्ष्य पर बातचीत होगी, जो नई परिभाषा के तहत एक तिमाही के डेटा के बाद तय होगा। टीम उन 9 पुरानी घटनाओं को भी स्वामी और अगले क़दम के साथ सूचीबद्ध करेगी।

गेमिंग का जो जोखिम वे पकड़ते हैं, वह अगली समीक्षा में आता है। एक प्रबंधक प्रस्ताव रखता है कि सबसे पुरानी वस्तु का आँकड़ा स्वस्थ दिखाने के लिए 9 सबसे पुरानी घटनाओं को "अब दोहराई नहीं जा सकतीं" कहकर बंद कर दिया जाए। चूँकि रजिस्टर सबसे पुरानी खुली वस्तु की आयु को पुनः खोलने की दर और पुराने बंद मामलों के नमूना-ऑडिट से जोड़ता है, टीम प्रस्तावित तीन बंदियाँ पढ़ती है, पाती है कि दो अब भी जीवित हैं, और उन्हें खुला रखती है। सबसे पुरानी वस्तु का आँकड़ा एक और महीने असहज बना रहता है। यही अभीष्ट व्यवहार है।

एजाइल, AI, स्वचालन और विश्लेषण

एजाइल

बार-बार की डिलीवरी बहुत-से छोटे नमूने पैदा करती है, जो बदलाव देखने के लिए अच्छा है, पर हर नमूना छोटा है। एक उपयोगी अभ्यास है घूमती खिड़की पर नियंत्रण चार्ट दिखाना और नियमित समीक्षाओं में हर लहर पर नहीं, केवल संकेतों पर चर्चा करना। सावधानी यह है कि शोर पर प्रतिक्रिया न दें: जो टीम हर गिरावट पर दिशा बदलती है, वह कभी किसी बदलाव का असर नहीं देख पाएगी।

AI

AI-सहायता वाला कार्य अक्सर पूरे वितरण को खिसका देता है, जैसे तेज़ पहली प्रतिक्रियाएँ पर अधिक परिवर्तनशील गुणवत्ता। पहले और बाद की तुलना प्रतिशतकों और सबसे पुरानी वस्तु से करें, और गति को गुणवत्ता के माप से जोड़ें। सावधानी यह है कि मॉडल का बदलाव रुझान के बीच डेटा को बदल सकता है, इसलिए चार्ट पर मॉडल और प्रॉम्प्ट के बदलाव चिह्नित करें।

स्वचालन

माध्यिकाओं, ऊँचे प्रतिशतकों, गिनतियों और अंतरालों की गणना और प्रदर्शन को स्वचालित करें, ताकि सही रूप डिफ़ॉल्ट हो और कोई हाथ से दोबारा न निकाले। स्वचालन के अपने नमूना-आकार और विफलता-दरें भी रिपोर्ट होनी चाहिए। सावधानी यह है कि विषम डेटा पर सीमा-आधारित स्वचालित अलर्ट झूठे अलार्म पैदा करते हैं, इसलिए अलर्ट तय संख्याओं की जगह नियंत्रण सीमाओं पर आधारित करें।

विश्लेषण

हमेशा बताएँ कि किसी दर के पीछे कितनी वस्तुएँ हैं, और गिनती कम हो तो अंतराल दिखाएँ। पूर्वानुमान को एकल तारीख़ों की जगह दायरों के रूप में उपयोग करें। सावधानी यह है कि सांख्यिकीय सार्थकता का अर्थ व्यावहारिक महत्व नहीं है, और छोटा नमूना वास्तविक समस्या छिपा सकता है, इसलिए संख्याओं को असली वस्तुएँ पढ़ने के साथ मिलाएँ।

क्षेत्र का नज़रिया

स्टार्टअप। मात्रा छोटी होती है, इसलिए अधिकांश दरें कुछ वस्तुओं से बनी होती हैं और अंतराल चौड़े होते हैं। सांख्यिकी निकालने के बजाय हर घटना पढ़ें, एक या दो मापों का सरल साप्ताहिक चार्ट रखें, और तीन बिंदुओं से रुझान घोषित करने से बचें। मात्रा बढ़ने पर माध्यिकाओं और प्रतिशतकों पर जल्दी आएँ ताकि आदतें पहले से बनी हों।

छोटा व्यवसाय। जो व्यक्ति IT चलाता है वही डेटा का भी स्वामी होता है, और नमूना आमतौर पर छोटा होता है। दुर्लभ घटनाओं के लिए प्रतिशत नहीं, गिनती रिपोर्ट करें, और अपने ही लंबे इतिहास से तुलना करें। जाँचें कि विक्रेता की "प्रतिक्रिया-समय" घड़ी वास्तव में क्या मापती है।

एंटरप्राइज़। मात्रा वितरणों को अर्थपूर्ण बनाती है, और यह ऐसे रोल-अप को भी प्रोत्साहित करती है जो असमान सेवाओं को मिला देते हैं। समान की तुलना समान से करें, परिभाषाएँ और प्रयुक्त प्रतिशतक प्रकाशित करें, और चार्ट व गणना-नियमों की साझा लाइब्रेरी रखें ताकि टीमें एक ही माप को तीन तरीक़ों से न निकालें।

सरकार और सार्वजनिक क्षेत्र। अनुबंध और वैधानिक रिपोर्टिंग अक्सर माध्य या सीमा-प्रतिशत तय कर देते हैं, और वे परिभाषाएँ समझौते योग्य नहीं होतीं। आवश्यक आँकड़ा ठीक वैसे ही रिपोर्ट करें जैसा परिभाषित है, और उसके साथ माध्यिका, प्रतिशतक और गिनतियाँ दिखाएँ ताकि निरीक्षण निकायों को पूरी तस्वीर दिखे। सार्वजनिक जाँच ईमानदार अनिश्चितता को और मूल्यवान बनाती है, क्योंकि अति-आत्मविश्वासी संख्या वापस लेना महँगा पड़ता है (देखें विषय 8.5, विनियमित और सरकारी रिपोर्टिंग)।

व्यावसायिक औचित्य: प्रेरणाएँ, ROI और TCO

सार के नियमों पर सहमत होने, किसी एक्सपोर्ट से हिस्टोग्राम और नियंत्रण चार्ट बनाने, और रिपोर्ट टेम्पलेट में गिनतियाँ जोड़ने में कुछ घंटे लगते हैं, साथ ही उन्हें अद्यतन रखने में हर चक्र कुछ मिनट। अधिकांश औज़ार प्रतिशतक पहले से निकालते हैं। बड़ी लागत उन लोगों से बातचीत है जिन्हें एक आरामदेह संख्या की आदत है।

प्रतिफल बेहतर निर्णय और कम बेकार प्रतिक्रिया है। टीमें ख़राब सप्ताह के बाद पुनर्गठन करना, संयोग से आए सुधारों का श्रेय पहलों को देना, और ऐसे औसतों का वादा करना बंद कर देती हैं जिन्हें उनके आधे ग्राहक अनुभव नहीं करते। कोई आँकड़ा उधार न लें: गिनें कि पिछले साल के कितने निर्णय पलटे गए और कितने "सुधार" अगली अवधि में ग़ायब हो गए, और उन्हीं गिनतियों से औचित्य का आकार तय करें।

प्रतिरूप-विरोधी और जाल

  • विषम अवधियों का औसत निकालना। माध्य को पूँछ खींच लेती है और वह उपयोगकर्ताओं के अनुभव को छिपाता है। माध्यिका और नामित ऊँचा प्रतिशतक रिपोर्ट करें, और सबसे पुरानी खुली वस्तु दिखाएँ।
  • छोटे नमूनों से प्रतिशत। तीन वस्तुओं से "100 प्रतिशत" एक क़िस्सा है। गिनतियाँ दिखाएँ और न्यूनतम-गिनती का नियम लागू करें।
  • हर डगमगाहट पर प्रतिक्रिया। हर लाल सप्ताह का पीछा करना मेहनत बर्बाद करता है और टीमों को शोर की व्याख्या करना सिखाता है। नियंत्रण सीमाओं और लिखित संकेत-नियमों का उपयोग करें।
  • पहले-और-बाद का प्रमाण। दो बिंदु किसी हस्तक्षेप को संयोग या माध्य की ओर प्रतिगमन से अलग नहीं कर सकते। लंबी आधार-रेखा और तुलना का उपयोग करें।
  • चार्ट पर गोलपोस्ट खिसकाना। बाद में सीमाएँ, नियम या परिभाषाएँ बदलने से कोई भी चार्ट कहानी से मेल खा जाता है। नियम स्थिर रखें, बदलाव दर्ज करें और उन पर टिप्पणी जोड़ें।
  • डिफ़ॉल्ट रूप से आउटलायर बाहर करना। सबसे लंबे मामले आमतौर पर वही होते हैं जो ग्राहकों को याद रहते हैं। केवल लिखित कारण के साथ बाहर करें, और बाहर रखी चीज़ों की सूची दें।
  • झूठी परिशुद्धता। 12 वस्तुओं से 83.3 प्रतिशत रिपोर्ट करना ऐसा ज्ञान जताता है जो डेटा में नहीं है। ईमानदारी से पूर्णांकित करें और दायरा दिखाएँ।
  • असमान कार्य को मिलाना। पासवर्ड रीसेट और डेटा सेंटर विफलताओं का मिला-जुला समय किसी का भी वर्णन नहीं करता। पहले खंडों में बाँटें।

परिपक्वता मॉडल

आयाम 1 आरंभ 2 विकास 3 मानकीकरण 4 प्रबंधन 5 समन्वयन
समय के डेटा के सार केवल औसत कुछ टीमें माध्यिका दिखाती हैं माध्यिका के साथ नामित प्रतिशतक और सबसे पुरानी खुली वस्तु मानक हैं वितरणों की सुरक्षा-रेखा के साथ समीक्षा और रुझान-अनुसरण ग्राहकों और आपूर्तिकर्ताओं के साथ प्रतिशतक-वचन तय, और डेटा बदलने पर संशोधित
नमूने का आकार और अनिश्चितता दरें बिना गिनती के उद्धृत कुछ रिपोर्टों में गिनतियाँ दिखती हैं हर दर पर गिनतियाँ और न्यूनतम-गिनती का नियम मुख्य दरों पर अंतराल, विधि रजिस्टर में ग्राहकों के साथ अनिश्चितता खुलकर साझा और टीमों के पार योजना में उपयोग
उतार-चढ़ाव और कारण हर बदलाव की व्याख्या की जाती है सीमाओं वाले कुछ चार्ट मुख्य मापों के लिए लिखित नियमों वाले नियंत्रण चार्ट संकेत नियोजित जाँच को प्रेरित करते हैं; पहलें आधार-रेखा से जाँची जाती हैं सेवाओं के पार चार्ट की साझा लाइब्रेरी; रैंकिंग के बिना टीमों के बीच आधार-रेखाओं की तुलना

जाँच-सूची

  • हर समय-माप केवल माध्य नहीं, माध्यिका और एक नामित ऊँचा प्रतिशतक रिपोर्ट करता है।
  • सबसे पुरानी खुली वस्तु की आयु और ऊँचे प्रतिशतक से आगे की वस्तुओं की गिनती रिपोर्ट की जाती है।
  • हर रिपोर्ट की गई दर अपना अंश और हर दिखाती है।
  • न्यूनतम-गिनती का नियम लिखा गया है और सभी दरों पर लागू होता है।
  • मुख्य दरें और पूर्वानुमान दायरा दिखाते हैं, विधि रजिस्टर में नामित है।
  • टीम जिन तीन मापों पर कार्रवाई करती है उनके लिए लिखित संकेत-नियमों वाले नियंत्रण चार्ट मौजूद हैं।
  • परिभाषा-बदलाव चार्टों पर चिह्नित और रजिस्टर में दर्ज हैं।
  • बाहर रखी गई वस्तुएँ कारणों सहित सूचीबद्ध हैं।
  • सुधार के दावे दोहराने से पहले लंबी आधार-रेखा से जाँचे जाते हैं।
  • हर मीट्रिक का गेमिंग का रास्ता और सुरक्षा-रेखा रजिस्टर में हैं (देखें विषय 1.4, मीट्रिक्स का शासन और स्वामित्व)।

AI प्रॉम्प्ट

जाँचें कि कोई सार डेटा पर फ़िट बैठता है या नहीं।

मेरे पास [सेवा] के लिए [अवधि] में [माप, जैसे घटना समाधान-समय] के [संख्या]
मान हैं। घड़ी [शुरुआती घटना] पर शुरू होती है और [समाप्ति घटना] पर रुकती है।
विराम [कैसे सँभाले जाते हैं]। मान नीचे चिपकाए गए हैं।

वितरण का आकार बताइए, माध्य, माध्यिका और [प्रतिशतक, जैसे 85वाँ] तथा
[दूसरा प्रतिशतक, जैसे 95वाँ] निकालिए, और बताइए कि कौन-सा सार किसी सामान्य
मामले का सबसे अच्छा प्रतिनिधित्व करता है और कौन-सा ग्राहकों से किए जाने वाले
वचन का समर्थन करता है। ऐसे मान बताइए जो डेटा की त्रुटि जैसे लगते हैं, पर
उन्हें हटाइए नहीं। बेंचमार्क मान न गढ़ें। अपनी मान्यताएँ और वह सब सूचीबद्ध
करें जो आप डेटा से तय नहीं कर सके।

[मान चिपकाएँ, निजी डेटा हटाकर]

किसी दर को उसकी अनिश्चितता के साथ व्यक्त करें।

हमारी टीम [दर का नाम] को [सेवा] और [अवधि] के लिए [हर] में से [अंश] बताती है।
दिखाइए कि इसे गिनतियों के साथ कैसे प्रस्तुत करें, सरल शब्दों में समझाइए कि
एक और सफलता या एक कम सफलता इसे कितना बदलेगी, और [विधि, या "आपकी सुझाई
और नामित विधि"] से विश्वास अंतराल निकालिए। ऐसे शब्द सुझाइए जिन्हें कोई
ग़ैर-तकनीकी नेता समझ सके, और एक न्यूनतम-गिनती नियम सुझाइए कि दर की जगह
वस्तुएँ कब दिखाई जाएँ। तुलना के आँकड़े न गढ़ें। अपनी मान्यताएँ सूचीबद्ध करें,
जिनमें विधि और उसे चाहिए डेटा की शर्तें शामिल हों।

आँकें कि कोई बदलाव संकेत है या शोर।

यहाँ [सेवा] के लिए [माप] के [संख्या] लगातार [साप्ताहिक या मासिक] मान हैं।
[अवधि] में एक बदलाव हुआ: [हस्तक्षेप, रिलीज़ या परिभाषा-बदलाव का वर्णन]।
केंद्र-रेखा और सीमाओं के साथ नियंत्रण चार्ट आलेखित या वर्णित कीजिए, ये
संकेत-नियम लागू कीजिए: [नियमों की सूची, जैसे सीमा से बाहर एक बिंदु या एक ओर
लगातार आठ बिंदु], और बताइए कि कौन-से बिंदु संकेत देते हैं। बताइए कि क्या यह
बदलाव सामान्य उतार-चढ़ाव से अलग पहचाना जा सकता है, और मुझे और कौन-सी
व्याख्याएँ, जैसे माध्य की ओर प्रतिगमन या परिभाषा-बदलाव, खारिज करनी चाहिए।
कारण-संबंध का दावा न करें। अपनी मान्यताएँ और वह अतिरिक्त डेटा सूचीबद्ध करें
जो मदद करेगा।

[मान चिपकाएँ]

AI स्किल

  • Service Management Metrics skill: किसी समय या दर के मीट्रिक को प्रकाशित करने से पहले विषय और जोड़ी गई सुरक्षा-रेखा खोजने के लिए उपयोग करें।
  • Service Management Metrics maintainer skill: यह जाँचने के लिए उपयोग करें कि किसी विषय में जोड़े गए सांख्यिकीय माप की परिभाषा, घड़ियाँ, गेमिंग का रास्ता और सुरक्षा-रेखा मौजूद हैं।

मुख्य निष्कर्ष

  • सेवा की अवधियाँ विषम होती हैं, इसलिए माध्यिका और नामित ऊँचा प्रतिशतक रिपोर्ट करें, और सबसे पुरानी खुली वस्तु की आयु जोड़ें।
  • हर दर अपनी गिनती साथ रखती है, और छोटे नमूने आत्मविश्वासी प्रतिशत की जगह वस्तुओं या दायरे के रूप में दिखाए जाते हैं।
  • किसी एक सप्ताह पर प्रतिक्रिया देने से पहले नियंत्रण चार्ट से माप का सामान्य दायरा जानें।
  • दो बिंदुओं से मापे गए सुधारों पर संदेह रखें: माध्य की ओर प्रतिगमन और परिभाषा-बदलाव उनमें से बहुतों की व्याख्या करते हैं।
  • ईमानदार अनिश्चितता रिपोर्ट में एक शक्ति है, और यह गुडहार्ट-शैली की गेमिंग के विरुद्ध सुरक्षा-रेखा है (देखें विषय 1.2, गुडहार्ट का नियम और मीट्रिक्स का मनोविज्ञान)।
  • तकनीक को अनुपात में रखें: सरल शब्दों में समझाई गई कुछ निरंतर विधियाँ टीम की बहुत-सी अव्याख्यायित विधियों से बेहतर सेवा करती हैं।

संदर्भ और आगे का अध्ययन

  1. Wheeler, D. J., Understanding Variation: The Key to Managing Chaos, 2nd edition, SPC Press, 2000.
  2. Shewhart, W. A., Economic Control of Quality of Manufactured Product, D. Van Nostrand, 1931.
  3. Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
  4. Vacanti, D., Yeret, Y., et al., The Kanban Guide, 2020, https://kanbanguides.org/.
  5. Hubbard, D. W., How to Measure Anything: Finding the Value of Intangibles in Business, 3rd edition, Wiley, 2014.
  6. Kahneman, D., Thinking, Fast and Slow, Farrar, Straus and Giroux, 2011.
  7. Tufte, E. R., The Visual Display of Quantitative Information, 2nd edition, Graphics Press, 2001.
  8. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  9. Wikipedia, Skewness.
  10. Wikipedia, Median.
  11. Wikipedia, Percentile.
  12. Wikipedia, Log-normal distribution.
  13. Wikipedia, Confidence interval.
  14. Wikipedia, Control chart.
  15. Wikipedia, Statistical process control.
  16. Wikipedia, Regression toward the mean.