अवलोकन और प्रेरणा

गुडहार्ट का नियम (Goodhart's law) मापन की सबसे पुरानी चेतावनी है। अर्थशास्त्री चार्ल्स गुडहार्ट ने 1975 में ब्रिटेन की मौद्रिक नीति पर लिखते हुए देखा कि जब अधिकारी किसी सांख्यिकीय नियमितता पर नियंत्रण के उद्देश्य से दबाव डालते हैं, तो वह नियमितता प्रायः टूट जाती है। लोकप्रिय शब्दावली बाद में आई। मानवविज्ञानी मैरिलिन स्ट्रैथर्न ने 1997 में इसे यों कहा: "जब कोई माप लक्ष्य बन जाता है, तो वह अच्छा माप नहीं रह जाता।" दोनों वाक्य एक ही बात कहते हैं: जिस क्षण किसी संख्या से लोगों को चलाया जाने लगता है, लोग संख्या को चलाने लगते हैं।

इसी विचार के और भी नाम हैं। सामाजिक वैज्ञानिक डोनाल्ड कैंपबेल के नाम पर कैंपबेल का नियम (Campbell's law) कहता है कि किसी मात्रात्मक संकेतक का जितना अधिक निर्णयों में उपयोग होता है, वह उतना ही भ्रष्ट होने के दबाव में आता है और जिन प्रक्रियाओं की निगरानी के लिए बना था उन्हें उतना ही विकृत करता है। कोबरा प्रभाव (cobra effect) एक ऐसे इनाम की कहानी है जिसने उसी चीज़ को बढ़ा दिया जिसे हटाना था। ये सब विकृत प्रोत्साहन (perverse incentive) के उदाहरण हैं: ऐसा पुरस्कार जो व्यवहार को पुरस्कार देने वाले की चाह से दूर धकेल देता है।

IT सेवाएँ बनाने और चलाने वाली टीमें इस जोखिम के सामने असामान्य रूप से खुली होती हैं। निरंतर डिलीवरी और IT सेवा प्रबंधन (ITSM), जैसा कि ITIL में संहिताबद्ध है, दोनों टाइमस्टैम्प, गिनतियों और स्थितियों की निरंतर धारा पैदा करते हैं। टिकटिंग प्रणाली दर्ज करती है कि टिकट कब खुला, कब सौंपा गया, घड़ी कब रुकी और कब बंद हुआ। डिलीवरी का औज़ार दर्ज करता है कि काम कब शुरू और कब समाप्त हुआ। इन संख्याओं को जुटाना सस्ता है, चार्ट बनाना आसान है और लक्ष्य में बदलना भी आसान है। इन्हें बिना किसी की मदद किए हिला देना भी आसान है।

इस विषय में और पूरी पुस्तक में तीन शब्द बार-बार आते हैं। माप किसी चीज़ का वर्णन करता है। लक्ष्य वह संख्या है जिसे छूने की अपेक्षा किसी से की जाती है। सुरक्षा-रेखा एक दूसरा माप या प्रथा है, जिसे पहले से चुना जाता है और जो तब हिलेगी जब पहले माप के साथ गेमिंग हो रही हो। माप से लक्ष्य तक का कदम वही जगह है जहाँ परेशानी शुरू होती है, और सुरक्षा-रेखा से आप इसे भाँप पाते हैं।

यह विषय वह नियम तय करता है जो बाकी हर विषय पर लागू होता है। पुस्तक का हर मीट्रिक परिवार अपने गेमिंग के रास्ते (वह सामान्यतः कैसे गेम किया जाता है) और अपनी सुरक्षा-रेखा के साथ आता है। यदि कोई आगे का विषय इसे छोड़ता दिखे, तो उस विषय को अधूरा मानें।

लोग संख्याओं के साथ गेमिंग क्यों करते हैं

गेमिंग प्रायः बेईमानी नहीं होती। यह सक्षम लोगों की अपने सामने के प्रोत्साहनों के प्रति सामान्य प्रतिक्रिया है। चार शक्तियाँ काम करती हैं।

  • दबाव। किसी का बोनस, मूल्यांकन, अनुबंध का नवीकरण या साख संख्या पर टिकी होती है। औपचारिक संबंध न हो तब भी लोग इससे अनुमान लगा लेते हैं कि नेतृत्व किसकी परवाह करता है, यानी वह किसका चार्ट बनवाता है।
  • सरोगेशन (surrogation)। सरोगेशन माप को ऐसे बरतने की प्रवृत्ति है मानो वही वह चीज़ हो जिसका वह प्रतिनिधित्व करता है। संगठनों में इसका अध्ययन करने वाले शोधकर्ताओं ने पाया कि माप से जुड़ा प्रोत्साहन-वेतन इसकी संभावना बढ़ाता है। जो टीम "बंद टिकट" गिनती है, वह मानने लगती है कि लक्ष्य बंद टिकट हैं, हल हुई समस्याएँ नहीं।
  • भय। जब खराब संख्या पर दोषारोपण होता है, तो लोग बुरी खबर छिपाते हैं। घटनाओं की गंभीरता घटा दी जाती है, आउटेज को "नियोजित रखरखाव" का नाम दे दिया जाता है और दोष फ़ीचर अनुरोध के रूप में दर्ज होते हैं।
  • स्थानीय अनुकूलन। टीम सिस्टम के उस हिस्से को बेहतर करती है जिस पर उसे परखा जाता है और लागत उस हिस्से पर डाल देती है जिस पर नहीं परखा जाता। सर्विस डेस्क जल्दी बंद करता है और दूसरी पंक्ति को दोहराव विरासत में मिलते हैं।

इन शक्तियों को समझना इसलिए ज़रूरी है कि इलाज कड़ी पुलिसिंग नहीं है। इलाज उन स्थितियों को बदलना है जिनके कारण गेमिंग तर्कसंगत लगती है।

मुख्य सिद्धांत

  • सीखने के लिए मापें, परखने के लिए नहीं। संख्याएँ पहले उस टीम को दिखाएँ जो काम करती है, और उनसे प्रश्न पूछें।
  • हर मीट्रिक के साथ एक सुरक्षा-रेखा जोड़ें। गति के साथ गुणवत्ता, मात्रा के साथ परिणाम, लागत के साथ अनुभव।
  • टीमों और प्रणालियों का वर्णन करें, लोगों की रैंकिंग कभी नहीं। व्यक्तियों की लीग तालिकाएँ डेटा स्रोत को भ्रष्ट करने का सबसे तेज़ रास्ता हैं।
  • लक्ष्यों से ज़्यादा परिणामों और रुझानों को तरजीह दें। एक दिशा और एक बातचीत किसी सीमा से बेहतर है।
  • परिभाषा लिखित रखें, घड़ियों समेत। अस्पष्ट परिभाषाओं में ही गेमिंग छिपती है।
  • बदलाव की उम्मीद रखें। जब कोई मीट्रिक निर्णयों को सूचित करना बंद कर दे, तो उसे हटाएँ या नए सिरे से रचें।
  • बुरी खबर को सुरक्षित बनाएँ। यदि ईमानदार रिपोर्टिंग को दंड मिलता है, तो डेटा झूठ बोलेगा।

मीट्रिक परिभाषाएँ

नीचे की मीट्रिक्स सेवा या डिलीवरी के माप नहीं हैं। वे मीट्रिक्स अभ्यास के अपने स्वास्थ्य के माप हैं और दिखाती हैं कि इस पुस्तक की हर मीट्रिक तालिका का रूप क्या होता है। पहली तीन सुरक्षा-रेखा के उदाहरण हैं जो आगे के विषयों में बार-बार आते हैं।

मीट्रिक परिभाषा सूत्र इकाई डेटा स्रोत ITIL प्रैक्टिस एजाइल समकक्ष आवृत्ति
सुरक्षा-रेखा कवरेज रिपोर्ट की गई उन मीट्रिक्स का अनुपात जिनकी एक नामित, ट्रैक की जाने वाली सुरक्षा-रेखा है सुरक्षा-रेखा वाली मीट्रिक्स / रिपोर्ट की गई मीट्रिक्स प्रतिशत मीट्रिक रजिस्टर (देखें विषय 1.4, मीट्रिक्स का शासन और स्वामित्व) मापन और रिपोर्टिंग; सतत सुधार कार्य-समझौतों का रेट्रोस्पेक्टिव तिमाही
पुनः-खुलने की दर बंद टिकटों या कार्य-मदों का वह अनुपात जो निर्दिष्ट अवधि के भीतर दोबारा खोले गए 14 दिन के भीतर दोबारा खुली मदें / अवधि में बंद मदें प्रतिशत ITSM औज़ार या इश्यू ट्रैकर का स्थिति-इतिहास घटना प्रबंधन; समस्या प्रबंधन पूर्णता की परिभाषा; निकल गए दोष मासिक
परिभाषा-परिवर्तन गणना किसी अवधि में कारणों सहित मीट्रिक परिभाषाओं या स्थिति-कार्यप्रवाहों में हुए परिवर्तनों की संख्या परिभाषा-परिवर्तन लॉग की प्रविष्टियों की गिनती गिनती मीट्रिक रजिस्टर का परिवर्तन लॉग मापन और रिपोर्टिंग कार्य-समझौते तिमाही
मीट्रिक उपयोग दर रिपोर्ट की गई उन मीट्रिक्स का अनुपात जिनका अवधि के दौरान किसी निर्णय में हवाला दिया गया दर्ज निर्णय में उद्धृत मीट्रिक्स / रिपोर्ट की गई मीट्रिक्स प्रतिशत निर्णय लॉग या समीक्षा नोट्स सतत सुधार रेट्रोस्पेक्टिव की कार्रवाइयाँ तिमाही
धारणा अंतर एक ही सेवा के लिए संतुष्टि सर्वेक्षण के परिणाम और टिकट से निकले सेवा-स्तर के बीच का अंतर सर्वेक्षण से निकली दर घटा ट्रैकर से निकली दर प्रतिशत अंक सर्वेक्षण औज़ार और ITSM औज़ार सेवा-स्तर प्रबंधन हितधारकों की समीक्षा-प्रतिक्रिया तिमाही

पुनः-खुलने की दर केवल उन मदों को गिनती है जो उसी रिकॉर्ड में दोबारा खोली गईं। जो मद बंद होकर नए टिकट के रूप में फिर उठाई गई, वह इसमें नहीं दिखती। अगले खंड के मर्म का एक हिस्सा यही है कि सुरक्षा-रेखा को भी अपनी सुरक्षा-रेखा चाहिए, जैसे दोहराए गए टिकटों को उनके मूल टिकटों से जोड़ना।

सिफ़ारिशें

मापन प्रणाली की रचना करें

1. संख्या से नहीं, प्रश्न से शुरू करें। कोई मीट्रिक जोड़ने से पहले वह प्रश्न लिखें जिसका वह उत्तर देती है और वह निर्णय जिसे वह सूचित करती है। "क्या उपयोगकर्ताओं की समस्याएँ पहली बार में हल हो रही हैं?" एक प्रश्न है। "औसत हैंडलिंग समय घटाओ" प्रश्न का भेस धरे हुए लक्ष्य है। जिस मीट्रिक से कोई निर्णय नहीं जुड़ा, वह हटाने की उम्मीदवार है।

2. तनाव वाली मीट्रिक्स चुनें। अकेली संख्या अति-अनुकूलन को न्योता देती है, इसलिए ऐसे जोड़े चुनें जो एक-दूसरे को खींचते हों: लीड टाइम के साथ परिवर्तन विफलता दर, टिकट बंद करने की गति के साथ पुनः-खुलने की दर, उपलब्धता के साथ उपयोगकर्ता द्वारा बताया अनुभव। जोड़ा किसी सूत्र का होना ज़रूरी नहीं। ज़रूरी यह है कि वह एक साथ, एक ही पृष्ठ पर दिखाया जाए।

3. घड़ियाँ और अपवर्जन परिभाषित करें। हर समय-माप के लिए लिखें कि घड़ी कहाँ शुरू होती है, कहाँ रुकती है और कब रुक सकती है। सेवा डेटा में अधिकांश गेमिंग इन्हीं सीमाओं में रहती है: "ग्राहक की प्रतीक्षा" में डाला गया टिकट सेवा-स्तर की घड़ी रोक देता है, और लागू होने के बाद ही दर्ज किया गया परिवर्तन परिवर्तन के लीड टाइम से बच निकलता है। यदि कोई विराम-स्थिति है, तो रिपोर्ट करें कि उसका उपयोग कितनी बार होता है।

4. वितरण और परसेंटाइल का उपयोग करें। टिकट समाधान-समय का औसत इसलिए सुधर सकता है कि कुछ आसान टिकट जल्दी बंद हो गए जबकि कठिन टिकट पुराने होते रहे। माध्य (median) और कोई ऊँचा परसेंटाइल (जैसे 85वाँ या 95वाँ) दिखाएँ, और सबसे पुरानी खुली मदें भी दिखाएँ। कार्य-मद की आयु और सबसे पुराना खुला टिकट काम सचमुच पूरा किए बिना गेम करना कठिन है (देखें विषय 2.1, प्रवाह के माप)।

5. मीट्रिक रजिस्टर रखें। एक छोटा रजिस्टर हर मीट्रिक, उसका स्वामी, उसकी परिभाषा, उसका डेटा स्रोत, उसका गेमिंग का रास्ता, उसकी सुरक्षा-रेखा और अंतिम समीक्षा की तिथि सूचीबद्ध करता है। यह उबाऊ है और इस विषय की सबसे प्रभावी आदत भी (देखें विषय 1.4, मीट्रिक्स का शासन और स्वामित्व)।

मीट्रिक्स को सुरक्षित ढंग से लागू करें

6. पहले टीम को दिखाएँ, और कच्चा डेटा दिखाएँ। जो टीमें नेतृत्व से पहले संख्याएँ देखती हैं, वे उनकी सटीकता पर प्रश्न उठाने को अधिक तैयार रहती हैं। चार्ट से नहीं, मूल मदों से शुरू करें। जो डेटा उसे बनाने वालों से बातचीत में टिक नहीं सकता, वह डैशबोर्ड पर भी नहीं टिकेगा।

7. सीखने के दृश्यों को जवाबदेही के दृश्यों से अलग रखें। टीम के कामकाजी दृश्य में कई माप हो सकते हैं, बदसूरत भी। नेतृत्व तक एक छोटा, स्थिर सेट जाना चाहिए। यदि नेतृत्व कामकाजी दृश्य माँगे, तो उम्मीद रखें कि कामकाजी दृश्य बेहतर दिखने के लिए बदल जाएगा।

8. व्यक्तिगत वेतन, अनुशासन या रैंकिंग को किसी मीट्रिक से न बाँधें। टीमों से कहा जा सकता है कि वे अपनी संख्याएँ समझाएँ और सुधारें। टिकट गिनती, स्टोरी पॉइंट या कमिट पर व्यक्तिगत लक्ष्य लोगों को गिनती बढ़ाना सिखाते हैं। प्रमुख प्रदर्शन संकेतक (key performance indicator) का तरीका तब काम कर सकता है जब संकेतक पूरी प्रणाली के लिए चुने जाएँ और नियमित रूप से परखे जाएँ। जब वह प्रति-व्यक्ति स्कोरकार्ड बन जाता है, तो विफल हो जाता है।

9. ईमानदार रिपोर्टिंग को सुरक्षित बनाएँ। मनोवैज्ञानिक सुरक्षा (psychological safety) वह विश्वास है कि गलती या चिंता बताने पर आपको दंड नहीं मिलेगा। किसी घटना की दोषरहित समीक्षा व्यवहार में इसका एक उदाहरण है। इसके बिना घटनाओं की संख्या ग़लत कारण से गिरती है: लोग रिपोर्ट करना बंद कर देते हैं।

प्रणाली को ईमानदार रखें

10. गेमिंग समीक्षा चलाएँ। तिमाही में एक बार हर रिपोर्ट की गई मीट्रिक के बारे में टीम से एक प्रश्न पूछें: "यदि हम इस संख्या को किसी की मदद किए बिना अच्छा दिखाना चाहें, तो क्या करेंगे?" उत्तर लिखें, फिर देखें कि सुरक्षा-रेखा हर एक को पकड़ पाएगी या नहीं। यह अभ्यास सस्ता है, उपयोगी विचार देता है और बातचीत को संदेह से रचना की ओर ले जाता है।

11. परिभाषाओं को वास्तविकता से मिलाकर परखें। बंद मदों का एक छोटा नमूना लें और उन्हें पढ़ें। क्या वे सचमुच हल हुई थीं? क्या प्राथमिकता ईमानदार थी? क्या "ग्राहक की प्रतीक्षा" का अर्थ यही था कि ग्राहक की प्रतीक्षा हो रही थी? पंद्रह मिनट का नमूना अक्सर महीने भर के डैशबोर्ड से अधिक बताता है।

12. मीट्रिक्स को सेवानिवृत्त करें। जिस मीट्रिक का दो तिमाहियों से किसी निर्णय में हवाला नहीं दिया गया, वह बोझ है। उसे हटाएँ और कह दें कि हटाया है। कम मीट्रिक्स, जिन पर भरोसा हो, कई मीट्रिक्स से बेहतर हैं।

गेमिंग के रास्ते और सुरक्षा-रेखाएँ

तालिका ऊपर के खंड की मीट्रिक्स को कवर करती है। आगे के विषय यही रूप सेवा और डिलीवरी के मापों पर लागू करते हैं।

मीट्रिक इसमें गेमिंग कैसे होती है जोड़ीदार सुरक्षा-रेखा मीट्रिक या प्रथा
सुरक्षा-रेखा कवरेज कागज़ पर सुरक्षा-रेखा का नाम लिख देना और उसे कभी ट्रैक न करना रजिस्टर की समीक्षा करें: सुरक्षा-रेखा तभी गिनी जाएगी जब उसका ताज़ा मान उसी डैशबोर्ड पर दिखे
पुनः-खुलने की दर टिकट बंद करके दोबारा खोलने की जगह नया टिकट उठाना; अवधि को इतना लंबा कर देना कि पुनः-खुलना उसके बाहर चला जाए दोहराए और जुड़े टिकटों की दर; अलग-अलग टिकटों में एक ही कारण का दोहराव
परिभाषा-परिवर्तन गणना परिवर्तन दर्ज न करना ताकि गिनती कम रहे; किसी को बताए बिना कार्यप्रवाह बदल देना हर समीक्षा में औज़ार के स्थिति-मॉडल की रजिस्टर से तुलना करें
मीट्रिक उपयोग दर औपचारिकता के तौर पर हर मीट्रिक को निर्णय लॉग में उद्धृत कर देना पूछें कि उद्धरण के कारण क्या बदला; लॉग का नमूना लें
धारणा अंतर केवल संतुष्ट उपयोगकर्ताओं का सर्वेक्षण; सर्वेक्षण को किसी अच्छे संवाद के बाद के समय पर केंद्रित करना सर्वेक्षण की प्रतिक्रिया दर और उत्तरदाताओं का मिश्रण; समीक्षा में खुली टिप्पणियाँ ज़ोर से पढ़ना

स्वस्थ पठन ऐसा मीट्रिक्स अभ्यास है जो बदलता रहता है: परिभाषाएँ लिखित कारणों से समायोजित होती हैं, मीट्रिक्स आती-जाती हैं और टीम उस निर्णय की कहानी सुना सकती है जिसे किसी संख्या ने बदला।

समझौते: लाभ और हानि

तरीका ताकत कमज़ोरी
लक्ष्यों के बिना मापना गेमिंग घटाता है; ईमानदार चर्चा को न्योता देता है ऐसी रिपोर्टिंग की ओर बह सकता है जिस पर कोई कार्रवाई नहीं करता
सुरक्षा-रेखाओं सहित लक्ष्य दिशा और तात्कालिकता देता है; जोड़ा गेमिंग को सीमित करता है बनाए रखने में अधिक मेहनत; समय के साथ सुरक्षा-रेखा भी गेम होने लगती है
व्यक्तिगत मीट्रिक्स समझने में आसान; निष्पक्ष लगती हैं डेटा को भ्रष्ट करती हैं; सहयोग को चोट पहुँचाती हैं
टीम और सेवा मीट्रिक्स काम के असल होने के तरीके से मेल खाती हैं श्रेय देना कठिन; व्यक्तियों की सहायता-आवश्यकताएँ छिप जाती हैं
थोड़ी मीट्रिक्स भरोसा और याद रखना आसान अंधे धब्बे; नई समस्या छूट सकती है
बहुत-सी मीट्रिक्स व्यापक कवरेज ध्यान बिखरता है; हर मीट्रिक का शासन कमज़ोर रहता है

गद्य में उत्तर यह है कि लक्ष्यों का उपयोग कम और सोच-समझकर करें, ऐसी स्थितियों के लिए जो अच्छी तरह समझी गई हों और जिनमें गेमिंग कठिन हो, जैसे उपयोगकर्ताओं द्वारा माँगा गया सेवा-स्तर लक्ष्य। तब भी लक्ष्य को सेवा से जोड़ें, किसी व्यक्ति के मूल्यांकन से नहीं। उद्देश्य निर्णयों से संख्याओं को हटाना नहीं है। उद्देश्य यह है कि संख्याओं को उन्हें बनाने वाले लोगों को अपने पक्ष में रखकर वास्तविकता से जुड़ा रखा जाए।

अपनी टीम के साथ चर्चा के प्रश्न

1. हमारे मौजूदा डैशबोर्ड की कौन-सी संख्या को हम काम सुधारे बिना सुधारने के लिए सबसे अधिक ललचाएँगे? उस मीट्रिक से शुरू करें जिसे लोग सबसे पहले देखते हैं, फिर उस पर जाएँ जिसके बारे में नेतृत्व पूछता है। ठोस चालें पूछें: दबाव में हम डेटा के साथ क्या करते? सूत्रधार हर उत्तर को बिना परखे दर्ज करे, क्योंकि यही सूची रजिस्टर में गेमिंग के रास्ते बनेगी। अंत में पूछें कि हमारी सुरक्षा-रेखाएँ इनमें से किन चालों को पकड़ेंगी और किन्हें चूक जाएँगी।

2. हमारे सबसे महत्वपूर्ण समय-माप में घड़ी कहाँ शुरू और बंद होती है, और यह किसने तय किया? समूह से कहें कि टिकट या कार्य-मद का जीवनचक्र श्वेतपट्ट पर खींचे और हर स्थिति पर निशान लगाए। ऐसी स्थितियाँ खोजें जहाँ समय गायब हो सकता है, जैसे ग्राहक की प्रतीक्षा या रोक पर रखा गया। गिनें कि हर स्थिति का उपयोग कितनी बार और किसके द्वारा होता है। बातचीत में अक्सर सामने आता है कि दो टीमें एक ही शब्द को अलग-अलग अर्थ में इस्तेमाल करती हैं।

3. किसी संख्या ने हमसे आखिरी बार कब कोई अनुपयोगी काम करवाया? कहानियाँ आमंत्रित करें, दोषारोपण नहीं। आम उदाहरण हैं: सत्यापन से पहले टिकट बंद करना, डिप्लॉयमेंट की गिनती बढ़ाने के लिए परिवर्तनों को बाँटना, या उल्लंघन की रिपोर्ट से बचने के लिए घटना को पुनर्वर्गीकृत करना। सूत्रधार पूछे कि व्यक्ति किसे बचाने की कोशिश कर रहा था। उत्तर से प्रायः वह प्रोत्साहन दिखता है जिसे बदलना ज़रूरी है।

4. हमारी मीट्रिक्स कौन देखता है, और वहाँ उनके साथ क्या होता है? हर मीट्रिक का टीम से उसके दर्शकों तक पीछा करें। पूछें कि क्या उसके किसी रूप का उपयोग टीमों या लोगों की तुलना के लिए होता है। पूछें कि दर्शक अलग होते तो टीम क्या दिखाती। जहाँ टीम अपनी दिखाई संख्याएँ बदल देती, वहाँ विश्वास का अंतर है जिस पर दर्शकों से बात करनी चाहिए।

5. हमारी पाँच सबसे महत्वपूर्ण मीट्रिक्स में से हर एक की सुरक्षा-रेखा क्या है, और क्या वह उसी पृष्ठ पर है? बोर्ड पर दो स्तंभों की सूची बनाएँ। यदि किसी मीट्रिक की सुरक्षा-रेखा नहीं है, तो एक उम्मीदवार पर सहमत हों और एक तिमाही आज़माने के लिए एक स्वामी तय करें। यदि सुरक्षा-रेखा है पर शायद ही देखी जाती है, तो कारण पर चर्चा करें। ऐसी सुरक्षा-रेखा चुनने से बचें जो केवल मीट्रिक का उलटा हो, क्योंकि उससे कुछ नया पता नहीं चलता।

6. इस तिमाही हमें कौन-सी मीट्रिक सेवानिवृत्त करनी चाहिए? प्रमाण माँगें: उसका आखिरी बार किसी निर्णय में उपयोग कब हुआ? यदि किसी को याद नहीं, तो परीक्षण-अवधि के लिए उसे हटा दें और देखें कि कोई ध्यान देता है या नहीं। सूत्रधार सेवानिवृत्ति को सामान्य घटना माने। जो टीमें मीट्रिक्स कभी नहीं छोड़तीं, उनके पास ऐसी रिपोर्टें रह जाती हैं जिन पर कोई भरोसा या पढ़ाई नहीं करता।

चार दृष्टिकोण

उत्पाद और डिलीवरी टीमें

डिलीवरी टीमें गेमिंग से वेलॉसिटी, थ्रूपुट और डिप्लॉयमेंट गिनती के रास्ते मिलती हैं। विशेषकर वेलॉसिटी (velocity) एक टीम के लिए योजना का औज़ार है, उत्पादकता का माप नहीं, और उसके आधार पर टीमों की तुलना करने से अनुमान फूल जाते हैं। डिलीवरी टीमें अपने कामकाजी माप अपने पास रखें, बाहर एक छोटा सेट प्रकाशित करें और हर गति-माप के साथ एक गुणवत्ता-माप जोड़ें (देखें विषय 2.5, डिलीवरी पूर्वानुमान और योजना मीट्रिक्स)।

सेवा और संचालन टीमें

सेवा टीमें गेमिंग से समाधान-समय, पहले संपर्क पर समाधान और सेवा-स्तर अनुपालन के रास्ते मिलती हैं। घड़ी रोकने वाली स्थितियाँ और प्राथमिकता के क्षेत्र भटकाव के सामान्य बिंदु हैं। संचालन टीमें स्थिति-संक्रमणों का नियमित ऑडिट करें, विराम-स्थितियों के उपयोग की रिपोर्ट दें और गति के साथ दोहराए संपर्क और पुनः-खुलने की दर पर नज़र रखें। ऑन-कॉल टीमें ऐसे मापों से विशेष रूप से सावधान रहें जो पेज न होने को पुरस्कृत करते हैं, क्योंकि वे ईमानदार अलर्टिंग को दंडित करते हैं (देखें विषय 3.3, घटना की प्रतिक्रिया और समाधान का समय)।

नेतृत्व और शासन

नेतृत्व प्रोत्साहन तय करता है, अक्सर बिना चाहे। समीक्षा में पूछा गया प्रश्न ("यह लाल क्यों है?") टीम को सिखा देता है कि क्या छिपाना है। नेता पूछें कि टीम ने किसी संख्या से क्या सीखा, लीग तालिकाओं को कमरे से बाहर रखें, खुली रिपोर्टिंग की रक्षा करें और खराब संख्या जो सुधार-कार्य दिखाती है उसे वित्तपोषित करें। शासन निकाय रिपोर्टिंग के भाग के रूप में मीट्रिक रजिस्टर और गेमिंग समीक्षा की अपेक्षा रखें, और मीट्रिक में परिभाषित परिवर्तन को सामान्य मानें।

ग्राहक और उपयोगकर्ता

उपयोगकर्ता गेमिंग का असर ऐसी सेवा के रूप में अनुभव करते हैं जो कागज़ पर अच्छी दिखती है और व्यवहार में खराब लगती है: बंद किया गया टिकट जो ठीक नहीं हुआ था, नियोजित कहा गया आउटेज, या सर्वेक्षण जो उन तक कभी पहुँचा ही नहीं। उपयोगकर्ता सबसे अच्छी सुरक्षा-रेखा भी हैं। उनकी प्रतिक्रिया, यानी सर्वेक्षण, शिकायतें और टिप्पणियाँ, परिचालन संख्याओं के बगल में रखी जाए और पूरी पढ़ी जाए, उसे केवल स्कोर में घटाकर नहीं (देखें विषय 6.1, ग्राहक संतुष्टि मीट्रिक्स)।

व्यवहार में: सेवा प्रबंधन का एक उदाहरण

एक क्षेत्रीय अस्पताल का IT विभाग एक सर्विस डेस्क और नैदानिक अनुप्रयोग बनाने वाली कई उत्पाद टीमें चलाता है। इस उदाहरण की संख्याएँ दृष्टांत के लिए हैं।

नेतृत्व लक्ष्य रखता है कि 90 प्रतिशत घटनाएँ तय समय के भीतर बंद हों। दो महीने के भीतर डैशबोर्ड 94 प्रतिशत दिखाता है। सेवा संचालन की प्रमुख प्रसन्न हैं पर बेचैन भी, क्योंकि नैदानिक कर्मचारी कम नहीं, ज़्यादा शिकायत कर रहे हैं। वे टीम से इस मीट्रिक पर गेमिंग समीक्षा चलाने को कहती हैं।

टीम टिकट का जीवनचक्र बनाती है। पाया जाता है कि टिकट औसतन दो-दो बार "ग्राहक की प्रतीक्षा" में जाते हैं और उस स्थिति में बिताया समय बढ़ गया है। बंद किए गए 30 टिकटों के नमूने में 7 को "उपयोगकर्ता का कोई उत्तर नहीं" नोट के साथ बंद किया गया था, जबकि फ़ोन करने की सिर्फ़ एक कोशिश हुई थी। यह भी पता चलता है कि पुनः-खुलने की दर इसलिए सपाट है कि समस्या लौटने पर उपयोगकर्ताओं से कहा गया था कि "नया टिकट उठाइए"।

टीम तीन बदलाव करती है। पहला, समाधान-समय का चार्ट अब माध्य, 90वाँ परसेंटाइल और सबसे पुराना खुला टिकट दिखाता है, साथ में विराम-स्थितियों में बिताए समय का हिस्सा भी। दूसरा, डैशबोर्ड में दोहराए संपर्क की दर जुड़ती है, जिसे परिभाषित किया गया है: 14 दिन के भीतर उसी उपयोगकर्ता से उसी सेवा के बारे में आए नए टिकटों का अनुपात। तीसरा, बंद टिकटों के यादृच्छिक नमूने को एक छोटा सर्वेक्षण भेजा जाता है, और उसकी खुली टिप्पणियाँ मासिक समीक्षा में पढ़ी जाती हैं।

तीन महीने बाद शीर्ष अनुपालन संख्या गिरकर 88 प्रतिशत हो जाती है, जो बुरी खबर जैसी लगती है। फिर भी दोहराए संपर्क की दर घटी है, और अनसुलझी समस्याओं की सर्वेक्षण टिप्पणियाँ कम हो गई हैं। संचालन की प्रमुख नेतृत्व को बताती हैं कि पुरानी संख्या फूली हुई थी और नई तस्वीर अधिक ईमानदार है, और वे सुधारी हुई परिभाषा पर आधारित सेवा-स्तर लक्ष्य स्वीकार करने को कहती हैं। निर्णय लॉग में दर्ज निर्णय यह है कि लक्ष्य तुरंत नहीं, एक और तिमाही के डेटा के बाद तय किया जाए।

एजाइल, AI, स्वचालन और विश्लेषण

एजाइल

छोटे फीडबैक चक्र टीम को गेमिंग जल्दी भाँपने देते हैं। एक उपयुक्त अभ्यास है कि हर नियमित समीक्षा में कुछ कच्ची मदें पढ़ी जाएँ और हितधारकों की मौजूदगी में शीर्ष संख्या से उनका मिलान किया जाए। सावधानी यह है कि जो चक्र रिपोर्टिंग की गति को पुरस्कृत करता है, वह खुद लक्ष्य बन सकता है, इसलिए हर समीक्षा का उद्देश्य सीखने पर रखें।

AI

AI गेमिंग का रूप बदल देता है। मॉडल बड़ी मात्रा में विश्वसनीय दिखने वाले समाधान-नोट, स्थिति-अद्यतन या टिकट श्रेणियाँ बना सकता है, इसलिए जो मीट्रिक इन कृतियों को गिनती है, वह बिना असल काम के भी संतुष्ट हो सकती है। AI से प्रभावित हर गिनती के साथ गुणवत्ता की नमूना-आधारित मानवीय जाँच जोड़ें, और रिपोर्ट करें कि AI के आउटपुट का कितना हिस्सा किसी व्यक्ति ने बदला। सावधानी यह है कि कम सुधार-दर का अर्थ अच्छे मसौदे भी हो सकता है और लापरवाह समीक्षा भी, इसलिए दोनों को साथ पढ़ें।

स्वचालन

स्वचालित संग्रह डेटा में हाथ से किए गए संपादन हटा देता है, जिससे गेमिंग के कुछ रास्ते बंद होते हैं। मीट्रिक के साथ सुरक्षा-रेखा को भी स्वचालित करें, ताकि दोनों एक ही पृष्ठ पर दिखें। सावधानी यह है कि लोग तब स्वचालन द्वारा पढ़े जाने वाले इनपुट के साथ गेमिंग करने लगते हैं, जैसे टिकट श्रेणी या विराम-स्थिति, इसलिए परिभाषाओं को असली मदों के नमूने से मिलाकर परखें।

विश्लेषण

विश्लेषण विचित्र वितरणों से गेमिंग उजागर कर सकता है, जैसे रिपोर्टिंग की समय-सीमा से ठीक पहले बंद हुए टिकटों का उछाल, या ठीक लक्ष्य मान पर जमा गुच्छा। इन पैटर्नों का उपयोग बातचीत शुरू करने के लिए करें, बुरी नीयत के प्रमाण के रूप में नहीं। सावधानी यह है कि कोई भी पहचान-नियम ज्ञात हो जाता है और फिर उससे बचा जाने लगता है, इसलिए सुरक्षा-रेखाओं को घुमाते रहें और समीक्षा में मानव को रखें।

क्षेत्र का नज़रिया

स्टार्टअप। छोटी टीमों में मीट्रिक्स कम और भरोसा मज़बूत होता है, जो मददगार है। खतरा बहुत जल्दी बड़े उद्यम का डैशबोर्ड ले आना है। दो-तीन माप से शुरू करें जिनका संस्थापक सचमुच उपयोग करते हैं, उनकी परिभाषाएँ लिखें और उन्हें व्यक्तिगत प्रदर्शन की बातचीत से दूर रखें।

छोटा व्यवसाय। संसाधन कम होते हैं और IT चलाने वाला व्यक्ति प्रायः सीधे मालिक को रिपोर्ट करता है। एक ग्राहक की शिकायत किसी भी डैशबोर्ड पर भारी पड़ सकती है। सेट छोटा रखें, उपयोगकर्ताओं की सीधी प्रतिक्रिया को तरजीह दें और विक्रेता द्वारा दी गई रिपोर्टों को कुछ सावधानी से लें, क्योंकि विक्रेता के अपने प्रोत्साहन होते हैं।

उद्यम। पैमाना तुलनीय संख्याओं की माँग और उन्हें गेम करने का दबाव, दोनों को गुणा कर देता है। लिखित परिभाषाओं वाला छोटा मानक सेट रखें, टीम के कामकाजी दृश्यों को रोल-अप से अलग रखें और अलग-अलग तरह की सेवाओं पर काम करने वाली टीमों की तुलना से बचें। मीट्रिक रजिस्टर और समीक्षा की लय आवश्यक हो जाते हैं।

सरकार और सार्वजनिक क्षेत्र। रिपोर्टिंग दायित्व और अनुबंध के सेवा-स्तर कुछ लक्ष्यों को अटल बना सकते हैं। उन्हें रचना के इनपुट की तरह लें: उन्हें पूरा करें, उनके बगल में सुरक्षा-रेखा दिखाएँ और उपयोग की गई परिभाषाएँ रिपोर्ट करें। सार्वजनिक जवाबदेही बुरी खबर छिपाने की कीमत बढ़ा देती है, इसलिए सुरक्षित आंतरिक माध्यम बनाएँ और सुधारी गई परिभाषाओं के बारे में खुले रहें (देखें विषय 8.5, विनियमित और सरकारी रिपोर्टिंग)।

व्यावसायिक औचित्य: प्रेरणाएँ, ROI और TCO

इस विषय को लागू करने की लागत अधिकतर समय है: परिभाषाएँ और रजिस्टर लिखने के कुछ घंटे, तिमाही की छोटी गेमिंग समीक्षा और बंद मदों का कभी-कभार नमूना। औज़ारों की लागत बहुत कम है। बड़ी लागत नेतृत्व का ध्यान है, क्योंकि यह अनुशासन तभी काम करता है जब संख्याएँ पढ़ने वाले लोग सुसंगत ढंग से व्यवहार करें।

प्रतिफल टाले गए अपव्यय और बेहतर निर्णयों से आता है। भ्रष्ट डेटा पर लिए गए निर्णय निवेश को ग़लत समस्या की ओर मोड़ सकते हैं, जैसे सर्विस डेस्क में कर्मचारी बढ़ाना ताकि टिकट जल्दी बंद हों, जबकि असल समस्या किसी दोष से आने वाले दोहराए संपर्क हैं। गेमिंग टीम और उस पर निर्भर लोगों के बीच भरोसा भी घिसती है, जिसे सुधारना कठिन है। लाभ का वर्णन पैटर्न में करें, गढ़े हुए प्रतिशत से नहीं: निर्णयों के कम उलटने, ऑडिट में कम चौंकाने वाली बातें, और परिचालन संख्याओं तथा उपयोगकर्ता अनुभव के बीच बेहतर मेल। यदि व्यावसायिक औचित्य के लिए आँकड़े चाहिए, तो बदलाव से पहले और बाद में अपने ही बेसलाइन मापें, जैसे धारणा अंतर और दोहराए संपर्क की दर।

प्रतिरूप-विरोधी और जाल

  • सुरक्षा-रेखा के बिना लक्ष्य। अकेला लक्ष्य किसी भी उपलब्ध रास्ते से पूरा कर लिया जाता है। लक्ष्य घोषित करने से पहले जोड़ीदार माप जोड़ें।
  • लोगों या टीमों की लीग तालिकाएँ। वे गेमिंग को न्योता देती हैं और टीमों के बीच मदद को हतोत्साहित करती हैं। हर टीम को उसका अपना रुझान संदर्भ सहित दिखाएँ।
  • दंड के रूप में मीट्रिक्स। जिस लाल संख्या पर दोषारोपण होता है, वह छिपाव से हरी हो जाएगी। इसके बजाय पूछें कि टीम को क्या चाहिए।
  • विषम डेटा के औसत। वे उस पूँछ को छिपाते हैं जहाँ उपयोगकर्ता कष्ट पाते हैं। परसेंटाइल और सबसे पुरानी मद की आयु का उपयोग करें।
  • परिभाषाएँ चुपचाप बदलना। रुझान रेखाएँ अर्थहीन हो जाती हैं। हर परिवर्तन कारण सहित दर्ज करें और चार्ट पर चिह्नित करें।
  • सुरक्षा-रेखा को नया लक्ष्य मान लेना। तब सुरक्षा-रेखा गेम होती है। दोनों की साथ समीक्षा करें और सुरक्षा-रेखाओं का असर घटने पर उन्हें घुमाएँ।
  • दिखावटी मीट्रिक्स। जो गिनतियाँ केवल बढ़ती हैं, जैसे संभाले गए टिकट या किए गए कमिट, परिणामों के बारे में कुछ नहीं कहतीं। ऐसे माप चुनें जो घट भी सकें और बढ़ भी।
  • गुणात्मक प्रमाण की अनदेखी। अकेली संख्याएँ नहीं दिखा सकतीं कि बंद टिकट अनसुलझा महसूस हुआ। टिप्पणियाँ पढ़ें।

परिपक्वता मॉडल

आयाम 1 आरंभ 2 विकास 3 मानकीकरण 4 प्रबंधन 5 समन्वयन
परिभाषाएँ और घड़ियाँ अनौपचारिक; हर व्यक्ति अलग गिनता है कुछ मीट्रिक्स के लिए लिखित हर मीट्रिक की एक लिखित परिभाषा, घड़ियों और अपवर्जनों सहित परिभाषाओं की समीक्षा होती है और परिवर्तन कारण सहित दर्ज होते हैं परिभाषाएँ टीमों और आपूर्तिकर्ताओं में संरेखित; निर्णयों को सूचित करना बंद करने पर संशोधित
सुरक्षा-रेखाएँ कोई नहीं कुछ मीट्रिक्स के लिए नामित हर रिपोर्ट की गई मीट्रिक की सुरक्षा-रेखा उसी पृष्ठ पर है सुरक्षा-रेखाओं की तिमाही गेमिंग समीक्षा होती है सुरक्षा-रेखाएँ घूमती हैं और मापे जाने वाले लोगों के साथ मिलकर रची जाती हैं
उपयोग और सुरक्षा संख्याओं का उपयोग दोष देने में होता है टीम अपनी संख्याएँ देखती है टीम डेटा पहले देखती है; व्यक्तियों की कोई रैंकिंग नहीं नेतृत्व सीखने वाले प्रश्न पूछता है; रिपोर्टिंग सुरक्षित है ग्राहक और आपूर्तिकर्ता संख्याओं का खुला नज़रिया साझा करते हैं

जाँच-सूची

  • हर रिपोर्ट की गई मीट्रिक का एक लिखित प्रश्न और वह निर्णय है जिसे वह सूचित करती है।
  • हर समय-माप का लिखित आरंभ, समाप्ति और विराम का नियम है।
  • हर रिपोर्ट की गई मीट्रिक की एक नामित सुरक्षा-रेखा उसके बगल में दिखाई जाती है।
  • समय-माप परसेंटाइल और सबसे पुरानी खुली मद की आयु दिखाते हैं।
  • स्वामी, परिभाषा, गेमिंग के रास्ते, सुरक्षा-रेखा और समीक्षा तिथि सहित मीट्रिक रजिस्टर मौजूद है।
  • टीम अपना डेटा नेतृत्व से पहले देखती है।
  • कोई व्यक्तिगत रैंकिंग, वेतन या अनुशासन किसी मीट्रिक से नहीं जुड़ा है।
  • तिमाही गेमिंग समीक्षा कैलेंडर में है।
  • हर तिमाही बंद मदों का एक नमूना ईमानदारी के लिए पढ़ा जाता है।
  • पिछले वर्ष में कम से कम एक मीट्रिक सेवानिवृत्त या नए सिरे से रची गई है।

AI प्रॉम्प्ट

किसी मीट्रिक पर गेमिंग समीक्षा चलाएँ।

I lead [team name], which runs [type of service or delivery work]. We report
this metric: [metric name], defined as [definition including where the clock
starts and stops]. It is used by [audience] to [decision or target]. Our data
comes from [tool].

List the realistic ways this metric could be made to look better without
improving the service for users. For each, suggest a guardrail metric or
practice that would reveal it and say what the guardrail's own gaming vector
would be. Do not invent benchmark values. List your assumptions and anything you
could not determine from what I gave you.

मीट्रिक रजिस्टर की प्रविष्टि का मसौदा बनाएँ।

Draft a metric register entry for [metric name] for [team name]. Fields: question
it answers, decision it informs, definition, formula, unit, data source, owner
role, review cadence, gaming vector, guardrail, and how users or customers
would notice if it were wrong. Base the entry only on this description:
[describe the metric and current process]. Mark every field you had to assume,
and list questions I should answer to complete the entry.

बंद टिकटों के नमूने का ऑडिट करें।

Here are [number] closed tickets from [service], with fields [list fields] and
the resolution notes pasted below. Review each for signs that the ticket was
closed without the problem being solved, that a pause state was used to stop
the clock, or that priority or category looks adjusted. Report patterns, not
individuals. Do not guess at causes not supported by the text. Tell me what you
could not judge from the data and what additional fields would help.

[paste tickets, with personal data removed]

किसी मीट्रिक को सुरक्षित ढंग से लागू करने की योजना बनाएँ।

We plan to introduce [metric] to [audience]. Current context: [team size,
culture, previous experience with metrics]. Propose a rollout plan covering who
sees the data first, how we explain the purpose, what we will not use it for,
which guardrail we show with it, and when we review whether it is working.
Flag risks of gaming or fear and suggest how to reduce them. List your
assumptions and do not invent statistics.

AI स्किल

  • Service Management Metrics skill: जो मीट्रिक आप लागू करने वाले हैं, उसका विषय और उसकी जोड़ीदार सुरक्षा-रेखा खोजने के लिए उपयोग करें।
  • Service Management Metrics maintainer skill: यह जाँचने के लिए उपयोग करें कि नए मीट्रिक विषय में उसका गेमिंग का रास्ता और सुरक्षा-रेखा मौजूद हैं।

मुख्य निष्कर्ष

  • जो माप लक्ष्य बन जाता है, वह काम का वर्णन करना बंद कर देता है, इसलिए संख्याओं का उपयोग प्रश्न पूछने के लिए करें।
  • गेमिंग दबाव और भय की सामान्य प्रतिक्रिया है, और वह पुलिसिंग से नहीं, स्थितियाँ बदलने से घटती है।
  • हर मीट्रिक को घड़ियों सहित लिखित परिभाषा और अपने बगल में दिखाई जाने वाली सुरक्षा-रेखा चाहिए।
  • औसत की जगह परसेंटाइल और सबसे पुरानी मद की आयु को तरजीह दें।
  • टीमों और सेवाओं का वर्णन करें, व्यक्तियों की रैंकिंग कभी न करें, और टीम को अपना डेटा पहले देखने दें।
  • हर तिमाही गेमिंग की समीक्षा करें और जो मीट्रिक्स निर्णयों को सूचित नहीं करतीं उन्हें सेवानिवृत्त करें।

संदर्भ और आगे का अध्ययन

  1. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  2. Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
  3. Campbell, D. T., "Assessing the impact of planned social change," Evaluation and Program Planning, 2(1), 1979.
  4. Kerr, S., "On the folly of rewarding A, while hoping for B," Academy of Management Journal, 18(4), 1975.
  5. Choi, J., Hecht, G. W., and Tayler, W. B., "Lost in translation: The effects of incentive compensation on strategy surrogation," The Accounting Review, 87(4), 2012.
  6. Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
  7. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  8. Wikipedia, Goodhart's law.
  9. Wikipedia, Campbell's law.
  10. Wikipedia, Cobra effect.
  11. Wikipedia, Perverse incentive.
  12. Wikipedia, Surrogation.
  13. Wikipedia, ITIL.
  14. Wikipedia, Key performance indicator.
  15. Wikipedia, Psychological safety.
  16. Wikipedia, Velocity (software development).