अवलोकन और प्रेरणा

मीट्रिक्स का शासन हल्के-फुल्के निर्णयों का वह समूह है कि किसी माप का स्वामी कौन है, उसका अर्थ क्या है, उसे कौन देख सकता है, उसकी समीक्षा कितनी बार होती है और उसे कब हटाया जाता है। यह डेटा शासन (data governance) का निकट संबंधी है, जो संगठन में डेटा की उपलब्धता, गुणवत्ता और सुरक्षा के व्यापक प्रबंधन को कवर करता है। मीट्रिक्स का शासन वही अनुशासन उन छोटी, अत्यधिक दिखाई देने वाली संख्याओं पर लागू करता है जिनसे टीमें और नेता सेवा और डिलीवरी के काम को दिशा देते हैं।

ज़रूरत छोटे, बार-बार आने वाले घर्षणों के रूप में दिखती है। दो टीमें "समाधान समय" की गणना अलग तरह से करती हैं और आँकड़े मिलाने में एक बैठक बिता देती हैं। डैशबोर्ड की एक टाइल महीनों पुरानी पड़ी रहती है क्योंकि उसे बनाने वाले ने नौकरी बदल ली। किसी टीम के अपने प्रवाह के निदान के लिए बनाया गया माप संचालन समिति द्वारा प्रदर्शन-लक्ष्य के रूप में अपना लिया जाता है, जिसके बारे में पिछला विषय चेताता है (देखें विषय 1.2, गुडहार्ट का नियम और मीट्रिक्स का मनोविज्ञान)। इनमें से कोई सांख्यिकीय समस्या नहीं है। हर एक स्वामित्व की समस्या है, और हर एक को रोकना सस्ता है।

एजाइल और ITIL के दृष्टिकोण ज़ोर में भिन्न हैं, और यह अंतर उपयोगी है। एजाइल दृष्टिकोण में टीम अपने कामकाजी माप की स्वामी होती है और उन पर रेट्रोस्पेक्टिव, कार्य-समझौतों और समीक्षाओं में बातचीत करती है। ITIL का दृष्टिकोण, जैसा ITIL 4 में दर्ज है (AXELOS का 2019 संस्करण, जिसे अब PeopleCert प्रकाशित करता है), मापन और रिपोर्टिंग को सामान्य प्रबंधन प्रैक्टिस मानता है और सतत सुधार को अपनी भूमिकाओं, रिकॉर्ड और समीक्षा वाली प्रैक्टिस। ITIL यह भी अपेक्षा करता है कि सेवा स्वामी और प्रैक्टिस स्वामी परिणामों के लिए जवाबदेह हों। दोनों दृष्टिकोण साथ बैठते हैं: टीम कामकाजी दृश्य की स्वामी होती है, नामित सेवा या प्रैक्टिस स्वामी रिपोर्ट किए गए दृश्य का स्वामी होता है, और एक छोटा रजिस्टर दोनों को जोड़ता है।

यहाँ प्रयुक्त कुछ शब्द। मीट्रिक स्वामी (metric owner) वह एक जवाबदेह व्यक्ति है जो मीट्रिक की परिभाषा, डेटा की गुणवत्ता और उपयोग के लिए उत्तरदायी है। मीट्रिक रजिस्टर (metric register) उपयोग में आ रही मीट्रिक्स की छोटी सूची है, जिसमें हर एक का स्वामी, परिभाषा, डेटा स्रोत, सुरक्षा-रेखा और समीक्षा तिथि हो। मीट्रिक्स चार्टर (metrics charter) मीट्रिक्स के किसी समूह के उद्देश्य, दायरे, भूमिकाओं और समीक्षा की लय का एक पृष्ठ का कथन है। एकल सत्य-स्रोत (single source of truth) वह एक प्रामाणिक प्रणाली या डेटासेट है जिससे कोई आँकड़ा निकाला जाता है। डेटा स्टीवर्ड (data steward) किसी डेटा क्षेत्र की गुणवत्ता और परिभाषा की देखभाल करता है, और छोटे संगठन में मीट्रिक स्वामी अक्सर यह भूमिका निभाता है। RACI मैट्रिक्स (RACI matrix) हर गतिविधि के लिए दर्ज करता है कि कौन उत्तरदायी (Responsible), जवाबदेह (Accountable), परामर्श-प्राप्त (Consulted) और सूचित (Informed) है। डेटा डिक्शनरी (data dictionary) डेटा तत्वों और उनके अर्थों की सूची है, जो बड़े पैमाने पर रजिस्टर के परिभाषा-स्तंभ का रूप ले लेती है। न्यूनतम विशेषाधिकार का सिद्धांत (principle of least privilege) कहता है कि लोगों और प्रणालियों को अपने कार्य के लिए जितनी पहुँच चाहिए उतनी मिले, उससे अधिक नहीं। सतत सुधार (continual improvement) सेवाओं, प्रैक्टिसों और काम के तरीकों को बेहतर बनाने का निरंतर प्रयास है, और यह ITIL की प्रैक्टिस भी है और एजाइल की आदत भी। SLA का अर्थ सेवा-स्तर समझौता है और ITSM का अर्थ IT सेवा प्रबंधन।

मुख्य सिद्धांत

  • हर रिपोर्ट की गई मीट्रिक का एक नामित स्वामी हो। एक भूमिका या एक व्यक्ति, कभी "टीम" नहीं। साझा स्वामित्व परिभाषा को अनुरक्षित छोड़ देता है।
  • एक परिभाषा, एक सत्य-स्रोत। परिभाषा एक बार लिखें, घड़ी की शुरुआत और समाप्ति समेत, और आँकड़ा एक ही जगह निकालें।
  • परिणाम के अनुपात में शासन करें। जिस मीट्रिक का उपयोग टीम अपना बोर्ड डिबग करने के लिए करती है, उसके लिए एक वाक्य काफ़ी है। अनुबंध, सार्वजनिक रिपोर्ट या बोर्ड पैक की मीट्रिक के लिए चार्टर की प्रविष्टि, समीक्षा और ऑडिट ट्रेल चाहिए।
  • पहुँच उद्देश्य का अनुसरण करे। तय करें कि कौन-सा दृश्य कौन देखेगा और क्यों। टीम के कामकाजी दृश्य का डिफ़ॉल्ट दर्शक टीम है।
  • लय पर समीक्षा करें और प्रमाण पर सेवानिवृत्त करें। मीट्रिक्स का जीवनचक्र होता है। उन्हें सोच-समझकर अपनाएँ, समीक्षा करें, संशोधित करें और सेवानिवृत्त करें।
  • इसे लिखें और छोटा रखें। जो रजिस्टर एक पृष्ठ में समा जाता है, वह पढ़ा जाता है। नीति-पुस्तिका नहीं पढ़ी जाती।
  • शासन उन लोगों की सेवा करे जिन्हें मापा जाता है। किसी मीट्रिक के स्वामियों में वे लोग शामिल हैं जिनके काम का वह वर्णन करती है।

मीट्रिक परिभाषाएँ

ये मीट्रिक्स अभ्यास के स्वास्थ्य के माप हैं, किसी सेवा के नहीं। ये जान-बूझकर थोड़े हैं और रजिस्टर से ही जुटाने में सस्ते। जब तक अन्यथा न कहा जाए, हर अवधि एक कैलेंडर तिमाही है।

मीट्रिक परिभाषा सूत्र इकाई डेटा स्रोत ITIL प्रैक्टिस एजाइल समकक्ष आवृत्ति
स्वामित्व कवरेज रिपोर्ट की गई उन मीट्रिक्स का अनुपात जिनका नामित, वर्तमान स्वामी है अवधि के अंत में भूमिका निभा रहे स्वामी वाली रिपोर्ट की गई मीट्रिक्स / अवधि के अंत में रिपोर्ट की गई मीट्रिक्स; केवल एक टीम के निजी बोर्ड के भीतर उपयोग होने वाली मीट्रिक्स शामिल नहीं प्रतिशत मीट्रिक रजिस्टर मापन और रिपोर्टिंग कार्य-समझौते तिमाही
परिभाषा की ताज़गी रिपोर्ट की गई उन मीट्रिक्स का अनुपात जिनकी परिभाषा की समीक्षा सहमत अंतराल के भीतर हुई पिछले 6 महीनों के भीतर समीक्षा तिथि वाली मीट्रिक्स / रिपोर्ट की गई मीट्रिक्स; घड़ी अंतिम दर्ज समीक्षा से शुरू होती है और अवधि के अंत पर रुकती है प्रतिशत मीट्रिक रजिस्टर का परिवर्तन लॉग मापन और रिपोर्टिंग; सतत सुधार रेट्रोस्पेक्टिव की कार्रवाइयाँ तिमाही
स्रोत अनुरूपता रिपोर्ट की गई उन मीट्रिक्स का अनुपात जो ठीक एक नामित स्रोत से निकाली जाती हैं एक प्रामाणिक स्रोत वाली और किसी ज्ञात समानांतर गणना से रहित मीट्रिक्स / रिपोर्ट की गई मीट्रिक्स; समानांतर गणनाएँ डैशबोर्ड और रिपोर्टों का नमूना लेकर खोजी जाती हैं प्रतिशत रजिस्टर और डैशबोर्ड तथा रिपोर्टों का नमूना मापन और रिपोर्टिंग; सेवा-स्तर प्रबंधन मीट्रिक के लिए पूर्णता की परिभाषा तिमाही
सेवानिवृत्ति दर किसी अवधि में रिपोर्ट की गई मीट्रिक्स की तुलना में सेवानिवृत्त या विलय की गई मीट्रिक्स की संख्या अवधि में सेवानिवृत्त या विलय की गई मीट्रिक्स / अवधि के आरंभ में रिपोर्ट की गई मीट्रिक्स; निजी टीम दृश्य में ले जाई गई मीट्रिक रिपोर्ट किए गए सेट से सेवानिवृत्त गिनी जाती है प्रतिशत मीट्रिक रजिस्टर का परिवर्तन लॉग सतत सुधार रेट्रोस्पेक्टिव की कार्रवाइयाँ तिमाही
पहुँच-समीक्षा की ताज़गी प्रतिबंधित मीट्रिक दृश्यों का अनुपात जिनकी दर्शक-सूची की समीक्षा अंतराल के भीतर हुई पिछले 6 महीनों में दर्शक-समीक्षा वाले प्रतिबंधित दृश्य / प्रतिबंधित दृश्य; पूरे संगठन के लिए खुले दृश्य शामिल नहीं प्रतिशत पहुँच सूची या BI औज़ार की अनुमतियों का निर्यात सूचना सुरक्षा प्रबंधन; मापन और रिपोर्टिंग कार्य-समझौते छमाही
निर्णय से जुड़ाव रिपोर्ट की गई उन मीट्रिक्स का अनुपात जो रजिस्टर में किसी ऐसे निर्णय से जुड़ी हैं जिसे वे सूचित करती हैं दर्ज निर्णय या प्रश्न वाली मीट्रिक्स / रिपोर्ट की गई मीट्रिक्स; कड़ी तभी गिनी जाती है जब निर्णय पिछले 12 महीनों में लिया गया हो प्रतिशत मीट्रिक रजिस्टर और निर्णय लॉग सतत सुधार हितधारक समीक्षा और सुधार के परिणाम तिमाही

इनमें से कोई भी लक्ष्य नहीं है। रजिस्टर पूरा स्वामित्व कवरेज दिखा सकता है और फिर भी बेकार मीट्रिक्स का वर्णन कर सकता है, इसलिए तालिका को नीचे की गेमिंग तालिका के साथ पढ़ें।

सिफ़ारिशें

स्वामित्व और रजिस्टर स्थापित करें

1. एक पृष्ठ का मीट्रिक रजिस्टर रखें। हर रिपोर्ट की गई मीट्रिक को उसके प्रश्न, स्वामी, परिभाषा, सूत्र और घड़ियों, इकाई, डेटा स्रोत, दर्शक, सुरक्षा-रेखा, अंतिम समीक्षा तिथि और नियोजित समीक्षा तिथि के साथ सूचीबद्ध करें। स्प्रेडशीट या संस्करण नियंत्रण में एक Markdown फ़ाइल पर्याप्त है। यह रजिस्टर इस विषय की सबसे उपयोगी कृति है, और पिछला विषय पहले से मानकर चलता है कि वह मौजूद है (देखें विषय 1.2, गुडहार्ट का नियम और मीट्रिक्स का मनोविज्ञान)।

2. हर मीट्रिक का एक स्वामी नामित करें, और भूमिका दर्ज करें। स्वामी परिभाषा, डेटा की गुणवत्ता और अजीब परिणामों की व्याख्या के लिए जवाबदेह है। डेटा और निर्णयों के निकट के व्यक्ति को चुनें, अक्सर सेवा स्वामी, प्रैक्टिस स्वामी या टीम लीड। व्यक्ति के साथ भूमिका भी दर्ज करें, ताकि नौकरी बदलने पर भी प्रविष्टि बची रहे और रिक्ति कवरेज के आँकड़े में दिखे।

3. मीट्रिक के स्वामित्व को उस काम के स्वामित्व से अलग रखें जिसे वह मापती है। मीट्रिक का स्वामी उसे समझाता और अनुरक्षित करता है, पर काम करने वाली टीम नतीजे के लिए उत्तरदायी रहती है। इससे दो जाल टलते हैं: वह स्वामी जिसे ऐसी संख्या के लिए दोष मिले जिसे वह प्रभावित नहीं कर सकता, और वह टीम जो किसी संख्या से इसलिए पल्ला झाड़े कि उसे कोई और अनुरक्षित करता है। चार्टर की छोटी RACI तालिका इसे स्पष्ट कर देती है।

4. परिभाषा को घड़ियों समेत एक बार लिखें। रजिस्टर में प्रामाणिक परिभाषा रहती है: क्या गिना जाता है, घड़ी कहाँ शुरू और बंद होती है, कौन-सी स्थितियाँ उसे रोकती हैं, और क्या छोड़ा जाता है। मीट्रिक दिखाने वाले हर डैशबोर्ड से उसकी कड़ी दें। जब परिभाषा बदलनी हो, तो पहले रजिस्टर में बदलें और चार्ट पर बदलाव चिह्नित करें (रुझान में टूट कैसे दिखाएँ, इसके लिए देखें विषय 1.6, सेवा मीट्रिक्स के लिए सांख्यिकीय साक्षरता)।

5. हर मीट्रिक एक ही जगह निकालें। प्रामाणिक स्रोत चुनें, जैसे ITSM औज़ार, इश्यू ट्रैकर या निगरानी प्रणाली, और रजिस्टर में कहें। जो समानांतर स्प्रेडशीट वही आँकड़ा दोहराती हैं, उन्हें या तो हटा दें या नाम बदल दें ताकि कोई उन्हें आधिकारिक संख्या न समझे। डेटा की वंशावली और औज़ार अगले विषय के हैं (देखें विषय 1.5, डेटा स्रोत और इंस्ट्रूमेंटेशन)।

लय और परिवर्तन नियंत्रण तय करें

6. परिभाषाओं की समीक्षा परिणाम के अनुरूप कार्यक्रम पर करें। अनुबंधों, विनियमित रिपोर्टों या कार्यकारी पैक की मीट्रिक्स की साल में दो बार और अंतर्निहित कार्यप्रवाह में किसी भी परिवर्तन पर समीक्षा करें। टीम-स्तर के कामकाजी मापों के लिए रेट्रोस्पेक्टिव ही समीक्षा है। हर समीक्षा तीन प्रश्न पूछती है: क्या परिभाषा अब भी सटीक है, क्या डेटा अब भी ठोस है, और क्या किसी ने संख्या से कुछ तय किया?

7. परिभाषा के बदलावों को सेवा के परिवर्तनों की तरह बरतें। दर्ज करें कि बदलाव किसने माँगा, क्यों, किससे परामर्श हुआ और वह किस तिथि से प्रभावी है। स्थिति-कार्यप्रवाह में छोटा बदलाव चुपचाप समय-माप को बहुत खिसका सकता है। परिभाषाओं के लिए हल्का परिवर्तन नियंत्रण यह विचार परिवर्तन सक्षमीकरण से बिना औपचारिकता के उधार लेता है (सेवा-परिवर्तन के समकक्ष के लिए देखें विषय 4.3, परिवर्तन सक्षमीकरण मीट्रिक्स)।

8. समीक्षा को सतत सुधार से जोड़ें। मीट्रिक्स की समीक्षाओं से सुधार-कार्य निकलना चाहिए, या कार्रवाई न करने का स्पष्ट निर्णय। ITIL सतत सुधार को सुधार-अवसरों के रजिस्टर वाली प्रैक्टिस मानता है, और एजाइल टीमें रेट्रोस्पेक्टिव की कार्रवाइयों से वही असर पाती हैं। यदि समीक्षा बिना कार्रवाई और बिना सेवानिवृत्ति के खत्म हो, तो पूछें कि क्या मीट्रिक कोई काम कर रही है (देखें विषय 9.5, सतत सुधार मीट्रिक्स)।

9. मीट्रिक्स को सोच-समझकर सेवानिवृत्त करें। सेवानिवृत्ति की कसौटी तय करें, उदाहरण के लिए "दो समीक्षा चक्रों तक किसी निर्णय में उद्धृत नहीं हुई", और उसे लागू करें। परिभाषा और अंतिम मान संग्रहित करें, बताएँ कि उसकी जगह क्या आया, यदि कुछ आया, और दर्शकों को सूचित करें। सेवानिवृत्ति लॉग ऑडिटरों के लिए प्रमाण है और उनके लिए राहत जो डेटा हाथ से अनुरक्षित करते थे।

दृश्यों और पहुँच को नियंत्रित करें

10. हर दृश्य का दर्शक तय करें। अधिकतर मीट्रिक्स का टीम के लिए कामकाजी दृश्य होता है, सेवा स्वामी या कार्यक्रम के लिए रिपोर्ट किया दृश्य, और कभी-कभी ग्राहकों, नियामक या आपूर्तिकर्ता के लिए बाहरी दृश्य। दर्ज करें कि कौन-सा दर्शक कौन-सा दृश्य पाता है और क्यों। न्यूनतम विशेषाधिकार के सिद्धांत को मार्गदर्शक मानकर उन दृश्यों को प्रतिबंधित करें जिनमें व्यक्तिगत डेटा, सुरक्षा का विवरण या व्यावसायिक रूप से संवेदनशील आपूर्तिकर्ता आँकड़े हों, और बाकी को खुला छोड़ें ताकि पारदर्शिता डिफ़ॉल्ट रहे।

11. व्यक्ति-स्तर का डेटा रिपोर्टिंग से बाहर रखें। इस पुस्तक का कठोर नियम है कि मीट्रिक्स टीमों, सेवाओं और प्रणालियों का वर्णन करती हैं, लोगों का नहीं। शासन इसे रिपोर्ट किया जाने वाला ग्रेन तय करके, जैसे टीम और सेवा, और किसी भी व्यक्ति-स्तर के निष्कर्षण को डेटा स्टीवर्ड तक सीमित करके पुष्ट करता है। यदि व्यक्ति-स्तर के विभाजन का अनुरोध आए, तो उसे दर्ज करें, पूछें कि वह किस निर्णय की सेवा करता है, और टीम-स्तर या प्रणाली-स्तर का विकल्प दें (देखें विषय 11.3, भय पैदा किए बिना मीट्रिक्स लागू करना)।

गेमिंग के रास्ते और सुरक्षा-रेखाएँ

मीट्रिक इसमें गेमिंग कैसे होती है जोड़ीदार सुरक्षा-रेखा मीट्रिक या प्रथा
स्वामित्व कवरेज 100 प्रतिशत पहुँचने के लिए प्रबंधक या मेलिंग सूची को स्वामी लिख देना, जबकि कोई ऐसा नहीं जो मीट्रिक समझा या बदल सके हर स्वामी से संख्या की हाल की एक हलचल समझाने को कहें; जिन प्रश्नों का उत्तर एक सप्ताह से अधिक अनुत्तरित रहा उन्हें ट्रैक करें
परिभाषा की ताज़गी परिभाषा पढ़े बिना समीक्षा तिथि छू लेना हर तिमाही तीन प्रविष्टियों का नमूना लें और लिखी परिभाषा की तुलना औज़ार के असली विन्यास से करें
स्रोत अनुरूपता किसी स्रोत को प्रामाणिक घोषित करना जबकि स्प्रेडशीट अब भी चलती और असहमत होती रहें रिपोर्टों के नमूने में एक ही मीट्रिक के कितने अलग-अलग आँकड़े मिले, गिनें; समीक्षा में अंतर मिलाएँ
सेवानिवृत्ति दर अनुशासित दिखने के लिए मामूली या अनुपयोगी मीट्रिक्स सेवानिवृत्त करना, या मीट्रिक का नाम बदल देना ताकि वह नई गिनी जाए सेवानिवृत्ति लॉग देखें कि क्या हटाया गया; रिपोर्ट की गई कुल गिनती और निर्णय से जुड़ाव का आँकड़ा साथ ट्रैक करें
पहुँच-समीक्षा की ताज़गी मौजूदा दर्शक-सूची को पढ़े बिना स्वीकृत कर देना सूची की तुलना टीम की मौजूदा सदस्यता और भूमिकाओं से करें; मिले हटावों की संख्या रिपोर्ट करें
निर्णय से जुड़ाव फ़ील्ड की पूर्ति के लिए "सेवा सुधारो" जैसा अस्पष्ट निर्णय लिखना तिथि-युक्त निर्णय या प्रश्न अनिवार्य करें, और निर्णय लॉग का नमूना लें कि मीट्रिक सचमुच देखी गई थी या नहीं

स्वस्थ पठन वह रजिस्टर है जो बदलता है। प्रविष्टियों के स्वामी प्रश्नों के उत्तर देते हैं, समीक्षा तिथियाँ पिछले छह महीनों में पड़ती हैं, कारणों सहित सेवानिवृत्ति लॉग है, और उन मीट्रिक्स की छोटी सूची है जो अब भी चाही जाती हैं क्योंकि लोग वह निर्णय बता सकते हैं जिसे वे सूचित करती हैं। जिस रजिस्टर का हर फ़ील्ड भरा हो और कभी कुछ न बदलता हो, वह चेतावनी का संकेत है।

समझौते: लाभ और हानि

तरीका ताकत कमज़ोरी
केंद्रीय मीट्रिक्स कार्यालय एकसमान परिभाषाएँ और साझा औज़ार; ऑडिट आसान धीमा, काम से दूर, और उन मापों को मानकीकृत करने का लोभ जो टीमों के बीच अलग होने चाहिए
साझा रजिस्टर के साथ संघीय स्वामित्व स्वामी डेटा के निकट बैठते हैं; रजिस्टर साझा न्यूनतम बनाए रखता है टीमों के बीच गुणवत्ता का भटकाव रोकने के लिए लगातार प्रोत्साहन चाहिए
केवल टीम-स्वामित्व वाले माप तेज़ और काम के अनुरूप परिभाषाएँ अलग हो जाती हैं; रोल-अप अविश्वसनीय हो जाते हैं; ज्ञान लोगों के साथ चला जाता है
डिफ़ॉल्ट रूप से खुली पहुँच विश्वास और साझा समझ बनाती है संवेदनशील या व्यक्ति-स्तर के विवरण के उजागर होने का जोखिम
प्रतिबंधित पहुँच संवेदनशील डेटा की रक्षा करती है उन लोगों से संदर्भ छिपाती है जो मदद कर सकते थे, और संदेह को न्योता देती है

संतुलन यह है कि उस पतली परत को केंद्रीकृत करें जिस पर सहमति ज़रूरी है, यानी रजिस्टर, साझा परिभाषाएँ और पहुँच के नियम, और बाकी सब को संघीय रखें।

अपनी टीम के साथ चर्चा के प्रश्न

1. यदि कल हमारे डैशबोर्ड की सबसे अधिक उद्धृत संख्या ग़लत दिखे तो कौन जवाब देगा? समूह से किसी व्यक्ति का नाम पूछें, समूह का नहीं। यदि कई नाम आएँ, या कोई नहीं, तो व्यवहार में मीट्रिक का कोई स्वामी नहीं है। सूत्रधार मीट्रिक, उम्मीदवार स्वामी और काम करने के लिए स्वामी को जो चाहिए, जैसे डेटा की पढ़ने की पहुँच या समीक्षा में समय, दर्ज करे। अंत में तय करें कि स्वामी की पुष्टि कौन करेगा और भूमिका रजिस्टर में दर्ज करेगा।

2. आज एक ही आँकड़े के दो संस्करण कहाँ मौजूद हैं? ऐसी रिपोर्टें खोजें जो एक ही मीट्रिक को अलग मानों के साथ दिखाती हैं: साप्ताहिक स्लाइड बनाम जीवंत डैशबोर्ड, या आपूर्तिकर्ता की रिपोर्ट बनाम आंतरिक रिपोर्ट। हर एक के लिए पूछें कि अंतर कहाँ से आता है, जैसे दायरा, घड़ी या अपवर्जन। तय करें कि कौन-सा स्रोत प्रामाणिक है और दूसरे संस्करण का क्या होगा। उम्मीद रखें कि बातचीत उन शब्दों की अलग-अलग कामकाजी परिभाषाएँ उजागर करेगी जिन्हें सब साझा मानकर चल रहे थे।

3. यदि हमें एक मीट्रिक सेवानिवृत्त करनी हो, तो इस तिमाही कौन-सी करेंगे? उस मीट्रिक से शुरू करें जिसे हाल में किसी निर्णय में किसी ने उद्धृत नहीं किया। पूछें कि वह गायब हो जाए तो क्या होगा और कौन ध्यान देगा। यदि उत्तर "कोई नहीं" है, तो उसे परीक्षण-अवधि के लिए रिपोर्ट किए गए सेट से बाहर कर दें। सूत्रधार सेवानिवृत्ति को सामान्य और स्वस्थ माने, और परिणाम सेवानिवृत्ति लॉग में दर्ज करे।

4. हमारी कौन-सी मीट्रिक्स कौन देखता है, और क्या वह जान-बूझकर है? मीट्रिक्स बनाम दर्शकों का सरल ग्रिड बनाएँ: टीम, सेवा स्वामी, नेतृत्व, ग्राहक, आपूर्तिकर्ता, नियामक। चिह्नित करें कि कहाँ पहुँच निर्णय थी और कहाँ बस हो गई। ऐसा कोई दृश्य खोजें जिसका उपयोग व्यक्तियों की तुलना के लिए हो सकता हो। कम से कम एक दर्शक-सूची में बदलाव पर, और अगली बार उसकी समीक्षा कौन करेगा, इस पर सहमत हों।

5. रुझान को तोड़े बिना हम परिभाषा कैसे बदलें? स्थिति-कार्यप्रवाह या प्राथमिकता-पैमाने के हाल के बदलाव को देखें। पूछें कि किसे बताया गया, क्या चार्ट पर टिप्पणी लगी, और क्या किसी ने पुराने और नए मानों की तुलना की। हल्की परिवर्तन-प्रविष्टि का मसौदा बनाएँ जिसे टीम सचमुच भरेगी। अनुबंधों या बाहरी रिपोर्टों में दिखने वाली मीट्रिक्स के बदलावों को कौन स्वीकृत करेगा, यह तय करें।

6. यदि शासन बोझ बन जाए तो हम क्या करना बंद कर देंगे? शासन रस्म बन सकता है। पूछें कि वर्तमान तरीके के कौन-से हिस्से लोग छोड़ देते यदि कोई जाँच न करता, और क्यों। उत्तरों को विरोध नहीं, रचना की प्रतिक्रिया मानें। सूत्रधार ऐसे चरण खोजे जो एक-दूसरे को दोहराते हैं, ऐसे फ़ील्ड जिन्हें कोई नहीं पढ़ता, और ऐसी समीक्षाएँ जो कभी निर्णय नहीं देतीं।

चार दृष्टिकोण

उत्पाद और डिलीवरी टीमें

डिलीवरी टीमें कार्य-मद की आयु और साइकल टाइम जैसे कामकाजी माप की स्वामी हैं, और उन्हें परिभाषाएँ अपने कार्य-समझौतों में तय करनी चाहिए। जब कोई मीट्रिक पोर्टफ़ोलियो रिपोर्ट में ऊपर जाए, तो टीम को स्वामी, परिभाषा और दर्शक पता हों। टीमों को सबसे अधिक लाभ हर रिपोर्ट किए गए माप की छोटी रजिस्टर प्रविष्टि से होता है, और ऐसी परिभाषा को चुनौती देने के अधिकार से जो अब काम के प्रवाह के अनुरूप न रही (देखें विषय 2.1, प्रवाह के माप)।

सेवा और संचालन टीमें

सेवा और संचालन टीमें वे मीट्रिक्स वहन करती हैं जो SLA और परिचालन समीक्षाओं में दिखती हैं, इसलिए परिभाषाओं, घड़ियों और अपवर्जनों का अनुबंधीय वज़न है। यहाँ स्वामी आमतौर पर सेवा स्वामी और प्रैक्टिस स्वामी होते हैं। वे परिभाषा-परिवर्तनों का प्रमाण-क्रम रखें, रिपोर्ट किए आँकड़ों को ITSM औज़ार से नियमित मिलाएँ, और उस माप को सबसे पहले सेवानिवृत्त करें जिसने परिचालन निर्णयों को सूचित करना बंद कर दिया (देखें विषय 5.1, SLA, OLA और XLA मीट्रिक्स)।

नेतृत्व और शासन

नेता स्थितियाँ तय करते हैं: मीट्रिक्स का स्वामी कौन है, कौन-से दृश्य कार्यकारी पैक तक पहुँचते हैं और संख्याओं का उपयोग कैसे होता है। वे रजिस्टर और सेवानिवृत्ति लॉग माँगें, शीर्ष आँकड़ों के पीछे की परिभाषाएँ पढ़ें और व्यक्ति-स्तर की लीग तालिकाओं के अनुरोधों का विरोध करें। शासन निकायों को छोटा स्थायी एजेंडा-बिंदु चाहिए जो रजिस्टर की समीक्षा करे और निर्णय दर्ज करे, सेवा प्रबंधन प्रणालियों के लिए ISO/IEC 20000-1 की अपेक्षाओं के अनुरूप (इसके 2018 संस्करण के अनुसार), बिना समीक्षा को अनुपालन का अभ्यास बनाए (देखें विषय 8.3, अनुपालन और ऑडिट मीट्रिक्स)।

ग्राहक और उपयोगकर्ता

ग्राहक और उपयोगकर्ता रजिस्टर को शायद ही कभी देखते हैं, पर उसकी अनुपस्थिति महसूस करते हैं जब सेवा समीक्षा का कोई आँकड़ा उनके अनुभव से अलग होता है। जहाँ कोई मीट्रिक ग्राहक-मुखी रिपोर्ट या SLA में दिखती है, वहाँ परिभाषा सरल भाषा में उपलब्ध होनी चाहिए, जिसमें यह भी हो कि क्या छोड़ा गया है। ग्राहकों के पास किसी आँकड़े पर प्रश्न उठाने का रास्ता होना चाहिए, और स्वामी को उसका उत्तर देना चाहिए (देखें विषय 5.1, SLA, OLA और XLA मीट्रिक्स)।

व्यवहार में: सेवा प्रबंधन का एक उदाहरण

एक मध्यम आकार का ऑनलाइन खुदरा विक्रेता सर्विस डेस्क, तीन उत्पाद टीमें और एक संचालन समूह चलाता है। नीचे की सभी संख्याएँ दृष्टांत के लिए हैं।

मासिक सेवा समीक्षा में घटना के समाधान-समय का माध्य 5.1 घंटे है। उसी ITSM औज़ार से बना उत्पाद टीमों का अपना डैशबोर्ड 6.4 घंटे दिखाता है। दोनों आँकड़े एक साल से चल रहे हैं। एक नया सेवा स्वामी पूछता है कि मीट्रिक का स्वामी कौन है और उसे तीन अलग-अलग उत्तर मिलते हैं।

स्वामी, टीम लीडों और डेटा स्टीवर्ड के साथ, 14 रिपोर्ट की गई मीट्रिक्स के पहले रजिस्टर पर दो सत्र बिताता है। इनमें से 5 का कोई स्वामी नहीं था और 4 के दो स्रोत थे। समाधान-समय दोहरे-स्रोत वाली मीट्रिक्स में है। अंतर एक विराम-स्थिति से जुड़ता है: सेवा समीक्षा "ग्राहक की प्रतीक्षा" में बिताया समय छोड़ देती है, और टीम का डैशबोर्ड नहीं छोड़ता। समूह एक परिभाषा पर सहमत होता है, सेवा स्वामी को मीट्रिक स्वामी नामित करता है, और एक तिमाही तक दोनों मान एक ही पृष्ठ पर परिभाषा के लेबल सहित प्रकाशित करता है, ताकि किसी का इतिहास न खोए। वे चार्ट पर वहाँ टिप्पणी जोड़ते हैं जहाँ परिभाषा बदलती है।

पहली तिमाही समीक्षा में समूह सेवानिवृत्ति की कसौटी लगाता है और 14 में से 3 मीट्रिक्स हटा देता है, जिनमें मासिक टिकट-गिनती का चार्ट है जिसे हाल के किसी निर्णय ने उद्धृत नहीं किया था। वे विश्लेषक के अनुसार समाधान-समय तोड़ने वाले दृश्य को भी प्रतिबंधित करते हैं, डेटा स्टीवर्ड को अकेला धारक रखते हैं, और इसके बजाय टीम-स्तर का विभाजन देते हैं।

दूसरी समीक्षा में गेमिंग का जोखिम दिखता है। स्वामित्व कवरेज 100 प्रतिशत पहुँचता है, पर नमूना दिखाता है कि दो स्वामी एक वितरण सूची और एक विभाग प्रमुख हैं जिन्होंने डेटा कभी खोला ही नहीं। समूह उन्हें नामित सेवा स्वामियों से बदलता है और समीक्षा में सुरक्षा-रेखा का प्रश्न जोड़ता है: "क्या स्वामी इस संख्या की पिछली हलचल समझा सकता है?" कवरेज एक तिमाही के लिए 86 प्रतिशत पर गिर जाता है, जिसे समूह ईमानदार नतीजे के रूप में दर्ज करता है। लॉग किया गया निर्णय यह है कि सुरक्षा-रेखा के दो चक्र चल जाने तक कवरेज का लक्ष्य रोक कर रखा जाए।

एजाइल, AI, स्वचालन और विश्लेषण

एजाइल

मीट्रिक रजिस्टर को ऐसा जीवंत दस्तावेज़ मानें जिसे टीम कुछ सीखने पर अद्यतन करती है, एक बार की रचना का अभ्यास नहीं। व्यावहारिक आदत है छोटी नियमित समीक्षा, जिसमें मीट्रिक स्वामी, टीम और एक हितधारक तय करें कि कौन-सी मीट्रिक्स रहेंगी, बदलेंगी या सेवानिवृत्त होंगी। सावधानी यह है कि बार-बार के छोटे बदलाव रुझान तोड़ सकते हैं, इसलिए हर बदलाव कारण सहित दर्ज करें।

AI

AI प्रणालियों की मीट्रिक्स को सेवा की मीट्रिक्स की तरह स्वामी चाहिए, और स्वामी को प्रणाली रोकने का अधिकार चाहिए जब संख्याएँ बताएँ कि वह उपयोगकर्ताओं को नुकसान पहुँचा रही है। रजिस्टर में दर्ज करें कि कौन-सी मीट्रिक्स AI-सहायता प्राप्त काम का वर्णन करती हैं और उनकी गुणवत्ता-जोड़ी की समीक्षा कौन करता है। सावधानी यह है कि विक्रेता के दिए AI डैशबोर्ड की अपनी परिभाषाएँ होती हैं, इसलिए उन्हें विक्रेता की परिभाषा उद्धृत करके और जाँचकर पंजीकृत करें।

स्वचालन

रजिस्टर की सफ़ाई को स्वचालित करें: बिना स्वामी, बिना समीक्षा तिथि या हाल में किसी निर्णय में उद्धृत न हुई मीट्रिक्स को चिह्नित करें और स्वामी को सूचित करें। सावधानी यह है कि जिस स्वचालित अनुस्मारक का कोई उत्तर नहीं देता, वह शोर है, इसलिए गिनें कि कितने झंडे कार्रवाई तक पहुँचते हैं और जो नहीं पहुँचते उन्हें हटाएँ।

विश्लेषण

मीट्रिक डेटा तक पहुँच को भी शासन का प्रश्न मानें: टीम-स्तर का डेटा कौन देख सकता है, कच्चे टिकट कौन, और डेटा कितने समय रखा जाता है। रजिस्टर जिस निर्णय को सूचित करता है वह यह है कि क्या रखना, बदलना या सेवानिवृत्त करना है। सावधानी यह है कि लोगों के व्यवहार का विश्लेषण निगरानी में बदल सकता है, इसलिए मीट्रिक्स को टीम और सेवा के स्तर पर रखें और जो गोपनीयता नियम आप पर लागू होते हैं उन्हें जाँचें।

क्षेत्र का नज़रिया

स्टार्टअप। संस्थापक या मुख्य इंजीनियर अक्सर डिफ़ॉल्ट रूप से हर मीट्रिक का स्वामी होता है। जोखिम यह है कि परिभाषाएँ एक ही दिमाग में रहती हैं। साझा दस्तावेज़ में पाँच से आठ मीट्रिक्स का रजिस्टर रखें, हर एक का स्वामी नामित करें, और परिभाषाएँ उसी दिन लिखें जब कोई मीट्रिक पहली बार निवेशक या ग्राहक की अद्यतन में आए।

छोटा व्यवसाय। IT चलाने वाला व्यक्ति आमतौर पर स्वामी, स्टीवर्ड और रिपोर्ट का पाठक होता है। शासन को एक पृष्ठ तक रखें, साल में दो बार समीक्षा करें, और अतिरिक्त सावधानी बरतें जब विक्रेता की रिपोर्ट आपकी अपनी से अलग तरह मीट्रिक परिभाषित करे। नामित करें कि व्यवसाय में हर ग्राहक-मुखी आँकड़े का स्वामी कौन है।

उद्यम। पैमाना साझा परत को अनिवार्य बना देता है। कार्यप्रवाह वाला रजिस्टर, तिमाही मिलने वाली हल्की परिषद और हर प्रमुख क्षेत्र के लिए डेटा स्टीवर्ड की भूमिका इस्तेमाल करें। कामकाजी मापों के लिए टीम की स्वायत्तता बनाए रखें और उन मीट्रिक्स को मानकीकृत करने से बचें जिन्हें अलग तरह की सेवाओं के बीच अलग होना चाहिए। संगठन में पहले से मौजूद डेटा शासन से तालमेल बिठाने से प्रयास बचता है।

सरकार और सार्वजनिक क्षेत्र। वैधानिक रिपोर्टिंग, ऑडिट और खरीद लिखित परिभाषाओं और परिवर्तन-रिकॉर्ड को दायित्व बना देते हैं। रजिस्टर को ऑडिट की कृति मानें, और हर प्रकाशित आँकड़े से उसके स्वामी और स्रोत तक स्पष्ट रेखा रखें। पहुँच के निर्णयों में अक्सर कानूनी और गोपनीयता समीक्षा शामिल होती है, इसलिए हर प्रतिबंधित दृश्य का आधार दर्ज करें (देखें विषय 8.5, विनियमित और सरकारी रिपोर्टिंग)।

व्यावसायिक औचित्य: प्रेरणाएँ, ROI और TCO

लागत मामूली है और अधिकतर समय है। पहला रजिस्टर बनाने में कुछ घंटे, हर तिमाही समीक्षा के लिए एक-दो घंटे, और परस्पर विरोधी स्रोत सुलझाने में डेटा स्टीवर्ड का कुछ प्रयास अपेक्षित है। औज़ार की लागत कम है क्योंकि शुरू करने के लिए स्प्रेडशीट या संस्करण-नियंत्रित फ़ाइल पर्याप्त है।

प्रतिफल अधिकतर टाला गया अपव्यय है। आँकड़े मिलाने में लगी बैठकें खत्म हो जाती हैं, ऑडिट को स्पष्ट प्रमाण-क्रम मिलता है, और नए सेवा स्वामी का परिचय तेज़ होता है क्योंकि परिभाषाएँ लिखी हुई हैं। निर्णय बेहतर होते हैं क्योंकि वे ऐसी संख्याओं पर टिकते हैं जिनका अर्थ हर महीने वही रहता है। अपने डेटा के बिना इन लाभों के लिए प्रतिशत न बताएँ। यदि व्यावसायिक औचित्य के लिए आँकड़े चाहिए, तो पिछली तिमाही में परस्पर विरोधी संख्याएँ मिलाने में लगे घंटे और बिना दर्ज स्वामी वाली मीट्रिक्स की संख्या गिनें, फिर दो समीक्षा चक्रों के बाद दोबारा गिनें।

प्रतिरूप-विरोधी और जाल

  • समिति का स्वामित्व। समूह मीट्रिक का स्वामी है और कोई प्रश्नों का उत्तर नहीं देता। एक जवाबदेह भूमिका और एक उप-स्वामी नामित करें।
  • कब्रिस्तान के रूप में रजिस्टर। एक बार बनता है और कभी छुआ नहीं जाता। समीक्षा तिथियाँ कैलेंडर में डालें और हर डैशबोर्ड पर तिथि दिखाएँ।
  • हर चीज़ का मानकीकरण। अलग काम वाली टीमों पर थोपी गई एक परिभाषा ऐसी संख्याएँ देती है जिनका कहीं कोई अर्थ नहीं। केवल वही परत साझा करें जिस पर सहमति ज़रूरी है।
  • चुपचाप परिभाषा बदलना। रुझान टूटते हैं और भरोसा उनके पीछे। हर बदलाव कारण सहित दर्ज करें और चार्ट पर टिप्पणी लगाएँ।
  • सेवानिवृत्ति के बिना शासन। सेट केवल बढ़ता है और ध्यान पतला होता है। हर समीक्षा में सेवानिवृत्ति की कसौटी लगाएँ।
  • डिफ़ॉल्ट रूप से गोपनीयता। जिन लोगों को मापा जाता है उनसे कामकाजी दृश्य छिपाना संदेह पैदा करता है। केवल उसे प्रतिबंधित करें जिसमें वास्तविक जोखिम है और कारण समझाएँ।
  • व्यक्ति-स्तर के डेटा तक खुली पहुँच। एक निष्कर्षण कुछ ही दिनों में लीग तालिका बन सकता है। रिपोर्ट किया जाने वाला ग्रेन टीम और सेवा रखें, और कोई भी व्यक्ति-स्तर का डेटा स्टीवर्ड के पास रखें।
  • अनुपालन का नाटक। चेकलिस्ट संतुष्ट करने के लिए फ़ील्ड भरे जाते हैं। प्रविष्टियों का सच के लिए नमूना लें, और स्वामियों से हाल की हलचलें समझाने को कहें।

परिपक्वता मॉडल

आयाम 1 आरंभ 2 विकास 3 मानकीकरण 4 प्रबंधन 5 समन्वयन
स्वामित्व और रजिस्टर स्वामी अस्पष्ट; मीट्रिक्स व्यक्तिगत स्प्रेडशीटों में कुछ टीमें स्वामियों सहित सूची रखती हैं सभी रिपोर्ट की गई मीट्रिक्स के लिए एक रजिस्टर, हर एक का नामित स्वामी और भूमिका कवरेज और ताज़गी का रुझान देखा जाता है; अंतर संसाधन-युक्त सुधारों तक ले जाते हैं जहाँ आँकड़े सीमाओं के पार जाते हैं वहाँ रजिस्टर आपूर्तिकर्ताओं और ग्राहकों के साथ साझा
परिभाषाएँ और परिवर्तन नियंत्रण परिभाषाएँ व्यक्ति के अनुसार अलग कुछ अनुबंध मीट्रिक्स के लिए लिखित हर रिपोर्ट की गई मीट्रिक की घड़ियों सहित लिखित परिभाषा और परिवर्तन लॉग रिलीज़ से पहले बदलावों की रुझानों पर असर के लिए समीक्षा निर्णयों को सूचित करना बंद करने पर परिभाषाएँ टीमों और आपूर्तिकर्ताओं में संयुक्त रूप से संशोधित
समीक्षा और सेवानिवृत्ति मीट्रिक्स जोड़ी जाती हैं, कभी हटाई नहीं कभी-कभार सफ़ाई समीक्षा की लय और सेवानिवृत्ति की कसौटी लिखित समीक्षा के परिणाम सुधार-कार्य के रूप में ट्रैक सेवानिवृत्ति और नवीनीकरण नियमित, उपयोगकर्ताओं और टीमों के प्रमाण से संचालित
पहुँच और दर्शक संयोग से पहुँच संवेदनशील डेटा के लिए प्रतिबंधित दृश्य हर मीट्रिक के लिए कारण सहित दर्शक सूचीबद्ध पहुँच की लय पर समीक्षा; व्यक्ति-स्तर का डेटा स्टीवर्ड के पास मापे जाने वाले लोगों और ग्राहकों के साथ मिलकर दर्शक की रचना

जाँच-सूची

  • मीट्रिक रजिस्टर मौजूद है और हर रिपोर्ट की गई मीट्रिक सूचीबद्ध है।
  • हर रिपोर्ट की गई मीट्रिक का नामित स्वामी और दर्ज भूमिका है।
  • हर रिपोर्ट की गई मीट्रिक की लिखित परिभाषा है, जिसमें आरंभ, समाप्ति और अपवर्जन के नियम हैं।
  • हर मीट्रिक का एक प्रामाणिक स्रोत रजिस्टर में नामित है।
  • हर मीट्रिक की समीक्षा तिथि और अंतराल दर्ज है।
  • परिभाषा के बदलाव कारण सहित लॉग किए जाते हैं और चार्ट पर चिह्नित हैं।
  • सेवानिवृत्ति की कसौटी लिखित है और हर समीक्षा में लागू होती है।
  • हर दृश्य का दर्शक दर्ज है, किसी भी प्रतिबंध के कारण सहित।
  • कोई रिपोर्ट किया दृश्य व्यक्तियों की रैंकिंग नहीं करता, और व्यक्ति-स्तर का डेटा डेटा स्टीवर्ड के पास है।
  • पिछली तिमाही में रजिस्टर का सच के लिए नमूना लिया गया है।

AI प्रॉम्प्ट

मीट्रिक्स के सेट के लिए मीट्रिक्स चार्टर का मसौदा बनाएँ।

Draft a one-page metrics charter for [team or service name], which provides
[type of service or delivery work]. The metric set is: [list of metrics]. The
audiences are [audiences]. Include purpose, explicit non-goals, a RACI table for
owner, data steward, and reviewers using these roles: [roles], review cadence,
and a retirement test. Base the draft only on what I have written. Do not invent
metrics, targets, or benchmark values. List your assumptions and the questions I
should answer to complete the charter.

किसी मीट्रिक के दो संस्करणों के बीच टकराव खोजें।

Here are two descriptions of what should be the same metric, [metric name].
Version A, from [source A]: [description and formula]. Version B, from
[source B]: [description and formula]. Compare them on what is counted, where
the clock starts and stops, which states pause it, and what is excluded.
Explain which differences could account for the gap between [value A] and
[value B], and suggest questions for the owner. Do not guess at values I have not
given. List your assumptions and what you could not determine.

रजिस्टर की कमियों की समीक्षा करें।

Below is an extract of our metric register with fields [list fields]. Review it
for missing owners, entries with no review date or one older than [interval],
metrics with more than one source, metrics with no linked decision, and views
that could expose person-level data. Report patterns by metric, not by
individual. Do not invent facts about our metrics. Tell me which findings are
certain from the text and which are guesses, and list your assumptions.

[paste register extract, with personal data removed]

सेवानिवृत्ति समीक्षा की योजना बनाएँ।

We review metrics every [interval]. Our retirement test is: [test]. For each of
the metrics below, using the notes I supply, propose retire, keep, merge, or
redesign, with a one-line reason and a question to ask the owner: [metrics with
last-cited date and owner role]. Also suggest how to announce each retirement to
[audience]. Do not invent usage data. List your assumptions and any information
that would change your recommendation.

AI स्किल

  • Service Management Metrics skill: रजिस्टर में जोड़ने से पहले किसी मीट्रिक का विषय और उसकी जोड़ीदार सुरक्षा-रेखा खोजने के लिए उपयोग करें।
  • Service Management Metrics maintainer skill: यह जाँचने के लिए उपयोग करें कि मीट्रिक प्रविष्टि में स्वामी, गेमिंग का रास्ता और सुरक्षा-रेखा मौजूद हैं।

मुख्य निष्कर्ष

  • शासन संख्याओं का अर्थ समय के साथ एक-सा रखता है, और एक पृष्ठ का रजिस्टर उसका केंद्र है।
  • हर रिपोर्ट की गई मीट्रिक का एक जवाबदेह स्वामी नामित करें, और व्यक्ति के साथ भूमिका भी दर्ज करें।
  • घड़ियों सहित एक परिभाषा लिखें, उसे एक ही जगह निकालें, और हर बदलाव लॉग करें।
  • शासन का वज़न मीट्रिक के परिणाम के अनुरूप रखें।
  • तय करें कि कौन-सा दृश्य कौन देखता है, व्यक्ति-स्तर का डेटा रिपोर्टिंग से बाहर रखें, और प्रमाण के आधार पर मीट्रिक्स सेवानिवृत्त करें।

संदर्भ और आगे का अध्ययन

  1. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  2. Strathern, M., "'Improving ratings': audit in the British University system," European Review, 5(3), 1997.
  3. Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
  4. DAMA International, DAMA-DMBOK: Data Management Body of Knowledge, 2nd edition, Technics Publications, 2017.
  5. AXELOS, ITIL Foundation: ITIL 4 Edition, TSO, 2019. Summarized, not reproduced.
  6. ISO/IEC 20000-1:2018, Information technology, Service management, Part 1: Service management system requirements, International Organization for Standardization.
  7. Wikipedia, Data governance.
  8. Wikipedia, Single source of truth.
  9. Wikipedia, Data steward.
  10. Wikipedia, RACI matrix.
  11. Wikipedia, Data dictionary.
  12. Wikipedia, Principle of least privilege.
  13. Wikipedia, Continual improvement process.