अवलोकन और प्रेरणा

अधिकतर मीट्रिक्स कार्यक्रम अपना प्रयास डैशबोर्डों पर लगाते हैं और उन पाइपों पर लगभग नहीं जो उन्हें खिलाते हैं। यह उलटा है। असंगत टाइमस्टैम्प, ऐसे स्थिति-फ़ील्ड जिन्हें कोई अद्यतन नहीं करता, या पिछले महीने चुपचाप रुक गए इंटीग्रेशन पर बना चमकदार चार्ट प्रामाणिक दिखता है जबकि ग़लत होता है। यह विषय पुस्तक के बाकी भाग की अनाकर्षक बुनियाद को कवर करता है: सेवा और डिलीवरी का डेटा कहाँ से आता है, हर स्रोत कितना विश्वसनीय है, और डेटा-गुणवत्ता की कौन-सी विफलताएँ किसी के ध्यान देने से पहले ही मीट्रिक को अमान्य कर देती हैं।

स्रोत कुछ परिवारों में बँटते हैं। IT सेवा प्रबंधन (ITSM) का औज़ार घटनाएँ, अनुरोध, समस्याएँ और परिवर्तन दर्ज करता है, जिन्हें ITIL सेवा संचालन के मूल रिकॉर्ड मानता है। इश्यू ट्रैकिंग प्रणाली (issue tracking system) एजाइल टीमों के लिए बैकलॉग और कार्य-मदों की गति दर्ज करती है। संस्करण नियंत्रण (version control) कमिट, शाखाएँ और मर्ज दर्ज करता है। निरंतर एकीकरण और निरंतर डिलीवरी (CI/CD) पाइपलाइन बिल्ड, परीक्षण परिणाम और डिप्लॉयमेंट दर्ज करती है। निगरानी और ऑब्ज़र्वेबिलिटी (observability) प्लैटफ़ॉर्म टेलीमेट्री उत्सर्जित करते हैं: चल रही प्रणालियों से मीट्रिक्स, लॉग और ट्रेस। कॉन्फ़िगरेशन प्रबंधन डेटाबेस (CMDB) उन सेवाओं और घटकों को दर्ज करता है जिनसे चीज़ें संबंधित होती हैं। सर्वेक्षण वह दर्ज करते हैं जो कोई प्रणाली नहीं देख सकती, जैसे संतुष्टि और प्रयास।

पाइपलाइन द्वारा लिखी गई डिप्लॉयमेंट घटना वस्तुनिष्ठ है और उसे गढ़ना कठिन है, काम के घंटों बाद बदली गई टिकट-स्थिति एक स्मृति है, और सर्वेक्षण का उत्तर एक धारणा है। यह जानना कि संख्या के पीछे किस तरह का रिकॉर्ड है, आपको बताता है कि सबसे पहले किस विफलता को देखना है।

एजाइल और ITIL के दृष्टिकोण एक ही डेटा पर मिलते हैं: दोनों टाइमस्टैम्प वाली स्थिति-मशीनें हैं, इसलिए हर स्थिति-परिवर्तन को विश्वसनीय समय के साथ घटना के रूप में दर्ज करें और मीट्रिक्स को घटनाओं से निकालें।

इस विषय में तीन शब्द बार-बार आते हैं। रिकॉर्ड की प्रणाली (system of record) वह एकमात्र स्रोत है जो किसी तथ्य के लिए प्रामाणिक है, जैसे "डिप्लॉयमेंट हुआ" के लिए पाइपलाइन। इंस्ट्रूमेंटेशन (instrumentation) कोड, विन्यास या औज़ार-इंटीग्रेशन द्वारा घटनाओं का जान-बूझकर संग्रह है, ताकि कोई मीट्रिक किसी के हाथ से टाइप किए बिना निकाली जा सके। स्थिति मॉडल (status model) वे स्थितियाँ हैं जिनमें कार्य-मद या रिकॉर्ड हो सकता है और उनके बीच अनुमत चालें। स्थिति मॉडल तय करता है कि कौन-सी घड़ियाँ गणना के लिए संभव हैं।

उद्यम और सार्वजनिक क्षेत्र के पैमाने पर समस्या और बढ़ जाती है। डेटा कनेक्टरों, एक्सट्रैक्ट, ट्रांसफ़ॉर्म, लोड (ETL) कार्यों और रिपोर्टिंग परतों से गुज़रता है, और हर पड़ाव पर अर्थ के भटकने का मौका है। स्रोत में जिस फ़ील्ड का एक अर्थ है, गोदाम में उसका अर्थ सूक्ष्म रूप से अलग हो सकता है, और संख्या फिर भी विश्वसनीय दिखती है। इलाज है घटना और डैशबोर्ड के बीच की दूरी घटाना, और पाइपलाइन को कार्यक्रम के अनुसार जाँचना।

मुख्य सिद्धांत

  • घटनाएँ दर्ज करें, सारांश नहीं। कच्चे स्थिति-परिवर्तन टाइमस्टैम्प के साथ रखें और मीट्रिक्स उन्हीं से निकालें, ताकि इतिहास खोए बिना परिभाषा बदली जा सके।
  • स्व-रिपोर्ट से अवलोकन को तरजीह दें। जहाँ कोई प्रणाली घटना देख सकती है, उसका उपयोग करें; लोगों की रिपोर्टें उसके लिए रखें जो केवल लोग कह सकते हैं।
  • हर तथ्य के लिए एक रिकॉर्ड-प्रणाली नामित करें। दोहराए स्रोत असहमत होते हैं, और असहमति दोनों पर भरोसा घटाती है।
  • मीट्रिक से पहले स्थिति मॉडल रचें। उन स्थितियों से घड़ी नहीं निकाली जा सकती जो हैं ही नहीं, या जिनके अर्थ अलग-अलग टीमों में अलग हैं।
  • पाइपलाइन को उत्पाद मानें। उसके स्वामी, परीक्षण, निगरानी और परिवर्तन लॉग हों, क्योंकि डेटा की गुणवत्ता चुपचाप घिसती है।
  • उद्गम (provenance) दिखाएँ। डैशबोर्ड की हर संख्या से उसके स्रोत रिकॉर्ड तक एक-दो क्लिक में पहुँचा जा सके।
  • केवल वही जुटाएँ जिसका उपयोग करेंगे, और उसकी रक्षा करें। हर फ़ील्ड एक लागत है और, जब वह लोगों से जुड़ा हो, गोपनीयता का कर्तव्य भी।

मीट्रिक परिभाषाएँ

नीचे की मीट्रिक्स डेटा की आपूर्ति के स्वास्थ्य को मापती हैं। वे औज़ारों का इंस्ट्रूमेंट पैनल हैं।

मीट्रिक परिभाषा सूत्र इकाई डेटा स्रोत ITIL प्रैक्टिस एजाइल समकक्ष आवृत्ति
स्रोत कवरेज दायरे की उन सेवाओं और टीमों का अनुपात जिनकी घटनाएँ मीट्रिक्स स्टोर तक अपने-आप पहुँचती हैं स्वचालित फ़ीड वाली सेवाएँ या टीमें / दायरे की सेवाएँ या टीमें; "दायरा" मीट्रिक रजिस्टर में सूचीबद्ध है प्रतिशत मीट्रिक रजिस्टर और पाइपलाइन विन्यास मापन और रिपोर्टिंग; सेवा कॉन्फ़िगरेशन प्रबंधन औज़ारों पर टीम का कार्य-समझौता तिमाही
टाइमस्टैम्प की पूर्णता बंद कार्य-मदों का अनुपात जिनमें मीट्रिक की घड़ियों के लिए आवश्यक हर टाइमस्टैम्प मौजूद है सभी आवश्यक स्थिति-परिवर्तन टाइमस्टैम्प वाली बंद मदें / अवधि में बंद मदें; अब भी खुली मदें शामिल नहीं प्रतिशत ITSM औज़ार या इश्यू ट्रैकर का इतिहास घटना प्रबंधन; सेवा अनुरोध प्रबंधन बोर्ड या कार्यप्रवाह का इतिहास मासिक
बैकडेटिंग दर उन स्थिति-परिवर्तनों का अनुपात जो घटना के बाद दर्ज हुए, घटना के समय और प्रविष्टि के समय के अंतर से मापा गया घटना के समय से 24 घंटे से अधिक बाद दर्ज स्थिति-परिवर्तन / अवधि में स्थिति-परिवर्तन; घड़ी घटना से शुरू होती है, प्रविष्टि पर रुकती है प्रतिशत ट्रैकर का ऑडिट ट्रेल, या पाइपलाइन की घटना का समय बनाम प्रविष्टि का समय परिवर्तन सक्षमीकरण; घटना प्रबंधन पूर्णता की परिभाषा मासिक
डेटा की ताज़गी डैशबोर्ड को देखते समय उस पर सबसे नए डेटा की उम्र कितनी है देखने का समय घटा लोड की गई सबसे नई घटना का समय; माध्य और 95वाँ परसेंटाइल रिपोर्ट करें घंटे पाइपलाइन चलने का लॉग और डैशबोर्ड लोड लॉग मापन और रिपोर्टिंग हितधारक समीक्षा की तैयारी साप्ताहिक
मिलान-भिन्नता एक ही गिनती के लिए दो स्रोतों के बीच असहमति दोनों गिनतियों का निरपेक्ष अंतर / रिकॉर्ड-स्रोत की गिनती, निश्चित अवधि और दायरे के लिए प्रतिशत रिकॉर्ड का स्रोत और रिपोर्टिंग परत सेवा-स्तर प्रबंधन; वित्तीय प्रबंधन रिलीज़ रिपोर्ट की जाँचें मासिक
स्थिति मॉडल का भटकाव उपयोग में आ रही अलग-अलग स्थितियों या संक्रमणों की संख्या, दर्ज मॉडल की तुलना में अवधि में देखी गई अनदर्ज स्थितियाँ या संक्रमण (गिनती); दर्ज वाले शामिल नहीं गिनती ट्रैकर का कार्यप्रवाह विन्यास और घटना इतिहास सतत सुधार कार्यप्रवाह पर कार्य-समझौते तिमाही
सर्वेक्षण प्रतिक्रिया दर आमंत्रित लोगों का अनुपात जिन्होंने सर्वेक्षण पूरा किया पूरे उत्तर / पहुँचाए गए आमंत्रण; लौटे आमंत्रण शामिल नहीं प्रतिशत सर्वेक्षण औज़ार सेवा-स्तर प्रबंधन; ग्राहक अनुभव हितधारक समीक्षा और सुधार की प्रतिक्रिया प्रति सर्वेक्षण दौर

टाइमस्टैम्प की पूर्णता केवल बंद मदें गिनती है, इसलिए पुरानी खुली मदों का ढेर अंतर को छिपा नहीं सकता। बैकडेटिंग दर 24 घंटे की सीमा उदाहरण के तौर पर लेती है; टीम अपने काम के अनुरूप सीमा चुनती है और उसे लिख लेती है।

सिफ़ारिशें

हर मीट्रिक को उसके स्रोत से जोड़ें

1. डैशबोर्ड बनाने से पहले स्रोत-मानचित्र बनाएँ। हर मीट्रिक के लिए दर्ज करें: रिकॉर्ड की प्रणाली, घड़ी शुरू करने वाली घटना, उसे रोकने वाली घटना, स्रोत का स्वामी और ज्ञात विफलता का तरीका। यदि आप प्रणाली का नाम नहीं ले सकते, तो आप अभी नहीं जानते कि संख्या कहाँ से आती है। मानचित्र को मीट्रिक रजिस्टर में रखें (देखें विषय 1.4, मीट्रिक्स का शासन और स्वामित्व)।

2. हर तथ्य के लिए एक रिकॉर्ड-प्रणाली चुनें। डिप्लॉयमेंट पाइपलाइन दर्ज करती है, घटना ITSM औज़ार, कोड परिवर्तन संस्करण नियंत्रण, और सेवा संबंध CMDB। जहाँ दो औज़ार एक ही तथ्य रखते हैं, तय करें कि कौन जीतेगा और दूसरे को उससे पढ़वाएँ। तब मिलान बहस नहीं, जाँच बन जाता है।

घटनाओं को घटित होने के क्षण पर दर्ज करें

3. रिपोर्ट को नहीं, घटना को इंस्ट्रूमेंट करें। डिप्लॉयमेंट पाइपलाइन को दर्ज करने दें, मर्ज संस्करण नियंत्रण होस्ट को, और अलर्ट निगरानी प्रणाली को। जो डेटा किसी के फ़ील्ड अद्यतन करना याद रखने पर निर्भर है, वह घटना से दूरी और कार्यभार के साथ बिगड़ता है। जहाँ स्वचालित घटना मौजूद है, वहाँ उसी तथ्य के लिए मानव-दर्ज प्रॉक्सी की जगह उसे चुनें (देखें विषय 2.8, DORA मीट्रिक्स)।

4. स्थिति-परिवर्तनों को काम का दुष्प्रभाव बनाएँ। यदि शाखा का मर्ज कार्य-मद को "समीक्षा में" पहुँचा दे या डिप्लॉयमेंट उसे "जारी" कर दे, तो किसी को याद नहीं रखना पड़ता। संस्करण नियंत्रण, पाइपलाइन और ट्रैकर के बीच इंटीग्रेशन अधिकतर बैकडेटिंग हटा देते हैं।

5. कच्ची घटनाएँ रखें, और उन्हें अपरिवर्तनीय रखें। हर स्थिति-परिवर्तन को घटना के समय, प्रविष्टि के समय और कर्ता के प्रकार (व्यक्ति या स्वचालन) के साथ रखें। सुधार नई घटनाओं के रूप में लिखें, ओवरराइट नहीं, ताकि सुधार का इतिहास भी डेटा हो।

समय को सही रखें

6. समय एक मानक में दर्ज करें। टाइमस्टैम्प समन्वित सार्वभौमिक समय (UTC) में एक अस्पष्टता-रहित प्रारूप में रखें, जैसे ISO 8601 और RFC 3339 द्वारा परिभाषित, और स्थानीय समय में केवल प्रदर्शन के लिए बदलें। मिले-जुले समय-क्षेत्र और डेलाइट सेविंग के बदलाव चुपचाप ऋणात्मक अवधियाँ और एक घंटे की त्रुटि वाली घड़ियाँ पैदा करते हैं।

7. घड़ी के नियम वहाँ लिखें जहाँ डेटा रहता है। हर समय-माप के लिए बताएँ कि कौन-सी घटना घड़ी शुरू करती है, कौन रोकती है और कौन-सी स्थितियाँ उसे विराम देती हैं। विराम-स्थिति एक रचना-निर्णय है। रिपोर्ट करें कि हर विराम-स्थिति कितनी बार प्रयोग होती है, क्योंकि घड़ी ही वह जगह है जहाँ सेवा-डेटा सबसे अधिक आकार दिया जाता है (देखें विषय 3.3, घटना की प्रतिक्रिया और समाधान का समय)।

स्थिति मॉडल की रचना करें

8. स्थिति मॉडल को छोटा, साझा और दर्ज रखें। हर अतिरिक्त स्थिति हर टीम को अलग व्याख्या के लिए बुलाती है। एक वाक्य में परिभाषित करें कि हर स्थिति का अर्थ क्या है, कौन काम को उसमें ले जा सकता है और कौन-से संक्रमण अनुमत हैं। कार्य-मद की आयु और प्रवाह के माप इस मॉडल पर निर्भर हैं (देखें विषय 2.1, प्रवाह के माप), और टीमों के पार तुलना इस पर कि टीमें एक ही स्थितियों के लिए एक ही शब्द इस्तेमाल करें। जब डेटा आपको चौंकाए, तो पहले कार्यप्रवाह पर संदेह करें: कार्यप्रवाह या फ़ील्ड के हर बदलाव को तिथि और कारण सहित लॉग करें, और अनदर्ज स्थितियों को भटकाव का संकेत गिनें।

पाइपलाइन को ईमानदार रखें

9. पाइपलाइन का परीक्षण सॉफ़्टवेयर की तरह करें। पंक्तियों की गिनती स्रोत से मिलाएँ, जाँचें कि आवश्यक फ़ील्ड मौजूद हैं, दोहराव जाँचें, और जब कोई फ़ीड रुक जाए तो अलर्ट दें। हर डैशबोर्ड में ताज़गी का संकेतक जोड़ें ताकि दर्शक देख सकें कि डेटा कितना पुराना है। पिछले महीने की संख्याएँ स्क्रीन पर छोड़ देने वाली चुपचाप विफल कनेक्टर इस क्षेत्र की सबसे आम और सबसे हानिकारक विफलताओं में है (देखें विषय 11.1, सेवा मीट्रिक्स डैशबोर्ड की रूपरेखा)।

10. कार्यक्रम पर मिलान करें और हाथ से नमूना लें। निश्चित अवधि के लिए रिपोर्टिंग परत की गिनती को स्रोत से मिलाएँ और अंतर की जाँच करें। फिर कच्चे रिकॉर्डों का छोटा नमूना पढ़ें। पंद्रह मिनट का नमूना अक्सर वह खोज लेता है जो स्वचालित जाँचें नहीं खोज पातीं, जैसे अप्रत्याशित ढंग से इस्तेमाल हुई कोई स्थिति।

लोगों और सर्वेक्षणों को सावधानी से संभालें

11. सर्वेक्षण उसके लिए रखें जो केवल कोई व्यक्ति बता सकता है। संतुष्टि, प्रयास, विश्वास और कल्याण प्रणाली के डेटा से नहीं देखे जा सकते। सीधे पूछें, सर्वेक्षण छोटे रखें, समय बदलते रहें, और प्रतिक्रिया दर तथा उत्तर देने वालों की जानकारी रिपोर्ट करें, क्योंकि उत्तर देने वाले उनसे अलग होते हैं जो नहीं देते, जो चयन पूर्वाग्रह (selection bias) का एक रूप है। खुली टिप्पणियाँ पूरी पढ़ें (देखें विषय 6.1, ग्राहक संतुष्टि मीट्रिक्स)।

12. व्यक्तिगत डेटा की रक्षा करें और डेटा को टीम-स्तर पर रखें। काम के बारे में घटना-डेटा कमिट के लेखक, असाइनी फ़ील्ड और चैट रिकॉर्ड से व्यक्तियों की पहचान कर सकता है। उसी स्तर पर जुटाएँ जिसकी मीट्रिक को ज़रूरत है, टीमों और सेवाओं तक समेकित करें, और अपने क्षेत्राधिकार और संगठन के गोपनीयता नियम लागू करें। व्यक्ति-स्तर का डेटा, एक बार जुटाया जाए तो, रैंकिंग के लिए उपयोग होने लगता है, जो स्रोत को भ्रष्ट कर देता है (देखें विषय 1.2, गुडहार्ट का नियम और मीट्रिक्स का मनोविज्ञान)।

गेमिंग के रास्ते और सुरक्षा-रेखाएँ

मीट्रिक इसमें गेमिंग कैसे होती है जोड़ीदार सुरक्षा-रेखा मीट्रिक या प्रथा
स्रोत कवरेज फ़ीड जुड़ने के बाद सेवा को कवर गिन लेना, भले ही वह लगभग कोई घटना न ले जाती हो; कठिन सेवाओं को दायरे से बाहर छोड़ देना हर कवर की गई सेवा की घटनाओं की मात्रा को उसकी ज्ञात गतिविधि से तुलना करें; दायरे की सूची की सेवा कैटलॉग से समीक्षा करें
टाइमस्टैम्प की पूर्णता मान्यता-जाँच संतुष्ट करने के लिए आवश्यक टाइमस्टैम्प बंद करने के समय से भर देना लगातार स्थितियों के बीच अंतरालों का वितरण; बंद मदों का नमूना लेकर देखें कि समय विश्वसनीय हैं या नहीं
बैकडेटिंग दर सीमा के ठीक भीतर बदलाव दर्ज करना; सीमा को चौड़ा करना; सारे बदलाव एक थोक अद्यतन से दर्ज करना घंटे के अनुसार प्रविष्टि के समय का पैटर्न; स्वचालन बनाम हाथ से किए गए बदलावों का हिस्सा; थोक संपादनों का ऑडिट
डेटा की ताज़गी सबसे नई घटना के समय की जगह आखिरी रिफ़्रेश का समय दिखाना डैशबोर्ड पर सबसे नई घटना का समय प्रदर्शित करें; जब फ़ीड कोई नई घटना न दे तो अलर्ट
मिलान-भिन्नता वह अवधि या दायरा चुनना जो मिल जाए; कारण खोजे बिना रिपोर्टिंग परत को स्रोत से मिलाने के लिए समायोजित करना दायरा और अवधि पहले से तय करें; मिले हर कारण को दर्ज करें और हर तिमाही कारणों की समीक्षा करें
स्थिति मॉडल का भटकाव चिह्नित होने से बचने के लिए मौजूदा स्थिति को नए अर्थ के लिए दोबारा उपयोग करना; बिना लॉग किए स्थितियाँ जोड़ना हर समीक्षा में कार्यप्रवाह विन्यास की रजिस्टर से तुलना करें; असामान्य स्थितियों में पड़ी मदों का नमूना पढ़ें
सर्वेक्षण प्रतिक्रिया दर केवल उन्हीं को आमंत्रित करना जिनके उत्तर देने की संभावना है; संतुष्ट उपयोगकर्ताओं को अनुस्मारक भेजना; ऐसे पुरस्कार देना जो उत्तरों को झुकाते हैं उत्तरदाताओं के मिश्रण की उपयोगकर्ता-आबादी से तुलना; हर दौर के उत्तरों का वितरण; समीक्षा में खुली टिप्पणियाँ पढ़ी जाएँ

स्वस्थ पठन उबाऊ संख्याओं का सेट है: कवरेज ऊँचा, बैकडेटिंग कम और घटती हुई, ताज़गी अपने कहे वादे के भीतर, और जब भी मिलान-भिन्नता शून्य से अधिक हो तो उसका ज्ञात कारण। जब कोई संख्या हिले, तो कोई बता सके कि काम बदला या औज़ार।

समझौते: लाभ और हानि

तरीका ताकत कमज़ोरी
स्वचालित घटना-संग्रह वस्तुनिष्ठ, समय पर, बनने के बाद कम मेहनत केवल उसी को कवर करता है जो इंस्ट्रूमेंट किया गया; औज़ार बदलने पर चुपचाप टूटता है
हाथ से प्रविष्टि और स्थिति अद्यतन संदर्भ और विवेक को पकड़ता है; बिना इंटीग्रेशन के काम करता है देर से, असंगत, और गेमिंग के लिए खुला
एक केंद्रीय मीट्रिक्स स्टोर एक परिभाषा, परीक्षण और शासन के लिए एक जगह वित्तपोषण और स्वामित्व चाहिए; बाधा बन सकता है
हर टीम अपना डेटा रखे स्थानीय काम के अनुरूप; शुरू करना जल्दी परिभाषाएँ अलग हो जाती हैं; रोल-अप अविश्वसनीय
कच्ची घटनाएँ लंबे समय तक रखना परिभाषाएँ बदल सकती हैं और इतिहास दोबारा निकाला जा सकता है भंडारण और गोपनीयता की लागत; सुरक्षित करने को और अधिक

जो देखा जा सकता है उसे स्वचालित करें, जो नहीं देखा जा सकता वह लोगों से पूछें, और कच्चा रिकॉर्ड रखें। पहले उन दो-तीन मीट्रिक्स के पीछे के स्रोतों में निवेश करें जिन्हें टीम सचमुच उपयोग करती है, हर संभव संख्या के लिए डेटा प्लैटफ़ॉर्म में नहीं।

अपनी टीम के साथ चर्चा के प्रश्न

1. हमारी सबसे महत्वपूर्ण मीट्रिक के लिए रिकॉर्ड का स्रोत कौन-सी प्रणाली है, और हमें कैसे पता? समूह से कहें कि संख्या का पीछा डैशबोर्ड से पहली घटना तक करे। हर उस जगह को नोट करें जहाँ कोई व्यक्ति या रूपांतरण डेटा को छूता है। सूत्रधार उन चरणों को खोजे जिन्हें कोई समझा नहीं सकता, क्योंकि पहली जाँच वहीं से शुरू होनी चाहिए।

2. हमारे कौन-से टाइमस्टैम्प प्रणाली लिखती है, और कौन-से व्यक्ति टाइप करता है? उपयोग में आ रही घड़ियाँ सूचीबद्ध करें, जैसे प्रतिक्रिया का समय, समाधान का समय और साइकल टाइम। हर आरंभ और समाप्ति को स्वचालित या हस्तचालित चिह्नित करें। हस्तचालित के लिए पूछें कि प्रविष्टि आमतौर पर घटना के कितनी देर बाद होती है। चर्चा अक्सर दिखाती है कि सबसे अधिक बहस वाली मीट्रिक सबसे कम विश्वसनीय टाइमस्टैम्प पर टिकी है।

3. हमारी स्थितियों का क्या अर्थ है, और क्या सभी टीमों के लिए वही है? कार्यप्रवाह को बोर्ड पर रखें और अलग-अलग टीमों के लोगों से हर स्थिति अपने शब्दों में समझाने को कहें। व्याख्याओं की तुलना करें। उन स्थितियों को गिनें जहाँ घड़ी रुकती है, और पूछें कि उनका उपयोग कौन कर सकता है और क्यों। अस्पष्टता हटाने के लिए एक बदलाव पर सहमत हों और कारण सहित उसे लॉग करें।

4. यदि कोई फ़ीड चुपचाप रुक जाए तो हमें कैसे पता चलेगा? पूछें कि आखिरी बार किसने जाँचा था कि डैशबोर्ड का डेटा ताज़ा है। चर्चा करें कि कौन-सा अलर्ट या ताज़गी संकेतक रुकी हुई कनेक्टर को एक दिन में पकड़ लेगा। सूत्रधार नामित स्वामी और ठोस जाँच पर ज़ोर दे, सावधान रहने के सामान्य इरादे पर नहीं।

5. हम क्या जुटाते हैं जिसका कभी उपयोग नहीं करते, और क्या उपयोग करते हैं जिसे अच्छी तरह नहीं जुटाते? फ़ील्ड की सूची और मीट्रिक्स की सूची साथ-साथ रखें। वे फ़ील्ड चिह्नित करें जो किसी निर्णय को नहीं खिलाते और वे मीट्रिक्स जो खराब फ़ील्ड पर टिकी हैं। तय करें कि इस तिमाही कौन-सा एक फ़ील्ड जुटाना बंद करना है और कौन-सा एक सुधारना है।

6. हमारे सर्वेक्षणों का उत्तर कौन देता है, और कौन नहीं? उत्तरदाताओं की तुलना उपयोगकर्ताओं या टीम के सदस्यों की आबादी से करें। समूह और दिन या सप्ताह के समय के अनुसार प्रतिक्रिया दरें देखें। चर्चा करें कि चुप्पी का क्या अर्थ हो सकता है और दबाव डाले बिना शांत समूहों तक कैसे पहुँचें। तय करें कि हर सर्वेक्षण परिणाम के बगल में प्रतिक्रिया दर कैसे दिखाई जाएगी।

चार दृष्टिकोण

उत्पाद और डिलीवरी टीमें

डिलीवरी टीमें अधिकतर वस्तुनिष्ठ डेटा पैदा करती हैं: कमिट, समीक्षाएँ, बिल्ड और डिप्लॉयमेंट। उन्हें ऐसे इंस्ट्रूमेंटेशन से लाभ होता है जो स्थिति-परिवर्तनों को काम का दुष्प्रभाव बना दे, ताकि बोर्ड बिना अतिरिक्त प्रयास के ईमानदार रहे। वे कार्यप्रवाह को छोटा रखें और संस्करण नियंत्रण की गतिविधि को प्रयास के माप के रूप में प्रयोग करने से सावधान रहें (देखें विषय 2.2, लीड टाइम, साइकल टाइम और प्रवाह दक्षता)।

सेवा और संचालन टीमें

सेवा टीमें दबाव में, अक्सर घटना के दौरान, लोगों द्वारा बनाए रिकॉर्डों पर निर्भर करती हैं। घड़ी के नियम, विराम-स्थितियाँ और प्राथमिकता के फ़ील्ड वे जगहें हैं जहाँ भटकाव होता है। संचालन टीमें प्रमुख समयों का संग्रह जहाँ संभव हो स्वचालित करें, जैसे अलर्ट का समय और स्वीकृति का समय, विराम-स्थिति के उपयोग का ऑडिट करें, और निगरानी डेटा को टिकट रिकॉर्ड से अलग रखें ताकि हर एक दूसरे को जाँच सके (देखें विषय 5.5, निगरानी और अलर्ट की गुणवत्ता के मीट्रिक्स)।

नेतृत्व और शासन

नेता तय करते हैं कि डेटा की बुनियाद में कितना निवेश करना है, और वे वे प्रोत्साहन तय करते हैं जो निर्धारित करते हैं कि डेटा ईमानदार रहता है या नहीं। वे पूछें कि संख्या कहाँ से आती है, उसके हिलने का कारण पूछने से पहले, पाइपलाइन के स्वामित्व को चालू कार्य के रूप में वित्तपोषित करें, और हर रिपोर्ट पर ताज़गी की तिथि तथा परिभाषा की अपेक्षा रखें। शासन निकाय स्रोत या परिभाषा के दर्ज परिवर्तन को सामान्य घटना मानें, विफलता नहीं।

ग्राहक और उपयोगकर्ता

उपयोगकर्ता अनुभव के बारे में सबसे महत्वपूर्ण डेटा देते हैं, आमतौर पर सर्वेक्षणों का उत्तर देकर, अंतःक्रियाओं को रेट करके या समस्याएँ बताकर। उन्हें जानना चाहिए कि क्या जुटाया जाता है, क्यों, और इसके परिणामस्वरूप क्या बदलेगा। छोटे सर्वेक्षण और दिखाई देने वाला फ़ॉलो-अप प्रतिक्रिया दर को स्वस्थ रखते हैं। ग्राहक-मुखी सेवा-स्तर रिपोर्टों को अपने स्रोत और परिभाषाएँ बतानी चाहिए (देखें विषय 5.2, SLI, SLO और त्रुटि बजट)।

व्यवहार में: सेवा प्रबंधन का एक उदाहरण

एक मध्यम आकार के ऑनलाइन खुदरा विक्रेता के पास एक प्लैटफ़ॉर्म टीम, तीन उत्पाद टीमें और एक सर्विस डेस्क है। इस उदाहरण की सभी संख्याएँ दृष्टांत के लिए हैं।

नेतृत्व पूछता है कि मासिक रिपोर्ट में परिवर्तन का लीड टाइम एक तिमाही में माध्य 9 दिन से घटकर 3 दिन क्यों हो गया, जबकि उत्पाद टीमें कहती हैं कि उनके काम करने के तरीके में कुछ नहीं बदला। प्लैटफ़ॉर्म इंजीनियरिंग के प्रमुख को इंस्ट्रूमेंट पर संदेह है और वे मीट्रिक का स्रोत-मानचित्र माँगते हैं।

मानचित्र दिखाता है कि लीड टाइम तब शुरू होता है जब ITSM औज़ार में परिवर्तन रिकॉर्ड बनता है और तब रुकता है जब उसकी स्थिति "लागू किया गया" हो जाती है। दो उत्पाद टीमों ने काम तैयार हो जाने के बाद रिकॉर्ड बनाना शुरू कर दिया था, इसलिए घड़ी देर से शुरू हुई। 40 रिकॉर्डों का नमूना बताता है कि 12 डिप्लॉयमेंट वाले ही दिन बनाए गए थे। बैकडेटिंग दर, जिसे पाइपलाइन में डिप्लॉयमेंट घटना और "लागू किया गया" स्थिति की प्रविष्टि के बीच के अंतर से मापा गया, टीम की तय 24 घंटे की सीमा से 31 प्रतिशत ऊपर थी।

टीम तीन बदलाव करती है। पहला, घड़ी का आरंभ संस्करण नियंत्रण से लिए गए परिवर्तन से जुड़े पहले कमिट पर चला जाता है, और समाप्ति पाइपलाइन द्वारा लिखी डिप्लॉयमेंट घटना पर। दूसरा, ITSM औज़ार स्थिति पाइपलाइन से पाता है, इसलिए "लागू किया गया" अब टाइप नहीं किया जाता। तीसरा, डैशबोर्ड में ताज़गी का संकेतक और पाइपलाइन तथा ITSM औज़ार के बीच परिवर्तन-गिनतियों की मिलान-जाँच जुड़ती है।

नई परिभाषा के तहत माध्य लीड टाइम 7 दिन है और 95वाँ परसेंटाइल 21 दिन, और बैकडेटिंग दर गिरकर 4 प्रतिशत हो जाती है। नेतृत्व पहले 7 दिन को बदतर नतीजे के रूप में पढ़ता है। प्लैटफ़ॉर्म प्रमुख समझाते हैं कि पुरानी संख्या रिकॉर्ड के देर से बनने की उपज थी। निर्णय लॉग में लिखा निर्णय यह है कि पिछली दो तिमाहियों को कच्ची घटनाओं से दोबारा बताया जाए और चार्ट पर परिभाषा-परिवर्तन चिह्नित किया जाए। जो गेमिंग का जोखिम टीम ने पकड़ा वह सूक्ष्म था: किसी ने संख्या गढ़ी नहीं, फिर भी रिकॉर्ड के देर से बनने ने चापलूस आँकड़ा पैदा किया। मिलान-भिन्नता अब सुरक्षा-रेखा का काम करती है, और कच्चे रिकॉर्डों के नमूने की हर तिमाही समीक्षा होती है।

एजाइल, AI, स्वचालन और विश्लेषण

एजाइल

इंस्ट्रूमेंटेशन को फ़ीचरों के साथ छोटे चरणों में बनाएँ, ताकि हर रिलीज़ उसे मापने के लिए ज़रूरी घटनाएँ जोड़े, और घटनाओं की परिभाषाएँ उन लोगों के साथ तय करें जो संख्याएँ पढ़ेंगे। व्यावहारिक कदम है घटना को परिवर्तन की पूर्णता की परिभाषा में जोड़ना। सावधानी यह है कि लॉन्च के बाद मापन जोड़ने से शुरुआती डेटा में ऐसे अंतर रह जाते हैं जिन्हें कोई बाद का सुधार वापस नहीं ला सकता।

AI

AI प्रणालियाँ नए डेटा स्रोत जोड़ती हैं: प्रॉम्प्ट, उत्तर, टूल कॉल, मानवीय संपादन और ओवरराइड। दर्ज करें कि किसने या किसने कार्य किया, कौन-सा मॉडल संस्करण चला, और क्या किसी व्यक्ति ने परिणाम बदला, गोपनीयता और प्रतिधारण के नियमों के अधीन। सावधानी यह है कि प्रॉम्प्ट लॉग करना व्यक्तिगत या गोपनीय डेटा पकड़ सकता है, इसलिए शुरू करने से पहले तय करें कि क्या सहेजना है।

स्वचालन

घटनाओं को घटित होने के क्षण पर रिकॉर्ड की प्रणाली से अपने-आप दर्ज करें, और पाइपलाइन का परीक्षण ज्ञात इनपुटों से करें। स्वचालन स्वयं एक स्रोत है: रन, विफलताएँ, पुनः प्रयास और रोलबैक दर्ज करें। सावधानी चुपचाप विफलता की है, जहाँ टूटी कनेक्टर सपाट, स्वस्थ दिखने वाली संख्याएँ देती है, इसलिए डेटा की ताज़गी को मीट्रिक के रूप में मॉनिटर करें।

विश्लेषण

हर तिमाही कम से कम एक संख्या को स्वतंत्र स्रोत से मिलाएँ, और भिन्नता प्रकाशित करें। यह जिस निर्णय को सूचित करता है वह है कि क्या कोई मीट्रिक इतनी भरोसेमंद है कि उपयोग की जाए। सावधानी यह है कि साफ़ दिखने वाले डैशबोर्ड कमज़ोर डेटा पर टिके हो सकते हैं, इसलिए परिणाम के बगल में डेटा की पूर्णता दिखाएँ।

क्षेत्र का नज़रिया

स्टार्टअप। डेटा कम है और विश्वास ऊँचा, जो मददगार है। पाइपलाइन और संस्करण नियंत्रण को मुख्य स्रोत बनाएँ, क्योंकि उन्हें अतिरिक्त प्रयास नहीं चाहिए, और स्थिति मॉडल मुट्ठी भर स्थितियों तक रखें। हर परिभाषा और उसका स्रोत एक पृष्ठ पर लिखें, और जब टीम दोगुनी हो तो उसे फिर देखें।

छोटा व्यवसाय। एक व्यक्ति प्रायः होस्टेड सर्विस डेस्क पर IT चलाता है। औज़ार की रिपोर्टों का उपयोग करें, आपूर्तिकर्ता से उसकी परिभाषाएँ लिखित में माँगें, और लॉक-इन से बचने के लिए समय-समय पर कच्चा डेटा निर्यात करें।

उद्यम। कई औज़ार, कई टीमें और इंटीग्रेशन की परतें परिभाषाओं के भटकाव का सबसे बड़ा जोखिम बनाती हैं। साझा घटना मॉडल, नामित स्वामियों वाले केंद्रीय मीट्रिक्स स्टोर और स्वचालित मिलान तथा ताज़गी की जाँचों में निवेश करें। उद्यम-व्यापी स्थिति शब्दावली का छोटा सेट तय करें, और टीमों को स्थानीय स्थितियाँ केवल उससे घोषित मैपिंग के साथ जोड़ने दें।

सरकार और सार्वजनिक क्षेत्र। रिकॉर्ड प्रतिधारण, ऑडिट, पहुँच और गोपनीयता कानून के अधीन हो सकते हैं, और खरीद औज़ारों और डेटा प्रारूपों को बाँध सकती है। इन्हें रचना के इनपुट मानें: ऑडिट ट्रेल रखें, घटना से रिपोर्ट तक की वंशावली दर्ज करें, और अनुबंधों में डेटा निर्यात के अधिकारों पर बातचीत करें। रिपोर्टिंग दायित्व दर्ज परिभाषाओं को अनिवार्य बना देते हैं (देखें विषय 8.5, विनियमित और सरकारी रिपोर्टिंग)।

व्यावसायिक औचित्य: प्रेरणाएँ, ROI और TCO

इस विषय की लागत के तीन हिस्से हैं। पहला निर्माण का प्रयास है: इंटीग्रेशन, मीट्रिक्स स्टोर और स्थिति मॉडल की सफ़ाई। दूसरा चलाने का प्रयास है: पाइपलाइन का स्वामी, फ़ीडों की निगरानी, और तिमाही मिलान तथा नमूना-जाँच की दिनचर्या। तीसरा उस डेटा के लिए गोपनीयता और सुरक्षा नियंत्रणों की लागत है जिसे आप रखते हैं।

प्रतिफल उन संख्याओं पर लिए गए निर्णयों से आता है जिनका वही अर्थ है जो वे दिखाती हैं। खराब डेटा ग़लत निवेशों, इस बहस कि किसका आँकड़ा सही है, और दोबारा बताए गए नतीजों की ओर ले जाता है जो विश्वास को नुकसान पहुँचाते हैं। लाभ का वर्णन उन पैटर्नों से करें जिन्हें आप खुद माप सकते हैं: मासिक रिपोर्ट बनाने में लगा समय पहले और बाद में, प्रति तिमाही मिलान के विवादों की संख्या, और समय के साथ बैकडेटिंग दर तथा टाइमस्टैम्प की पूर्णता। स्वामित्व की कुल लागत में लोग प्रमुख हैं, इसलिए पाइपलाइन स्वामी के घंटे गिनें।

प्रतिरूप-विरोधी और जाल

  • स्रोत-मानचित्र से पहले डैशबोर्ड बनाना। चार्ट पूरा दिखता है जबकि उसका अर्थ अज्ञात है। पहले स्रोत, घड़ियों और स्वामी का मानचित्र बनाएँ।
  • समय-मापों के लिए हस्तचालित स्थिति अद्यतनों पर भरोसा। देर से प्रविष्टि घड़ियों को कल्पना बना देती है। जहाँ भी पाइपलाइन और संस्करण नियंत्रण की घटनाएँ हों, संक्रमण उनसे स्वचालित करें।
  • एक तथ्य के लिए कई रिकॉर्ड-प्रणालियाँ। विवाद पीछे आते हैं। एक चुनें और अन्य को उससे पढ़वाएँ।
  • चुपचाप परिभाषा बदलना। रुझान रेखा अर्थहीन हो जाती है। हर बदलाव कारण सहित लॉग करें और चार्ट पर चिह्नित करें।
  • अधूरे डेटा के औसत। लापता टाइमस्टैम्प यादृच्छिक नहीं होते, क्योंकि अटपटी मदें प्रायः वही होती हैं जो छूट जाती हैं। परिणाम के साथ टाइमस्टैम्प की पूर्णता रिपोर्ट करें।
  • "काम आ सकता है" सोचकर सब कुछ जुटाना। बिना किसी निर्णय की सेवा किए लागत और गोपनीयता का जोखिम बढ़ता है। वही जुटाएँ जो किसी नामित प्रश्न को चाहिए।
  • ताज़गी के संकेतक का न होना। पुराना डैशबोर्ड वर्तमान जैसा ही दिखता है। हर दृश्य पर सबसे नई घटना की आयु दिखाएँ।
  • बिना उद्देश्य के व्यक्ति-स्तर का डेटा। यह रैंकिंग का लोभ देता है और स्रोत को नुकसान पहुँचाता है। टीम और सेवा के स्तर तक समेकित करें, और पहुँच सीमित करें।

परिपक्वता मॉडल

आयाम 1 आरंभ 2 विकास 3 मानकीकरण 4 प्रबंधन 5 समन्वयन
स्रोत और संग्रह निर्यातों से हाथ से जोड़ी गई संख्याएँ कुछ औज़ार रिपोर्ट को अपने-आप खिलाते हैं; अन्य नहीं हर मीट्रिक की एक नामित रिकॉर्ड-प्रणाली और जहाँ घटना है वहाँ स्वचालित संग्रह कवरेज और पूर्णता मापी और ट्रैक की जाती है सहमत इंटरफ़ेस से घटनाएँ टीमों और आपूर्तिकर्ताओं में साझा, निर्यात के अनुबंधों सहित
समय और स्थिति मॉडल हर व्यक्ति समय को अलग दर्ज और पढ़ता है कुछ टीमें अपना कार्यप्रवाह दर्ज करती हैं एक समय मानक और घड़ी के लिखित नियमों सहित साझा स्थिति शब्दावली भटकाव और बैकडेटिंग मॉनिटर, बदलाव कारण सहित लॉग निर्णयों को सूचित करना बंद करने पर मॉडल आपूर्तिकर्ताओं और ग्राहकों के साथ संयुक्त रूप से संशोधित
पाइपलाइन की गुणवत्ता विफलताएँ तब मिलती हैं जब कोई शिकायत करे कभी-कभार हस्तचालित जाँचें पंक्ति-गिनती, दोहराव जाँच और हर डैशबोर्ड पर ताज़गी का संकेतक मिलान निर्धारित और कारणों की समीक्षा; पाइपलाइन का स्वामी है पाइपलाइन का स्वास्थ्य सेवा की तरह रिपोर्ट, सुधार वित्तपोषित
सर्वेक्षण और गोपनीयता का अभ्यास तदर्थ सर्वेक्षण; कोई गोपनीयता समीक्षा नहीं कुछ टीमों में मानक प्रश्न प्रतिक्रिया दर दिखाते छोटे नियमित सर्वेक्षण; डेटा टीम-स्तर पर उत्तरदाताओं के मिश्रण की समीक्षा और उस पर कार्रवाई सर्वेक्षण के परिणाम और गोपनीयता का अभ्यास उपयोगकर्ताओं के साथ खुले तौर पर साझा

जाँच-सूची

  • हर रिपोर्ट की गई मीट्रिक की नामित रिकॉर्ड-प्रणाली और नामित स्रोत-स्वामी है।
  • स्रोत-मानचित्र मीट्रिक रजिस्टर में रखा गया है।
  • हर समय-माप बताता है कि उसकी घड़ी कहाँ शुरू होती, रुकती और विराम लेती है।
  • टाइमस्टैम्प UTC में अस्पष्टता-रहित प्रारूप में रखे जाते हैं, और सर्वर घड़ियाँ समकालिक हैं।
  • जहाँ घटना मौजूद है वहाँ स्थिति-परिवर्तन स्वचालन से उत्पन्न होते हैं।
  • कच्ची घटनाएँ घटना के समय और प्रविष्टि के समय के साथ रखी जाती हैं, और सुधार नई घटनाएँ हैं।
  • स्थिति मॉडल दर्ज है, और हर बदलाव कारण सहित लॉग है।
  • हर डैशबोर्ड अपने सबसे नए डेटा की आयु दिखाता है।
  • गिनतियाँ कार्यक्रम के अनुसार स्रोत से मिलाई जाती हैं, और कारण दर्ज होते हैं।
  • हर तिमाही कच्चे रिकॉर्डों का नमूना पढ़ा जाता है।
  • हर सर्वेक्षण परिणाम के साथ प्रतिक्रिया दर और उत्तरदाताओं का मिश्रण दिखाया जाता है।
  • व्यक्तिगत डेटा न्यूनतम रखा और टीम तथा सेवा के स्तर तक समेकित किया जाता है।

AI प्रॉम्प्ट

किसी मीट्रिक के लिए स्रोत-मानचित्र बनाएँ।

I am documenting the data behind this metric: [metric name], defined as
[definition]. Our tools are [list of tools, for example tracker, ITSM tool,
pipeline, monitoring]. Draft a source map with these fields: the event that
starts the clock, the event that stops it, the system of record for each, who or
what creates the event (person or automation), likely failure modes, and checks
that would detect each failure. Do not invent tool features or benchmark values.
List your assumptions and the questions I should answer to complete the map.

स्थिति मॉडल की अस्पष्टता की समीक्षा करें।

Here is the workflow for [team or service]: [list of statuses and allowed
transitions, with a one-line meaning for each if known]. The clocks we compute
from it are [list clocks]. Identify statuses that are ambiguous, states where a
clock could stop or pause in a misleading way, and places where two teams might
read the same word differently. Suggest a smaller model that still supports the
clocks, and say what would be lost. Do not guess how our tool is configured. List
your assumptions.

किसी फ़ीड के लिए डेटा-गुणवत्ता की जाँचें रचें।

We load [data type, for example change records] from [source system] into
[destination] every [schedule]. Required fields are [list fields]. Propose a
practical set of checks for completeness, duplicates, freshness, and
reconciliation against the source, with a suggested alert and an owner role for
each. Keep the set small enough for a team of [team size] to maintain. Do not
invent thresholds; ask me for the ones you need. List your assumptions.

छोटे सर्वेक्षण और उसकी प्रतिक्रिया दर की योजना का मसौदा बनाएँ।

I want to measure [experience topic, for example effort to get a request
fulfilled] for [audience]. Draft [number] neutral questions, a plan for when and
how to send them, and how to report the response rate and the respondent mix. Flag
wording that could bias answers, and note privacy considerations given that the
data will be held in [tool or location]. Do not invent benchmark response rates.
List your assumptions.

AI स्किल

  • Service Management Metrics skill: यह खोजने के लिए उपयोग करें कि जिस मीट्रिक को आप इंस्ट्रूमेंट कर रहे हैं उसे कौन-सा विषय परिभाषित करता है और उसके बगल में कौन-सी सुरक्षा-रेखा होनी चाहिए।
  • Service Management Metrics maintainer skill: यह जाँचने के लिए उपयोग करें कि नया या संपादित मीट्रिक विषय अपना डेटा स्रोत और घड़ियाँ बताता है।

मुख्य निष्कर्ष

  • हर मीट्रिक एक नामित रिकॉर्ड-प्रणाली पर निर्भर है, इसलिए चार्ट बनाने से पहले स्रोत का मानचित्र बनाएँ।
  • घटनाओं को घटित होने के क्षण पर अपने-आप दर्ज करें, और कच्ची घटनाएँ रखें ताकि इतिहास खोए बिना परिभाषाएँ बदल सकें।
  • समय भी डेटा है: एक मानक अपनाएँ, घड़ी के नियम लिखें, और बैकडेटिंग पर नज़र रखें।
  • स्थिति मॉडल को छोटा, साझा और दर्ज रखें, और हर बदलाव लॉग करें।
  • पाइपलाइन को उत्पाद मानें जिसका स्वामी, परीक्षण, ताज़गी संकेतक और निर्धारित मिलान हों।
  • सर्वेक्षण उसके लिए प्रयोग करें जो केवल लोग कह सकते हैं, प्रतिक्रिया दर दिखाएँ, और व्यक्तिगत डेटा टीम-स्तर पर रखें।

संदर्भ और आगे का अध्ययन

  1. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  2. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  3. Vacanti, D. S., Actionable Agile Metrics for Predictability: An Introduction, Daniel S. Vacanti, Inc., 2015.
  4. Kleppmann, M., Designing Data-Intensive Applications, O'Reilly Media, 2017.
  5. DAMA International, DAMA-DMBOK: Data Management Body of Knowledge, 2nd edition, Technics Publications, 2017.
  6. ISO/IEC 25012:2008, Software engineering: Software product Quality Requirements and Evaluation (SQuaRE): Data quality model, International Organization for Standardization.
  7. ISO 8601, Date and time: Representations for information interchange, International Organization for Standardization.
  8. Klyne, G., and Newman, C., RFC 3339: Date and Time on the Internet: Timestamps, Internet Engineering Task Force, 2002, https://www.rfc-editor.org/rfc/rfc3339
  9. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  10. Wikipedia, Information technology service management.
  11. Wikipedia, ITIL.
  12. Wikipedia, Issue tracking system.
  13. Wikipedia, Version control.
  14. Wikipedia, CI/CD.
  15. Wikipedia, Observability (software).
  16. Wikipedia, Configuration management database.
  17. Wikipedia, Extract, transform, load.
  18. Wikipedia, Data quality.
  19. Wikipedia, Coordinated Universal Time.
  20. Wikipedia, Selection bias.