अवलोकन और प्रेरणा

ऑब्ज़र्वेबिलिटी (observability) किसी प्रणाली का गुण है: उसकी आंतरिक अवस्था को उसके द्वारा पैदा किए गए आउटपुट से कितनी अच्छी तरह समझा जा सकता है। व्यवहार में इन आउटपुट को टेलीमेट्री (telemetry) कहा जाता है और इन्हें आमतौर पर तीन प्रकारों में बाँटा जाता है। लॉग अलग-अलग घटनाओं के रिकॉर्ड हैं। मीट्रिक समय के साथ संख्यात्मक माप हैं, जैसे अनुरोध दर या त्रुटि दर। ट्रेस किसी वितरित प्रणाली के हिस्सों से गुज़रते एक अकेले अनुरोध का पीछा करते हैं। कई टीमें प्रोफ़ाइल, उपयोगकर्ता के डिवाइस की घटनाएँ और व्यावसायिक घटनाएँ भी जोड़ती हैं।

निगरानी (मॉनिटरिंग) ज्ञात प्रश्न पूछती है, जैसे "क्या त्रुटि दर सीमा से ऊपर है?", और उत्तर हाँ होने पर अलर्ट करती है। ऑब्ज़र्वेबिलिटी का लक्ष्य है कि टीम ऐसे प्रश्न पूछ सके जिनकी उसने योजना नहीं बनाई थी, जैसे "इस ग्राहक वर्ग के लिए इस क्षेत्र के अनुरोध धीमे क्यों हैं?"। दोनों चाहिए। निगरानी पिछले विषयों में आ चुकी है (देखें विषय 5.5, निगरानी और अलर्ट की गुणवत्ता के मीट्रिक्स)। यह विषय संकेतों की अपनी गुणवत्ता और उनसे प्रणालियों को समझने की प्रैक्टिस पर है।

टेलीमेट्री की लागत और जोखिम हैं। सब कुछ इकट्ठा करना भंडारण और पैसे में महँगा है, और वह व्यक्तिगत या गोपनीय डेटा पकड़ सकता है। बहुत कम इकट्ठा करना घटना के दौरान टीम को अंधा छोड़ देता है। टेलीमेट्री पिछले विषय के अर्थ में डेटा भी है (देखें विषय 10.8, विश्लेषण और डेटा गुणवत्ता मीट्रिक्स), इसलिए उसमें पूर्णता, समयबद्धता और वंशावली के प्रश्न होते हैं। और जैसे-जैसे AI औज़ार घटनाओं का सार बनाने और कारण सुझाने के लिए टेलीमेट्री पढ़ते हैं, संकेतों की गुणवत्ता तय करती है कि सार सही है या नहीं।

यहाँ प्रयुक्त शब्द। संकेत (signal) टेलीमेट्री की एक धारा है, जैसे लॉग, मीट्रिक या ट्रेस। इंस्ट्रूमेंटेशन (instrumentation) वह कोड है जो संकेत पैदा करता है। कार्डिनैलिटी (cardinality) किसी मीट्रिक के लेबल के भिन्न मानों की संख्या है, और उच्च कार्डिनैलिटी लागत बढ़ाती है। सेवा-स्तर संकेतक (SLI) सेवा के उस पहलू को मापता है जैसा उपयोगकर्ता उसे अनुभव करते हैं (देखें विषय 5.2, SLI, SLO और त्रुटि बजट)। सैंपलिंग (sampling) डेटा का केवल एक हिस्सा रखती है, जिससे लागत बचती है और ब्योरा खो जाता है। प्रतिधारण (retention) यह है कि डेटा कितने समय रखा जाता है। सहसंबंध (correlation) का अर्थ है साझा पहचानकर्ताओं के ज़रिए उन संकेतों को जोड़ना जो एक ही अनुरोध या घटना का वर्णन करते हैं।

मुख्य सिद्धांत

  • मात्रा के लिए नहीं, प्रश्नों के लिए इंस्ट्रूमेंट करें। ऐसे संकेत चुनें जो उपयोगकर्ता-अनुभव और प्रणाली के व्यवहार के बारे में प्रश्नों के उत्तर दें।
  • जो दिखता है और जो नहीं दिखता, दोनों मापें। सेवाओं और यात्राओं का कवरेज अंधे धब्बे दिखाता है।
  • संकेत जुड़े होने चाहिए। लॉग, ट्रेस और मीट्रिक को जोड़ने वाले पहचानकर्ता समझ को तेज़ बनाते हैं।
  • टेलीमेट्री लागत भी है और जोखिम भी। इसका बजट रखें, और व्यक्तिगत व गोपनीय डेटा तब तक बाहर रखें जब तक कारण और नियम न हो।
  • ऑब्ज़र्वेबिलिटी लोगों की सेवा करती है। समझने का समय और ऑन-कॉल लोगों का अनुभव मापें।
  • खुले मानक बंधन घटाते हैं। जहाँ उपयुक्त हों, इंस्ट्रूमेंटेशन के लिए सामान्य प्रारूप चुनें, और वर्तमान विनिर्देश जाँचें।

मीट्रिक परिभाषाएँ

मीट्रिक परिभाषा सूत्र इकाई डेटा स्रोत ITIL प्रैक्टिस एजाइल समकक्ष अवधि
इंस्ट्रूमेंटेशन कवरेज उन सेवाओं और महत्वपूर्ण उपयोगकर्ता यात्राओं का हिस्सा जो सहमत मुख्य संकेत उत्सर्जित करती हैं सहमत मानक पूरा करने वाले लॉग, मीट्रिक और ट्रेस वाली सेवाएँ या यात्राएँ / सेवा कैटलॉग की सेवाएँ या यात्राएँ प्रतिशत सेवा कैटलॉग और टेलीमेट्री प्लेटफ़ॉर्म सूची निगरानी और इवेंट प्रबंधन; सेवा कॉन्फ़िगरेशन प्रबंधन नई सेवाओं के लिए "पूर्ण" की परिभाषा तिमाही
ट्रेस पूर्णता जाँचे गए अनुरोधों का वह हिस्सा जिनका ट्रेस प्रवेश से अंतिम निर्भरता तक अटूट है वे अनुरोध जिनके ट्रेस में सभी अपेक्षित पड़ाव हैं / जाँचे गए नमूने के अनुरोध प्रतिशत ट्रेसिंग प्लेटफ़ॉर्म और नमूना जाँच निगरानी और इवेंट प्रबंधन किसी फ़ीचर में ऑब्ज़र्वेबिलिटी का परीक्षण मासिक
संकेत सहसंबंध दर उन घटनाओं का हिस्सा जिनमें लॉग, मीट्रिक और ट्रेस पहचानकर्ता से जोड़े जा सके समयरेखा समीक्षा में काम करता जोड़ वाली घटनाएँ / समीक्षित घटनाएँ प्रतिशत घटना समीक्षाएँ और ट्रेसिंग प्लेटफ़ॉर्म घटना प्रबंधन; समस्या प्रबंधन रेट्रोस्पेक्टिव की कार्रवाइयाँ तिमाही
समझने का समय पता चलने से कारण की दर्ज कार्यशील व्याख्या तक का समय दर्ज कारण वाली घटनाओं के लिए (पहला कार्यशील कारण दर्ज होने का समय घटा घटना पता चलने का समय) का माध्यक और 85वाँ परसेंटाइल मिनट घटना समयरेखा और समीक्षा नोट घटना प्रबंधन दोषारोपण-रहित समीक्षा तिमाही
प्रति सेवा टेलीमेट्री लागत किसी सेवा को आवंटित टेलीमेट्री व्यय, सेवा के उपयोग की प्रति इकाई सेवा को आवंटित टेलीमेट्री लागत / उपयोग की घोषित इकाई, जैसे 1,000 अनुरोध मुद्रा प्रति इकाई टेलीमेट्री बिलिंग और उपयोग डेटा वित्तीय प्रबंधन डिज़ाइन के इनपुट के रूप में लागत मासिक
टेलीमेट्री में संवेदनशील डेटा उन रिकॉर्डों की संख्या जिनमें ऐसा डेटा पुष्ट हुआ जो वहाँ नहीं होना चाहिए अवधि में स्कैन या समीक्षा से पाए गए पुष्ट मामले संख्या टेलीमेट्री स्कैन और समीक्षाएँ सूचना सुरक्षा प्रबंधन "पूर्ण" की परिभाषा; गोपनीयता समीक्षा मासिक
अंधे-धब्बे की घटनाएँ वे घटनाएँ जिन्हें पहले उपयोगकर्ताओं ने रिपोर्ट किया और जिनका टेलीमेट्री में कोई संकेत नहीं था बिना किसी संबंधित अलर्ट या संकेत के उपयोगकर्ताओं द्वारा पहले रिपोर्ट की गई घटनाएँ / अवधि की घटनाएँ प्रतिशत घटना रिकॉर्ड और समीक्षा नोट घटना प्रबंधन; निगरानी रेट्रोस्पेक्टिव की कार्रवाइयाँ तिमाही

इंस्ट्रूमेंटेशन कवरेज एक सहमत मुख्य मानक पर निर्भर है, जैसे अनुरोध दर, त्रुटि दर, विलंबता और ट्रेस पहचानकर्ता, जो मीट्रिक रजिस्टर में बताया जाता है। समझने का समय केवल उन घटनाओं को गिनता है जिनका कारण दर्ज हुआ, इसलिए बिना ज्ञात कारण वाली घटनाएँ अलग से बताई जाती हैं।

सिफ़ारिशें

तय करें कि क्या देखना है

1. उपयोगकर्ता यात्राओं और सेवा-स्तरों से शुरू करें। उन यात्राओं की सूची बनाएँ जो मायने रखती हैं और उन संकेतकों की जो दिखाते हैं कि उपयोगकर्ता सफल हैं या नहीं। पहले उन्हें इंस्ट्रूमेंट करें, क्योंकि वे टेलीमेट्री को परिणामों से जोड़ते हैं (देखें विषय 5.2, SLI, SLO और त्रुटि बजट)।

2. एक मुख्य मानक पर सहमत हों। वे न्यूनतम संकेत तय करें जो हर सेवा उत्सर्जित करे, साथ में नामकरण और पहचानकर्ता की परिपाटियाँ। मानक को नई सेवाओं की "पूर्ण" की परिभाषा में रखें।

3. कवरेज का ईमानदार नक्शा बनाएँ। सेवा कैटलॉग की तुलना उन सेवाओं से करें जो मुख्य संकेत उत्सर्जित करती हैं। कमियाँ और उनके स्वामी सूचीबद्ध करें, और जिनका उपयोगकर्ताओं पर असर सबसे ज़्यादा है उन्हें पहले सुलझाएँ।

संकेतों को उपयोगी बनाएँ

4. साझा पहचानकर्ताओं से संकेत जोड़ें। लॉग, मीट्रिक और ट्रेस में अनुरोध या ट्रेस पहचानकर्ता पहुँचाएँ, ताकि कोई व्यक्ति धीमे अनुरोध से सीधे सटीक लॉग पंक्तियों तक जा सके। इसे ड्रिल में परखें।

5. इंस्ट्रूमेंटेशन को कोड की तरह परखें। किसी क्यू पर टूटने वाला ट्रेस या ग़लत समय-क्षेत्र वाला लॉग घटना को बेकार कर देता है। नमूना अनुरोधों से पूर्णता जाँचें और टूट ठीक करें।

6. कार्डिनैलिटी और सैंपलिंग सोच-समझकर नियंत्रित करें। उच्च-कार्डिनैलिटी लेबल बड़ी लागत बना सकते हैं, और सैंपलिंग वही दुर्लभ घटना छोड़ सकती है जो आपको चाहिए। तय करें कि कहाँ सैंपल करना है, दर दर्ज करें, और जहाँ वहन हो सके वहाँ त्रुटियों और धीमे अनुरोधों का पूरा डेटा रखें।

7. संवेदनशील डेटा को बाहर रखें। तय करें कि लॉग और ट्रेस में क्या नहीं आना चाहिए, जैसे व्यक्तिगत डेटा, क्रेडेंशियल, और स्वास्थ्य या भुगतान के ब्योरे। उसके लिए स्कैन करें और स्रोत पर ठीक करें। दायित्वों की जाँच अपने क़ानूनी सलाहकार से करें, क्योंकि यह पुस्तक क़ानूनी सलाह नहीं देती।

समझ को मापें

8. केवल ठीक करने का समय नहीं, समझने का समय मापें। पता चलने से कार्यशील व्याख्या तक का समय दिखाता है कि संकेत लोगों की कितनी अच्छी मदद करते हैं। सबसे लंबे मामलों की समीक्षा करें कि कौन-सा संकेत नहीं था।

9. अंधे धब्बे गिनें। जिन घटनाओं को उपयोगकर्ताओं ने पहले पाया, वे कमी का सबसे स्पष्ट प्रमाण हैं। हर एक के लिए पूछें कि कौन-सा संकेत उसे दिखा देता, और उसे जोड़ें।

10. डैशबोर्ड और अलर्ट की उपयोगिता की समीक्षा करें। जिन डैशबोर्ड को कोई नहीं खोलता और जिन अलर्टों पर कभी कार्रवाई नहीं होती, उन्हें बंद करें (देखें विषय 5.5, निगरानी और अलर्ट की गुणवत्ता के मीट्रिक्स)। चार्टों की दीवार से बेहतर है छोटा सेट जिस पर लोग भरोसा करें।

लागत और मानकों का प्रबंधन करें

11. टेलीमेट्री लागत का बजट रखें और उसे आवंटित करें। लागत सेवाओं को आवंटित करें और रुझान देखें। प्रतिधारण मूल्य के अनुसार तय करें: विस्तृत डेटा थोड़े समय, सार लंबे समय रखें, और जिसका कोई उपयोग नहीं उसे मिटा दें।

12. जहाँ उपयुक्त हों वहाँ खुले मानक चुनें। सामान्य इंस्ट्रूमेंटेशन और डेटा प्रारूप, जैसे OpenTelemetry परियोजना द्वारा संचालित, औज़ार बदलना आसान बनाते हैं। प्रतिबद्ध होने से पहले वर्तमान विनिर्देश और अपने औज़ारों का समर्थन जाँचें, क्योंकि मानक और उत्पाद बदलते रहते हैं।

गेमिंग के रास्ते और सुरक्षा-रेखाएँ

मीट्रिक इसमें गेमिंग कैसे होती है साथ की सुरक्षा-रेखा मीट्रिक या प्रैक्टिस
इंस्ट्रूमेंटेशन कवरेज मानक पास करने के लिए हर सेवा में न्यूनतम संकेत जोड़ देना; कठिन सेवाओं को कैटलॉग से बाहर रखना ट्रेस पूर्णता और अंधे-धब्बे की घटनाएँ; कैटलॉग में छूट की समीक्षा करें
ट्रेस पूर्णता केवल सरल अनुरोधों का सैंपल लेना; आंशिक ट्रेस को पूर्ण गिनना जाँच का नमूना अनुरोध के प्रकार के अनुसार तय करें; निर्भरता कवरेज जाँचें
संकेत सहसंबंध दर केवल उन घटनाओं की समीक्षा जो ठीक रहीं; काग़ज़ पर मौजूद जोड़ को गिनना घटनाओं के यादृच्छिक नमूने की समीक्षा करें; जोड़ की ड्रिल चलाएँ
समझने का समय कारण जल्दी और ढीले ढंग से दर्ज करना; कठिन मामलों में कारण ख़ाली छोड़ना कारण रिकॉर्ड की गुणवत्ता की समीक्षा करें; बिना कारण की घटनाएँ अलग बताएँ
प्रति सेवा टेलीमेट्री लागत लागत घटाने के लिए संकेत हटा देना; लागत दूसरे खाते में खिसकाना अंधे-धब्बे की घटनाएँ और समझने का समय; कुल व्यय का मिलान करें
टेलीमेट्री में संवेदनशील डेटा बहुत संकरा स्कैन; निष्कर्ष रिपोर्ट न करना स्कैन कवरेज और स्वतंत्र समीक्षा; हटाने का समय ट्रैक करें
अंधे-धब्बे की घटनाएँ उपयोगकर्ताओं के रिपोर्ट करने के बाद बजे अलर्ट पर घटना को पकड़ी गई गिनना; संकेत की परिभाषा चौड़ी रखना पहले संकेत और पहली उपयोगकर्ता रिपोर्ट के समय-चिह्नों की तुलना करें; नमूना समीक्षाएँ

स्वस्थ तस्वीर यह है: कवरेज पूर्ण ट्रेसों और जोड़ों की संख्या के साथ बढ़ता है, उपयोगकर्ताओं द्वारा पहले पाई गई घटनाओं का हिस्सा घटता है, संकेत काटे बिना समझने का समय घटता है, टेलीमेट्री लागत समझी और आवंटित है, और संवेदनशील डेटा के निष्कर्ष जल्दी ठीक होते हैं।

समझौते: लाभ और हानि

दृष्टिकोण शक्ति कमज़ोरी
सब कुछ इकट्ठा करें, लंबे समय रखें जाँच की अधिकतम क्षमता ऊँची लागत और जोखिम; खोजना कठिन
सैंपल लें और कम प्रतिधारण रखें कम लागत दुर्लभ घटनाएँ और पुरानी घटनाएँ छूट सकती हैं
सेवाओं में मानक इंस्ट्रूमेंटेशन एकरूप; समझ तेज़ अपनाने का प्रयास; हर सेवा में फ़िट न हो
टीम द्वारा चुना इंस्ट्रूमेंटेशन स्थानीय ज़रूरतों के अनुरूप असंगत; संकेत जोड़ना कठिन
टेलीमेट्री के AI सार पहली झलक तेज़ ग़लत हो सकते हैं; संकेतों की गुणवत्ता पर निर्भर

निष्कर्ष यह है कि त्रुटियों और धीमे अनुरोधों के लिए समृद्ध डेटा रखें, नियमित अनुरोधों का सैंपल लें, और प्रतिधारण मूल्य के अनुसार तय करें। संकेतों का मामूली, एकरूप, जुड़ा हुआ सेट बड़े अनजुड़े ढेर से बेहतर है।

अपनी टीम के साथ चर्चा के प्रश्न

1. हमारी पिछली घटना के दौरान हम क्या जानना चाहते थे जो पता नहीं कर सके? इससे छूटा हुआ संकेत सामने आता है। लोगों से प्रश्न और वे कहाँ देख रहे थे, याद करने को कहें। "कौन-से ग्राहक प्रभावित हुए" या "क्या बदला" जैसे उत्तर अपेक्षित हैं। अनुवर्ती कार्रवाई: तय करें कि संकेत कौन जोड़ेगा और उसे कैसे परखेंगे।

2. हमारी सबसे महत्वपूर्ण उपयोगकर्ता यात्रा के लिए, हमें कैसे पता चलेगा कि वह विफल हो रही है? यात्रा को चरण-दर-चरण देखें। पूछें कि हर चरण पर सफलता किस संकेत से दिखती है, और कितनी जल्दी। बिना संकेत वाले चरण खोजें। अनुवर्ती कार्रवाई: सबसे कमज़ोर चरण के लिए संकेतक जोड़ें।

3. क्या हम एक अनुरोध का पीछा उपयोगकर्ता के क्लिक से डेटाबेस तक और वापस कर सकते हैं? इसे सीधे आज़माएँ। देखें कि ट्रेस कहाँ टूटता है, जैसे किसी क्यू या तृतीय-पक्ष कॉल पर। पूछें कि मेल खाती लॉग पंक्तियाँ खोजने में कितना समय लगता है। अनुवर्ती कार्रवाई: सबसे बड़ी टूट ठीक करें।

4. हम टेलीमेट्री पर कितना ख़र्च करते हैं, और बदले में क्या पाते हैं? कई टीमें सेवा के अनुसार लागत नहीं जानतीं। पूछें कि पिछली तिमाही में कौन-से संकेत इस्तेमाल हुए। चर्चा करें कि नुकसान के बिना क्या सैंपल या मिटाया जा सकता है। अनुवर्ती कार्रवाई: समीक्षा के लिए एक संकेत चुनें।

5. आज हमारे लॉग और ट्रेस में कौन-सी संवेदनशील जानकारी हो सकती है? मिलकर उदाहरण खोजें। आम मामले हैं ईमेल पते, टोकन और मुक्त-पाठ फ़ील्ड। पूछें कि वह वहाँ कैसे पहुँची और उसे कौन पढ़ सकता है। अनुवर्ती कार्रवाई: नियम और स्कैन पर सहमत हों।

6. हम अपनी टेलीमेट्री पर AI औज़ार कैसे इस्तेमाल कर रहे हैं, और वे जो कहते हैं उसे कौन जाँचता है? घटनाओं के बिना-जाँचे सारों पर ध्यान दें। पूछें कि औज़ार को कौन-सा डेटा भेजा जाता है और किन शर्तों पर। चर्चा करें कि सुझाए गए कारण को कोई व्यक्ति कैसे सत्यापित करता है। अनुवर्ती कार्रवाई: छोटा नियम लिखें।

चार दृष्टिकोण

उत्पाद और डिलीवरी टीमें

सेवा क्या उत्सर्जित करे, यह आप तय करते हैं। बनाते समय इंस्ट्रूमेंटेशन जोड़ें, संकेतों को जोड़ने वाला पहचानकर्ता रखें, और उसे काम के हिस्से के रूप में परखें। ऑब्ज़र्वेबिलिटी की कमी को दोष मानें, क्योंकि अगली घटना उसकी क़ीमत चुकाएगी।

सेवा और संचालन टीमें

आप दबाव में टेलीमेट्री का उपयोग करते हैं। टीम को बताएँ कि कौन-से संकेत काम आए और कौन-से नहीं थे, और अलर्ट को उपयोगकर्ता प्रभाव से जोड़े रखें। समझने का समय और अंधे-धब्बे की घटनाएँ ट्रैक करें, और उन्हें उत्पाद टीम तक ले जाएँ।

नेतृत्व और शासन

ऑब्ज़र्वेबिलिटी को सेवा के हिस्से के रूप में निधि दें, टेलीमेट्री और कमियाँ ठीक करने के बजट के साथ। डैशबोर्ड की गिनती नहीं, कवरेज, अंधे-धब्बे की घटनाएँ और लागत के रुझान माँगें। संवेदनशील डेटा और टेलीमेट्री पर AI औज़ारों के उपयोग के नियम तय करें।

ग्राहक और उपयोगकर्ता

अक्सर समस्या सबसे पहले आप ही देखते हैं, इसलिए पूछें कि उसे कैसे रिपोर्ट करें और वह कितनी जल्दी सेवा के संकेतों से जुड़ेगी। आपकी रिपोर्टें अंधे धब्बे घटाती हैं, और आपको बताया जाना चाहिए कि क्या सीखा गया। पूछें कि आपके बारे में कौन-सी टेलीमेट्री इकट्ठा की जाती है और क्यों।

व्यवहार में: सेवा प्रबंधन का एक उदाहरण

एक मझोला ऑनलाइन रिटेलर आठ छोटी सेवाओं से बनी चेकआउट सेवा चलाता है। इस उदाहरण की संख्याएँ उदाहरण-स्वरूप हैं। ग्राहक भुगतान पर कभी-कभार विफलताएँ बताते हैं, पर डैशबोर्ड स्वस्थ त्रुटि दर और सामान्य विलंबता दिखाते हैं।

टीम मापती है। इंस्ट्रूमेंटेशन कवरेज है: 8 में से 6 सेवाएँ मुख्य मानक पूरा करती हैं। 50 नमूना चेकआउट अनुरोधों की जाँच में ट्रेस पूर्णता 62 प्रतिशत मिलती है, क्योंकि ट्रेस एक मैसेज क्यू पर और एक तृतीय-पक्ष भुगतान कॉल पर टूटता है। पिछली छह घटनाओं में संकेत सहसंबंध दर छह में से दो है, क्योंकि लॉग का अनुरोध पहचानकर्ता ट्रेस से अलग है। अंधे-धब्बे की घटनाएँ छह में से तीन हैं।

टीम एक ही अनुरोध पहचानकर्ता को क्यू और लॉग में पहुँचाती है, भुगतान कॉल के चारों ओर ट्रेस स्पैन जोड़ती है, और छूटी हुई दो सेवाओं को इंस्ट्रूमेंट करती है। एक महीने बाद नमूना जाँच में ट्रेस पूर्णता लगभग 90 प्रतिशत हो जाती है, और अगली घटना की कार्यशील व्याख्या 35 मिनट में मिलती है, जबकि पहले कई घंटे लगते थे। वे लॉग स्कैन करते हैं और एक त्रुटि संदेश में ग्राहकों के ईमेल पते पाते हैं, जिन्हें वे स्रोत से हटा देते हैं, और अगले महीने संवेदनशील डेटा के निष्कर्ष शून्य हो जाते हैं।

एक गेमिंग जोखिम सामने आता है। एक प्रबंधक बचे हुए दो सेवाओं को "दायरे से बाहर" चिह्नित करके इंस्ट्रूमेंटेशन कवरेज बढ़ाने को कहता है। टीम मना कर देती है, क्योंकि अंधे-धब्बे की घटनाओं की गिनती फिर भी ऊँची रहेगी, और कमी को स्वामी के साथ दर्ज करती है। जो कठिन रहता है: प्रति चेकआउट अनुरोध टेलीमेट्री लागत बढ़ी है, और टीम ने अभी तय नहीं किया कि ट्रेस कितने समय रखे। अगली तिमाही की योजना है कि नियमित ट्रेसों का सैंपल लें और त्रुटियों के लिए पूरा ब्योरा रखें।

एजाइल, AI, स्वचालन और विश्लेषण

एजाइल

ऑब्ज़र्वेबिलिटी को "पूर्ण" की परिभाषा में शामिल करें, ताकि सेवा की हर वृद्धि उत्पादन में समझी जा सके। अच्छी प्रैक्टिस है नियमित सुधार-चर्चा में पिछली घटना के छूटे संकेतों की समीक्षा करना और उन्हें बैकलॉग मदों के रूप में जोड़ना। सावधानी यह कि ऑब्ज़र्वेबिलिटी का काम अक्सर फ़ीचरों के लिए टाल दिया जाता है, इसलिए उसे दृश्य बनाएँ और उसके लिए समय सुरक्षित रखें।

AI

AI टेलीमेट्री का सार बना सकता है, संकेतों को सहसंबद्ध कर सकता है और कारण सुझा सकता है, और AI फ़ीचरों को स्वयं टेलीमेट्री चाहिए, जैसे इनपुट, आउटपुट, विलंबता, लागत और उपयोगकर्ता प्रतिक्रिया। AI द्वारा सुझाए कारणों के साथ मानवीय जाँच जोड़ें और रिपोर्ट करें कि वे कितनी बार सही थे, और AI फ़ीचरों की निगरानी उपलब्धता के साथ गुणवत्ता के लिए भी करें (देखें विषय 10.1, सेवा प्रबंधन मापन में AI)। सावधानी यह कि लॉग में प्रॉम्प्ट और प्रतिक्रियाओं में व्यक्तिगत डेटा हो सकता है, इसलिए शुरू करने से पहले तय करें कि क्या दर्ज करना है।

स्वचालन

संग्रह, सहसंबंध और अलर्टिंग को स्वचालित करें, और कवरेज व संवेदनशील डेटा की जाँचों को भी। टेलीमेट्री पाइपलाइन को स्वयं छूटे डेटा और विलंब पर मापें, क्योंकि टूटी पाइपलाइन स्वस्थ प्रणाली जैसी दिखती है। सावधानी यह कि किसी संकेत पर कार्रवाई करने वाला स्वचालित निवारण कारण को ढक सकता है, इसलिए दर्ज करें कि उसने क्या किया।

विश्लेषण

टेलीमेट्री का उपयोग उपयोगकर्ता-अनुभव और प्रणाली के व्यवहार पर प्रश्नों के उत्तर के लिए करें, परिणामों से जुड़े SLI के साथ। इससे सूचित निर्णय यह है कि संकेतों में कहाँ निवेश करें और लागत कहाँ घटाएँ। सावधानी यह कि डेटा की मात्रा अंतर्दृष्टि नहीं है, और समेकित मीट्रिक उन उपयोगकर्ताओं को छिपा सकते हैं जो प्रभावित हैं, इसलिए वितरण और वर्ग जाँचें, और हर आँकड़े के पीछे की घटनाओं की संख्या दिखाएँ (देखें विषय 10.8, विश्लेषण और डेटा गुणवत्ता मीट्रिक्स)।

क्षेत्र का नज़रिया

स्टार्टअप। मुख्य उपयोगकर्ता यात्रा पर कुछ संकेतों और लॉग में ट्रेस पहचानकर्ता से शुरू करें। प्रश्न स्पष्ट होने से पहले बड़ा प्लेटफ़ॉर्म ख़रीदने से बचें, और उपयोग बढ़ने पर लागत देखें।

छोटा व्यवसाय। होस्ट की गई सेवाएँ अक्सर सीमित टेलीमेट्री देती हैं। आपूर्तिकर्ताओं से पूछें कि आप क्या देख सकते हैं और मुख्य यात्रा की सरल बाहरी जाँच रखें। लॉग में व्यक्तिगत डेटा इकट्ठा करने से बचें।

बड़ा उद्यम। कई टीमों और औज़ारों को साझा मानक, साझा पहचानकर्ता और केंद्रीय लागत आवंटन चाहिए। टीमों को मानक के भीतर संकेत जोड़ने दें, और प्रतिधारण व पहुँच का प्रबंधन केंद्रीय रूप से करें।

सरकार और सार्वजनिक क्षेत्र। डेटा के स्थान, प्रतिधारण और पहुँच के नियम तय करते हैं कि आप क्या इकट्ठा कर सकते हैं और कहाँ रख सकते हैं। टेलीमेट्री के डेटा प्रवाह का दस्तावेज़ बनाएँ और दायित्वों की जाँच क़ानूनी सलाहकारों से करें (देखें विषय 8.5, विनियमित और सरकारी रिपोर्टिंग)।

व्यावसायिक औचित्य: प्रेरणाएँ, ROI और TCO

लागतें हैं इंस्ट्रूमेंटेशन का काम, प्लेटफ़ॉर्म या सेवा शुल्क, प्रतिधारण अवधि के अनुसार भंडारण, और मानकों व डैशबोर्ड के रखरखाव में कर्मचारियों का समय। टेलीमेट्री की लागत मात्रा और कार्डिनैलिटी के साथ तेज़ी से बढ़ सकती है, इसलिए उसका बजट रखें और उसे आवंटित करें।

प्रतिफल है घटनाओं में तेज़ समझ, उपयोगकर्ताओं द्वारा पहले पाई गई कम घटनाएँ, और कहाँ सुधार करना है इस पर बेहतर निर्णय। ये लाभ वास्तविक हैं पर इनकी क़ीमत लगाना कठिन है, इसलिए कोई आँकड़ा गढ़ने से बचें। काम से पहले और बाद में अपना समझने का समय और अंधे-धब्बे की घटनाओं का हिस्सा तुलना करें, और मान्यताएँ सीमाओं के रूप में बताएँ (देखें विषय 7.7, निवेश पर प्रतिफल और व्यावसायिक औचित्य)। जोखिम की ओर है टेलीमेट्री के रास्ते डेटा लीक की क़ीमत और ऐसी टेलीमेट्री की क़ीमत जो कभी इस्तेमाल नहीं होती।

प्रतिरूप-विरोधी और जाल

  • डैशबोर्ड गिनना। अधिक चार्ट का मतलब अधिक समझ नहीं है। कवरेज, जोड़ और समझने का समय मापें।
  • सब कुछ हमेशा के लिए इकट्ठा करना। थोड़े उपयोग के साथ लागत और जोखिम बढ़ते हैं। प्रतिधारण मूल्य के अनुसार तय करें।
  • अनजुड़े संकेत। जिन लॉग, मीट्रिक और ट्रेस को जोड़ा नहीं जा सकता, वे हर घटना को धीमा करते हैं। साझा पहचानकर्ता पहुँचाएँ।
  • दुर्लभ घटना को सैंपलिंग में गँवाना। जिस विफलता की आपको ज़रूरत है, वही आपने छोड़ दी। त्रुटियाँ और धीमे अनुरोध रखें।
  • लॉग में संवेदनशील डेटा। वह फैलता है और हटाना कठिन होता है। स्कैन करें और स्रोत ठीक करें।
  • हर संकेत पर अलर्ट। शोर लोगों को अलर्ट अनदेखा करना सिखाता है। उपयोगकर्ता प्रभाव पर अलर्ट करें।
  • AI सारों पर बिना जाँचे भरोसा। वे ग़लत हो सकते हैं, और संकेत अधूरे हो सकते हैं। डेटा से सत्यापित करें।
  • इंस्ट्रूमेंटेशन को किसी और का काम मानना। कोड लिखने वाले जानते हैं कि क्या उत्सर्जित करना है। इसे काम का हिस्सा बनाएँ।

परिपक्वता मॉडल

आयाम आरंभ विकास मानकीकरण प्रबंधन समन्वयन
कवरेज और मानक टीम के अनुसार संकेत अलग; अंधे धब्बे अज्ञात मुख्य सेवाएँ इंस्ट्रूमेंट की गईं मुख्य मानक और कैटलॉग के विरुद्ध कवरेज ट्रैक अंधे-धब्बे की घटनाओं की समीक्षा और कमियाँ बंद कवरेज सेवा निर्माण में निर्मित और उपयोगकर्ता प्रभाव से समायोजित
संकेत गुणवत्ता और जोड़ केवल लॉग; साझा पहचानकर्ता नहीं कुछ ट्रेस और मीट्रिक साझा पहचानकर्ता; ट्रेस पूर्णता जाँची जाती है समझने के समय की समीक्षा; ड्रिल चलाई जाती हैं पूछे गए प्रश्नों के अनुसार संकेत अपने आप ढलते हैं
लागत और शासन लागत अज्ञात; डेटा के नियम नहीं कुल मिलाकर लागत दिखती है लागत आवंटित; प्रतिधारण और संवेदनशील डेटा के नियम लागत और डेटा निष्कर्षों की समीक्षा निर्धारित अवधि पर टेलीमेट्री की लागत और जोखिम टीमों में मूल्य के अनुसार प्रबंधित

जाँच-सूची

  • मुख्य संकेत मानक लिखा गया है और "पूर्ण" की परिभाषा का हिस्सा है।
  • इंस्ट्रूमेंटेशन कवरेज सेवा कैटलॉग के विरुद्ध ट्रैक होता है।
  • अनुरोध या ट्रेस पहचानकर्ता लॉग, मीट्रिक और ट्रेस को जोड़ता है।
  • वास्तविक अनुरोधों के नमूने पर ट्रेस पूर्णता जाँची जाती है।
  • घटनाओं के लिए कारण सहित समझने का समय दर्ज होता है।
  • अंधे-धब्बे की घटनाएँ गिनी जाती हैं और हर एक से एक संकेत जुड़ता है।
  • टेलीमेट्री लागत सेवाओं को आवंटित है, और प्रतिधारण मूल्य के अनुसार तय है।
  • टेलीमेट्री में संवेदनशील डेटा के लिए स्कैन होता है और स्रोत पर ठीक किया जाता है।
  • टेलीमेट्री पढ़ने वाले AI औज़ारों के लिए नियम हैं।
  • हर मीट्रिक के बगल में उसका गेमिंग का रास्ता और सुरक्षा-रेखा दिखाई गई है।

AI प्रॉम्प्ट

मुख्य संकेत मानक की रूपरेखा बनाएँ।

हमारी सेवा [विवरण] है, जो [प्रौद्योगिकियों] में [संख्या] घटकों से बनी है।
हमारी सबसे महत्वपूर्ण उपयोगकर्ता यात्राएँ [सूची] हैं। एक मुख्य संकेत मानक
सुझाएँ: हर घटक को न्यूनतम कौन-से लॉग, मीट्रिक और ट्रेस उत्सर्जित करने चाहिए,
नामकरण और पहचानकर्ता की परिपाटियाँ, और अनुपालन कैसे जाँचें। विशिष्ट विक्रेताओं
की सिफ़ारिश तब तक न करें जब तक मैं उनका नाम न लूँ। मान्यताओं को चिह्नित करें
और वे प्रश्न सूचीबद्ध करें जिनके उत्तर मुझे देने चाहिए।

घटना समीक्षा से ऑब्ज़र्वेबिलिटी की कमियाँ खोजें।

यह हाल की एक घटना का सार है, समयरेखा और नोट के साथ (व्यक्तिगत डेटा हटाया
गया): [चिपकाएँ]। वे क्षण पहचानें जब टीम के पास संकेत नहीं था, संकेत जोड़ नहीं
सकी, या अनुमान पर निर्भर रही। प्रत्येक के लिए वह संकेत या जोड़ सुझाएँ जो मदद
करता, टीम के मूल्यांकन के लिए सुझाव के रूप में। ऐसे कारण न बताएँ जिन्हें पाठ
समर्थन नहीं देता। बताएँ कि आप क्या नहीं आँक सके और अपनी मान्यताएँ।

टेलीमेट्री में संवेदनशील डेटा के स्कैन की योजना बनाएँ।

हम लॉग और ट्रेस [औज़ारों] में रखते हैं। उनमें संवेदनशील डेटा खोजने की योजना का
मसौदा बनाएँ: खोजने के लिए डेटा की श्रेणियाँ, कहाँ देखना है, कैसे सैंपल लेना है,
निष्कर्ष कैसे रिपोर्ट करने हैं, और स्रोत पर कैसे ठीक करना है। क़ानूनी आवश्यकताएँ
न बताएँ; हमारे क़ानूनी सलाहकार के लिए प्रश्न सूचीबद्ध करें। मान्यताएँ और जिस
पहुँच की आपको ज़रूरत होगी, उसे सूचीबद्ध करें।

ऑब्ज़र्वेबिलिटी मापों के गेमिंग जोखिम की समीक्षा करें।

हम ये ऑब्ज़र्वेबिलिटी माप रिपोर्ट करते हैं: [माप और परिभाषाएँ चिपकाएँ]।
संदर्भ: [टीम का आकार, औज़ार, श्रोता]। प्रत्येक माप के लिए वे यथार्थवादी तरीक़े
सूचीबद्ध करें जिनसे वह समझ सुधारे बिना बेहतर दिख सकता है, एक सुरक्षा-रेखा
सुझाएँ, और बताएँ कि उस सुरक्षा-रेखा की गेमिंग कैसे हो सकती है। बेंचमार्क मान न
गढ़ें। अपनी मान्यताएँ सूचीबद्ध करें।

AI स्किल

  • Anomaly analysis: कारण तय करने से पहले टेलीमेट्री के असामान्य पैटर्न की जाँच के लिए उपयोग करें।
  • Root cause analysis: संकेतों और समयरेखाओं को परखी हुई व्याख्या में बदलने के लिए उपयोग करें।
  • Service level agreement: संकेतकों को उन समझौतों और उद्देश्यों से जोड़ने के लिए उपयोग करें जिनका वे समर्थन करते हैं।
  • Service Management Metrics skill: यह खोजने के लिए उपयोग करें कि कोई मीट्रिक और उसकी साथ की सुरक्षा-रेखा किस विषय में है।

मुख्य निष्कर्ष

  • ऑब्ज़र्वेबिलिटी का अर्थ चल रही सेवा से नए प्रश्न पूछ पाना है, इसलिए कवरेज, जुड़े संकेत और समझने का समय मापें।
  • जिन घटनाओं को उपयोगकर्ता पहले पाते हैं, वे अंधे धब्बों का सबसे स्पष्ट प्रमाण हैं, इसलिए उन्हें गिनें और संकेत जोड़ें।
  • लॉग, मीट्रिक और ट्रेस में साझा पहचानकर्ता ही समझ को तेज़ बनाते हैं।
  • टेलीमेट्री पैसे लेती है और संवेदनशील डेटा लीक कर सकती है, इसलिए उसका बजट रखें, प्रतिधारण मूल्य के अनुसार तय करें, और संवेदनशील सामग्री के लिए स्कैन करें।
  • टेलीमेट्री के AI सारों को डेटा से जाँचें, क्योंकि वे संकेतों की गुणवत्ता पर निर्भर हैं।

संदर्भ और आगे का अध्ययन

  1. Wikipedia, Observability (software).
  2. Wikipedia, Telemetry.
  3. Wikipedia, Distributed tracing.
  4. Wikipedia, Site reliability engineering.
  5. Wikipedia, Log management.
  6. Wikipedia, Service-level indicator.
  7. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016.