अवलोकन और प्रेरणा

मॉनिटरिंग किसी प्रणाली के वास्तविक समय के डेटा का संग्रह, प्रसंस्करण और प्रदर्शन है। सिस्टम मॉनिटरिंग (system monitoring) इस प्रश्न का उत्तर देती है कि "क्या सेवा वैसे काम कर रही है जैसा उपयोगकर्ताओं को चाहिए?" अलर्ट वह बिंदु है जहाँ वह डेटा किसी इंसान से कुछ करने को कहता है। अधिकांश टीमें पहली गतिविधि को ख़राब तरीके से या बिल्कुल नहीं मापतीं, और दूसरी को केवल शिकायतों के माध्यम से मापती हैं। यह विषय दोनों के लिए मापों का छोटा सेट देता है: क्या मॉनिटरिंग वे विफलताएँ देखती है जो मायने रखती हैं, और क्या उसके उठाए अलर्ट उस ध्यान के योग्य हैं जो वे माँगते हैं।

पहले कुछ शब्द। ITIL 4 की शब्दावली में इवेंट सेवा के प्रबंधन के लिए महत्व रखने वाली अवस्था का बदलाव है, और इवेंट प्रबंधन इवेंट पहचानने, तय करने कि कौन-से मायने रखते हैं, और प्रतिक्रिया चुनने की प्रैक्टिस है। अलर्ट किसी इंसान को भेजी गई सूचना है, पेज, संदेश या टिकट के रूप में। पेज वह अलर्ट है जो तुरंत किसी को टोकता है। झूठा पॉज़िटिव वह अलर्ट है जो तब बजा जब किसी ध्यान की ज़रूरत नहीं थी, और झूठा नेगेटिव वह विफलता है जिसकी किसी अलर्ट ने रिपोर्ट नहीं की; दोनों शब्द झूठे पॉज़िटिव और झूठे नेगेटिव (false positives and false negatives) की भाषा से आते हैं। कार्रवाई योग्य अलर्ट वह है जिसमें किसी व्यक्ति के पास करने की उपयोगी कार्रवाई थी, और उसने की, या दर्ज कारण से जान-बूझकर न करने का चुनाव किया।

मॉनिटरिंग के दोनों पक्ष एक-दूसरे के विरुद्ध खिंचते हैं। हर घटना के बाद अलर्ट जोड़ना शोर की दीवार बनाता है; उसे शांत करने के लिए काटना उस विफलता के दौरान चुप्पी का जोखिम लाता है जो मायने रखती है। परिशुद्धता और रिकॉल (precision and recall) की भाषा अच्छी बैठती है। परिशुद्धता पूछती है कि उठाए गए अलर्टों का कौन-सा हिस्सा उठाने लायक था। रिकॉल पूछता है कि असली समस्याओं का कौन-सा हिस्सा अलर्टों ने पकड़ा। अलर्ट की गुणवत्ता दोनों का संतुलन है, और जो माप केवल एक को देखता है वह टीम को दूसरे की बलि देने को न्योता देता है। सिग्नल-टू-नॉइज़ अनुपात (signal-to-noise ratio) उसी तनाव को पकड़ता है।

मानवीय लागत वह कारण है कि यह विषय सेवा मीट्रिक्स की पुस्तक में है। अलार्म की थकान (alarm fatigue) उन लोगों की अच्छी तरह दर्ज प्रवृत्ति है जो बहुत से अलार्मों के संपर्क में रहते हैं, जिनमें अधिकांश महत्वहीन हैं, कि वे असंवेदनशील हो जाते हैं और जो अलार्म मायने रखते हैं उन पर धीमे प्रतिक्रिया देते हैं। इसका अध्ययन पहले क्लिनिकल परिवेशों में हुआ और यह किसी भी ऑन-कॉल (on-call) रोटेशन पर लागू होती है जिसे कहीं न ले जाने वाले अलर्ट बहुत बार पेज करते हैं। थके हुए उत्तरदाता असली घटनाएँ चूकते हैं और अंततः रोटेशन छोड़ देते हैं।

यह पुस्तक जिन दो परंपराओं को जोड़ती है, उनमें दृष्टिकोण भिन्न हैं। ITIL 4 इस काम को मॉनिटरिंग और इवेंट प्रबंधन प्रैक्टिस में रखता है, घटना प्रबंधन और सेवा-स्तर प्रबंधन से जुड़ाव के साथ। उसकी चिंता है कि इवेंट पहचाने, वर्गीकृत और रूट किए जाएँ ताकि घटनाएँ जल्दी मिलें और एकसमान रूप से संभाली जाएँ। साइट विश्वसनीयता इंजीनियरिंग (site reliability engineering, SRE) दूसरे सिरे से आती है: Google की Site Reliability Engineering पुस्तक तर्क देती है कि पेज तत्काल, महत्वपूर्ण, कार्रवाई योग्य और वास्तविक होने चाहिए, और बाकी सब टिकट या डैशबोर्ड का है। एजाइल टीमें इसे कार्य समझौते के रूप में पाती हैं: किसे जगाया जाए, किस बात के लिए, और ग़लत अलर्ट कौन ठीक करे। नीचे के माप तीनों से उधार लेते हैं और एक नियम रखते हैं: मीट्रिक रोटेशन, सेवा या अलर्ट के नियम का वर्णन करती है, किसी व्यक्ति का कभी नहीं।

यह विषय अपने पड़ोसियों को नहीं दोहराता। घटना के समय विषय 3.3, घटना की प्रतिक्रिया और समाधान का समय, के हैं, बड़ी घटनाएँ विषय 3.4, बड़ी घटना के मीट्रिक्स की, उद्देश्य और त्रुटि बजट विषय 5.2, SLI, SLO और त्रुटि बजट के, और मानवीय भार विषय 5.7, टॉइल और ऑन-कॉल मीट्रिक्स का। यहाँ विषय उस संकेत की गुणवत्ता है जो उन सबको शुरू करता है। इंस्ट्रूमेंटेशन विषय 1.5, डेटा स्रोत और इंस्ट्रूमेंटेशन में कवर है।

मुख्य सिद्धांत

  • जो लक्षण उपयोगकर्ता महसूस करते हैं उन पर पेज करें; बाकी को टिकट या डैशबोर्ड में रखें। उपयोगकर्ता जो अनुभव करते हैं (त्रुटियाँ, धीमापन, अनुपलब्धता) उस पर अलर्ट प्रणाली के बदलने पर भी उपयोगी रहता है। कारण (भरी डिस्क, व्यस्त CPU) पर अलर्ट तभी उपयोगी है जब वह लक्षण की भविष्यवाणी करे और कोई व्यक्ति उसके आने से पहले कार्रवाई कर सके।
  • हर अलर्ट को कार्रवाई तक ले जाना चाहिए। यदि अलर्ट का सही उत्तर कुछ न करना है, तो अलर्ट बदलना चाहिए, टिकट में घटाना चाहिए, या मिटाना चाहिए। कार्रवाई तक ले जाने वालों का हिस्सा मापें, और बाकी को मॉनिटरिंग के दोष मानें।
  • परिशुद्धता और रिकॉल दोनों मापें। केवल शोर गिनना चुप्पी को पुरस्कृत करता है, और केवल कवरेज गिनना मात्रा को। दोनों साथ गुणवत्ता का वर्णन करते हैं, और हर एक दूसरे की सुरक्षा-रेखा का काम करता है।
  • हर अलर्ट के नियम को स्वामी वाला उत्पाद मानें। नियम का उद्देश्य, सीमा, रनबुक और समीक्षा की तिथि है। बिना स्वामी के नियम जमा होते हैं, और उनका पैदा किया शोर किसी का नहीं होता।
  • रोटेशन और सेवाओं की रिपोर्ट करें, लोगों की कभी नहीं। अलर्ट का भार इसका गुण है कि प्रणाली और रोटेशन कैसे डिज़ाइन हुए। व्यक्तियों के नाम लेना डिज़ाइन की समस्या को दोष की समस्या बना देता है और असली सुधार छिपाता है।

मीट्रिक परिभाषाएँ

नीचे के माप सेट के रूप में चुने गए हैं। अकेली मात्रा अर्थहीन है, कार्रवाई योग्यता बताती है कि मात्रा समस्या है या नहीं, और कवरेज तथा पहचान का समय बताते हैं कि शांति क्या छिपा रही है। सब प्रति सेवा या प्रति रोटेशन गणना होते हैं, और सब घटना और टिकट के रिकॉर्डों से जुड़े मॉनिटरिंग और पेजिंग के औज़ारों के अलर्ट रिकॉर्ड का उपयोग करते हैं।

मीट्रिक परिभाषा सूत्र इकाई डेटा स्रोत ITIL प्रैक्टिस एजाइल समकक्ष आवृत्ति
अलर्ट की मात्रा अलर्टों की संख्या जिन्होंने किसी इंसान को सूचित किया, पेज और टिकट में बाँटी हुई अवधि में रोटेशन या कतार को दी गई अलग सूचनाओं की गिनती; उसी खुले अलर्ट की पुनरावृत्तियाँ एक में समूहित; जिन अलर्टों को पूरी तरह स्वचालन ने संभाला और किसी इंसान को सूचना नहीं गई वे बाहर; प्रति रोटेशन प्रति सप्ताह रिपोर्ट करें, और काम के घंटों के बाहर का हिस्सा अलग अलर्ट प्रति रोटेशन-सप्ताह पेजिंग और अलर्ट-रूटिंग का औज़ार मॉनिटरिंग और इवेंट प्रबंधन ऑन-कॉल पर टीम का कार्य समझौता साप्ताहिक
कार्रवाई योग्य अलर्ट की दर अलर्टों का हिस्सा जिनके बाद किसी व्यक्ति ने उपयोगी कार्रवाई की दर्ज कार्रवाई (सुधार, शमन, एस्केलेशन, या अलर्ट के नियम में बदलाव) वाले अलर्ट / अवधि में समीक्षित अलर्ट; किसी स्वीकृति से पहले अपने-आप हल हुए अलर्ट कार्रवाई योग्य नहीं गिने जाते; असमीक्षित अलर्ट अलग गिनती के रूप में रिपोर्ट होते हैं, छोड़े नहीं जाते प्रतिशत समीक्षा के लेबल, टिकट, या घटना से जुड़ा अलर्ट रिकॉर्ड मॉनिटरिंग और इवेंट प्रबंधन; घटना प्रबंधन संचालन पर टीम की सुधार कार्रवाई साप्ताहिक समीक्षा, मासिक रुझान
झूठे पॉज़िटिव की दर अलर्टों का हिस्सा जो तब बजे जब कोई समस्या नहीं थी समीक्षा में झूठे पॉज़िटिव के रूप में लेबल अलर्ट / अवधि में समीक्षित अलर्ट; "झूठे पॉज़िटिव" का अर्थ है कि अवस्था दोष नहीं थी और कोई नहीं चाहेगा कि उसे बताया जाए; असली पर इतनी छोटी समस्या कि कार्रवाई न हो, झूठा पॉज़िटिव नहीं है प्रतिशत अलर्ट की समीक्षा के लेबल मॉनिटरिंग और इवेंट प्रबंधन शोर का रेट्रोस्पेक्टिव मासिक
पहचान की कवरेज दायरे की सेवाओं का हिस्सा जिनमें उपयोगकर्ता-मुखी लक्षण पर कम से कम एक परखा हुआ अलर्ट है वे सेवाएँ जिनमें पिछले 12 महीनों में टेस्ट या असली इवेंट से आज़माया लक्षण का अलर्ट है / सेवा कैटलॉग के दायरे की सेवाएँ; दायरे की सेवाओं की सूची अवधि के आरंभ में तय होती है प्रतिशत सेवा कैटलॉग, अलर्ट के नियमों की सूची, टेस्ट के रिकॉर्ड सेवा कॉन्फ़िगरेशन प्रबंधन; मॉनिटरिंग और इवेंट प्रबंधन नई सेवा के लिए पूर्णता की परिभाषा त्रैमासिक
मॉनिटरिंग से पहचान का हिस्सा घटनाओं का हिस्सा जो उपयोगकर्ता या सहकर्मी के रिपोर्ट करने से पहले मॉनिटरिंग ने पहचानीं वे घटनाएँ जिनका पहला संकेत अलर्ट था / अवधि की घटनाएँ; घड़ी घटना के खुलने का समय है, और बिना दर्ज पहले संकेत वाली घटनाएँ अज्ञात के रूप में रिपोर्ट होती हैं, पहचानी हुई नहीं प्रतिशत पहले-संकेत के फ़ील्ड वाला घटना रिकॉर्ड, अलर्ट की समय-रेखा घटना प्रबंधन घटना की समीक्षा (घटना-पश्चात सीखना) मासिक
पहचान का समय (TTD) उपयोगकर्ता पर प्रभाव की शुरुआत और पहले अलर्ट के बीच बीता समय जिसने किसी इंसान को सूचित किया इंसान को सूचित करने वाले पहले अलर्ट का समय घटा प्रभाव की शुरुआत का समय, जहाँ प्रभाव की शुरुआत वह सबसे पहला समय है जब सेवा-स्तर संकेतक टूटा, जैसा घटना की समीक्षा में स्थापित; माध्यिका और 95वाँ परसेंटाइल रिपोर्ट करें; बिना अलर्ट वाली घटनाएँ बाहर और अलग गिनी जाती हैं मिनट घटना की समीक्षा, अलर्ट की समय-रेखा, सेवा-स्तर संकेतक का इतिहास घटना प्रबंधन; मॉनिटरिंग और इवेंट प्रबंधन घटना-पश्चात समीक्षा मासिक, प्रति घटना
अलर्ट की सघनता अलर्ट की मात्रा का हिस्सा जो सबसे शोर वाले कुछ अलर्ट नियमों से बनता है अवधि में सबसे अधिक अलर्ट वाले पाँच नियमों के अलर्ट / सभी अलर्ट; वही अलर्ट एक बार समूहित; पाँच नियमों की गिनती परिपाटी है जिसे टीम कारण बताकर बदल सकती है प्रतिशत अलर्ट के नियमों की सूची और पेजिंग का रिकॉर्ड सतत सुधार; मॉनिटरिंग और इवेंट प्रबंधन रेट्रोस्पेक्टिव सुधार बैकलॉग मासिक
अलर्ट के नियम की सामयिकता पेजिंग नियमों का हिस्सा जिनका स्वामी, रनबुक की कड़ी और सहमत अंतराल के भीतर समीक्षा है तीनों शर्तें पूरी करने वाले पेजिंग नियम / सभी पेजिंग नियम; अवधि में अक्षम किए नियम बाहर प्रतिशत अलर्ट के नियमों की सूची ज्ञान प्रबंधन; मॉनिटरिंग और इवेंट प्रबंधन परिचालन की तैयारी पर कार्य समझौता त्रैमासिक

अलर्ट की मात्रा को संदर्भ चाहिए, इसलिए उसे कार्रवाई योग्य अलर्ट की दर के बगल में पढ़ें। पहचान का समय उपयोगकर्ता पर प्रभाव की शुरुआत उपयोग करता है, टिकट नहीं, क्योंकि टिकट की घड़ी पहचान के बाद शुरू होती है; प्रभाव की शुरुआत घटना की समीक्षा का अनुमान है और उसे अनुमान के रूप में लेबल किया जाना चाहिए। झूठे पॉज़िटिव की दर और कार्रवाई योग्य अलर्ट की दर एक-दूसरे के पूरक नहीं हैं, क्योंकि अलर्ट सच हो सकता है और फिर भी किसी इंसान के समय के लायक नहीं।

सिफ़ारिशें

तय करें कि पेज किस लायक है

1. पेजिंग की नीति लिखें और उसे छोटी रखें। एक अनुच्छेद में बताएँ कि पेज क्या कमाता है (ऐसा लक्षण जो उपयोगकर्ता अभी या जल्द महसूस करेंगे, जिस पर कोई व्यक्ति कार्रवाई कर सके) और क्या नहीं। बाकी सब टिकट की कतार या डैशबोर्ड में जाता है। वितरित प्रणालियों की मॉनिटरिंग पर Google SRE की पुस्तक का अध्याय अच्छा आरंभ है (देखें विषय 5.2, SLI, SLO और त्रुटि बजट)।

2. लक्षणों पर अलर्ट करें, और कारण निदान के लिए रखें। "त्रुटि की दर सहमत सीमा से ऊपर" का पेज उपयोगकर्ताओं के बारे में पेज है। "CPU ऊँचा है" का पेज अनुमान के बारे में पेज है। कारण-स्तर के संकेत उन डैशबोर्डों पर रखें जहाँ लक्षण का अलर्ट बजने के बाद उत्तरदाता देखेगा, और किसी को पेज तक तभी बढ़ाएँ जब वह कार्रवाई करने लायक चेतावनी के साथ भरोसे से लक्षण की भविष्यवाणी करे।

3. पेजिंग की सीमाएँ सेवा-स्तर उद्देश्य से जोड़ें। जहाँ सेवा का सेवा-स्तर उद्देश्य (service level objective, SLO) है, वहाँ कच्ची सीमाओं की जगह उस दर पर अलर्ट करें जिस पर त्रुटि बजट खर्च हो रहा है। SLO पर अलर्ट करने का SRE Workbook का अध्याय बर्न रेट अलर्ट और परिशुद्धता, रिकॉल, पहचान के समय और रीसेट के समय के बीच के समझौतों का वर्णन करता है। यह तरीका उस पर पेज करता है जो उद्देश्य को खतरे में डालता है और संक्षिप्त उतार-चढ़ाव पर शांत रहता है जो नहीं डालते।

हर अलर्ट की लय में समीक्षा करें

4. छोटी, नियमित समीक्षा में हर अलर्ट को लेबल करें। हर रोटेशन के लिए हर सप्ताह पंद्रह मिनट रखें यह देखने को कि क्या बजा। हर अलर्ट के लिए एक लेबल दर्ज करें: कार्रवाई योग्य, झूठा पॉज़िटिव, असली पर पेज के लायक नहीं, या डुप्लिकेट। लेबल कार्रवाई योग्य अलर्ट की दर और झूठे पॉज़िटिव की दर का डेटा हैं, और समीक्षा वह जगह है जहाँ शोर वाले नियम अगली तिमाही की जगह अगले दिन ठीक होते हैं।

5. समीक्षा से बदलाव निकलवाएँ। हर सप्ताह कम से कम एक नियम ट्यून करने, घटाने, मिलाने या मिटाने के लिए चुनें, और बदलाव टीम के बैकलॉग में सामान्य काम के रूप में दर्ज करें।

6. बिना डरे मिटाएँ। टीमें अलर्ट इसलिए रखती हैं कि मिटाना जोखिम भरा लगता है और किसी को याद नहीं कि वह क्यों है। हर पेजिंग नियम से उद्देश्य और स्वामी रखवाएँ, और सहमत हों कि जो नियम बताई अवधि में कभी कार्रवाई तक नहीं ले गया उसे हटाया या घटाया जाए, बदलाव दर्ज करके ताकि पलटा जा सके। नियम की सामयिकता का माप अनुशासन को दिखाई देता बनाता है।

मापें कि मॉनिटरिंग क्या चूकती है

7. घटनाओं का वह हिस्सा ट्रैक करें जो उपयोगकर्ताओं ने पहले पाया। हर घटना के बाद दर्ज करें कि उसे पहली बार कैसे नोटिस किया गया: अलर्ट, सहकर्मी, ग्राहक, सहायता का टिकट, या नियमित जाँच। मॉनिटरिंग से पाया गया हिस्सा रिकॉल का निकटतम व्यावहारिक माप है। वह पूर्ण नहीं है, क्योंकि जो घटनाएँ किसी ने नोटिस नहीं कीं वे नमूने में कभी नहीं आतीं, इसलिए उसे अलर्टों के आवधिक टेस्ट से जोड़ें।

8. पहचान के समय का अनुमान ईमानदारी से लगाएँ। उपयोगकर्ता पर प्रभाव की शुरुआत घटना-पश्चात समीक्षा में सेवा-स्तर संकेतक के इतिहास से स्थापित करें, इससे नहीं कि किसी ने टिकट कब टाइप किया। माध्यिका और ऊँचा परसेंटाइल रिपोर्ट करें, और जिन घटनाओं में कोई अलर्ट था ही नहीं उन्हें अलग गिनती के रूप में दिखाएँ। एकल औसत सामान्य मामला और ख़राब पूँछ दोनों छिपाता है (देखें विषय 1.6, सेवा मीट्रिक्स के लिए सांख्यिकीय साक्षरता, और विषय 3.3, घटना की प्रतिक्रिया और समाधान का समय)।

9. उन अलर्टों को परखें जिन पर आप निर्भर हैं। पहचान की कवरेज तभी विश्वसनीय है जब अलर्ट को काम करते देखा गया हो। गेम डे या रिलीज़ के पूर्वाभ्यास में जाँच शामिल करें जो जान-बूझकर लक्षण पैदा करे और पुष्टि करे कि सही अलर्ट बजता है, सही रोटेशन तक पहुँचता है, और उपयोग करने योग्य रनबुक से जुड़ता है। जिस अलर्ट का कभी अभ्यास नहीं हुआ वह आशा है, नियंत्रण नहीं (देखें विषय 5.6, सेवा निरंतरता मीट्रिक्स)।

संकेत का रास्ता स्वस्थ रखें

10. मॉनिटरिंग की भी मॉनिटरिंग करें। मॉनिटरिंग प्रणाली की चुप विफलता ठीक स्वस्थ सेवा जैसी दिखती है। हार्टबीट जाँच जोड़ें जो अलर्ट की पाइपलाइन के डिलीवर करना बंद करने पर पेज करे, और दर्ज करें कि पाइपलाइन स्वयं कितनी बार विफल होती है।

11. गिनने से पहले समूहित करें, डुप्लिकेट हटाएँ और जोड़ें। संबंधित अलर्टों को एक में समूहित करें, पहले से खुले अलर्ट की पुनरावृत्तियाँ दबाएँ, और हर एक को स्वामी रोटेशन तक रूट करें। हर अलर्ट को उसकी रनबुक और उसके बनाए घटना या टिकट से जोड़ें, क्योंकि वही जोड़ आपको हाथ से गिने बिना कार्रवाई योग्य अलर्ट की दर और मॉनिटरिंग से पहचान का हिस्सा गणना करने देता है (देखें विषय 1.5, डेटा स्रोत और इंस्ट्रूमेंटेशन)।

गेमिंग के रास्ते और सुरक्षा-रेखाएँ

मीट्रिक इसमें गेमिंग कैसे होती है जोड़ीदार सुरक्षा-रेखा मीट्रिक या प्रथा
अलर्ट की मात्रा सीमाएँ बढ़ाना, लंबी देरियाँ जोड़ना, या अलर्ट पेज से चुप कतार में ले जाना ताकि गिनती गिरे जबकि समस्याएँ अनदेखी रहें; गिनती बदलने के लिए अलर्ट बाँटना या मिलाना मॉनिटरिंग से पहचान का हिस्सा और पहचान का समय; नियम कि हर घटाना कारण के साथ दर्ज हो और एक तिमाही बाद समीक्षित हो
कार्रवाई योग्य अलर्ट की दर बाद में अलर्ट को कार्रवाई योग्य लेबल करना, या योग्य होने के लिए मामूली कार्रवाई (टिप्पणी, स्वीकृति) करना; शोर वाले अलर्ट असमीक्षित छोड़ना ताकि वे भाजक में न आएँ दर के बगल में दिखाई असमीक्षित अलर्टों की गिनती; रोटेशन के बाहर के किसी से नमूने की जाँच; "उपयोगी कार्रवाई" की लिखित परिभाषा
झूठे पॉज़िटिव की दर झूठे पॉज़िटिव को संकरा परिभाषित करना ताकि "असली पर निरर्थक" अलर्ट सच गिने जाएँ; बिना लेबल के शोर वाले अलर्ट बंद करना कार्रवाई योग्य अलर्ट की दर और "असली पर पेज के लायक नहीं" का लेबल अलग ट्रैक; बंद अलर्टों का आवधिक नमूना
पहचान की कवरेज कवरेज का दावा करने के लिए हर सेवा में मामूली अलर्ट (पिंग) जोड़ना; ऐसे अलर्ट गिनना जो कभी परखे नहीं गए आवश्यकता कि अलर्ट उपयोगकर्ता-मुखी लक्षण देखे और पिछले 12 महीनों में आज़माया गया हो; मॉनिटरिंग से पहचान का हिस्सा
मॉनिटरिंग से पहचान का हिस्सा हर घटना को "मॉनिटरिंग से पहचानी" दर्ज करना तब भी जब उपयोगकर्ता ने पहले रिपोर्ट किया; घटना के बाद अलर्ट बनाकर उसका हवाला देना; ख़राब संख्या से बचने के लिए पहले-संकेत का फ़ील्ड खाली छोड़ना हिस्से के बगल में दिखाई अज्ञात की गिनती; पहले संकेत का प्रमाण स्मृति से नहीं, अलर्ट की समय-रेखा से लिया जाए; ग्राहक द्वारा रिपोर्ट की घटनाएँ सहायता के रिकॉर्ड से जुड़ी
पहचान का समय (TTD) प्रभाव की शुरुआत वास्तविकता से देर से घोषित करना; बिना अलर्ट वाली घटनाएँ बाहर रखना; पूँछ छिपाने के लिए माध्य रिपोर्ट करना प्रभाव की शुरुआत सेवा-स्तर संकेतक के इतिहास से ली जाए; बिना अलर्ट वाली घटनाएँ गिनी और दिखाई जाएँ; माध्यिका और 95वाँ परसेंटाइल साथ रिपोर्ट
अलर्ट की सघनता एक शोर वाले नियम को कई में बाँटना ताकि कोई भी शीर्ष पाँच में न हो; नियमों के नाम बदलना सघनता को नियम के साथ-साथ अंतर्निहित दोष या सेवा के अनुसार भी रिपोर्ट करें; उसके बगल में कुल मात्रा और कार्रवाई योग्य अलर्ट की दर ट्रैक करें
अलर्ट के नियम की सामयिकता शर्त पूरी करने के लिए प्लेसहोल्डर स्वामी, खाली रनबुक की कड़ियाँ, या रबर-स्टैंप समीक्षा जोड़ना जाँच कि रनबुक की कड़ी खुलती है और असली प्रतिक्रिया में उपयोग हुई; गेम डे में रनबुक परखने की प्रथा

स्वस्थ पठन कई चीज़ें साथ दिखाता है। प्रति रोटेशन अलर्ट की मात्रा स्थिर या घटती है और उस स्तर के भीतर है जिसे टीम ने टिकाऊ चुना। कार्रवाई योग्य अलर्ट की दर कई महीनों में बढ़ती है क्योंकि सबसे शोर वाले नियम ट्यून होते हैं। मॉनिटरिंग से पहचान का हिस्सा ऊँचा है और पहचान का समय छोटा है और मात्रा घटने पर लंबा नहीं हो रहा, जो सिद्ध करता है कि शांति कमाई गई, खरीदी नहीं गई। पहचान की कवरेज इसलिए बढ़ती है कि सेवाएँ परखी जाती हैं, इसलिए नहीं कि मामूली अलर्ट जोड़े गए। यदि पहचान के हिस्से या पहचान के समय के बिगड़ने के साथ मात्रा गिरे, तो टीम ने रिकॉल देकर शांति ली है, और सुरक्षा-रेखाएँ ही उसे उजागर करती हैं।

समझौते: लाभ और हानि

तरीका लाभ हानि
कम, लक्षण-आधारित पेज शांत रातें, हर पेज में ऊँचा भरोसा, सामयिक रखना आसान धीरे-धीरे बनती समस्याओं की देर से पहचान का जोखिम; बाकी के लिए अच्छी टिकट और डैशबोर्ड की आदतें चाहिए
कई संवेदनशील अलर्ट कारण-स्तर की परेशानी की जल्दी चेतावनी; कम छूटी घटनाएँ अलार्म की थकान, धीमी स्वीकृति, और ऑन-कॉल रोटेशन से लोगों का जाना
SLO के बर्न रेट अलर्ट पेज उससे जुड़े जो उद्देश्य को खतरे में डालता है; कम उतार-चढ़ाव अच्छे संकेतक और सहमत उद्देश्य चाहिए; पहचान के समय और परिशुद्धता का संतुलन ट्यूनिंग लेता है
साप्ताहिक अलर्ट की समीक्षा तेज़ फीडबैक; शोर वाले नियम जल्दी ठीक हर सप्ताह समय लेती है; बदलाव न हो तो नाटक बन जाती है
इंसानों द्वारा लेबल करना वह विवेक पकड़ता है जो कोई औज़ार नहीं रखता व्यक्तिपरक; परिभाषाएँ लिखी न हों तो समीक्षकों और रोटेशनों में लेबल भटकते हैं
स्वचालित दमन और समूहन बड़े पैमाने पर शोर काटता है; दोहराए पेज घटाता है नियम ग़लत हों तो असली संकेत छिपा सकता है; उसे अपनी मॉनिटरिंग और समीक्षा चाहिए

हर चुनाव परिशुद्धता को रिकॉल के विरुद्ध तौलता है, और समझौता जान-बूझकर किया और प्रति सेवा लिखा जाना चाहिए, क्योंकि वही संदर्भ है जो किसी को भी संख्याएँ निष्पक्ष पढ़ने देता है। जिस सेवा में छूटी विफलता के गंभीर परिणाम हैं, वह जल्दी चेतावनी के लिए कम कार्रवाई योग्य दर स्वीकार कर सकती है, ट्रायेज की परत के साथ जो रात में अतिरिक्त अलर्ट टिकट की कतार में भेजती है।

अपनी टीम के साथ चर्चा के प्रश्न

1. हम किस बात पर जगाया जाना चाहेंगे, और पिछले महीने के कौन-से पेज उस मानक पर खरे उतरे? पेजिंग की नीति एक-दो वाक्यों में लिखें, फिर पिछले महीने के पेज लें और हर एक को उसके विरुद्ध परखें। अभ्यास उससे निकले प्रतिशत से अधिक मूल्यवान है, क्योंकि असहमतियाँ दिखाती हैं कि टीम की अपेक्षाएँ कहाँ भिन्न हैं। अनावश्यक पेज घटाने के उम्मीदवार के रूप में दर्ज करें।

2. यदि सबसे शोर वाला अलर्ट का नियम कल गायब हो जाए, तो हम क्या खोएँगे? यह प्रश्न मात्रा के अनुसार शीर्ष पाँच नियमों में से हर एक के लिए पूछें। अक्सर कोई ऐसी विशिष्ट विफलता नहीं बता पाता जो नियम ने कभी पकड़ी, और यह संकेत है कि उसे ट्यून या हटाया जा सकता है। जहाँ कोई बता सके, वहाँ पूछें कि क्या वही विफलता लक्षण का अलर्ट भी बजाएगी।

3. हमें कैसे पता चलता है कि मॉनिटरिंग ने क्या चूका? पिछली कुछ घटनाओं को देखें और पूछें कि पहले किसने नोटिस किया और उससे पहले प्रभाव कितनी देर चला। उत्तर नए औज़ारों के बिना मॉनिटरिंग से पहचान का हिस्सा और मोटा पहचान का समय देता है। चर्चा करें कि कौन-सा संकेत हर एक को पहले पकड़ता।

4. क्या हमारा ऑन-कॉल का भार टिकाऊ है, और हमें कैसे पता चलेगा? सहमत हों कि रोटेशन के लिए टिकाऊ का क्या अर्थ है, जैसे प्रति सप्ताह काम के घंटों के बाहर के पेज की सीमा, और रुझान प्रति रोटेशन देखें, प्रति व्यक्ति नहीं। यदि भार सहमत स्तर से ऊपर है, तो उसे सेवा का दोष मानें और उसे घटाने का काम योजनाबद्ध करें। माप विषय 5.7, टॉइल और ऑन-कॉल मीट्रिक्स से संगत रखें।

5. हमारे कौन-से अलर्ट हमने कभी नहीं परखे, और उन्हें सुरक्षित रूप से कैसे परखा जा सकता है? उन सेवाओं की सूची बनाएँ जो एक लक्षण के अलर्ट पर निर्भर हैं और पूछें कि क्या किसी ने उसे असली घटना में या पूर्वाभ्यास में बजते देखा है। एक टेस्ट की योजना बनाएँ और पूरा रास्ता जाँचें: पहचान, रूटिंग, सूचना, रनबुक। विचार करें कि क्या अलर्ट की पाइपलाइन की विफलता दिखाई भी देगी।

6. यहाँ इन संख्याओं में गेमिंग कैसे हो सकती है, और हम क्या नोटिस करेंगे? टीम से ईमानदारी से बताने को कहें कि वे हर आँकड़े को बिना कुछ सुधारे बेहतर कैसे दिखा सकते हैं। फिर सहमत हों कि कौन-सी सुरक्षा-रेखा उसे दिखाएगी और उसे कौन देखता है। चालों को पहले से नामित करना उन्हें कम आकर्षक बनाता है (देखें विषय 1.2, गुडहार्ट का नियम और मीट्रिक्स का मनोविज्ञान)।

चार दृष्टिकोण

उत्पाद और डिलीवरी टीमें

जो टीमें सेवा बनाती और चलाती हैं वे तय करती हैं कि वह अपने बारे में क्या रिपोर्ट करे, इसलिए अलर्ट की गुणवत्ता पूर्णता की परिभाषा में शुरू होती है। जो नई फ़ीचर अपने परखे संकेतक और अलर्ट के साथ शिप होती है, वह पहली घटना के बाद जोड़ी गई मॉनिटरिंग से बचती है। अलर्ट की ट्यूनिंग को सामान्य बैकलॉग का काम मानें।

सेवा और संचालन टीमें

संचालन टीमें पेजर ढोती हैं और लागत पहले महसूस करती हैं, इसलिए समीक्षा की लय, लेबलिंग और पाइपलाइन की हार्टबीट उनके हैं। जब अलर्ट ग़लत हो, तब सुधार नियम के स्वामी का है, उसका नहीं जिसे पेज मिला।

नेतृत्व और शासन

नेता सेवा के अनुसार पहचान और कार्रवाई योग्यता के आँकड़े माँग सकते हैं, ट्यूनिंग का समय वित्त दे सकते हैं, और अलर्ट की मात्रा पर ऐसे लक्ष्य का विरोध कर सकते हैं जो चुप्पी को पुरस्कृत करता है। घटती मात्रा तभी अच्छी खबर है जब पहचान का हिस्सा और पहचान का समय स्थिर रहें। टिकाऊ ऑन-कॉल की सीमाएँ कर्मचारी-व्यवस्था और डिज़ाइन का निर्णय हैं, प्रेरणा का नहीं।

ग्राहक और उपयोगकर्ता

ग्राहक अलर्ट कभी नहीं देखते; वे देखते हैं कि सेवा विफल हुई या नहीं और ठीक होने में कितना समय लगा। अच्छी मॉनिटरिंग उन घटनाओं के रूप में दिखती है जो उनके नोटिस करने से पहले ठीक हुईं, और कम ऐसे मामलों में जहाँ ग्राहक ने पहले रिपोर्ट किया। जहाँ संगठन अनुभव के माप इस्तेमाल करता है (देखें विषय 5.1, SLA, OLA और XLA मीट्रिक्स), वहाँ उपयोगकर्ताओं द्वारा पहले रिपोर्ट की घटनाओं का हिस्सा अनुभव के अंतर का सीधा संकेतक है।

व्यवहार में: सेवा प्रबंधन का एक उदाहरण

एक मध्यम आकार का ऑनलाइन खुदरा विक्रेता चार उत्पाद टीमों और ऑन-कॉल रोटेशन को सहारा देने वाली एक प्लैटफ़ॉर्म टीम के साथ ऑर्डरिंग प्लैटफ़ॉर्म चलाता है। इस उदाहरण की सभी संख्याएँ दृष्टांत के लिए हैं। चार सप्ताहों में (दृष्टांत) रोटेशन को 240 पेज मिले, जिनमें 70 रात 22:00 और सुबह 07:00 के बीच थे। टीम चार लेबल से हर पेज की समीक्षा करती है: कार्रवाई योग्य, झूठा पॉज़िटिव, असली पर पेज के लायक नहीं, और डुप्लिकेट।

समीक्षा 31 प्रतिशत की कार्रवाई योग्य अलर्ट की दर (दृष्टांत) और 22 प्रतिशत की झूठे पॉज़िटिव की दर (दृष्टांत) दिखाती है। पाँच नियमों ने 58 प्रतिशत पेज (दृष्टांत) बनाए, और सबसे बड़ा बैच सर्वर पर डिस्क की सीमा था जो हमेशा अपने-आप ठीक हो जाता था। पिछली तिमाही में मॉनिटरिंग से पहचान का हिस्सा 62 प्रतिशत (दृष्टांत) था, और पहचान का माध्य समय 14 मिनट (दृष्टांत) था, 95वें परसेंटाइल पर 51 मिनट (दृष्टांत)।

टीम तीन शोर वाले नियम टिकट की कतार में घटाती है, डुप्लिकेट मिलाती है ताकि एक दोष एक पेज बनाए, चेकआउट पर कच्ची त्रुटि गिनती के अलर्ट की जगह त्रुटि बजट के बर्न रेट का अलर्ट लगाती है (देखें विषय 5.2, SLI, SLO और त्रुटि बजट), और ऑर्डर की पुष्टि के ईमेल के लिए लक्षण का अलर्ट जोड़ती है, जो ग्राहकों द्वारा रिपोर्ट की दो घटनाओं के पीछे का अंतर था। हर बदलाव स्वामी के साथ बैकलॉग की मद है। चार सप्ताह बाद पेज 96 पर आ जाते हैं (दृष्टांत) और कार्रवाई योग्य दर 64 प्रतिशत तक बढ़ती है (दृष्टांत), जबकि पहचान का हिस्सा 71 प्रतिशत तक बढ़ता है (दृष्टांत) और पहचान का माध्य समय 14 मिनट पर टिकता है। शांति कमाई हुई लगती है।

गेमिंग का जोखिम तीसरे महीने में दिखता है। नए प्रबंधक चार सप्ताहों में 60 से कम पेज का अनौपचारिक लक्ष्य रखते हैं, और एक रोटेशन चेकआउट की त्रुटि के अलर्ट की देरी बढ़ाकर वहाँ पहुँचता है। उसके पहचान का हिस्सा 55 प्रतिशत तक गिरता है (दृष्टांत) और 95वें परसेंटाइल का पहचान का समय 80 मिनट तक चढ़ता है (दृष्टांत)। चूँकि सुरक्षा-रेखाएँ मात्रा के बगल में हैं, समीक्षा इसे पकड़ लेती है। टीम मात्रा का लक्ष्य वापस लेती है, अलर्ट बहाल करती है, और मामला मीट्रिक रजिस्टर में दर्ज करती है (देखें विषय 1.4, मीट्रिक्स का शासन और स्वामित्व)।

एजाइल, AI, स्वचालन और विश्लेषण

एजाइल

अलर्ट की नियमित लय में समीक्षा करें, ऐसे उत्पाद के रूप में जिसका उपयोग ऑन-कॉल लोग करते हैं, और शोर वाले अलर्ट हितधारकों के साथ हटाएँ या ट्यून करें। सावधानी यह है कि अलर्ट की मात्रा घटाने का लक्ष्य उपयोगी अलर्ट हटा सकता है।

AI

AI अलर्ट को समूहित, सारांशित और क्रमबद्ध कर सकता है, और कारण सुझा सकता है। शोर घटाने को असली घटनाओं की छूट की दर से जोड़ें, और AI के उन समूहनों का हिस्सा ट्रैक करें जिन्हें किसी इंसान ने बाँटा या मिलाया। सावधानी यह है कि मॉडल द्वारा दमन दुर्लभ पर गंभीर अलर्ट छिपा सकता है।

स्वचालन

अलर्ट नियम और परिणाम के अनुसार अपने-आप गिनें, और अलर्ट के स्वचालन को दमन की त्रुटियों पर मापें। सावधानी यह है कि अपने-आप हल हुए अलर्ट स्वस्थ प्रणाली जैसे दिख सकते हैं जब नियम बस झूल रहा हो।

विश्लेषण

कार्रवाई योग्य अलर्ट की दर और पहचान की कवरेज, उन घटनाओं के साथ जिन्हें उपयोगकर्ताओं ने पहले नोटिस किया, रिपोर्ट करें। यह जिस निर्णय को सूचित करता है वह है कि कौन-से अलर्ट ठीक या हटाने हैं। सावधानी यह है कि ज्ञात घटनाओं के विरुद्ध मापी गई कवरेज उन विफलता के तरीकों को अनदेखा करती है जो किसी ने अभी देखे नहीं।

क्षेत्र का नज़रिया

स्टार्टअप। मुट्ठी भर इंजीनियर सब ऑन-कॉल हों तो प्राथमिकता छोटी पेजिंग नीति और कमाई वाले रास्तों पर कुछ लक्षण के अलर्ट है। सोमवार को दस मिनट देखना कि किसने जगाया, पर्याप्त है। मुख्य जोखिम अलर्ट का बिल्कुल न होना है, जिससे ग्राहक ही मॉनिटरिंग बन जाते हैं; गिनें कि कितनी बार ग्राहक ने आपको पहले बताया।

छोटा व्यवसाय। छोटे संगठन अक्सर आपूर्तिकर्ता की मॉनिटरिंग पर निर्भर करते हैं। उपयोगी माप हैं उन थोड़ी प्रणालियों के लिए पहचान की कवरेज जिनके रुकने से व्यवसाय रुकता है, और उपयोगकर्ताओं द्वारा मिली घटनाओं का हिस्सा। आपूर्तिकर्ताओं से वह अलर्ट डेटा माँगें जिसके आपके अनुबंध में आप हकदार हैं।

उद्यम। बड़े संगठनों में कई औज़ार और रोटेशन हैं, और हर टीम "कार्रवाई योग्य" को अलग परिभाषित कर सकती है। परिभाषाएँ और लेबल मानकीकृत करें, टीम के स्तर पर समीक्षा करें, और औज़ार की जगह सेवा के अनुसार जोड़ें। इवेंट सहसंबंध के प्लैटफ़ॉर्म बड़े पैमाने पर मात्रा घटाते हैं पर उन्हें अपनी रिकॉल की जाँचें चाहिए।

सरकार और सार्वजनिक क्षेत्र। कुछ सेवाएँ कार्यालय के घंटों में चलती हैं और अन्य, जैसे आपातकाल या लाभ की प्रणालियाँ, निरंतर। जहाँ विफलता के कानूनी या सुरक्षा परिणाम हैं वहाँ पहचान की कवरेज और परखे अलर्ट सबसे अधिक मायने रखते हैं, और टेस्ट के रिकॉर्ड ऑडिट को सहारा दे सकते हैं। निगरानी निकायों को कच्ची अलर्ट की गिनतियाँ नहीं, कवरेज और पहचान रिपोर्ट करें, जिन्हें ग़लत पढ़ना आसान है (देखें विषय 8.5, विनियमित और सरकारी रिपोर्टिंग)।

व्यावसायिक औचित्य: प्रेरणाएँ, ROI और TCO

निवेश के कारण व्यावहारिक हैं। बेहतर पहचान उपयोगकर्ताओं के प्रभावित रहने का समय घटाती है। कम निरर्थक पेज नींद की रक्षा करते हैं, रोटेशन से लोगों का जाना घटाते हैं, और उन अलर्टों के लिए ध्यान बचाते हैं जो मायने रखते हैं। ख़राब अलर्ट की गुणवत्ता की लागत देखना कठिन है क्योंकि वह टूटी नींद, धीमी प्रतिक्रियाओं और अनुभवी इंजीनियरों के जाने में फैली है।

इन मापों को जुटाने की लागत छोटी है यदि अलर्ट, पेजिंग और घटना के औज़ार जोड़े जा सकें, और मध्यम यदि लेबल हाथ से जोड़े जाएँ। मुख्य लागतें साप्ताहिक समीक्षा का समय, ट्यूनिंग और मिटाने का काम, और कभी-कभार पहचान के टेस्ट हैं। अनुपयोगी नियमों की छँटाई मॉनिटरिंग के लाइसेंस और स्टोरेज की लागत भी घटाती है, और स्वामित्व की कुल लागत में लोगों का समय शामिल होना चाहिए।

प्रतिफल कुछ महीनों में शांत रोटेशनों, बढ़ते मॉनिटरिंग से पहचान के हिस्से और न बिगड़ते पहचान के समय के रूप में दिखता है। इसे पैसे में बदलने के लिए, अपने आँकड़ों से घटना के घंटों और रोटेशन से लोगों के जाने की लागत की तुलना समीक्षा की लागत से करें। जब तक आप सत्यापित स्रोत का हवाला न दे सकें, उद्योग के औसत उपयोग न करें।

प्रतिरूप-विरोधी और जाल

  • अलर्ट की मात्रा का लक्ष्य रखना। गिनती पर लक्ष्य चुप्पी को पुरस्कृत करता है और अलर्ट छिपाने को न्योता देता है। लक्ष्य कार्रवाई योग्य अलर्ट की दर और पहचान के हिस्से पर रखें, और मात्रा को टीम की चुनी टिकाऊपन की सीमा के साथ संदर्भ का आँकड़ा मानें।
  • हर कारण पर अलर्ट करना। दर्जनों कारण-स्तर के पेज शोर पैदा करते हैं और फिर भी वह लक्षण चूकते हैं जिसके बारे में किसी ने नहीं सोचा। इसके बजाय उपयोगकर्ता-मुखी लक्षणों पर अलर्ट करें।
  • हर घटना के बाद अलर्ट जोड़ना और कभी न हटाना। हर नए अलर्ट को उन अलर्टों की समीक्षा से जोड़ें जिन्हें वह अनावश्यक बनाता है।
  • लेबल किए बिना अलर्ट गिनना। उपयोगिता के निर्णय के बिना गिनती शोर वाले रोटेशन और व्यस्त रोटेशन में अंतर नहीं बता सकती। हर सप्ताह एक नमूना लेबल करें, भले ही कुछ ही मिनट उपलब्ध हों।
  • कवरेज को अलर्टों की गिनती मानना। जिस सेवा में पचास कारण के अलर्ट हैं और लक्षण का कोई अलर्ट नहीं, वह ख़राब ढंग से कवर है। कवरेज को परखी हुई लक्षण की पहचान के रूप में परिभाषित करें।
  • संभाले या स्वीकृत पेज से लोगों को रैंक करना। यह रोटेशन के उन सदस्यों को दंडित करता है जो कठिन शिफ़्ट लेते हैं और पेजर से बचने को प्रोत्साहित करता है। रोटेशन और सेवा के अनुसार रिपोर्ट करें, और डिज़ाइन के सुधार खोजें।
  • अलर्ट के रास्ते को कभी न परखना। जिस अलर्ट को काम करते देखा नहीं गया वह धारणा है। गेम डे में अलर्ट के टेस्ट शामिल करें, और पाइपलाइन की स्वयं मॉनिटरिंग करें।

परिपक्वता मॉडल

आयाम आरंभ विकास मानकीकरण प्रबंधन समन्वयन
पेजिंग की नीति और नियमों का स्वामित्व अलर्ट तदर्थ जोड़े गए; कई क्यों हैं यह कोई नहीं जानता कुछ टीमों के पास अपने नियमों की नीति और स्वामी हैं एक छोटी पेजिंग नीति; हर पेजिंग नियम का स्वामी और रनबुक है नियम की सामयिकता ट्रैक और समीक्षित; अनुपयोगी नियम कार्यक्रम से हटाए जाते हैं सेवाओं के बदलने पर टीमों और आपूर्तिकर्ताओं में नीति और स्वामित्व अनुकूलित
अलर्ट की गुणवत्ता का माप शोर की शिकायतें; कोई गिनती नहीं कुछ टीमें मात्रा गिनती हैं; कोई लेबल नहीं आम लेबल के साथ साप्ताहिक समीक्षा; कार्रवाई योग्य अलर्ट की दर और झूठे पॉज़िटिव की दर सेवा के अनुसार रिपोर्ट दरों का रुझान और पहचान के मापों से जोड़ा; सुधार का काम वित्तपोषित सेवाओं और आपूर्तिकर्ताओं में गुणवत्ता जुड़ी; निर्णयों को सूचित करना बंद करने पर परिभाषाएँ संशोधित
पहचान और कवरेज अधिकांश समस्याएँ ग्राहक और सहकर्मी रिपोर्ट करते हैं कुछ प्रमुख सेवाओं पर लक्षण के अलर्ट परखे अलर्टों के साथ पहचान की कवरेज ट्रैक; हर घटना के लिए पहला संकेत दर्ज पहचान का समय और मॉनिटरिंग से पहचान का हिस्सा सुरक्षा-रेखा के साथ समीक्षित; अंतर नियोजित काम बनते हैं निर्भरताओं और आपूर्तिकर्ताओं में पहचान नियमित परखी जाती है, अलर्ट की पाइपलाइन सहित
सुधार में उपयोग अलर्ट के सुधार सबसे बुरी रात के बाद सुधार घटनाओं के बाद हर समीक्षा कम से कम एक बदलाव निकालती है बदलाव मात्रा, कार्रवाई योग्यता और पहचान पर उनके असर तक ट्रैक रोटेशन का भार, पहचान और त्रुटि बजट निवेश को दिशा देने के लिए साथ समीक्षित

जाँच-सूची

  • हमारे पास कुछ वाक्यों की लिखित पेजिंग नीति है जो बताती है कि पेज क्या कमाता है।
  • हर पेजिंग नियम का स्वामी, उद्देश्य और रनबुक की कड़ी है।
  • हर रोटेशन कम से कम साप्ताहिक समीक्षा करता है कि क्या बजा और हर अलर्ट को लेबल करता है।
  • हर समीक्षा नियम में कम से कम एक दर्ज बदलाव निकालती है।
  • हम अलर्ट की मात्रा, कार्रवाई योग्य अलर्ट की दर और झूठे पॉज़िटिव की दर रोटेशन और सेवा के अनुसार रिपोर्ट करते हैं, व्यक्ति के अनुसार कभी नहीं।
  • हर घटना दर्ज करती है कि उसे पहली बार कैसे पहचाना गया, अज्ञात के विकल्प के साथ।
  • हम प्रभाव की शुरुआत सेवा-स्तर संकेतक के इतिहास से आँकते हैं और पहचान के समय की माध्यिका तथा 95वाँ परसेंटाइल रिपोर्ट करते हैं।
  • दायरे की हर सेवा में लक्षण का अलर्ट है जिसे पिछले 12 महीनों में परखा गया है।
  • अलर्ट की पाइपलाइन रुकने पर हार्टबीट जाँच हमें पेज करती है।
  • हमने हर रोटेशन के लिए काम के घंटों के बाहर का टिकाऊ भार सहमत किया है और उसकी समीक्षा करते हैं।
  • अकेली अलर्ट की मात्रा पर कोई लक्ष्य नहीं रखा गया है।

AI प्रॉम्प्ट

उद्देश्य: संकेतकों और परिणामों से किसी सेवा के लिए पेजिंग की नीति का मसौदा बनाएँ।

Help me draft a paging policy for the service [service name].
Context: users are [user group]; the user-facing symptoms we care about are [symptoms, for example errors, latency, unavailability]; the consequences of a missed failure are [consequences]; the on-call rotation is [rotation description, for example hours and team size].
Write a short policy (under 200 words) that says what earns a page, what goes to a ticket queue, and what stays on a dashboard.
Do not invent thresholds or benchmark values; leave [threshold] placeholders for us to set from our own data.
List the questions you would ask us before finalizing it, and list your assumptions.

उद्देश्य: शोर के पैटर्न के लिए निर्यात की अलर्ट समीक्षा का विश्लेषण करें।

I will paste a table of alerts from [period] for the rotation [rotation name] with columns: [column names, for example rule, time, label, action taken, service].
Calculate the actionable alert rate, the false positive rate, the out-of-hours share, and the share of alerts from the five noisiest rules, using only the data I paste.
Suggest which rules to tune, merge, demote, or delete, with a reason for each, and mark each suggestion as a hypothesis to check.
Report by rule, service, and rotation, never by person. Do not invent benchmark values.
List your assumptions and any rows you excluded.

उद्देश्य: प्रकाशित करने से पहले अलर्ट के मापों के सेट में गेमिंग के जोखिम जाँचें।

Here are the alert quality metrics we plan to publish: [list of metrics with definitions and formulas].
For each metric, describe two ways it could be gamed or misread in our context of [organization type and service], and suggest a paired guardrail from the same list or a practice we can adopt.
Point out any metric that is shown without its guardrail.
Do not invent sources or benchmark values.
List your assumptions about how our tools record alerts and incidents.

उद्देश्य: कमज़ोर कवरेज वाली सेवाओं के लिए पहचान के टेस्ट की योजना बनाएँ।

Our services are [list of services], and the symptom alerts we believe exist are [list of alerts].
Propose a safe test plan for the next [game day or rehearsal] that checks, for each service, that a deliberate symptom triggers the alert, reaches [rotation], and links to a runbook.
Say who should be told beforehand and how to record results for detection coverage.
Do not invent tool features; ask me how [monitoring tool] works.
List your assumptions.

AI स्किल

  • Service Management Metrics skill: संबंधित माप को परिभाषित करने वाला विषय और अलर्ट की गुणवत्ता के माप के बगल में रहने वाली सुरक्षा-रेखा खोजने के लिए उपयोग करें।
  • Service Management Metrics maintainer skill: यह जाँचने के लिए उपयोग करें कि इस विषय के संपादन टेम्पलेट, गेमिंग की तालिका और अंतर-संदर्भों को संगत रखते हैं।

मुख्य निष्कर्ष

  • अलर्ट को इससे आँकें कि वे कार्रवाई तक ले गए, और मॉनिटरिंग को इससे कि उसने कितनी असली परेशानी पकड़ी; परिशुद्धता और रिकॉल एक-दूसरे की रक्षा करते हैं।
  • उन लक्षणों पर पेज करें जो उपयोगकर्ता महसूस करते हैं, जहाँ सेवा-स्तर उद्देश्य हो वहाँ सीमाएँ उससे जोड़ें, और कारण निदान के लिए रखें।
  • हर सप्ताह समीक्षा करें कि क्या बजा, उसे लेबल करें, और हर बार कम से कम एक बदलाव करें।
  • अकेली अलर्ट की मात्रा पर कभी लक्ष्य न रखें; उसे कार्रवाई योग्य अलर्ट की दर, मॉनिटरिंग से पहचान के हिस्से और पहचान के समय के बगल में पढ़ें।
  • अलर्टों और अलर्ट की पाइपलाइन को परखें, क्योंकि बिना परखा अलर्ट धारणा है।
  • रोटेशन और सेवा के अनुसार रिपोर्ट करें, व्यक्ति के अनुसार कभी नहीं, और टिकाऊ ऑन-कॉल भार को डिज़ाइन का लक्ष्य मानें।

संदर्भ और आगे का अध्ययन

  1. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, "Monitoring Distributed Systems," https://sre.google/sre-book/monitoring-distributed-systems/
  2. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, "Practical Alerting from Time-Series Data," https://sre.google/sre-book/practical-alerting/
  3. Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, "Alerting on SLOs," https://sre.google/workbook/alerting-on-slos/
  4. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  5. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  6. Wikipedia, System monitoring.
  7. Wikipedia, False positives and false negatives.
  8. Wikipedia, Precision and recall.
  9. Wikipedia, Signal-to-noise ratio.
  10. Wikipedia, Alarm fatigue.
  11. Wikipedia, On-call.
  12. Wikipedia, Site reliability engineering.
  13. Wikipedia, Service-level objective.