SLI, SLO और त्रुटि बजट
सेवा-स्तर लक्ष्य "पर्याप्त भरोसेमंद" को एक ऐसी संख्या में बदल देता है जिसे उपयोगकर्ता, उत्पाद टीमें और संचालन टीमें सब देख सकते हैं, और उससे बचा हुआ त्रुटि बजट उस संख्या को दोष-निर्धारण की बहस के बजाय जोखिम के बारे में एक साझा, खर्च किए जा सकने वाले निर्णय में बदल देता है।
अवलोकन और प्रेरणा
हर सेवा में भरोसेमंदी का एक स्तर पहले से होता है, चाहे किसी ने उसे मापा हो या नहीं। अगर कोई उसे साफ़ नहीं बताता, तो उपयोगकर्ता एक स्तर मान लेते हैं, उत्पाद टीम दूसरा, और संचालन टीम तीसरे का बचाव करती है। यह अंतर किसी आउटेज के दौरान सामने आता है। यह विषय उन तीन जुड़े हुए विचारों को समझाता है जिन्हें साइट रिलायबिलिटी इंजीनियरिंग (site reliability engineering, SRE) इस खाई को पाटने के लिए इस्तेमाल करती है: सेवा-स्तर संकेतक, सेवा-स्तर लक्ष्य और त्रुटि बजट।
सेवा-स्तर संकेतक (service level indicator, SLI) सेवा के किसी एक पहलू की माप है, जैसा उपयोगकर्ता उसे अनुभव करते हैं। आम पहलू ये हैं: अनुरोध सफल हुआ या नहीं, उसमें कितना समय लगा, लौटाया गया डेटा ताज़ा था या नहीं, और वह सही था या नहीं। अच्छा SLI एक अनुपात के रूप में व्यक्त किया जाता है: तय अवधि में अच्छे इवेंट की संख्या को वैध इवेंट की संख्या से भाग देना। सेवा-स्तर लक्ष्य (service level objective, SLO) एक अवधि में उस अनुपात का लक्ष्य है, जैसे "लगातार चलने वाले 28 दिनों में 99.9 प्रतिशत वैध चेकआउट अनुरोध सफल हों।" त्रुटि बजट वह है जिसे लक्ष्य के भीतर गड़बड़ होने की छूट है: 100 प्रतिशत में से SLO घटाने पर जो बचे। 99.9 प्रतिशत पर बजट वैध इवेंट का 0.1 प्रतिशत होता है।
त्रुटि बजट बातचीत का स्वरूप बदल देता है। अगर सेवा ने अपना बजट कम खर्च किया है, तो टीम के पास तेज़ी से रिलीज़ करने, जोखिम भरे बदलाव आज़माने और प्रयोग चलाने की गुंजाइश है। अगर बजट लगभग खत्म है, तो वही टीम फ़ीचर का काम धीमा करती है और बजट लौटने तक भरोसेमंदी पर मेहनत करती है। निर्णय पहले से तय संख्या से निकलता है, इसलिए यह इस पर निर्भर नहीं करता कि बैठक में कौन सबसे वरिष्ठ या सबसे प्रभावशाली है।
बर्न रेट (burn rate) यह बताती है कि बजट कितनी तेज़ी से खर्च हो रहा है, उस दर की तुलना में जिस पर वह ठीक अवधि के अंत तक पूरा खर्च होता। बर्न रेट 1 का मतलब है कि बजट ठीक अवधि के अंत पर खत्म होगा। बर्न रेट 10 का मतलब है कि वह अवधि के दसवें हिस्से में खत्म हो जाएगा। बर्न रेट SLO और अलर्टिंग के बीच का पुल है, क्योंकि वह बताती है कि कोई समस्या लक्ष्य को कितनी महँगी पड़ रही है, यानी कितनी तात्कालिक है।
एजाइल और ITIL के दृष्टिकोण यहाँ मिलते हैं, और संबंधित विचारों के लिए वे अलग शब्दावली इस्तेमाल करते हैं। ITIL 4 में सेवा-स्तर प्रबंधन वह प्रैक्टिस है जो सेवा के स्तर तय करती, मापती और रिपोर्ट करती है, और सेवा-स्तर समझौता (service level agreement, SLA) प्रदाता और ग्राहक के बीच का दस्तावेज़ी समझौता है (देखें विषय 5.1, SLA, OLA और XLA मीट्रिक्स)। SLO एक आंतरिक लक्ष्य है जो आमतौर पर SLA से अधिक कड़ा होता है और जिसका स्वामित्व सेवा चलाने वाली टीम के पास होता है। SLA के परिणाम होते हैं, जैसे क्रेडिट या जुर्माना। SLO में एक निर्णय-नियम होता है। जो एजाइल टीमें अपनी सेवाओं की स्वामी हैं ("जो बनाए, वही चलाए"), वे SLO की मदद से भरोसेमंदी की लागत को उसी बैकलॉग में दिखाती हैं जिसमें फ़ीचर हैं। ITIL प्रैक्टिस अपनाने वाली टीमें SLI को ग्राहक की ज़रूरत का मापने योग्य रूप, और SLO को वह कार्यकारी लक्ष्य मान सकती हैं जो SLA को सुरक्षित रखता है।
उपलब्धता (availability) सबसे जाना-पहचाना SLI है, और उसका विस्तार से वर्णन अन्यत्र है (देखें विषय 5.3, उपलब्धता मीट्रिक्स)। विलंबता, शुद्धता, ताज़गी और थ्रूपुट भी उम्मीदवार हैं। कौशल इसमें है कि संकेतक वह चुनें जो उपयोगकर्ता को महत्वपूर्ण लगता है, वह नहीं जो इकट्ठा करना आसान है। सर्वर का CPU उपयोग इकट्ठा करना आसान है, पर यह बहुत कम बताता है कि ग्राहक भुगतान कर पाया या नहीं। दो सेकंड के भीतर पूरे होने वाले भुगतान अनुरोधों का हिस्सा बहुत कुछ बताता है। विलंबता के लिए औसत नहीं, पर्सेंटाइल (percentile) रिपोर्ट करें, क्योंकि औसत उस धीमी पूँछ को छिपा देता है जिसे उपयोगकर्ता महसूस करते हैं (देखें विषय 1.6, सेवा मीट्रिक्स के लिए सांख्यिकीय साक्षरता, और विषय 5.4, क्षमता और प्रदर्शन मीट्रिक्स)।
मुख्य सिद्धांत
- उपयोगकर्ता से शुरू करें, सर्वर से नहीं। ऐसे संकेतक चुनें जो किसी व्यक्ति के पहचाने जाने लायक अनुभव का वर्णन करें, जैसे "मेरा भुगतान हो गया," और फिर पीछे की ओर चलकर तय करें कि क्या मापना है।
- 100 प्रतिशत से नीचे का लक्ष्य एक निर्णय है, स्वीकारोक्ति नहीं। पूर्ण भरोसेमंदी न तो पाई जा सकती है न उसका खर्च उठाया जा सकता है, और एक बिंदु के बाद उपयोगकर्ता अंतर भी नहीं पहचान पाते। बजट इस समझौते को स्पष्ट कर देता है।
- लक्ष्य उन लोगों के साथ तय करें जो उस पर निर्भर हैं। SLO उत्पाद, संचालन और ग्राहकों के बीच बातचीत से तय हुआ समझौता है, किसी एक टीम की चुनी हुई संख्या नहीं।
- बजट खत्म होने से पहले परिणामों पर सहमत हों। शांत सप्ताह में लिखी गई त्रुटि बजट नीति तनाव के सप्ताह में निभाई जाती है। आउटेज के दौरान गढ़ी गई नीति पर बहस होती है।
- हर छोटे उतार-चढ़ाव पर नहीं, बर्न पर अलर्ट करें। किसी व्यक्ति को तभी पेज करें जब बजट इतनी तेज़ी से खर्च हो रहा हो कि लक्ष्य खतरे में पड़े, और धीमे बर्न को टिकट में भेजें।
- SLO सेवाओं का वर्णन करते हैं, लोगों का कभी नहीं। बजट सेवा और उसकी टीम का है। वह किसी इंजीनियर का स्कोर कभी नहीं है।
मीट्रिक परिभाषाएँ
नीचे के मीट्रिक्स किसी सेवा की SLO प्रणाली का वर्णन करते हैं। पहले चार प्रैक्टिस के मूल हैं, और अंतिम दो बताते हैं कि प्रैक्टिस खुद कितनी स्वस्थ है। हर घड़ी और सीमा सूत्र वाले कॉलम में बताई गई है। "वैध इवेंट" वे इवेंट हैं जो SLO दस्तावेज़ में तय अपवर्जनों के बाद SLI में गिने जाते हैं, जैसे टीम के अपने लोड टेस्ट के अनुरोध, जिन्हें बाहर रखा जाता है।
| मीट्रिक | परिभाषा | सूत्र | इकाई | डेटा स्रोत | ITIL प्रैक्टिस | एजाइल समकक्ष | अवधि |
|---|---|---|---|---|---|---|---|
| SLI उपलब्धि | एक सेवा के एक संकेतक के लिए अच्छे रहे वैध इवेंट का हिस्सा | अच्छे इवेंट / वैध इवेंट, रिपोर्टिंग अवधि की शुरुआत से अंत तक की विंडो के लिए; SLO दस्तावेज़ द्वारा बाहर रखे गए इवेंट (लोड टेस्ट, पहले से घोषित नियोजित रखरखाव, यदि SLO ऐसा कहता है) अंश और हर दोनों से हटा दिए जाते हैं | प्रतिशत | लोड बैलेंसर, एप्लिकेशन या सिंथेटिक प्रोब की टेलीमेट्री; निगरानी या ऑब्ज़र्वेबिलिटी प्लेटफ़ॉर्म | सेवा-स्तर प्रबंधन; निगरानी और इवेंट प्रबंधन | संचालन-योग्यता के लिए "पूर्ण" की परिभाषा; सेवा स्वास्थ्य की हितधारक समीक्षा | निरंतर, प्रतिदिन और प्रति विंडो रिपोर्ट |
| SLO अनुपालन | क्या SLI ने SLO विंडो में लक्ष्य पूरा किया, और हाल की कितनी विंडो में | वे विंडो जिनमें SLI उपलब्धि लक्ष्य के बराबर या ऊपर थी / मूल्यांकित विंडो, पिछले 12 महीनों में; जो विंडो अभी खुली है उसे छोड़ दिया जाता है | विंडो का प्रतिशत | SLI उपलब्धि का इतिहास | सेवा-स्तर प्रबंधन; सतत सुधार | भरोसेमंदी पर टीम का लक्ष्य या कार्य-समझौता | मासिक, तिमाही रुझान के साथ |
| शेष त्रुटि बजट | चालू विंडो में बजट का वह हिस्सा जो अभी खर्च नहीं हुआ | 1 - (अब तक के खराब इवेंट / पूरी विंडो के लिए अनुमत खराब इवेंट), जहाँ अनुमत खराब इवेंट = (1 - SLO) x पूरी विंडो के लिए अपेक्षित वैध इवेंट; घड़ी विंडो की शुरुआत पर चालू होती है और अंत पर रुकती है | बजट का प्रतिशत | SLI उपलब्धि और मात्रा का पूर्वानुमान | सेवा-स्तर प्रबंधन; जोखिम प्रबंधन | रिलीज़ तैयारी जाँच; नियोजित कार्य का इनपुट | प्रतिदिन, साप्ताहिक समीक्षा |
| बर्न रेट | बजट के खर्च होने की गति, समान गति से खर्च की दर की तुलना में | (पीछे-देखने की अवधि में खराब इवेंट / वैध इवेंट) / (1 - SLO); पीछे-देखने की अवधि बताई जाती है, जैसे 1 घंटा या 6 घंटे | अनुपात (1 का मतलब ठीक बजट पर) | बारीक समय-विभेदन वाली SLI टेलीमेट्री | निगरानी और इवेंट प्रबंधन; घटना प्रबंधन | ऑन-कॉल अलर्ट नियम; स्वार्मिंग का ट्रिगर | निरंतर, अलर्ट नियमों में मूल्यांकित |
| बजट नीति पालन | त्रुटि बजट नीति का कोई ट्रिगर छूने पर तय परिणाम कितनी बार लागू किया गया | अवधि के वे ट्रिगर जिनमें नीति की कार्रवाई तय समय के भीतर हुई / अवधि में छुए गए ट्रिगर; जिन ट्रिगर को दर्ज कारण के साथ औपचारिक रूप से माफ़ किया गया, उन्हें हटाया नहीं जाता, अलग गिना जाता है | प्रतिशत | नीति दस्तावेज़, निर्णय-लॉग और बैकलॉग इतिहास | सेवा-स्तर प्रबंधन; परिवर्तन सक्षमीकरण | कार्य-समझौता; रेट्रोस्पेक्टिव की अनुवर्ती कार्रवाई | तिमाही |
| SLO कवरेज | उन महत्वपूर्ण उपयोगकर्ता यात्राओं या दायरे की सेवाओं का हिस्सा जिनके पास चालू SLO और कार्यशील SLI है | दायरे की वे सेवाएँ या यात्राएँ जिनके पास कम से कम एक SLO है जिसका SLI डेटा पिछले 7 दिनों में आया / दायरे की सेवाएँ या यात्राएँ; "दायरा" सेवा कैटलॉग (ITIL में service catalogue) में सूचीबद्ध है | प्रतिशत | सेवा कैटलॉग, SLO रजिस्टर और निगरानी कॉन्फ़िगरेशन | सेवा कैटलॉग प्रबंधन; सेवा-स्तर प्रबंधन | टीम की सेवा-स्वामित्व सूची | तिमाही |
बर्न रेट की पीछे-देखने की अवधि और SLO विंडो चुनाव की बातें हैं। लगातार चलने वाली 28 दिन की विंडो पूरे सप्ताहों को समेटती है। यह चुनाव SLO दस्तावेज़ में लिखें और उसे स्थिर रखें, वरना रुझान भ्रमित करेगा।
सिफ़ारिशें
संकेतक वह चुनें जिसकी उपयोगकर्ता को परवाह है
1. महत्वपूर्ण उपयोगकर्ता यात्राओं से शुरू करें। उन तीन से छह कामों की सूची बनाएँ जो उपयोगकर्ता को सेवा में कर पाने चाहिए ताकि सेवा इस्तेमाल करने लायक रहे, जैसे साइन इन, खोज, भुगतान और स्टेटमेंट डाउनलोड। हर एक को उपयोगकर्ता की ओर से एक वाक्य में लिखें। फिर वह SLI चुनें जो दिखाए कि वह वाक्य सच था या नहीं। इससे SLO कम रहते हैं और ऐसे तकनीकी मीटरों की सूची नहीं बनती जिसे कोई पढ़ता नहीं।
2. हर SLI को अच्छे इवेंट बटा वैध इवेंट के रूप में व्यक्त करें। अनुपात समझाने, जोड़ने और बजट में बदलने में आसान है। "अच्छा" को ऐसी सीमा से परिभाषित करें जिसे उपयोगकर्ता स्वीकार करेंगे, और "वैध" को इस तरह परिभाषित करें कि जो ट्रैफ़िक आप तर्कसंगत रूप से सँभाल नहीं सकते, जैसे दुरुपयोग के कारण रोके गए अनुरोध, दस्तावेज़ी तरीके से बाहर रहे। दोनों परिभाषाएँ SLO दस्तावेज़ में लिखें, क्योंकि ज़्यादातर असहमतियाँ हर (denominator) में छिपी होती हैं।
3. उपयोगकर्ता के जितना निकट व्यावहारिक हो, वहाँ मापें। सर्वर-पक्ष की सफलता दर पूरी तरह ठीक हो सकती है जबकि नेटवर्क या क्लाइंट की समस्या सेवा को अनुपयोगी बना दे। लोड बैलेंसर या एज पर मापें, और सबसे महत्वपूर्ण यात्राओं के लिए सिंथेटिक प्रोब या क्लाइंट-पक्ष माप जोड़ें। माप के हर बिंदु की एक लागत और एक अंधा कोना होता है, इसलिए दर्ज करें कि हर SLI कौन-सा इस्तेमाल करता है (देखें विषय 1.5, डेटा स्रोत और इंस्ट्रूमेंटेशन)।
4. विलंबता के लिए पर्सेंटाइल और सीमा का उपयोग करें। "95 प्रतिशत खोज अनुरोध 800 मिलीसेकंड से कम में पूरे हों" एक SLI है। "औसत विलंबता" नहीं है, क्योंकि कुछ तेज़ अनुरोध बहुत से धीमे अनुरोधों की भरपाई कर सकते हैं। जहाँ उपयोगी हो, दो सीमाएँ रखें, जैसे माध्यिका और 99वाँ पर्सेंटाइल, क्योंकि धीमी पूँछ तय करती है कि सेवा कैसी लगती है (देखें विषय 5.4, क्षमता और प्रदर्शन मीट्रिक्स)।
ऐसे लक्ष्य तय करें जिनका लोग बचाव कर सकें
5. पहला SLO वर्तमान प्रदर्शन और उपयोगकर्ता की ज़रूरत से तय करें, फिर कड़ा करें। कुछ सप्ताह SLI मापें, उपयोगकर्ताओं और सहायता कर्मचारियों से पूछें कि वे किस स्तर को महसूस करते हैं, और ऐसा लक्ष्य रखें जिसे सेवा आज थोड़ी गुंजाइश के साथ पूरा कर सके। वर्तमान प्रदर्शन से बहुत ऊपर रखा लक्ष्य स्थायी उल्लंघन है, और लोग उसे देखना बंद कर देते हैं। उपयोगकर्ताओं को मिल रहे स्तर से बहुत नीचे रखा लक्ष्य गुणवत्ता को अनदेखे गिरने देता है। एक तिमाही बाद उसे फिर देखें।
6. SLO को SLA से कड़ा रखें, और दोनों को अलग रखें। अगर ग्राहक समझौता 99.5 प्रतिशत का वादा करता है, तो टीम का लक्ष्य 99.9 प्रतिशत हो सकता है, ताकि संविदात्मक रेखा पार होने से पहले बजट खत्म हो जाए। SLO और SLA को एक ही संख्या न बनाएँ, और एक को दूसरे के रूप में रिपोर्ट न करें। समझौता एक वाणिज्यिक और कानूनी दस्तावेज़ है, और लक्ष्य एक इंजीनियरिंग निर्णय-नियम है (देखें विषय 5.1, SLA, OLA और XLA मीट्रिक्स)।
7. निर्भरताओं का हिसाब रखें। कोई सेवा अपनी निर्भरताओं से अधिक भरोसेमंद नहीं हो सकती, जब तक कि वह शालीनता से घटे नहीं (gracefully degrade)। मुख्य निर्भरताओं की सूची बनाएँ, आपूर्तिकर्ताओं सहित, और पूछें कि उनका वास्तविक प्रदर्शन आपके लक्ष्य के लिए क्या संकेत देता है।
बजट को निर्णय के औज़ार की तरह चलाएँ
8. ज़रूरत पड़ने से पहले त्रुटि बजट नीति लिखें। नीति बताती है कि खर्च के तय स्तरों पर क्या होता है। एक सरल रूप में तीन चरण होते हैं: बजट बचा रहने तक सामान्य संचालन; जब बताया गया हिस्सा खर्च हो जाए तो जोखिम भरे बदलावों की अतिरिक्त समीक्षा और भरोसेमंदी के काम को प्राथमिकता; और खत्म हो जाने पर बजट लौटने तक गैर-ज़रूरी फ़ीचर रिलीज़ पर रोक। नाम लें कि अपवाद कौन दे सकता है और वह कैसे दर्ज होगा। उत्पाद और संचालन, दोनों के नेता इस पर हस्ताक्षर करें, ताकि नीति दोनों पक्षों पर समान रूप से लागू हो।
9. बजट जानबूझकर खर्च करें। जो बजट कभी छुआ ही नहीं जाता, वह सुझाता है कि लक्ष्य बहुत कड़ा है या टीम बहुत सतर्क। बचे बजट का उपयोग प्रयोगों, तेज़ रिलीज़ गति, कैनरी रोलआउट और फ़ीचर टॉगल (feature toggle) के लिए करें, जो सीमित जोखिम के साथ प्रोडक्शन में परीक्षण करने देते हैं, और कैनरी रिलीज़ (canary release) का उपयोग करें ताकि समस्याएँ तब पकड़ी जाएँ जब केवल उपयोगकर्ताओं का छोटा हिस्सा प्रभावित हो। लगातार अछूते बजट को यह पूछने का संकेत मानें कि क्या लक्ष्य उपयोगकर्ताओं की ज़रूरत से मेल खाता है (देखें विषय 4.5, रिलीज़ और डिप्लॉयमेंट मीट्रिक्स)।
10. कई बर्न रेट पर अलर्ट करें। तेज़ बर्न, जैसे इतनी दर कि एक घंटे में बजट का बड़ा हिस्सा खर्च हो जाए, किसी व्यक्ति को पेज करता है। धीमा बर्न, जैसे मामूली दर जो फिर भी कुछ दिनों में बजट खत्म कर दे, कार्य-समय के लिए टिकट बनाता है। दो या अधिक पीछे-देखने की विंडो अचानक विफलताओं और धीमे रिसाव दोनों को पकड़ती हैं, और उन छोटे उतार-चढ़ावों के पेज कम करती हैं जिनसे बजट पर कम असर पड़ता है। Site Reliability Workbook का SLO पर अलर्टिंग वाला अध्याय इस पैटर्न को समझाता है, और सीमाएँ नकल करने के बजाय अपनी सेवा के अनुसार ट्यून की जानी चाहिए (देखें विषय 5.5, निगरानी और अलर्ट की गुणवत्ता के मीट्रिक्स)।
11. घटनाओं, समस्याओं और सीखने को बजट से जोड़ें। किसी घटना के बाद, उसकी अवधि और प्रभाव के साथ यह भी दर्ज करें कि उसने कितना बजट खाया। उस संख्या का उपयोग समस्या रिकॉर्ड और अनुवर्ती कार्रवाइयों को प्राथमिकता देने में करें (देखें विषय 4.1, समस्या प्रबंधन मीट्रिक्स, और विषय 4.2, पोस्टमॉर्टम और सीखने के मीट्रिक्स)। बजट की लागत बड़ी घटना की समीक्षाओं को बहुत अलग तरह की विफलताओं की तुलना के लिए एक साझा इकाई भी देती है (देखें विषय 3.4, बड़ी घटना के मीट्रिक्स)।
प्रैक्टिस को ईमानदार और जीवंत रखें
12. हर तिमाही SLO को वास्तविकता से मिलाकर देखें। SLO की तुलना सहायता संपर्कों, शिकायतों और संतुष्टि परिणामों से करें। अगर SLO हरा है पर उपयोगकर्ता नाखुश हैं, तो SLI गलत है या लक्ष्य बहुत ढीला है। अगर SLO लाल है और कोई शिकायत नहीं करता, तो लक्ष्य बहुत कड़ा हो सकता है। हर बदलाव और उसका कारण दर्ज करें, और बदलाव को रुझान चार्ट पर दिखाएँ (देखें विषय 6.2, अनुभव-स्तर समझौते)।
गेमिंग के रास्ते और सुरक्षा-रेखाएँ
| मीट्रिक | इसकी गेमिंग कैसे होती है | साथ की सुरक्षा-रेखा मीट्रिक या प्रैक्टिस |
|---|---|---|
| SLI उपलब्धि | "वैध" इवेंट को इतना संकीर्ण करना कि विफलताएँ बाहर हो जाएँ, जैसे दोबारा किए गए अनुरोध या त्रुटि की पूरी श्रेणियाँ बाहर रखना; केवल सबसे स्वस्थ घटक को मापना; केवल अनुकूल स्थान से प्रोब करना | SLI परिभाषा और अपवर्जन को परिवर्तन-लॉग के साथ SLO दस्तावेज़ में प्रकाशित करें; SLI की तुलना सहायता संपर्कों और उपयोगकर्ता शिकायतों से करें; बाहर रखे गए इवेंट और उनकी मात्रा की नियमित समीक्षा |
| SLO अनुपालन | लक्ष्य को इतना नीचा रखना कि हमेशा पास हो; खराब अवधि के बाद विंडो की लंबाई बदलना; उल्लंघन को रखरखाव अवधि के रूप में पुनर्परिभाषित करना | उपयोगकर्ता की राय के साथ तय और समय-सारणी पर समीक्षित लक्ष्य; दस्तावेज़ में स्थिर विंडो; अपवर्जनों और विंडो के अनियोजित बदलावों की गिनती अनुपालन के साथ रिपोर्ट |
| शेष त्रुटि बजट | खराब इवेंट को बाहर रखे गए के रूप में पुनर्वर्गीकृत करना; अपेक्षित मात्रा फुलाना ताकि अनुमत खराब गिनती बड़ी दिखे; विंडो को समय से पहले रीसेट करना | अनुमत खराब इवेंट की गणना विंडो के अंत की वास्तविक मात्रा से; बाहर रखे इवेंट की मात्रा बजट के बगल में दिखाएँ; विंडो की तारीखें पहले से तय |
| बर्न रेट | अलर्ट सीमाएँ इस तरह ट्यून करना कि बर्न कभी ट्रिगर न हो; इतनी लंबी पीछे-देखने की अवधि लेना कि तेज़ बर्न औसत में खो जाएँ | पिछली घटनाओं से अलर्ट कवरेज परीक्षण ("क्या इस नियम ने पेज किया होता?"); कार्रवाई योग्य अलर्ट दर और छूटी पहचान की गिनती (देखें विषय 5.5, निगरानी और अलर्ट की गुणवत्ता के मीट्रिक्स) |
| बजट नीति पालन | नियमित रूप से अपवाद देना; ऐसे ट्रिगर वाली नीति लिखना जो कभी पहुँचे ही नहीं; दिखावटी भरोसेमंदी टिकट को नीति की कार्रवाई गिनना | अपवाद अलग से गिने और समीक्षित; अवधि में अपवादों का हिस्सा; पूरा हुआ भरोसेमंदी का काम (देखें विषय 4.1, समस्या प्रबंधन मीट्रिक्स) |
| SLO कवरेज | प्रतिशत बढ़ाने के लिए हर सेवा में मामूली SLO जोड़ना; जब कोई डेटा नहीं बह रहा हो तब भी यात्रा को कवर मानना | SLI डेटा ताज़गी की जाँच (डेटा पिछले 7 दिनों में आया); समीक्षा कि SLO महत्वपूर्ण यात्रा को कवर करता है, किसी गौण एंडपॉइंट को नहीं |
स्वस्थ तस्वीर में SLI उसी का अनुसरण करता है जो उपयोगकर्ता बताते हैं, लक्ष्य कभी चूका जाता है और कभी आराम से पूरा होता है, और बजट जानबूझकर खर्च होता है। नीति तब लागू होती है जब उसका ट्रिगर छुआ जाता है, अपवाद दुर्लभ और दर्ज होते हैं, और परिभाषा का हर बदलाव चार्ट पर दिखता है। जो सेवा हमेशा 100 प्रतिशत बजट शेष दिखाए, या जो हमेशा उल्लंघन में रहे, उसे प्रशंसा या दोष की नहीं, लक्ष्य पर बातचीत की ज़रूरत है। याद रखें कि कोई भी अकेली संख्या एक प्रश्न का संकेत है (देखें विषय 1.2, गुडहार्ट का नियम और मीट्रिक्स का मनोविज्ञान)।
समझौते: लाभ और हानि
| दृष्टिकोण | ताकत | कमज़ोरी |
|---|---|---|
| उपयोगकर्ता-यात्रा SLI | उपयोगकर्ता जो महसूस करते हैं उससे मेल खाते हैं; संख्या में कम; गैर-इंजीनियरों को समझाना आसान | शुरू से अंत तक इंस्ट्रूमेंट करने में मेहनत लगती है; आंतरिक खराबियाँ छूट सकती हैं जो अभी उपयोगकर्ताओं तक नहीं पहुँचीं |
| घटक या संसाधन SLI (CPU, मेमोरी, कतार की गहराई) | इकट्ठा करने में सस्ते; निदान और क्षमता के लिए उपयोगी | उपयोगकर्ता अनुभव के कमज़ोर प्रतिनिधि; बहुत से ऐसे अलर्ट बनाते हैं जो मायने नहीं रखते |
| चलती विंडो | सहज; महीने के अंत पर कोई झटका नहीं; हमेशा ताज़ा | कैलेंडर महीने की तुलना में अधिकारियों को समझाना कठिन; एक खराब दिन पूरी विंडो भर टिका रहता है |
| बर्न-रेट अलर्टिंग | तब पेज करता है जब लक्ष्य वास्तव में जोखिम में हो; झूठे अलार्म कम | कॉन्फ़िगर और परीक्षण करना अधिक जटिल; हर सेवा के लिए सीमाएँ ट्यून करनी पड़ती हैं |
कम SLI चुनें, उन्हें उपयोगकर्ताओं के साथ तय करें, और बदलाव की गति बजट को तय करने दें। सही कड़ाई वह सबसे ढीला लक्ष्य है जो फिर भी उपयोगकर्ताओं को संतुष्ट रखे, क्योंकि हर अतिरिक्त नौ पिछले से अधिक महँगा पड़ता है।
अपनी टीम के साथ चर्चा के प्रश्न
1. इस सेवा के उपयोगकर्ता को क्या कर पाना चाहिए, और हमें कैसे पता चलेगा कि वह नहीं कर पाया? हर व्यक्ति से कहें कि बिना कोई डैशबोर्ड देखे, उपयोगकर्ता सेवा के साथ जो तीन सबसे महत्वपूर्ण काम करता है उन्हें लिखे। सूचियों की तुलना करें और उत्पाद, संचालन और सहायता के बीच के अंतर नोट करें। फिर पूछें कि उनमें से किस यात्रा का अभी SLI है। सुगमकर्ता को ऐसी महत्वपूर्ण यात्राएँ ढूँढनी चाहिए जिनकी कोई माप नहीं है, और ऐसी मापें जो किसी यात्रा का वर्णन नहीं करतीं।
2. अगर हमारा SLO 99.9 प्रतिशत हो और हम उसे पूरा करें, तो क्या उपयोगकर्ता खुश होंगे, और हमें कैसे पता? वर्तमान SLO को पिछली तिमाही के सहायता संपर्कों, शिकायतों और संतुष्टि परिणामों के बगल में रखें। पूछें कि क्या वे एक-दूसरे से मेल खाते हैं। अगर SLO हरा है और उपयोगकर्ता नाखुश हैं, तो SLI या लक्ष्य पर काम चाहिए। अगर उपयोगकर्ता खुश हैं और SLO लाल है, तो लक्ष्य किसी की ज़रूरत से ज़्यादा कड़ा हो सकता है। लक्ष्य और अनुभव को पास लाने के लिए एक कार्रवाई पर सहमत हों।
3. अगर त्रुटि बजट खत्म हो जाए तो हम वास्तव में क्या अलग करेंगे? वर्तमान त्रुटि बजट नीति ज़ोर से पढ़ें, या अगर कोई नहीं है तो साथ मिलकर बनाएँ। पूछें कि कौन क्या रोकेगा, और अपवाद देने का अधिकार किसके पास है। सुगमकर्ता को सामान्य इरादों के बजाय ठोस कार्रवाइयों पर ज़ोर देना चाहिए, जैसे गैर-ज़रूरी रिलीज़ रोकना और नामित लोगों को भरोसेमंदी के काम पर लगाना। जिस नीति के पालन पर कोई भरोसा नहीं करता, वह नीति न होने से बदतर है।
4. हमने आखिरी बार कब जोखिम लिया क्योंकि हमारे पास बजट बचा था? चर्चा करें कि क्या टीम अपना बजट इस्तेमाल करती है या केवल उसकी रखवाली करती है। पिछली तिमाही देखें: क्या कोई ऐसी अवधि थी जब रिलीज़ धीमी थीं और बजट लगभग अछूता था? पूछें कि अगर टीम को पता होता कि ऐसा करना सुरक्षित है तो वह क्या आज़माती। यह प्रश्न अति-सावधानी को उजागर करता है, और उत्तर अक्सर किसी कैनरी रिलीज़, टॉगल या तेज़ पाइपलाइन की ओर इशारा करता है जिससे टीम अपना बजट अच्छी तरह इस्तेमाल कर सके।
5. हमारी आखिरी खराब घटना के लिए हमारे कौन-से अलर्ट समय पर बजते, और कौन-से बेवजह बजते? आखिरी महत्वपूर्ण घटना लें और अलर्ट का इतिहास उस पर दोबारा चलाएँ। गिनें कि कितने पेज आए, प्रभाव शुरू होने के कितनी देर बाद, और कितने पेज ऐसे इवेंट के लिए आए जिनसे बजट लगभग खर्च नहीं हुआ। चर्चा करें कि क्या बर्न-रेट अलर्ट बेहतर करते। लक्ष्य अलर्ट बदलावों की एक छोटी सूची है, हर एक का स्वामी तय, और यह दोष की चर्चा न हो कि ऑन-कॉल कौन था।
6. हर SLO का स्वामी कौन है, और हमने आखिरी बार किसी SLO को जानबूझकर कब बदला? SLO की सूची बनाएँ और हर एक के बगल में स्वामी लिखें, टीम या भूमिका के रूप में। पूछें कि हर एक की आखिरी समीक्षा कब हुई और क्या बदला। जिस SLO को साल भर से किसी ने नहीं छुआ, वह इस बात का संकेत है कि वह अब निर्णयों को जानकारी नहीं देता। हर एक की समीक्षा की तारीख तय करें, और यह भी कि जो SLO उपयोगी नहीं रहा उसे हटाने का अधिकार किसके पास है।
चार दृष्टिकोण
उत्पाद और डिलीवरी टीमें
डिलीवरी टीमों को यह तय करने का स्पष्ट नियम मिलता है कि कितनी तेज़ी से चलना है। जब बजट बचा हो, वे अधिक बार रिलीज़ कर सकती हैं और साहसी बदलाव आज़मा सकती हैं। जब वह कम हो, वे लंबी बातचीत के बिना भरोसेमंदी का काम बैकलॉग में रख देती हैं। उन्हें संकेतक चुनने में मदद करनी चाहिए क्योंकि वे जानती हैं कि कौन-सी यात्राएँ मायने रखती हैं, और नई फ़ीचर को शुरू से ही SLI को ध्यान में रखकर इंस्ट्रूमेंट करना चाहिए (देखें विषय 2.8, DORA मीट्रिक्स)। बजट टीम का संसाधन है जिसके साथ योजना बनाई जाए, छिपाने की संख्या कभी नहीं।
सेवा और संचालन टीमें
संचालन टीमें SLO से तय करती हैं कि किस पर पेज बनता है और क्या सुबह तक रुक सकता है। बर्न-रेट अलर्टिंग शोर घटाती है और ऑन-कॉल के काम को उससे जोड़ती है जो उपयोगकर्ता महसूस करते हैं (देखें विषय 5.7, टॉइल और ऑन-कॉल मीट्रिक्स)। वे SLI परिभाषाओं को ईमानदार रखती हैं, उनके पीछे की टेलीमेट्री बनाए रखती हैं, और घटना तथा समस्या रिकॉर्ड में बजट की लागत दर्ज करती हैं।
नेतृत्व और शासन
नेताओं को तीन प्रश्न पूछने चाहिए: लक्ष्य क्या है, कितना बजट बचा है, और अगर वह खत्म हो जाए तो हम क्या करेंगे? वे त्रुटि बजट नीति पर हस्ताक्षर करते हैं और जब नीति धीमा होने को कहे तो टीम का साथ देते हैं। वे SLO अनुपालन को बोनस मीट्रिक नहीं बनाते, जो परिभाषाओं को संकीर्ण करने और ढीले लक्ष्य रखने को न्योता देता है।
ग्राहक और उपयोगकर्ता
ग्राहकों को तब लाभ होता है जब लक्ष्य उनकी ज़रूरत को दर्शाता है और जब वे देख सकते हैं कि सेवा उसके मुकाबले कैसा प्रदर्शन कर रही है। लक्ष्य तय करते समय उनसे परामर्श होना चाहिए, क्योंकि धीमेपन या डाउनटाइम के प्रति उनकी सहनशीलता काम और दिन के समय के अनुसार बदलती है। संतुष्टि और प्रयास जैसे अनुभव माप जाँचते हैं कि क्या SLO वह पकड़ता है जो वे महसूस करते हैं (देखें विषय 6.1, ग्राहक संतुष्टि मीट्रिक्स)।
व्यवहार में: सेवा प्रबंधन का एक उदाहरण
एक मध्यम आकार के ऑनलाइन खुदरा विक्रेता के पास चेकआउट टीम, प्लेटफ़ॉर्म टीम और सर्विस डेस्क है। चेकआउट सेवा व्यवसाय के लिए अत्यंत महत्वपूर्ण है। इस उदाहरण की सभी संख्याएँ उदाहरण के लिए हैं।
टीम "ऑर्डर का भुगतान करें" यात्रा के लिए एक SLI परिभाषित करती है: उन वैध भुगतान अनुरोधों का हिस्सा जो 2 सेकंड के भीतर सफलता लौटाते हैं, लोड बैलेंसर पर मापा गया। वैध अनुरोधों में टीम के अपने लोड टेस्ट और वे अनुरोध शामिल नहीं हैं जिन्हें धोखाधड़ी सेवा डिज़ाइन के अनुसार अस्वीकार करती है। SLO लगातार चलने वाले 28 दिनों में 99.9 प्रतिशत है। विंडो में 12,000,000 वैध अनुरोध अपेक्षित हैं, इसलिए बजट 12,000 खराब अनुरोध (0.1 प्रतिशत) है। उत्पाद प्रमुख और प्लेटफ़ॉर्म प्रमुख द्वारा हस्ताक्षरित त्रुटि बजट नीति के तीन स्तर हैं: बजट का 50 प्रतिशत खर्च होने पर जोखिम भरे बदलावों को दूसरा समीक्षक और कैनरी रोलआउट चाहिए; 75 प्रतिशत पर अगली योजना-बातचीत में भरोसेमंदी का काम प्राथमिकता पाता है; 100 प्रतिशत पर बजट लौटने तक गैर-ज़रूरी फ़ीचर रिलीज़ रुक जाती हैं।
विंडो के 10वें दिन टीम को अब तक अपेक्षित लगभग 4,285,714 में से 7,800 खराब अनुरोध दिखते हैं, जिससे SLI उपलब्धि लगभग 99.82 प्रतिशत, बजट का 65 प्रतिशत खर्च, और विंडो का केवल 36 प्रतिशत बीता हुआ निकलता है। अवधि पर बर्न रेट लगभग 1.8 है, इसलिए इस गति से बजट लगभग 15वें दिन खत्म हो जाएगा। एक खराब डिप्लॉयमेंट 5,000 विफलताओं का कारण था। घटना रिकॉर्ड दिखाता है कि विफलता 22 मिनट चली, बड़ी घटना की समीक्षा पाइपलाइन में एक छूटी जाँच की पहचान करती है, और घटना की बजट लागत समस्या रिकॉर्ड में दर्ज की जाती है (देखें विषय 4.1, समस्या प्रबंधन मीट्रिक्स)।
टीम नीति का पालन करती है। दूसरे स्तर की कार्रवाई तुरंत लागू होती है, इसलिए जोखिम भरे बदलावों को कैनरी रोलआउट चाहिए, और योजना बैठक पाइपलाइन की जाँच को कार्य-कतार में सबसे ऊपर रखती है। उत्पाद स्वामी एक गैर-तात्कालिक प्रमोशन फ़ीचर पर रोक स्वीकार करता है। 28वें दिन तक बजट का 94 प्रतिशत खर्च हो चुका है, और टीम विंडो को लक्ष्य के भीतर पूरा करती है।
गेमिंग का जोखिम समीक्षा में सामने आता है। खुदरा विक्रेता की खोज सेवा चलाने वाली एक दूसरी टीम ने तिमाही के लिए 99.95 प्रतिशत रिपोर्ट किया, जबकि सर्विस डेस्क ने "खोज काम नहीं कर रही" संपर्कों में बढ़ोतरी दर्ज की। जाँच में प्लेटफ़ॉर्म टीम ने पाया कि खोज टीम ने "वैध" को इस तरह फिर से परिभाषित कर दिया था कि 5 सेकंड के भीतर दोहराए गए अनुरोध बाहर हो गए, जिससे बहुत-सी वास्तविक विफलताएँ हट गईं। समीक्षा ने मूल परिभाषा बहाल की, तिमाही को दोबारा बताया, और दो सुरक्षा-रेखाएँ जोड़ीं: परिभाषा का हर बदलाव कारण सहित SLO दस्तावेज़ में दर्ज होगा, और हर महीने SLI उपलब्धि की तुलना सहायता संपर्कों से होगी। किसी ने झूठ नहीं बोला, क्योंकि बदलाव शोर घटाने के लिए किया गया था, इसलिए समाधान डाँट नहीं, बल्कि अधिक स्पष्ट परिभाषा थी।
एजाइल, AI, स्वचालन और विश्लेषण
एजाइल
त्रुटि बजट भरोसेमंदी को उत्पाद हितधारकों के साथ साझा निर्णय में बदल देता है, और यह निरंतर डिलीवरी में इसलिए बैठता है कि यह दिखाता है कि टीम कितना जोखिम खर्च कर सकती है। लक्ष्यों की समीक्षा नियमित अंतराल पर करें। सावधानी यह है कि जिस SLO पर उपयोगकर्ताओं से सहमति नहीं बनी, वह अंदाज़ा भर है।
AI
AI फ़ीचर को अपने संकेतक चाहिए, जैसे शुद्धता और विलंबता, केवल उपलब्धता नहीं, और लक्ष्य को बताना चाहिए कि गलत उत्तर कैसे गिना जाएगा। AI की उपलब्धि को नमूना-जाँच से मापे गए गुणवत्ता संकेतक के साथ जोड़ें। सावधानी यह है कि जो सेवा तेज़ी से गलत उत्तर देती है, वह उपलब्धता SLO पूरा करते हुए भी उपयोगकर्ताओं को विफल कर सकती है।
स्वचालन
टेलीमेट्री से संकेतक और बर्न रेट अपने-आप गणित करें, और हर छोटे उतार-चढ़ाव पर नहीं, बर्न रेट पर अलर्ट करें। अलर्टिंग को खुद छूटे और झूठे अलर्ट पर मापें। सावधानी यह है कि स्वचालित बजट फ़्रीज़ उपयोगी काम को रोक सकते हैं, इसलिए नीति में मानव का निर्णय बनाए रखें।
विश्लेषण
ऐसे संकेतक चुनें जिन्हें उपयोगकर्ता महसूस करते हैं, और हर एक के पीछे की विंडो और इवेंट की गिनती दिखाएँ। यह जिस निर्णय को जानकारी देता है वह है कि कब बदलाव धीमा करें या भरोसेमंदी में निवेश करें। सावधानी यह है कि छोटी विंडो अस्थिर बजट देती है, इसलिए विंडो बताएँ।
क्षेत्र का नज़रिया
स्टार्टअप। सबसे महत्वपूर्ण यात्रा के लिए एक SLO से शुरू करें, जिसे एज पर मापा जाए, और एक सरल नीति के साथ जो एक पन्ने में समा जाए। दर्जनों SLO के लिए प्लेटफ़ॉर्म न बनाएँ। बजट छोटी टीम को इस बहस से बचाता है कि शुक्रवार को शिप करें या नहीं।
छोटा व्यवसाय। छोटा व्यवसाय अक्सर होस्ट किए गए औज़ारों और आपूर्तिकर्ताओं पर निर्भर रहता है, इसलिए SLI आपूर्तिकर्ता के स्टेटस डेटा या किसी सरल बाहरी प्रोब से आ सकता है। आपूर्तिकर्ता के सेवा स्तर लिखित में पढ़ें और उन्हें अपनी ज़रूरतों से मिलाकर देखें।
बड़ा उद्यम। कई सेवाएँ, टीमें और आपूर्तिकर्ता एकरूपता का दाँव बढ़ा देते हैं। SLO दस्तावेज़ों के लिए एक साझा टेम्पलेट, एक सामान्य रजिस्टर, और उपलब्धि तथा बजट की गणना का मानक तरीका दें, ताकि नेता परिभाषाओं पर बहस किए बिना तुलना और रोल-अप कर सकें। SLO का स्वामित्व सेवा टीम के पास रखें और रजिस्टर का संचालन केंद्र से करें।
सरकार और सार्वजनिक क्षेत्र। सेवाओं को अक्सर वैधानिक या प्रकाशित लक्ष्य पूरे करने होते हैं, और विफलता सार्वजनिक रूप से रिपोर्ट हो सकती है। संविदात्मक या वैधानिक प्रतिबद्धता को आंतरिक लक्ष्य से अलग रखें, और सुनिश्चित करें कि आंतरिक SLO अधिक कड़ा है। ऑडिट के लिए SLI परिभाषा, अपवर्जन और डेटा की वंशावली दर्ज करें, और पहुँच-योग्यता तथा उन उपयोगकर्ताओं की योजना बनाएँ जो कोई वैकल्पिक प्रदाता नहीं चुन सकते (देखें विषय 8.5, विनियमित और सरकारी रिपोर्टिंग)।
व्यावसायिक औचित्य: प्रेरणाएँ, ROI और TCO
प्रेरणा है भरोसेमंदी के बारे में कम बहस और बेहतर निर्णय। लक्ष्य के बिना, भरोसेमंदी का काम फ़ीचर से इस आधार पर प्रतिस्पर्धा करता है कि कौन सबसे ज़ोर से बहस करता है। लक्ष्य और बजट के साथ, समझौता दिखता है और पहले से तय होता है, और उपयोगकर्ताओं को उतनी भरोसेमंद सेवा मिलती है जितनी उन्हें चाहिए, बिना इसके कि टीम उस बिंदु से आगे भरोसेमंदी की कीमत चुकाए।
लागत के चार हिस्से हैं। पहला डिज़ाइन: यात्राएँ, संकेतक और लक्ष्य चुनने तथा नीति लिखने की कार्यशालाएँ। दूसरा इंस्ट्रूमेंटेशन: सही जगह पर टेलीमेट्री, प्रोब, और वह पाइपलाइन जो इवेंट को उपलब्धि और बजट में बदलती है (देखें विषय 1.5, डेटा स्रोत और इंस्ट्रूमेंटेशन)। तीसरा संचालन: अलर्ट नियम, एक डैशबोर्ड, तिमाही समीक्षा, और परिभाषाओं को ताज़ा रखने का समय। चौथा अवसर-लागत है जब नीति फ़ीचर का काम रोक देती है, जो समझौते का सम्मान करने की कीमत है और दबाव आने से पहले उस पर सहमत होने का कारण।
लाभ उन पैटर्न में दिखता है जिन्हें टीम खुद ट्रैक कर सकती है: कम ऐसे पेज जिनमें कोई कार्रवाई नहीं चाहिए थी, रिलीज़ करने या न करने पर छोटी बहसें, बड़ी घटना के बाद के बजाय बजट खत्म होने से पहले तय की गई भरोसेमंदी की कार्य-योजना, और ग्राहकों के लिए कम आश्चर्य। लाभ को टीम के अपने आँकड़ों की पहले और बाद से तुलना करके बताएँ, जैसे प्रति रोटेशन पेज और सबसे बड़ी घटना द्वारा खाए गए बजट का हिस्सा।
प्रतिरूप-विरोधी और जाल
- बहुत अधिक SLO। दर्जनों लक्ष्य ध्यान बिखेर देते हैं, और कोई नहीं बता पाता कि कौन-सा मायने रखता है। महत्वपूर्ण उपयोगकर्ता यात्राओं से शुरू करें और बाकी हटा दें।
- SLO बराबर SLA। एक ही संख्या को दोनों के रूप में रिपोर्ट करना सुरक्षा-अंतर को हटा देता है और इंजीनियरिंग नियम को वाणिज्यिक वादे से मिला देता है। लक्ष्य को समझौते से अधिक कड़ा रखें।
- कभी लागू न होने वाली नीति। अगर बजट खत्म हो और कुछ न बदले, तो प्रैक्टिस की साख चली जाती है। नेताओं से नीति पर हस्ताक्षर करवाएँ और हर अपवाद कारण के साथ दर्ज करें।
- बजट को लोगों के स्कोरकार्ड की तरह इस्तेमाल करना। खर्च हुए बजट के आधार पर इंजीनियरों या ऑन-कॉल कर्मचारियों की रैंकिंग लोगों से घटनाएँ छिपवाती है और परिभाषाएँ संकीर्ण करवाती है। बजट को सेवा के नाम करें और कारणों की चर्चा प्रणाली के स्तर पर करें (देखें विषय 1.2, गुडहार्ट का नियम और मीट्रिक्स का मनोविज्ञान)।
- हर गिरावट पर अलर्ट। कच्चे लक्षणों पर पेज करना अलर्ट थकान बनाता है और लोगों को पेज अनदेखा करना सिखाता है। बर्न रेट पर पेज करें और धीमे बर्न को टिकट में भेजें।
- तय करके भूल जाना। जिस SLO की कोई समीक्षा नहीं करता वह उपयोगकर्ताओं की ज़रूरत से दूर खिसक जाता है। तिमाही समीक्षा तय करें और दर्ज करें कि क्या बदला और क्यों।
परिपक्वता मॉडल
| आयाम | 1 आरंभ | 2 विकास | 3 मानकीकरण | 4 प्रबंधन | 5 समन्वयन |
|---|---|---|---|---|---|
| संकेतक और लक्ष्य | भरोसेमंदी शब्दों में बताई जाती है; सर्वरों का अपटाइम रिपोर्ट होता है | कुछ टीमें SLI परिभाषित करती हैं; लक्ष्य अलग-अलग हैं और शायद ही समीक्षित होते हैं | महत्वपूर्ण उपयोगकर्ता यात्राओं के पास साझा टेम्पलेट में दस्तावेज़ी SLI और SLO हैं | SLO का रुझान देखा जाता है, उपयोगकर्ता प्रतिक्रिया से जाँचा जाता है, और प्रमाण के साथ कड़ा या ढीला किया जाता है | SLO ग्राहकों और आपूर्तिकर्ताओं के साथ तय होते हैं और निर्भर सेवाओं तथा अनुबंधों से संरेखित हैं |
| त्रुटि बजट और नीति | कोई बजट नहीं; भरोसेमंदी बनाम फ़ीचर का निर्णय बहस से होता है | कुछ सेवाओं के लिए बजट निकाला जाता है; कोई सहमत परिणाम नहीं | उत्पाद और संचालन द्वारा हस्ताक्षरित लिखित नीति, तय ट्रिगर के साथ | नीति पालन मापा जाता है, अपवाद समीक्षित होते हैं, बजट रिलीज़ योजना को जानकारी देता है | साझा निर्भरताओं वाली टीमों के बीच बजट निर्णय समन्वित; परिस्थितियाँ बदलने पर नीति संशोधित |
| अलर्टिंग और प्रतिक्रिया | कच्चे संसाधनों पर सीमा-अलर्ट; बहुत से पेज | कुछ बर्न-रेट अलर्ट; सीमाएँ उदाहरणों से नकल की गई | मुख्य SLO के लिए बहु-विंडो बर्न-रेट अलर्ट, धीमे बर्न के लिए टिकट के साथ | अलर्ट गुणवत्ता मापी जाती है और पिछली घटनाओं से ट्यून होती है | सेवा-शृंखलाओं में अलर्टिंग संरेखित, और सुधार संयुक्त समीक्षाओं से संचालित |
जाँच-सूची
- सेवा की महत्वपूर्ण उपयोगकर्ता यात्राएँ सूचीबद्ध हैं, हर एक उपयोगकर्ता की ओर से लिखी गई।
- हर SLI अच्छे इवेंट बटा वैध इवेंट के रूप में परिभाषित है, अपवर्जन लिखे हुए।
- विलंबता SLI औसत नहीं, पर्सेंटाइल और बताई गई सीमा का उपयोग करते हैं।
- हर SLO अपना लक्ष्य, विंडो और SLI कहाँ मापा जाता है, यह बताता है।
- SLO किसी भी SLA से कड़ा है, और दोनों अलग रिपोर्ट होते हैं।
- त्रुटि बजट नीति मौजूद है, उत्पाद और संचालन नेताओं द्वारा हस्ताक्षरित है, और बताती है कि अपवाद कौन दे सकता है।
- बर्न-रेट अलर्ट कम से कम दो पीछे-देखने की अवधियाँ इस्तेमाल करते हैं, और धीमे बर्न पेज नहीं, टिकट बनाते हैं।
- हर घटना रिकॉर्ड दिखाता है कि उसने कितना बजट खाया।
- SLI उपलब्धि की तुलना हर महीने सहायता संपर्कों और संतुष्टि परिणामों से होती है।
- हर SLO का एक स्वामी (टीम या भूमिका) और समीक्षा की तारीख है, और बदलाव कारणों सहित दर्ज होते हैं।
- किसी SLO परिणाम का उपयोग व्यक्तियों को रैंक या पुरस्कृत करने में नहीं होता।
AI प्रॉम्प्ट
उपयोगकर्ता यात्राओं से उम्मीदवार SLI का मसौदा बनाएँ।
मैं [सेवा का नाम] चलाता/चलाती हूँ, जिसे [उपयोगकर्ताओं का प्रकार] [महत्वपूर्ण उपयोगकर्ता
यात्राओं की सूची] करने के लिए इस्तेमाल करते हैं। हम [माप-बिंदुओं की सूची, जैसे लोड
बैलेंसर, एप्लिकेशन लॉग, सिंथेटिक प्रोब] पर माप सकते हैं। हर यात्रा के लिए एक या दो
उम्मीदवार SLI सुझाएँ, जो अच्छे इवेंट बटा वैध इवेंट के रूप में लिखे हों, और "अच्छा,"
"वैध" तथा अपवर्जनों की सुझाई गई परिभाषा के साथ। हर माप-बिंदु की ताकत और अंधे कोने
बताएँ। लक्ष्य मान या बेंचमार्क न गढ़ें; मुझसे पूछें कि उपयोगकर्ता क्या सहन करते हैं।
अपनी मान्यताएँ सूचीबद्ध करें।
त्रुटि बजट नीति का मसौदा बनाएँ।
[सेवा का नाम] के लिए [विंडो] पर [लक्ष्य] के SLO वाली त्रुटि बजट नीति का मसौदा बनाने में
मेरी मदद करें। हितधारक [उत्पाद भूमिका] और [संचालन भूमिका] हैं। ट्रिगर स्तर, हर स्तर
पर कार्रवाई, अपवाद कौन दे सकता है और वह कैसे दर्ज हो, और नीति की समीक्षा कैसे हो,
यह सुझाएँ। इसे एक पन्ने में रखें और उन निर्णयों को चिह्नित करें जिन्हें मानव प्रायोजक
चाहिए। दूसरे संगठनों की सीमाएँ न गढ़ें; विकल्प और समझौते प्रस्तुत करें। अपनी
मान्यताएँ सूचीबद्ध करें।
गेमिंग के जोखिम के लिए SLO की समीक्षा करें।
यह [सेवा का नाम] का हमारा SLO दस्तावेज़ है: [SLI परिभाषा, अपवर्जन, लक्ष्य, विंडो और
परिवर्तन-लॉग चिपकाएँ]। वे तरीके पहचानें जिनसे SLI संकीर्ण किया जा सकता है, विंडो या
लक्ष्य बदला जा सकता है, या इवेंट ऐसे बाहर रखे जा सकते हैं कि परिणाम उपयोगकर्ता अनुभव से
बेहतर दिखें। हर जोखिम के लिए सुरक्षा-रेखा मीट्रिक या प्रैक्टिस सुझाएँ। इरादा न मानें।
अपनी मान्यताएँ और वे प्रश्न सूचीबद्ध करें जिनका मुझे उत्तर देना चाहिए।
AI स्किल
- Service Management Metrics skill: संबंधित विषय खोजने के लिए उपयोग करें, जैसे उपलब्धता, अलर्ट गुणवत्ता और बड़ी घटनाएँ, और वह सुरक्षा-रेखा जो हर SLO माप के बगल में होनी चाहिए।
- Service Management Metrics maintainer skill: यह जाँचने के लिए उपयोग करें कि इस विषय के संपादन गेमिंग तालिका में हर मीट्रिक और हर अंतर-संदर्भ को शीर्षक सहित बनाए रखते हैं।
मुख्य निष्कर्ष
- उपयोगकर्ता जो करते हैं उससे कुछ SLI चुनें, और हर एक को अच्छे इवेंट बटा वैध इवेंट के रूप में व्यक्त करें।
- 100 प्रतिशत से नीचे का SLO जोखिम के बारे में निर्णय है, और त्रुटि बजट वह गुंजाइश है जो वह निर्णय बदलाव के लिए छोड़ता है।
- त्रुटि बजट नीति पहले से लिखें, नेतृत्व स्तर पर उस पर हस्ताक्षर करें, और हर अपवाद दर्ज करें।
- एक से अधिक पीछे-देखने की विंडो के साथ बर्न रेट पर अलर्ट करें, ताकि पेज लक्ष्य के लिए वास्तविक जोखिम को दर्शाएँ।
- परिभाषाओं की रक्षा करें: हर बदलाव दर्ज करें, और SLI परिणामों की तुलना उससे करें जो उपयोगकर्ता बताते हैं।
- बजट सेवाओं और टीमों के नाम करें, व्यक्तियों के कभी नहीं, और हर SLO की समीक्षा कम से कम तिमाही करें।
संदर्भ और आगे का अध्ययन
- Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
- Jones, C., Wilkes, J., Murphy, N., and Smith, C., "Service Level Objectives," chapter 4 in Site Reliability Engineering, O'Reilly Media, 2016, https://sre.google/sre-book/service-level-objectives/
- Beyer, B., Murphy, N. R., Rensin, D. K., Kawahara, K., and Thorne, S. (eds.), The Site Reliability Workbook: Practical Ways to Implement SRE, O'Reilly Media, 2018, https://sre.google/workbook/table-of-contents/
- "Implementing SLOs," chapter 2 in The Site Reliability Workbook, O'Reilly Media, 2018, https://sre.google/workbook/implementing-slos/
- "Alerting on SLOs," chapter 5 in The Site Reliability Workbook, O'Reilly Media, 2018, https://sre.google/workbook/alerting-on-slos/
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Wikipedia, Site reliability engineering.
- Wikipedia, Service level indicator.
- Wikipedia, Service-level objective.
- Wikipedia, Service-level agreement.
- Wikipedia, Availability.
- Wikipedia, Percentile.
- Wikipedia, Feature toggle.
- Wikipedia, Canary release.