अवलोकन और प्रेरणा

DORA मीट्रिक्स DevOps Research and Assessment (DORA) के शोध कार्यक्रम से आती हैं, जो इस बात का दीर्घकालिक अध्ययन है कि सॉफ़्टवेयर डिलीवरी की प्रैक्टिसें टीम और संगठन के परिणामों से कैसे संबंधित हैं। निकोल फ़ोर्सग्रेन, जेज़ हम्बल और जीन किम ने 2018 में पुस्तक Accelerate में शुरुआती निष्कर्ष प्रस्तुत किए, और कार्यक्रम Google Cloud के अधीन वार्षिक रिपोर्ट के साथ जारी है। शोध ने पूछा कि डिलीवरी के कौन-से मापने योग्य पहलू अच्छे परिणामों की भविष्यवाणी करते हैं, और सॉफ़्टवेयर डिलीवरी प्रदर्शन के उन थोड़े मापों पर टिका जो डिलीवरी पाइपलाइन और घटना के रिकॉर्ड से निकाले जा सकते हैं।

अक्टूबर 2026 तक, DORA की वेबसाइट सॉफ़्टवेयर डिलीवरी प्रदर्शन की पाँच मीट्रिक्स का वर्णन करती है, जो दो समूहों में बँटी हैं। तीन थ्रूपुट का वर्णन करती हैं, यानी बदलाव कितनी तेज़ी से चलते हैं: परिवर्तन का लीड टाइम, डिप्लॉयमेंट की आवृत्ति और विफल डिप्लॉयमेंट की बहाली का समय। दो अस्थिरता का वर्णन करती हैं, यानी रिलीज़ कितनी बार परेशानी पैदा करती है: परिवर्तन की विफलता दर और डिप्लॉयमेंट के पुनर्कार्य की दर। पहले के प्रकाशन चार मीट्रिक्स बताते थे, जिनमें विफल डिप्लॉयमेंट की बहाली के समय की जगह "सेवा बहाली का समय" था और पुनर्कार्य की दर नहीं थी। परिभाषाएँ वर्षों में परिष्कृत हुई हैं, इसलिए हमेशा बताएँ कि आप मार्गदर्शन के किस संस्करण का अनुसरण कर रहे हैं और आपने उसे आखिरी बार कब जाँचा।

जिस शोध-निष्कर्ष ने इन मीट्रिक्स को प्रसिद्ध किया वह यह है कि टीमों में गति और स्थिरता साथ-साथ चलने की प्रवृत्ति रखती हैं। जिन टीमों ने अक्सर डिप्लॉय किया और जिनका लीड टाइम छोटा था वे औसतन इसकी कीमत अधिक विफलताओं में नहीं चुका रही थीं। यह पुरानी धारणा को पलटता है कि तेज़ चलने का अर्थ अधिक तोड़ना है। यह सर्वेक्षण और पाइपलाइन डेटा में एक पैटर्न है, नियम नहीं, और यह उन टीमों के लिए टिकता है जिन्होंने निरंतर डिलीवरी (continuous delivery), छोटे बैच, स्वचालित परीक्षण और तेज़ फीडबैक जैसी प्रैक्टिसों में निवेश किया है। मीट्रिक्स उन अंतर्निहित क्षमताओं के संकेत हैं। वे स्वयं क्षमताएँ नहीं हैं।

नीचे दिए शब्द इस विषय में बार-बार आते हैं।

  • डिप्लॉयमेंट (deployment) सॉफ़्टवेयर के किसी संस्करण को किसी परिवेश में रखने की क्रिया है। जब तक अन्यथा न कहा जाए, यह विषय उत्पादन का अर्थ लेता है।
  • परिवर्तन (change) सॉफ़्टवेयर में संशोधनों का सेट है, आमतौर पर एक या अधिक कमिट जो साथ भेजे जाते हैं। ITIL 4 में इस शब्द का व्यापक अर्थ है, जो किसी भी ऐसे जोड़, संशोधन या हटाव को कवर करता है जो सेवाओं को प्रभावित कर सकता है, और जो ITIL प्रैक्टिस उसे शासित करती है वह परिवर्तन सक्षमीकरण है।
  • विफल डिप्लॉयमेंट (failed deployment) वह डिप्लॉयमेंट है जो उत्पादन में सेवा को घटाता है या आउटेज पैदा करता है और उपचार माँगता है, जैसे हॉटफ़िक्स, रोलबैक या पैच। आपकी टीम सटीक नियम लिखती है, क्योंकि शोध उसे स्थानीय परिभाषा पर छोड़ता है।
  • रोलबैक (rollback) उत्पादन को पिछले ज्ञात अच्छे संस्करण पर लौटाने की क्रिया है।
  • परसेंटाइल (percentile) वह मान है जिसके नीचे प्रेक्षणों का बताया हिस्सा आता है। लीड टाइम का 85वाँ परसेंटाइल वह संख्या है जिसे 85 प्रतिशत परिवर्तन हरा देते हैं।

एजाइल और ITIL के दृष्टिकोण इसी ज़मीन पर मिलते हैं। एजाइल टीम इन संख्याओं को अपनी इंजीनियरिंग प्रैक्टिस और कार्य-समझौतों पर फीडबैक के रूप में देखती है। ITIL व्यवसायी इन्हें परिवर्तन सक्षमीकरण, रिलीज़ प्रबंधन, डिप्लॉयमेंट प्रबंधन और घटना प्रबंधन के परिणाम के प्रमाण के रूप में देखता है। तनाव प्रायः नियंत्रण को लेकर है। पारंपरिक परिवर्तन अनुमोदन बोर्ड हर परिवर्तन को जाने से पहले जाँचकर विफलता घटाने की कोशिश करता है। DORA शोध ने पाया कि भारी बाहरी अनुमोदन बेहतर स्थिरता से जुड़ा नहीं था, जबकि सहकर्मी रिव्यू, स्वचालित परीक्षण और छोटे बदलाव जुड़े थे। ITIL 4 में परिवर्तन सक्षमीकरण मानक, सामान्य और आपातकालीन परिवर्तनों को अलग करके और कम-जोखिम परिवर्तनों को पूर्व-अधिकृत होने देकर इसकी अनुमति देता है (देखें विषय 4.3, परिवर्तन सक्षमीकरण मीट्रिक्स)।

मीट्रिक्स की सीमाएँ भी हैं जिन्हें शोध स्वयं बताता है, और इस विषय की व्यावहारिक सलाह उन पर बनी है। वे एक एप्लिकेशन या सेवा की डिलीवरी प्रणाली का वर्णन करती हैं, वे सुधार की बातचीत के लिए हैं, और वे इस बारे में कुछ नहीं कहतीं कि जो काम भेजा जा रहा है वह मूल्यवान है या नहीं। टीम शानदार संख्याएँ दे सकती है जबकि ग़लत चीज़ भेज रही हो। इसी कारण यह विषय प्रवाह के मापों (देखें विषय 2.1, प्रवाह के माप), सेवा विश्वसनीयता के मापों (देखें विषय 5.2, SLI, SLO और त्रुटि बजट) और परिणाम के मापों (देखें विषय 1.3, उत्पादन से ऊपर परिणाम: क्या मापें, यह चुनना) के बगल में बैठता है, उनके ऊपर नहीं।

अंत में, ये मीट्रिक्स नेतृत्व के डैशबोर्ड पर दिखते ही गुडहार्ट के नियम (Goodhart's law) को न्योता देती हैं। डिप्लॉयमेंट की आवृत्ति को फुलाना सबसे आसान है और विफल डिप्लॉयमेंट की गिनतियों को छिपाना सबसे आसान। इसलिए नीचे की हर सिफ़ारिश एक माप को इस जाँच के साथ जोड़ती है कि उसे कैसे मोड़ा जा सकता है (देखें विषय 1.2, गुडहार्ट का नियम और मीट्रिक्स का मनोविज्ञान)।

मुख्य सिद्धांत

  • घटनाओं से निकालें, याददाश्त से नहीं। डिप्लॉयमेंट पाइपलाइन से, विफलताएँ और बहालियाँ घटना के रिकॉर्ड से, और लीड टाइम पाइपलाइन से जुड़े संस्करण नियंत्रण से आता है (देखें विषय 1.5, डेटा स्रोत और इंस्ट्रूमेंटेशन)।
  • गति और स्थिरता को एक तस्वीर की तरह पढ़ें। बढ़ती विफलताओं वाली तेज़ टीम, या तिमाही में एक बार भेजने वाली स्थिर टीम, कुछ बता रही है जो कोई एक आधा अकेला नहीं दिखाता।
  • सेवा या एप्लिकेशन को मापें, व्यक्ति को नहीं। विश्लेषण की इकाई डिलीवरी प्रणाली है। व्यक्ति अकेले डिप्लॉय नहीं करते, और उनकी रैंकिंग डेटा नष्ट करती है।
  • टीम की तुलना उसके अपने अतीत से करें, दूसरी टीम से नहीं। भुगतान सेवा, डेटा प्लैटफ़ॉर्म और मोबाइल ऐप के संदर्भ तेज़ी से अलग हैं, और शोध स्वयं मीट्रिक्स को लीग तालिका की तरह उपयोग करने के विरुद्ध चेताता है।
  • समय के लिए वितरणों का उपयोग करें। लीड टाइम और बहाली के समय की लंबी पूँछ होती है, इसलिए माध्य और ऊँचा परसेंटाइल रिपोर्ट करें (देखें विषय 1.6, सेवा मीट्रिक्स के लिए सांख्यिकीय साक्षरता)।
  • मीट्रिक्स को लक्षण मानें। जब कोई संख्या हिले, तो कारण उसके नीचे की क्षमताओं में खोजें, जैसे बैच का आकार, परीक्षण स्वचालन, रिव्यू का अभ्यास और आर्किटेक्चर, फिर प्रयोग चलाएँ।
  • परिभाषाएँ लिखें। विफलता, डिप्लॉयमेंट और "काम की शुरुआत" विवेक के निर्णय हैं। चुनाव दर्ज करें और उसे स्थिर रखें ताकि रुझान का अर्थ हो।

मीट्रिक परिभाषाएँ

नीचे की पाँच मीट्रिक्स अक्टूबर 2026 तक के DORA मार्गदर्शन का अनुसरण करती हैं। सूत्र वे घड़ियाँ और अपवर्जन बताते हैं जो आपकी टीम को लिखने चाहिए। जहाँ शोध कोई सीमा खुली छोड़ता है, वहाँ तालिका उचित डिफ़ॉल्ट दिखाती है और सिफ़ारिशें चुनाव समझाती हैं।

मीट्रिक परिभाषा सूत्र इकाई डेटा स्रोत ITIL प्रैक्टिस एजाइल समकक्ष आवृत्ति
परिवर्तन का लीड टाइम कमिट किए परिवर्तन को उत्पादन तक पहुँचने में लगा समय घड़ी परिवर्तन के पहले कमिट पर (या मुख्य शाखा में उसके मर्ज पर, यदि परिभाषा में ऐसा कहा गया हो) शुरू होती है और उत्पादन में डिप्लॉयमेंट सफलतापूर्वक पूरा होने पर रुकती है; अवधि में डिप्लॉय हुए परिवर्तनों का माध्य और 85वाँ परसेंटाइल रिपोर्ट करें; जो परिवर्तन कभी डिप्लॉय नहीं हुए वे शामिल नहीं और प्रगतिरत कार्य के रूप में अलग रिपोर्ट होते हैं घंटे या दिन डिप्लॉयमेंट पाइपलाइन से जुड़ा संस्करण नियंत्रण डिप्लॉयमेंट प्रबंधन; रिलीज़ प्रबंधन; परिवर्तन सक्षमीकरण साइकल टाइम; उत्पादन तक लीड टाइम साप्ताहिक या प्रति रिलीज़, मासिक समीक्षित
डिप्लॉयमेंट की आवृत्ति टीम उत्पादन में कितनी बार डिप्लॉय करती है अवधि में एप्लिकेशन के सफल उत्पादन डिप्लॉयमेंट की गिनती / अवधि के दिन; विफल या रोलबैक हुए डिप्लॉयमेंट सफलता की गिनती से बाहर; परीक्षण परिवेशों के डिप्लॉयमेंट शामिल नहीं प्रति दिन या प्रति सप्ताह डिप्लॉयमेंट डिप्लॉयमेंट पाइपलाइन का घटना लॉग डिप्लॉयमेंट प्रबंधन; रिलीज़ प्रबंधन निरंतर डिलीवरी; हर इंक्रीमेंट के अंत में रिलीज़ करना साप्ताहिक
विफल डिप्लॉयमेंट की बहाली का समय जब डिप्लॉयमेंट उत्पादन की विफलता पैदा करे तो बहाल होने में कितना समय लगता है घड़ी तब शुरू होती है जब विफलता पकड़ी या रिपोर्ट की गई (हर बार वही नियम) और तब रुकती है जब उपयोगकर्ताओं के लिए सेवा बहाल हो; अवधि के विफल डिप्लॉयमेंटों का माध्य और 85वाँ परसेंटाइल रिपोर्ट करें; जो घटनाएँ डिप्लॉयमेंट से नहीं हुईं वे शामिल नहीं मिनट या घंटे डिप्लॉयमेंट की घटनाओं और निगरानी अलर्टों से जुड़ा घटना रिकॉर्ड घटना प्रबंधन; सेवा निरंतरता प्रबंधन बहाली का समय; बहाली का काम प्रति विफलता, मासिक समीक्षित
परिवर्तन की विफलता दर उत्पादन डिप्लॉयमेंटों का हिस्सा जो उपचार माँगने वाली विफलता पैदा करते हैं वे डिप्लॉयमेंट जिनके लिए हॉटफ़िक्स, रोलबैक, पैच या घटना-प्रतिक्रिया चाहिए थी / अवधि के सभी उत्पादन डिप्लॉयमेंट; विफलता को उसके डिप्लॉयमेंट से जोड़ने का नियम लिखित है और हर बार एक-सा लागू होता है प्रतिशत इश्यू, रोलबैक और हॉटफ़िक्स डिप्लॉयमेंट से जुड़ी डिप्लॉयमेंट घटनाएँ परिवर्तन सक्षमीकरण; घटना प्रबंधन पूर्णता की परिभाषा; निकल गए दोष मासिक
डिप्लॉयमेंट के पुनर्कार्य की दर उत्पादन डिप्लॉयमेंटों का हिस्सा जो अनियोजित थे और उपयोगकर्ता को दिखने वाली समस्या सुधारने के लिए किए गए उत्पादन की समस्या के उत्तर में किए गए अनियोजित डिप्लॉयमेंट / अवधि के सभी उत्पादन डिप्लॉयमेंट; नियोजित डिप्लॉयमेंट जिनमें संयोग से सुधार है शामिल नहीं; "अनियोजित" का नियम लिखित है प्रतिशत डिप्लॉयमेंट के कारण से टैग की गई, घटना या दोष के रिकॉर्डों से जुड़ी पाइपलाइन का लॉग परिवर्तन सक्षमीकरण; समस्या प्रबंधन अनियोजित काम; योजना के बाहर जारी बग-फ़िक्स मासिक

तालिका पर दो टिप्पणियाँ। पहली, परिवर्तन की विफलता दर और डिप्लॉयमेंट के पुनर्कार्य की दर एक-दूसरे को आंशिक रूप से ढकती हैं और एक नहीं हैं: जो विफलता टीम देखती है और बिना किसी नए डिप्लॉयमेंट के रोलबैक कर देती है वह परिवर्तन की विफलता दर में गिनी जाती है, पुनर्कार्य दर में नहीं, जबकि जो नियोजित सुधार टीम निर्धारित करती है वह किसी में नहीं गिना जाता। दूसरी, शोध डिप्लॉयमेंट को इकाई मानता है और प्रति एप्लिकेशन गिनता है, इसलिए पचास सेवाओं वाले प्लैटफ़ॉर्म के पचास सेट संख्याएँ होते हैं, एक नहीं।

सिफ़ारिशें

परिभाषाओं और घड़ियों से शुरू करें

1. हर मीट्रिक को चार्ट करने से पहले उसकी एक पृष्ठ की परिभाषा लिखें। बताएँ कि डिप्लॉयमेंट क्या गिना जाता है, उत्पादन कौन-सा परिवेश है, लीड टाइम की घड़ी कहाँ शुरू होती है, और विफलता डिप्लॉयमेंट से कैसे जुड़ती है। पृष्ठ को मीट्रिक रजिस्टर में रखें (देखें विषय 1.4, मीट्रिक्स का शासन और स्वामित्व)। जो परिभाषा केवल किसी के दिमाग़ में रहती है वह औज़ार या टीम के बदलते ही भटक जाएगी।

2. लीड टाइम का आरंभ चुनें और उसी पर टिके रहें। सबसे आम चुनाव हैं परिवर्तन का पहला कमिट, मुख्य शाखा में मर्ज, और टिकट की रचना। पहला कमिट डिलीवरी प्रणाली को मापता है और उस समय को अनदेखा करता है जब काम बैकलॉग में पड़ा रहा। टिकट वाला आरंभ ग्राहक की अधिक प्रतीक्षा मापता है पर प्राथमिकता तय करने को मिला देता है (देखें विषय 2.2, लीड टाइम, साइकल टाइम और प्रवाह दक्षता)। एक का एकरूप उपयोग करें और हर चार्ट में बताएँ कि कौन-सा।

3. विफलताओं को घोषित नियम से जोड़ें। विफलता किसी डिप्लॉयमेंट की तब मानी जाती है जब, उदाहरण के लिए, डिप्लॉयमेंट के बाद बताई खिड़की के भीतर घटना खुले और उसका कारण-विश्लेषण उस परिवर्तन की ओर इशारा करे, या जब रोलबैक या हॉटफ़िक्स उससे टैग हो। ऐसा नियम चुनें जिसे लोग बिना बहस लागू कर सकें, हर तिमाही कुछ मामलों का नमूना देखें, और नियम को इतना लंबा स्थिर रखें कि रुझान दिखे।

पाइपलाइन से इंस्ट्रूमेंट करें

4. डिप्लॉयमेंट की घटनाएँ पाइपलाइन से लें, स्प्रेडशीट से नहीं। CI/CD प्रणाली जो हर उत्पादन डिप्लॉयमेंट को टाइमस्टैम्प, संस्करण और परिणाम के साथ दर्ज करती है, बिना मानवीय प्रविष्टि के डिप्लॉयमेंट की आवृत्ति और लीड टाइम घड़ी का अंत देती है। हाथ से दर्ज गिनतियाँ देर से और असंगत होती हैं, और वे विषय 1.5, डेटा स्रोत और इंस्ट्रूमेंटेशन में वर्णित बैकडेटिंग की समस्याओं को न्योता देती हैं। DORA टीम का ओपन-सोर्स Four Keys प्रोजेक्ट इन घटनाओं को जुटाने का एक काम किया हुआ उदाहरण है, हालाँकि आपकी अपनी कोई भी समतुल्य पाइपलाइन चलेगी।

5. घटना के रिकॉर्ड को डिप्लॉयमेंट से जोड़ें। विफलता और बहाली के माप को दो स्रोत चाहिए: डिप्लॉयमेंट लॉग और घटना का औज़ार। घटना के रिकॉर्ड में "डिप्लॉयमेंट से हुई" के लिए फ़ील्ड और डिप्लॉयमेंट का पहचानकर्ता जोड़ें, जो समाधान के दौरान भरा जाए और घटना-पश्चात समीक्षा में जाँचा जाए (देखें विषय 4.2, पोस्टमॉर्टम और सीखने के मीट्रिक्स)। जोड़ के बिना परिवर्तन की विफलता दर अंदाज़ा बन जाती है।

6. हर डिप्लॉयमेंट का कारण टैग करें। पुनर्कार्य की दर को नियोजित डिप्लॉयमेंट को अनियोजित सुधारों से अलग करना होता है। पाइपलाइन रन पर "नियोजित परिवर्तन" या "उत्पादन की समस्या का सुधार" जैसा सरल लेबल काफ़ी है। लेबल की सूची छोटी रखें, ताकि लोगों को दबाव में इसके बारे में सोचना न पड़े।

संख्याएँ ईमानदारी से रिपोर्ट करें

7. वितरण और गिनतियाँ रिपोर्ट करें, एक औसत नहीं। लीड टाइम और बहाली के समय के लिए माध्य और 85वाँ परसेंटाइल दिखाएँ, हर एक के पीछे प्रेक्षणों की संख्या सहित। दो डिप्लॉयमेंट और एक विफलता वाले सप्ताह की परिवर्तन विफलता दर 50 प्रतिशत है जिसका बहुत कम अर्थ है, इसलिए प्रतिशत के बगल में गिनतियाँ दिखाएँ और दरों के लिए लंबी खिड़की को तरजीह दें (देखें विषय 1.6, सेवा मीट्रिक्स के लिए सांख्यिकीय साक्षरता)।

8. थ्रूपुट और अस्थिरता के समूह साथ-साथ दिखाएँ। तीन थ्रूपुट मीट्रिक्स और दो अस्थिरता मीट्रिक्स एक दृश्य में रखें, प्रति सेवा, कम से कम एक तिमाही के रुझान के साथ। विफलता के मापों के बगल के बिना डिप्लॉयमेंट की आवृत्ति कभी प्रकाशित न करें। यदि नेता एक संख्या माँगे, तो समझाएँ कि कोई एकल DORA स्कोर नहीं है, और इसके बजाय दो-समूह वाला दृश्य दें।

9. तुलना टीम के अपने इतिहास के भीतर रखें। जो टीम अपना माध्य लीड टाइम नौ दिन से पाँच पर लाती है उसने कुछ सीखा है। उसकी रैंकिंग अलग आर्किटेक्चर, नियामक भार या रिलीज़ ट्रेन वाली दूसरी टीम से करना बहुत कम सिद्ध करता है, और दोनों टीमों को अपनी संख्याएँ बचाना सिखाता है। जब शासन के लिए रोल-अप करना हो, तो सेवाओं में फैलाव और सुधार का रुझान दिखाएँ, लीग तालिका नहीं (देखें विषय 1.2, गुडहार्ट का नियम और मीट्रिक्स का मनोविज्ञान)।

उस प्रणाली को सुधारें जिसका संख्याएँ वर्णन करती हैं

10. पहले बैच का आकार घटाएँ। छोटे बदलाव लीड टाइम घटाते हैं, विफलताओं का निदान आसान करते हैं, और रोलबैक की लागत घटाते हैं। तकनीकों में फ़ीचर टॉगल (feature toggles), ट्रंक-आधारित काम, और काम को ऐसे बाँटना शामिल है कि हर इंक्रीमेंट अकेले जा सके (देखें विषय 2.7, पुल रिक्वेस्ट और कोड रिव्यू मीट्रिक्स)। परिवर्तनों का माध्य आकार लीड टाइम के बगल में ट्रैक करें ताकि दिखे कि बैच सचमुच छोटा हो रहा है या नहीं।

11. तेज़ पहचान और तेज़ वापसी में निवेश करें। जब टीम मिनटों में विफलता देख सके, और बिना नए बिल्ड के किसी परिवर्तन को रोलबैक (roll back) या बंद कर सके, तो बहाली का समय घटता है। कैनरी रिलीज़ (canary release), फ़ीचर टॉगल और स्वचालित रोलबैक हर एक विफलता और बहाली के बीच का अंतराल घटाता है। डिप्लॉयमेंट से पहचान तक का समय अलग मापें, क्योंकि धीमी पहचान बहाली के समय की संख्या के भीतर छिपी रहती है (देखें विषय 3.3, घटना की प्रतिक्रिया और समाधान का समय)।

12. संख्याओं का उपयोग सुधारने के लिए क्षमता चुनने में करें। एक कमज़ोर मीट्रिक चुनें, पूछें कि वह कमज़ोर क्यों है, और शोध की क्षमता-सूची से वह प्रैक्टिस चुनें जो कारण को संबोधित करे, जैसे परीक्षण स्वचालन, ढीली-कड़ी वाला आर्किटेक्चर, या हल्का परिवर्तन अनुमोदन। परिवर्तन को एक तिमाही चलाएँ और रुझान देखें। प्रयोग को रेट्रोस्पेक्टिव विषय से जोड़ें ताकि टीम सुधार की स्वामी हो (देखें विषय 9.5, सतत सुधार मीट्रिक्स)।

गेमिंग के रास्ते और सुरक्षा-रेखाएँ

मीट्रिक इसमें गेमिंग कैसे होती है जोड़ीदार सुरक्षा-रेखा मीट्रिक या प्रथा
परिवर्तन का लीड टाइम घड़ी का आरंभ बाद में ले जाना, जैसे पहले कमिट की जगह मर्ज पर शुरू करना; किसी लंबे समय की शाखा में जल्दी मर्ज करना; कठिन परिवर्तनों को "कोड नहीं" कहकर बाहर रखना; माध्य घटाने के लिए मामूली परिवर्तन पाइपलाइन से भेजना प्रगतिरत कार्य का परसेंटाइल और आयु; घड़ी का निश्चित लिखित आरंभ; हर तिमाही सबसे धीमे 10 प्रतिशत परिवर्तनों का नमूना; परिवर्तन के आकार का वितरण
डिप्लॉयमेंट की आवृत्ति एक परिवर्तन को कई मामूली डिप्लॉयमेंटों में बाँटना; वही बिल्ड दोबारा डिप्लॉय करना; स्टेजिंग या खाली कॉन्फ़िगरेशन परिवर्तनों के डिप्लॉयमेंट गिनना प्रति डिप्लॉयमेंट परिवर्तन का आकार; उन डिप्लॉयमेंटों का हिस्सा जिनमें उपयोगकर्ता को दिखने वाला परिवर्तन है; उसके बगल में परिवर्तन की विफलता दर और पुनर्कार्य दर
विफल डिप्लॉयमेंट की बहाली का समय घड़ी देर से शुरू करना या घटनाएँ जल्दी बंद करना; आंशिक सुधार के बाद विफलता को नई घटना के रूप में पुनर्वर्गीकृत करना; "विफलता" की गंभीरता की सीमा बढ़ाना बताई खिड़की के भीतर उसी घटना की पुनरावृत्ति; घड़ी का आरंभ निगरानी अलर्टों से लिया जाए; ग्राहक द्वारा बताई प्रभाव की अवधि
परिवर्तन की विफलता दर घटनाओं को डिप्लॉयमेंट से न जोड़ना; केवल उन विफलताओं को गिनना जो पूरा आउटेज पैदा करती हैं; खिड़की चौड़ी करना ताकि विफलताएँ उसके बाहर गिरें; आगे ठीक करना और उसे नया परिवर्तन कहना हर तिमाही घटनाओं का नमूना डिप्लॉयमेंट लॉग से जाँचें; डिप्लॉयमेंट कड़ी दर्ज वाली घटनाओं का अनुपात ट्रैक करें; डिप्लॉयमेंट के पुनर्कार्य की दर
डिप्लॉयमेंट के पुनर्कार्य की दर सुधारों को नियोजित काम के रूप में लेबल करना; सुधार को निर्धारित रिलीज़ में बाँध देना; सुधार में देरी करके सुधार डिप्लॉयमेंट से बचना ट्रैकर से दोषों और निकल गए दोषों की गिनतियाँ; खुले उत्पादन दोषों की आयु; डिप्लॉयमेंटों के नमूने पर टैग का ऑडिट

स्वस्थ पठन में लीड टाइम और बहाली का समय घटता या कम स्तर पर स्थिर होता है, डिप्लॉयमेंट की आवृत्ति छोटे बदलावों के साथ स्थिर या बढ़ती है, और विफलता तथा पुनर्कार्य की दरें सपाट या घटती हैं, गिनतियाँ इतनी बड़ी कि भरोसा हो। संदिग्ध पठन हैं: काम में बदलाव के बिना डिप्लॉयमेंट की आवृत्ति में अचानक उछाल, एक महीने में शून्य तक गिरती विफलता दर, और बहाली का समय घटना जबकि ग्राहकों की शिकायतें वैसी ही रहें। हर एक जश्न से पहले इंस्ट्रूमेंट को देखने की माँग करता है।

समझौते: लाभ और हानि

तरीका ताकत कमज़ोरी
प्रति सेवा सभी पाँच DORA मीट्रिक्स का उपयोग शोध-आधारित, गति को स्थिरता के विरुद्ध संतुलित करती हैं, वस्तुनिष्ठ घटनाओं से निकलती हैं ऐसी पाइपलाइन और घटना रिकॉर्ड चाहिए जो साफ़ जुड़ें; काम मूल्यवान था या नहीं इस पर मौन
केवल डिप्लॉयमेंट की आवृत्ति और लीड टाइम रिपोर्ट करना पाइपलाइन से जुटाना आसान केवल गति को पुरस्कृत करता है और ठीक वही गेमिंग बुलाता है जिसे स्थिरता के माप पकड़ते हैं
प्रति टीम स्थानीय परिभाषाएँ टीम के आर्किटेक्चर और रिलीज़ शैली के अनुरूप टीमों की तुलना नहीं हो सकती और रोल-अप अविश्वसनीय हैं
एक संगठन-व्यापी परिभाषा एकसमान रिपोर्टिंग; सरल शासन कुछ प्रणालियों को ख़राब बैठती है, जैसे बैच खिड़कियों वाले मेनफ़्रेम या विनियमित रिलीज़
टीमों की तुलना प्रकाशित प्रदर्शन-बैंडों से नेताओं को स्थिति का त्वरित अंदाज़ा देती है संदर्भ अनदेखा करती है, और शोध चेताता है कि बैंड हर टीम के लिए लक्ष्य नहीं हैं
टीम के आत्म-सुधार के लिए मीट्रिक्स का उपयोग स्वामित्व बनाता है; ईमानदार डेटा को सहारा देता है जो नेता एक स्कोर चाहते हैं उन्हें कम आराम देता है

केंद्रीय तनाव तुलनीयता और ईमानदारी के बीच है। संख्या का जितना अधिक उपयोग टीमों को परखने में होता है, डेटा उतना मुड़ता है, और जिस टीम का वह है उसकी उतनी कम मदद करता है। पहले मीट्रिक्स का उपयोग सुधार को सहारा देने के लिए करें, अपूर्ण तुलनीयता स्वीकार करें, और नेतृत्व-स्तर के दृश्यों को रुझान और फैलाव तक रखें। जहाँ विनियमित रिपोर्टिंग को मानक परिभाषा चाहिए, उसे दर्ज करें और टीम-स्तर का सुधार-दृश्य अलग रखें।

अपनी टीम के साथ चर्चा के प्रश्न

1. हमारे पाँच DORA आँकड़ों में से कौन-से घटनाओं से आते हैं, और कौन-से किसी की याददाश्त से? हर मीट्रिक का उसके स्रोत तक पीछा करें। नोट करें कि कहाँ कोई व्यक्ति तिथि टाइप करता है या तय करता है कि कुछ विफलता गिना जाएगा या नहीं। सूत्रधार समूह को हस्तचालित चरणों की इस आधार पर रैंकिंग में मदद करे कि वे संख्या को कितना विकृत कर सकते हैं, और तय करे कि पहले किसे स्वचालित करना है।

2. हमारी लीड टाइम की घड़ी ठीक कहाँ शुरू और रुकती है, और क्या सब सहमत हैं? तीन लोगों से पिछले भेजे गए परिवर्तन की घड़ी का आरंभ और अंत बताने को कहें। उत्तरों की तुलना करें। अंतर आमतौर पर पहले कमिट, मर्ज, टिकट और अनुमोदन चरण के आसपास दिखते हैं। एक परिभाषा पर सहमत हों और लिख लें, और चर्चा करें कि चुनी परिभाषा किस प्रतीक्षा समय को छिपाती है।

3. हमारे लिए विफल डिप्लॉयमेंट क्या गिना जाता है, और कौन तय करता है? पिछली पाँच उत्पादन घटनाओं पर चलें और पूछें कि क्या हर एक किसी डिप्लॉयमेंट की है। असहमतियाँ दिखाती हैं कि नियम कहाँ अस्पष्ट है। चर्चा करें कि कॉन्फ़िगरेशन परिवर्तन, रोलबैक या त्वरित पैच से ठीक की गई विफलता का क्या होता है, और तय करें कि हर एक कैसे दर्ज होगी।

4. यदि अगली तिमाही डिप्लॉयमेंट की आवृत्ति दोगुनी हो जाए, तो उसे अच्छी खबर कहने से पहले हम क्या जाँचेंगे? समूह को वे तरीके नामित करने को कहें जिनसे संख्या अधिक मूल्य दिए बिना बढ़ सकती है। परिवर्तन का आकार, उपयोगकर्ता को दिखने वाले परिवर्तन वाले डिप्लॉयमेंटों का हिस्सा, और विफलता तथा पुनर्कार्य की दरें देखें। सूत्रधार नोट करे कि कौन-सी जाँचें डैशबोर्ड पर पहले से हैं और किन्हें जोड़ना है।

5. टीम के बाहर के लोग इन संख्याओं का कैसे उपयोग करते हैं? पूछें कि इन्हें कौन किस रूप में देखता है और उनके साथ क्या करता है। अन्य टीमों से तुलना, बाहर से रखे लक्ष्य, और व्यक्तिगत मूल्यांकन में उपयोग पर ध्यान दें। चर्चा करें कि टीम को अपने डेटा पर भरोसा करने से पहले उस उपयोग में क्या बदलाव देखना होगा, और बदलाव करने का अधिकार किसके पास है।

6. कौन-सी एक क्षमता हमारी सबसे कमज़ोर संख्या को सबसे अधिक सुधारेगी, और आज़माने के लिए छोटा प्रयोग क्या है? सबसे कमज़ोर मीट्रिक चुनें और उसके संभावित कारणों पर बात करें, जैसे बड़े बैच, धीमी रिव्यू, अस्थिर परीक्षण, या हस्तचालित रिलीज़ चरण। एक कारण चुनें और असर देखने के तरीके सहित चार से छह सप्ताह का प्रयोग रचें। नतीजे की समीक्षा की तिथि और डेटा कौन लाएगा, यह तय करें।

चार दृष्टिकोण

उत्पाद और डिलीवरी टीमें

डिलीवरी टीमें उन क्षमताओं की स्वामी हैं जो इन संख्याओं को चलाती हैं: छोटे बदलाव, स्वचालित परीक्षण, तेज़ पाइपलाइन, और एक-दूसरे का काम समीक्षित करने की आदत। उन्हें मीट्रिक्स को अपनी इंजीनियरिंग प्रैक्टिस के दर्पण के रूप में उपयोग करना चाहिए, अपने सुधार के लक्ष्य स्वयं तय करने चाहिए, और ऊपर एक संख्या रिपोर्ट करने के दबाव का विरोध करना चाहिए। परिभाषाएँ भी वही तय करती हैं, इसलिए उन्हें ईमानदार रखने का कर्तव्य उन्हीं पर है (देखें विषय 2.7, पुल रिक्वेस्ट और कोड रिव्यू मीट्रिक्स)।

सेवा और संचालन टीमें

संचालन टीमें वह घटना रिकॉर्ड रखती हैं जिस पर विफलता और बहाली के माप निर्भर हैं। वे घटनाओं को उस डिप्लॉयमेंट से टैग करके जिसने उन्हें पैदा किया, ऐसी निगरानी देकर जो विफलताएँ जल्दी पकड़े, और हर विफल डिप्लॉयमेंट की समीक्षा में शामिल होकर डिलीवरी टीम की मदद करती हैं। उन्हें देखना चाहिए कि डिलीवरी की गति ऐसी अस्थिरता नहीं खरीद रही जिसे वे ऑन-कॉल भार के रूप में सोखती हैं (देखें विषय 5.7, टॉइल और ऑन-कॉल मीट्रिक्स), और रोलबैक तथा पहचान के उन निवेशों की माँग करनी चाहिए जो बहाली का समय घटाते हैं।

नेतृत्व और शासन

नेताओं को सेवाओं के पार रुझान और फैलाव, दोनों समूहों की मीट्रिक्स साथ, और उनके पीछे के सुधार-प्रयोग माँगने चाहिए। उन्हें "रोज़ डिप्लॉय करो" जैसे लक्ष्यों से बचना चाहिए जो संख्या को जकड़ देते हैं, और मीट्रिक्स को व्यक्तिगत मूल्यांकन में उपयोग करने से बचना चाहिए। शासन निकाय संख्याओं का उपयोग इस प्रमाण के रूप में कर सकते हैं कि हल्का परिवर्तन अनुमोदन पथ सुरक्षित है, या उस पर पुनर्विचार का कारण, यह दिखाकर कि प्रक्रिया बदलने पर स्थिरता स्थिर रही या नहीं (देखें विषय 4.4, परिवर्तन की विफलता और पुनर्कार्य)।

ग्राहक और उपयोगकर्ता

ग्राहक डिप्लॉयमेंट की गिनतियों की शायद ही परवाह करते हैं। वे परवाह करते हैं कि सुधार या फ़ीचर उन तक कितनी जल्दी पहुँचता है, कितनी कम बार रिलीज़ उनकी निर्भर चीज़ तोड़ती है, और जब ऐसा हो तो सेवा कितनी जल्दी लौटती है। DORA मीट्रिक्स का उपयोग आंतरिक प्रमाण के रूप में करें कि ये परिणाम संभावित हैं, और उन्हें उपलब्धता और संतुष्टि जैसे ग्राहक-मुखी मापों से पूरा करें (देखें विषय 5.3, उपलब्धता मीट्रिक्स, और विषय 6.1, ग्राहक संतुष्टि मीट्रिक्स)।

व्यवहार में: सेवा प्रबंधन का एक उदाहरण

एक मध्यम आकार का ऑनलाइन खुदरा विक्रेता चेकआउट सेवा चलाता है जिसका स्वामी एक उत्पाद टीम है, और जिसे प्लैटफ़ॉर्म टीम तथा सर्विस डेस्क सहारा देते हैं। नीचे की सभी संख्याएँ दृष्टांत के लिए हैं।

टीम उत्पादन में लगभग सप्ताह में दो बार डिप्लॉय करती रही है, जिसका लीड टाइम (पहले कमिट से उत्पादन तक) माध्य 11 दिन और 85वाँ परसेंटाइल 26 दिन है। पिछली तिमाही में 24 में से 6 डिप्लॉयमेंट (25 प्रतिशत, दृष्टांत) के बाद रोलबैक या घटना हुई। उन विफलताओं का माध्य बहाली समय 3 घंटे था। परिवर्तन अनुमोदन बोर्ड साप्ताहिक मिलता है और चेकआउट सेवा के हर परिवर्तन की समीक्षा करता है।

टीम योजना प्रस्तावित करती है। वह बड़े परिवर्तनों को बाँटेगी, पाइपलाइन में स्वचालित जाँचें जोड़ेगी, नए व्यवहार को फ़ीचर टॉगलों के पीछे रखेगी, और बोर्ड से कहेगी कि जाँचें पास करने वाले कम-जोखिम परिवर्तनों को मानक परिवर्तन के रूप में पूर्व-अधिकृत करे। परिवर्तन प्रबंधक सतर्क है, इसलिए टीम सभी पाँच मीट्रिक्स मासिक रिपोर्ट करने और विफलता दर लगातार दो महीने बढ़ने पर प्रयोग रोकने पर सहमत होती है।

एक तिमाही बाद संख्याएँ (दृष्टांत) हैं: प्रति माह 19 डिप्लॉयमेंट, माध्य लीड टाइम 3 दिन और 85वाँ परसेंटाइल 8 दिन, परिवर्तन की विफलता दर 8 प्रतिशत, माध्य बहाली समय 40 मिनट, और पुनर्कार्य की दर 5 प्रतिशत। टीम प्रसन्न है, और एक क्षेत्रीय प्रबंधक चेकआउट टीम की डिप्लॉयमेंट आवृत्ति की तुलना अन्य उत्पाद टीमों से करने और साझा लक्ष्य रखने को कहता है।

टीम लीड पुनर्कार्य और विफलता का विभाजन समीक्षा में लाती है और गेमिंग का जोखिम देखती है। डिप्लॉयमेंट की आवृत्ति को कुछ मामूली कॉन्फ़िगरेशन डिप्लॉयमेंटों से मदद मिली है जिन्हें पाइपलाइन गिनती है, और परिवर्तन का माध्य आकार असली काम से तेज़ी से सिकुड़ रहा है। इससे भी बुरा, पिछले महीने की दो घटनाएँ कॉन्फ़िगरेशन परिवर्तन से ठीक की गईं जिसे पाइपलाइन ने सामान्य डिप्लॉयमेंट के रूप में "नियोजित" टैग के साथ लॉग किया, इसलिए पुनर्कार्य दर कम आँकी गई। परिवर्तन की विफलता दर अच्छी इसलिए भी दिखी कि उन दो घटनाओं को उनके मूल डिप्लॉयमेंट से जोड़ा नहीं गया था।

निर्णय लॉग में दर्ज निर्णय के चार भाग हैं। केवल-कॉन्फ़िगरेशन डिप्लॉयमेंट अलग गिने जाते हैं और मुख्य संख्या के बगल में दिखाए जाते हैं। डिप्लॉयमेंट-कारण टैग का हर महीने 10 डिप्लॉयमेंटों के नमूने पर ऑडिट होता है। घटना औज़ार अब कारण परिवर्तन होने पर डिप्लॉयमेंट पहचानकर्ता अनिवार्य करता है। और टीम साझा डिप्लॉयमेंट आवृत्ति लक्ष्य अस्वीकार करती है, इसके बजाय ऐसा साझा दृश्य देती है जो हर सेवा का रुझान और उसकी विफलता दर दिखाता है। परिवर्तन प्रबंधक मानक परिवर्तनों की पूर्व-अधिकृति रखने पर सहमत होता है, अगली तिमाही के अंत में समीक्षा के साथ।

एजाइल, AI, स्वचालन और विश्लेषण

एजाइल

DORA मीट्रिक्स वर्णन करती हैं कि परिवर्तन कितनी जल्दी और सुरक्षित रूप से उत्पादन तक पहुँचते हैं, जो निरंतर डिलीवरी का व्यावहारिक केंद्र है। अच्छा अभ्यास है हितधारकों के साथ नियमित समीक्षा में गति और स्थिरता के माप साथ पढ़ना और एक सुधार चुनना। सावधानी यह है कि टीम परिवर्तनों को बाँटकर डिप्लॉयमेंट की आवृत्ति फुला सकती है, इसलिए परिवर्तन का आकार और पुनर्कार्य देखें।

AI

AI-सहायता वाली कोडिंग परिवर्तन की मात्रा बढ़ा सकती है और लीड टाइम तेज़ कर सकती है जबकि पुनर्कार्य या विफल परिवर्तन भी बढ़ा सकती है। AI-सहायता वाले और अन्य परिवर्तन एक ही स्थिरता मापों पर साथ रिपोर्ट करें, और अपनाने से पहले और बाद में विफल डिप्लॉयमेंट की बहाली का समय तथा डिप्लॉयमेंट के पुनर्कार्य की दर की तुलना करें। सावधानी यह है कि AI पर DORA शोध विकसित हो रहा है, इसलिए कोई निष्कर्ष उद्धृत करने से पहले वर्तमान प्रकाशित रिपोर्टें जाँचें।

स्वचालन

पाँचों माप पाइपलाइन और घटना की घटनाओं से अपने-आप निकालें, इस स्पष्ट नियम के साथ कि क्या डिप्लॉयमेंट और विफलता गिना जाता है। पाइपलाइन को स्वयं उसकी अपनी विफलता और अस्थिरता पर मापें। सावधानी यह है कि स्वचालन उन हस्तचालित चरणों को छिपा सकता है जो पाइपलाइन के बाहर बैठे हैं, जैसे ईमेल से अनुमोदन, इसलिए असली रास्ते का एक बार मानचित्र बनाएँ।

विश्लेषण

केवल औसत नहीं, वितरण रिपोर्ट करें, और टीम की तुलना उसके अपने अतीत से करें, अन्य टीमों से नहीं। यह जिस निर्णय को सूचित करता है वह है कि डिलीवरी प्रणाली कहाँ धीमी या नाज़ुक है। सावधानी यह है कि टीमों के बीच की लीग तालिकाएँ गेमिंग को प्रोत्साहित करती हैं, और संख्याएँ डिप्लॉयमेंट और विफलता की स्थानीय परिभाषाओं पर निर्भर करती हैं।

क्षेत्र का नज़रिया

स्टार्टअप। छोटी टीम अक्सर दिन में कई बार डिप्लॉय करती है और उसके घटना रिकॉर्ड पतले होते हैं, इसलिए डिप्लॉयमेंट की आवृत्ति और लीड टाइम आसान हैं पर विफलता का डेटा अधूरा है। हर रोलबैक और हॉटफ़िक्स को पाइपलाइन में टैग करके, और डिप्लॉयमेंट पहचानकर्ता के साथ सरल घटना लॉग रखकर शुरू करें। ऊँची आवृत्ति को विफलता दर जाँचे बिना आपको मनाने न दें कि स्थिरता ठीक है।

छोटा व्यवसाय। होस्टेड प्लैटफ़ॉर्म या आउटसोर्स डेवलपर कम औज़ारों के साथ केवल मासिक डिप्लॉय कर सकता है। कुछ महीने जो गिन सकें हाथ से गिनें, आपूर्तिकर्ता से डिप्लॉयमेंट और घटना की तिथियाँ लिखित में माँगें, और लीड टाइम तथा विफलता दर पर ध्यान दें। संख्याओं का उपयोग यह तय करने में करें कि निरंतर डिलीवर किए गए छोटे बदलाव जोखिम घटाएँगे या नहीं, किसी बैंड के पीछे दौड़ने के लिए नहीं।

उद्यम। कई टीमें, कई रिलीज़ शैलियाँ, और आधुनिक तथा विरासती प्रणालियों का मिश्रण एकसमान परिभाषाओं को कठिन बनाता है। हर मीट्रिक की साझा न्यूनतम परिभाषा तय करें, प्रकाशित करें, और टीम को बताए कारण के साथ कड़ी स्थानीय परिभाषाएँ जोड़ने दें। औसत की जगह प्रति सेवा फैलाव और रुझान दिखाकर रोल-अप करें, और टीम-स्तर का विवरण केवल स्वामी टीम और उसके सहायक समूहों को दिखाएँ।

सरकार और सार्वजनिक क्षेत्र। रिलीज़ की खिड़कियाँ, ऑडिट के नियम और खरीद के अनुबंध तय करते हैं कि क्या संभव है, और कुछ प्रणालियाँ आपूर्तिकर्ता चलाते हैं। अनुबंधों में डिलीवरी और घटना डेटा के अधिकार शामिल करें ताकि मीट्रिक्स निकाली जा सकें। संख्याओं का उपयोग इस प्रमाण के रूप में करें कि आधुनिकीकरण कार्यक्रम विफलता दर बढ़ाए बिना लीड टाइम घटा रहा है, और सभी मीट्रिक्स साथ रिपोर्ट करें ताकि परिणाम चुने न जाएँ (देखें विषय 8.5, विनियमित और सरकारी रिपोर्टिंग)।

व्यावसायिक औचित्य: प्रेरणाएँ, ROI और TCO

प्रेरणा किसी विचार और उसके उपयोग के बीच का समय घटाना है जबकि उत्पादन स्थिर रहे। कार्यक्रम की लागत के तीन भाग हैं: इंस्ट्रूमेंटेशन (पाइपलाइन की घटनाएँ, डिप्लॉयमेंट के टैग और घटना का जोड़), समीक्षा की दिनचर्या (रुझानों पर मासिक नज़र और विफलता तथा पुनर्कार्य के मामलों का तिमाही नमूना), और वह सुधार-कार्य जिसकी ओर संख्याएँ इशारा करती हैं, जैसे परीक्षण स्वचालन या तेज़ पाइपलाइन। पहले दो मामूली हैं। तीसरा वह जगह है जहाँ असली खर्च है, और वह इंजीनियरिंग क्षमता पर खर्च होता है, मापन पर नहीं।

प्रतिफल उन निर्णयों से आता है जिन्हें संख्याएँ आसान बनाती हैं। टीम परिवर्तन बोर्ड को दिखा सकती है कि छोटे बदलाव सुरक्षित हैं, और इसलिए एक अनुमोदन चरण हटा सकती है। प्लैटफ़ॉर्म समूह देख सकता है कि किन सेवाओं की पाइपलाइन धीमी है या रोलबैक कमज़ोर है और उसी के अनुसार निवेश कर सकता है। संचालन टीम बेहतर पहचान औज़ार के लिए डेटा से तर्क कर सकती है। प्रतिफल का वर्णन उन पैटर्नों से करें जिन्हें आप स्वयं देख सकते हैं, जैसे कमिट से उत्पादन तक का समय, उन रिलीज़ों का हिस्सा जिन्हें सुधार चाहिए, और प्रति रिलीज़ ऑन-कॉल भार, बदलाव से पहले और बाद में। अपेक्षित प्रतिफल के रूप में अन्य संगठनों के बेंचमार्क आँकड़े उद्धृत करने से बचें, क्योंकि आपका संदर्भ अलग होगा। स्वामित्व की कुल लागत में लोगों का समय प्रमुख है, इसलिए मीट्रिक सेट छोटा रखें और उसका संग्रह स्वचालित करें (देखें विषय 7.7, निवेश पर प्रतिफल और व्यावसायिक औचित्य)।

प्रतिरूप-विरोधी और जाल

  • मीट्रिक्स को व्यक्तियों का प्रदर्शन स्कोरकार्ड मानना। यह शोध के आधार को तोड़ता है और डेटा को भ्रष्ट करता है। केवल सेवा और टीम के स्तर पर रिपोर्ट करें।
  • "रोज़ डिप्लॉय करो" या "लीड टाइम एक दिन से कम" जैसे लक्ष्य तय करना। लक्ष्य उद्देश्य की जगह ले लेता है। सुधार की दिशा और प्रयोग तय करें, और संख्या को संकेत रखें।
  • टीमों की एक-दूसरे या प्रकाशित बैंडों से रैंकिंग। संदर्भ अलग हैं और गेमिंग पीछे आती है। टीम की तुलना उसके अपने रुझान से करें, और बैंड का उपयोग केवल ढीले मार्गदर्शन के रूप में करें।
  • स्थिरता के बिना गति रिपोर्ट करना। जोड़ी ही मुद्दा है। थ्रूपुट और अस्थिरता के समूह हमेशा साथ दिखाएँ।
  • परिभाषाओं को भटकने देना। विफलता, डिप्लॉयमेंट और लीड टाइम का आरंभ औज़ार के साथ चुपचाप बदलते हैं। परिभाषा के हर बदलाव को कारण सहित लॉग करें और चार्ट पर चिह्नित करें।
  • किसी भी चीज़ के डिप्लॉयमेंट गिनना। कॉन्फ़िगरेशन पुश, परीक्षण परिवेश की रिलीज़ और उसी बिल्ड के पुनः-डिप्लॉय गिनती फुलाते हैं। उत्पादन डिप्लॉयमेंट परिभाषित करें, और अन्य प्रकार अलग दिखाएँ।
  • जो भेजा जा रहा है उसकी अनदेखी। मज़बूत संख्याएँ ऐसा काम छिपा सकती हैं जो मायने नहीं रखता। उन्हें प्रवाह और परिणाम के मापों के बगल में पढ़ें (देखें विषय 2.9, संचालन-कार्य और अनियोजित कार्य)।
  • क्षमता की जगह मीट्रिक का पीछा। लीड टाइम सबसे भरोसेमंद ढंग से तब गिरता है जब बैच छोटे होते हैं और परीक्षण तेज़। प्रैक्टिस सुधारें और संख्या को पीछे आने दें।

परिपक्वता मॉडल

आयाम 1 आरंभ 2 विकास 3 मानकीकरण 4 प्रबंधन 5 समन्वयन
परिभाषाएँ और घड़ियाँ हर व्यक्ति डिप्लॉयमेंट और विफलता अलग परिभाषित करता है कुछ टीमें अपनी परिभाषाएँ दर्ज करती हैं मीट्रिक रजिस्टर में घड़ियों और अपवर्जनों सहित प्रति मीट्रिक एक लिखित परिभाषा परिभाषा के बदलाव लॉग और चार्टों पर चिह्नित; हर तिमाही नमूने जाँचे जाते हैं निर्णयों को सूचित करना बंद करने पर परिभाषाएँ आपूर्तिकर्ताओं और शासन के साथ संयुक्त रूप से संशोधित
डेटा संग्रह टिकटों से हाथ से जोड़ी गिनतियाँ कुछ सेवाओं का पाइपलाइन डेटा; घटनाएँ हाथ से जुड़ी अधिकांश सेवाओं के लिए डिप्लॉयमेंट, कारण और घटना की कड़ियाँ अपने-आप जुटाई जाती हैं डेटा की गुणवत्ता (कड़ी की दर, टैग का ऑडिट) मापी और ट्रैक की जाती है सहमत इंटरफ़ेस से टीमों और आपूर्तिकर्ताओं के पार घटनाएँ साझा
संख्याओं का उपयोग ऊपर एकल स्कोर के रूप में रिपोर्ट टीमें कभी-कभार अपने चार्ट देखती हैं थ्रूपुट और अस्थिरता के समूह स्वामी टीम द्वारा मासिक साथ समीक्षित रुझान सुरक्षा-रेखा सहित वित्तपोषित सुधार प्रयोगों को खिलाते हैं फैलाव और रुझान संगठन भर में प्लैटफ़ॉर्म निवेश और परिवर्तन की नीति को सूचित करते हैं
गेमिंग के विरुद्ध सुरक्षा-रेखाएँ कोई नहीं अनौपचारिक जागरूकता हर मीट्रिक की जोड़ीदार सुरक्षा-रेखाएँ सूचीबद्ध सुरक्षा-रेखाओं और नमूनों की समीक्षा, गेमिंग के मामले दर्ज टीमों और औज़ारों के बदलने पर सुरक्षा-रेखाएँ लगातार ट्यून की जाती हैं

जाँच-सूची

  • पाँचों मीट्रिक्स घड़ियों, अपवर्जनों, और अनुसरण किए DORA मार्गदर्शन की तिथि और संस्करण सहित लिखित रूप में परिभाषित हैं।
  • उत्पादन डिप्लॉयमेंट पाइपलाइन द्वारा टाइमस्टैम्प, संस्करण और परिणाम के साथ दर्ज होते हैं।
  • लीड टाइम का आरंभ (पहला कमिट, मर्ज या अन्य) बताया गया है और एकरूपता से लागू होता है।
  • घटनाओं में उस डिप्लॉयमेंट का फ़ील्ड है जिसने उन्हें पैदा किया, जो समाधान के दौरान भरा जाता है।
  • हर डिप्लॉयमेंट पर कारण का टैग है, और नमूने का हर महीने ऑडिट होता है।
  • समय माध्य और ऊँचे परसेंटाइल के रूप में गिनतियों सहित रिपोर्ट होते हैं।
  • थ्रूपुट और अस्थिरता के माप हर सेवा के लिए साथ दिखाए जाते हैं।
  • परिवर्तन का आकार डिप्लॉयमेंट की आवृत्ति और लीड टाइम के बगल में ट्रैक होता है।
  • संख्याएँ व्यक्तिगत मूल्यांकन में या टीमों की रैंकिंग के लिए उपयोग नहीं होतीं।
  • नामित स्वामी मीट्रिक्स की मासिक समीक्षा करता है और परिभाषा के किसी भी बदलाव को लॉग करता है।
  • सबसे कमज़ोर मीट्रिक से जुड़ा एक सुधार-प्रयोग समीक्षा तिथि के साथ चल रहा है।

AI प्रॉम्प्ट

पाँचों मीट्रिक्स के लिए एक पृष्ठ का परिभाषा-सेट लिखें।

I am defining the DORA software delivery metrics for [service or application
name]. Our tools are [version control host, CI/CD system, incident tool, ITSM
tool]. Our release style is [continuous, weekly, monthly, or other]. For change
lead time, deployment frequency, failed deployment recovery time, change fail
rate, and deployment rework rate, draft a definition with where the clock starts
and stops, what is counted and excluded, the data source, and one risk of
ambiguity. Do not invent benchmark values or claim our practice matches any
published performance band. List your assumptions and the questions I should
answer to finish the definitions.

मीट्रिक सेट में गेमिंग के जोखिम जाँचें।

Here is how we currently compute our delivery metrics: [description of each
metric, its data source, and how it is reported]. The audience is [team,
leadership, or governance body]. For each metric, list plausible ways the number
could be inflated, hidden, or distorted without real improvement, and suggest a
paired guardrail metric or practice that would catch it. Do not invent
statistics. List your assumptions and any information you would need to be more
precise.

डिप्लॉयमेंट और घटनाओं के डेटा निर्यात का विश्लेषण करें।

I will paste a small export of [number] production deployments and [number]
incidents with these fields: [list fields, for example deployment id, timestamp,
result, reason tag, incident id, opened time, resolved time, deployment link].
Compute the median and 85th percentile of recovery time, the change fail rate,
and the rework rate, showing the counts behind each. Flag records with missing
links or suspicious timestamps. Do not extrapolate beyond the data or compare
the result with outside benchmarks. List your assumptions and the data quality
issues that limit the conclusions.

सुधार-प्रयोग की योजना बनाएँ।

Our weakest delivery metric is [metric name], currently [value as reported,
with date range and counts]. Likely causes the team has discussed are [list]. Our
constraints are [constraints, for example regulated releases, shared test
environment]. Propose three small experiments of four to six weeks, each with a
hypothesis, a way to observe the effect, a guardrail metric, and a risk. Do not
invent expected improvement figures. List your assumptions and what we should
check before starting.

AI स्किल

  • Service Management Metrics skill: संबंधित परिवर्तन, रिलीज़ और घटना के विषय और हर DORA मीट्रिक के बगल में रहने वाली सुरक्षा-रेखा खोजने के लिए उपयोग करें।
  • Service Management Metrics maintainer skill: यह जाँचने के लिए उपयोग करें कि इस विषय का संशोधित संस्करण अपनी घड़ियाँ, गेमिंग के रास्ते और अंतर-संदर्भ संगत रखता है।

मुख्य निष्कर्ष

  • DORA मीट्रिक्स सॉफ़्टवेयर डिलीवरी के पाँच माप हैं, तीन थ्रूपुट के और दो अस्थिरता के, और एक सेवा के लिए साथ पढ़ने पर सबसे उपयोगी हैं।
  • उन्हें लिखित परिभाषाओं के साथ पाइपलाइन और घटना की घटनाओं से निकालें, क्योंकि विफलता और लीड टाइम का आरंभ विवेक के निर्णय हैं।
  • उनका उपयोग डिलीवरी प्रणाली के बारे में सीखने और टीम की तुलना उसके अपने इतिहास से करने के लिए करें, लोगों या टीमों की रैंकिंग के लिए कभी नहीं।
  • माध्य, ऊँचे परसेंटाइल और गिनतियाँ रिपोर्ट करें, और हर मीट्रिक के साथ ऐसी सुरक्षा-रेखा जोड़ें जो उसकी गेमिंग पकड़े।
  • छोटे बैच, तेज़ पहचान और आसान रोलबैक जैसी अंतर्निहित क्षमताओं को सुधारें, और संख्या को पीछे आने दें।
  • जिस मार्गदर्शन का आप अनुसरण करते हैं उसका संस्करण और तिथि बताएँ, क्योंकि परिभाषाएँ समय के साथ परिष्कृत हुई हैं।

संदर्भ और आगे का अध्ययन

  1. Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
  2. DORA, DORA's software delivery performance metrics, Google Cloud, https://dora.dev/guides/dora-metrics/
  3. DORA, DORA research program, Google Cloud, https://dora.dev/research/
  4. DORA, Four Keys project, https://github.com/dora-team/fourkeys
  5. Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 2021.
  6. Beyer, B., Jones, C., Petoff, J., and Murphy, N. R. (eds.), Site Reliability Engineering: How Google Runs Production Systems, O'Reilly Media, 2016, https://sre.google/sre-book/table-of-contents/
  7. Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
  8. Wikipedia, DevOps Research and Assessment.
  9. Wikipedia, Accelerate (book).
  10. Wikipedia, Continuous delivery.
  11. Wikipedia, ITIL.
  12. Wikipedia, Goodhart's law.
  13. Wikipedia, CI/CD.
  14. Wikipedia, Feature toggle.
  15. Wikipedia, Rollback (data management).
  16. Wikipedia, Canary release.