AI-सहायता प्राप्त कार्य को मापना
AI-सहायता प्राप्त कार्य को इससे आँकें कि समीक्षा, उत्पादन और उपयोगकर्ता के अगले संपर्क के बाद क्या टिकता है, इससे नहीं कि वह कितनी जल्दी सामने आया, और देखते रहें कि इसे करने वाले लोग अब भी सीख रहे हैं या नहीं।
अवलोकन और प्रेरणा
जब कोई टीम हर दिन AI के औज़ार उपयोग करती है, तो केंद्रीय प्रश्न "क्या हमें करना चाहिए?" से "हमें क्या मिल रहा है?" में बदल जाता है। पिछले विषय ने बुनियाद रखी: आधार, तुलनाएँ और पूरी लागत (देखें विषय 10.1, सेवा प्रबंधन मापन में AI)। यह विषय स्वयं काम में जाता है। आप कैसे बताएँगे कि AI-सहायता प्राप्त कोड, टिकट, दस्तावेज़ और निर्णय उस काम जितने अच्छे, उससे बेहतर, या ख़राब हैं जिसकी वे जगह लेते हैं, और उसे करने वाले लोगों के साथ क्या होता है?
AI की सहायता कई तरह के काम को छूती है। सॉफ़्टवेयर डिलीवरी में औज़ार कोड, परीक्षण, कमिट के संदेश और समीक्षा की टिप्पणियाँ सुझाते या बनाते हैं। सेवा संचालन में वे घटनाओं का सारांश बनाते हैं, कारण सुझाते हैं, उत्तर का मसौदा बनाते हैं, और ज्ञान के लेख लिखते हैं। विश्लेषण में वे रिपोर्टें और क्वेरी बनाते हैं। साझा विशेषता यह है कि विश्वसनीय पहला संस्करण बनाना सस्ता हो जाता है। लागतें दूसरी जगहों पर चली जाती हैं: आउटपुट को पढ़ना और आँकना, जो ग़लत है उसे ठीक करना, जो बना उसे बनाए रखना, और अंतर जानने लायक पर्याप्त सीखना।
कई प्रभाव मापन को पेचीदा बनाते हैं।
- आउटपुट की गिनतियाँ भ्रमित करती हैं। कोड की पंक्तियाँ (lines of code) उत्पादकता का हमेशा ख़राब माप थीं, और बनाया कोड उसे और ख़राब करता है। अधिक कोड का अर्थ है पढ़ने, परखने और बनाए रखने को अधिक। बनाई पंक्तियों, स्वीकृत सुझावों, या मसौदों की गिनतियाँ मूल्य के बारे में बहुत कम बताती हैं।
- समीक्षा बॉटलनेक बन जाती है। कोड रिव्यू (code review) और अन्य बनाए काम की समीक्षा में समय लगता है, और बड़े, अधिक बार के बदलावों का प्रवाह समीक्षकों को अतिभारित कर सकता है। बड़े पुल रिक्वेस्ट (pull requests) की अच्छी समीक्षा कठिन है, और अतिभारित समीक्षक उसे अनुमोदित करने की अधिक संभावना रखता है जिसे उसने समझा नहीं। पहले के समीक्षा और प्रवाह के माप आवश्यक बने रहते हैं (देखें विषय 2.7, पुल रिक्वेस्ट और कोड रिव्यू मीट्रिक्स)।
- गुणवत्ता की समस्याएँ देर से आती हैं। बनाया कोड आज परीक्षण पास कर सकता है और दोहराया कोड (duplicate code), अस्पष्ट संरचना, या छिपे दोष ले जा सकता है जो रख-रखाव की लागत के रूप में सामने आते हैं, तकनीकी ऋण (technical debt) का एक रूप। बनाने के क्षण पर लिए माप इसे चूकते हैं। देखें कि उसके बाद काम के साथ क्या होता है।
- कौशल बदल सकते हैं। जो काम पहले स्वयं करते थे उसके लिए औज़ार पर निर्भर रहना संज्ञानात्मक ऑफ़लोडिंग (cognitive offloading) का रूप है, जो कठिन समस्याओं के लिए ध्यान मुक्त कर सकता है या कौशल के क्षरण (deskilling) की ओर ले जा सकता है यदि अंतर्निहित समझ मंद पड़े। दोनों संभव हैं, और परिणाम इस पर निर्भर है कि औज़ार कैसे उपयोग होते हैं। यह शामिल लोगों के लिए और उन स्थितियों को संभालने की टीम की क्षमता के लिए मायने रखता है जिन्हें औज़ार नहीं संभाल सकता।
उत्पादकता पर AI की सहायता के प्रभाव का प्रमाण अब भी विकसित हो रहा है, और वह काम, उपयोगकर्ता के अनुभव, औज़ार और परिवेश के साथ बदलता है। कोडिंग के कामों के कुछ नियंत्रित अध्ययनों ने भली-भाँति परिभाषित कामों पर तेज़ पूर्णता पाई है, और अन्य अध्ययनों तथा रिपोर्टों ने अनुभवी लोगों के लिए, जो उन जटिल प्रणालियों पर काम करते हैं जिन्हें वे अच्छी तरह जानते हैं, छोटे या कोई लाभ नहीं, या अतिरिक्त लागतें पाई हैं। यह पुस्तक कोई संख्या नहीं देती। टीम के लिए ज़िम्मेदार रुख अपने काम को आधार और तुलना के साथ मापना है, और किसी भी प्रकाशित आँकड़े को विशेष संदर्भ में एक अध्ययन मानना है।
गुडहार्ट का नियम (Goodhart's law) की सुरक्षा-रेखा यहाँ विशेष रूप से महत्वपूर्ण है, क्योंकि लाभ दिखाने का दबाव प्रबल है और आसान संख्याएँ भ्रामक हैं। नीचे के माप इसका अनुसरण करते हैं कि क्या टिकता है, यह नहीं कि क्या बनता है (देखें विषय 1.2, गुडहार्ट का नियम और मीट्रिक्स का मनोविज्ञान)।
मुख्य सिद्धांत
- जो टिकता है उसे मापें। प्रतिधारण, पुनर्कार्य और निकले दोष आउटपुट से अधिक बताते हैं।
- समीक्षा देखें। AI-सहायता प्राप्त काम का प्रवाह इससे सीमित है कि लोग उसे कितनी अच्छी तरह पढ़ सकते हैं।
- समान से समान की तुलना करें। सहायता प्राप्त और बिना सहायता का काम प्रकार और कठिनाई में समान होना चाहिए।
- अभी के साथ बाद में भी देखें। गुणवत्ता की समस्याएँ और रख-रखाव की लागतें बनाने के सप्ताहों या महीनों बाद दिखती हैं।
- समझ को लूप में रखें। जो व्यक्ति काम शिप करता है उसे उसे समझा सकना चाहिए।
- कौशल और सीखने की रक्षा करें। नोट करें कि लोग औज़ार के बिना अब भी क्या कर सकते हैं।
- एकत्र करें; व्यक्तियों की निगरानी न करें। कौन AI कैसे उपयोग करता है इसका डेटा प्रक्रिया सुधारने के लिए है, लोगों को रैंक करने के लिए नहीं।
मीट्रिक परिभाषाएँ
| मीट्रिक | परिभाषा | सूत्र | इकाई | डेटा स्रोत | ITIL प्रैक्टिस | एजाइल समकक्ष | आवृत्ति |
|---|---|---|---|---|---|---|---|
| प्रतिधारण की दर | AI-सहायता प्राप्त बदलावों का हिस्सा जो बताई अवधि के बाद काफ़ी हद तक अपरिवर्तित रहते हैं | 30 दिन बाद बताए हिस्से से कम संशोधित या पलटे AI-सहायता प्राप्त बदलाव / 30 दिन पहले मर्ज हुए AI-सहायता प्राप्त बदलाव | प्रतिशत | सहायता के टैग से जुड़ा संस्करण नियंत्रण का इतिहास, टीम के स्तर पर | रिलीज़ और डिप्लॉयमेंट प्रबंधन; परिवर्तन सक्षमीकरण | काम जो टिकता है; कम पुनर्कार्य | मासिक |
| मर्ज के बाद पुनर्कार्य | बदलावों का हिस्सा जिन्हें छोटी अवधि में अनुवर्ती सुधार चाहिए, सहायता प्राप्त और तुलना के बदलावों के लिए | 14 दिन के भीतर जुड़े अनुवर्ती सुधार वाले बदलाव / मर्ज हुए बदलाव, प्रति समूह | प्रतिशत | संस्करण नियंत्रण, इश्यू ट्रैकर, परिवर्तन के रिकॉर्ड | परिवर्तन सक्षमीकरण; समस्या प्रबंधन | निकले दोष; पुनर्कार्य | मासिक |
| समीक्षा का भार | प्रति बदलाव समीक्षक का प्रयास, सहायता प्राप्त और तुलना के बदलावों के लिए | प्रति समूह प्रति बदलाव समीक्षा के समय और समीक्षा के दौरों की माध्यिका और 85वाँ परसेंटाइल | घंटे; दौर | समीक्षा के औज़ार के टाइमस्टैम्प, टीम के अनुसार एकत्र | रिलीज़ और डिप्लॉयमेंट प्रबंधन | फीडबैक और सीखने के रूप में समीक्षा | मासिक |
| निकले दोषों की दर | उत्पादन में मिले दोष प्रति बदलाव, सहायता प्राप्त और तुलना के बदलावों के लिए | रिलीज़ के बाद मिले और बदलाव को दिए दोष / रिलीज़ हुए बदलाव, प्रति समूह | दोष प्रति बदलाव | बदलावों से जुड़ा दोष का ट्रैकर | घटना प्रबंधन; समस्या प्रबंधन | जो रिलीज़ हुआ उसकी गुणवत्ता | त्रैमासिक |
| समझाने की जाँच पास होने की दर | नमूने के AI-सहायता प्राप्त बदलावों का हिस्सा जिनका लेखक समीक्षा में तरीका और उसके समझौते समझा सकता है | नमूने के बदलाव जहाँ लेखक ने समीक्षक के संतोष तक समझाया / नमूने के बदलाव | प्रतिशत | नमूने की समीक्षा के नोट | ज्ञान प्रबंधन; परिवर्तन सक्षमीकरण | कोड की साझा समझ | त्रैमासिक |
| सहायता प्राप्त सहायता की गुणवत्ता | AI-सहायता प्राप्त सहायता के उत्तरों के लिए दोबारा खुलने की दर और उपयोगकर्ता की संतुष्टि, बिना सहायता वालों से तुलना किया | दोबारा खुले सहायता प्राप्त टिकट / सहायता प्राप्त टिकट, और अनुकूल रेटिंग / रेटिंग, प्रति समूह | प्रतिशत | ITSM औज़ार, सर्वेक्षण | सर्विस डेस्क; घटना प्रबंधन | सेवा के परिणामों की गुणवत्ता | मासिक |
| बिना सहायता के आत्मविश्वास की रेटिंग | मुख्य काम औज़ार के बिना करने के आत्मविश्वास की टीम की रेटिंग | प्रति टीम सहमत पैमाने पर माध्य रेटिंग और फैलाव | पैमाने के बिंदु | गुमनाम टीम का पल्स | कार्यबल और प्रतिभा प्रबंधन; ज्ञान प्रबंधन | टीम की क्षमता और सीखना | त्रैमासिक |
टीम के स्तर पर AI की सहायता को भरोसे से टैग करें, औज़ार के लॉग से या हल्की परिपाटी से, और बताएँ कि तुलना के बदलाव कैसे चुने गए: आकार, क्षेत्र और जोखिम में समान। प्रतिधारण काफ़ी बदलाव मापता है, रजिस्टर में तय सीमा के साथ। मर्ज के बाद पुनर्कार्य अनुवर्ती सुधार को मूल बदलाव से बताए नियम से जोड़ता है। समीक्षा का भार समीक्षक का प्रयास है, लेखक का नहीं, और जहाँ मापा जा सके वहाँ केवल सक्रिय समीक्षा का समय शामिल करता है। व्यक्तिगत स्तर का डेटा कभी रिपोर्ट नहीं होता। समझाने की जाँच के नमूने यादृच्छिक रूप से चुने जाते हैं, और जाँच सीखने को सहारा देने की बातचीत है, व्यक्ति की परीक्षा नहीं।
सिफ़ारिशें
बनने के बाद काम को देखें
1. समय के साथ ट्रैक करें कि सहायता प्राप्त काम का क्या होता है। कोड के लिए मर्ज के सप्ताहों बाद तक बदलावों को देखें: क्या वे रहते हैं, ठीक होते हैं, या पलटे जाते हैं? सहायता के लिए उत्तर के बाद टिकटों को देखें: क्या वे दोबारा खुलते हैं या उनके बाद दोहराए संपर्क आते हैं? दस्तावेज़ों के लिए जाँचें कि वे उपयोग होते हैं, सुधारे जाते हैं, या अनदेखे रहते हैं। प्रतिधारण और पुनर्कार्य गुणवत्ता के सरल, नकली बनाने में कठिन संकेत हैं।
2. समान बिना सहायता के काम से तुलना करें। उसी अवधि से समान आकार, जोखिम और क्षेत्र का तुलना का काम चुनें। कठिनाई मायने रखती है: लोग आसान कामों के लिए AI उपयोग कर सकते हैं, जो औज़ार की चापलूसी करेगा, या कठिन के लिए, जो उसे दंडित करेगा। बताएँ कि काम सहायता प्राप्त कैसे बनते हैं, और उसके अनुसार समायोजित करें या चेतावनी दें। छोटी, ईमानदार तुलना बड़ी, भ्रमित तुलना से बेहतर है (देखें विषय 6.5, मूल्य की प्राप्ति और व्यावसायिक परिणाम)।
3. मानक सेट में बाद के माप शामिल करें। किसी भी गति के माप को परिवर्तन विफलता दर, निकले दोषों और पहले से उपयोग में स्थिरता के मापों से जोड़ें (देखें विषय 2.8, DORA मीट्रिक्स)। गिरती स्थिरता के साथ गति का लाभ संचालन और उपयोगकर्ताओं पर लागत का हस्तांतरण है। जोड़ी को साथ रिपोर्ट करें।
समीक्षा को सार्थक रखें
4. समीक्षा का भार और आकार देखें। सहायता प्राप्त और बिना सहायता के काम के लिए समीक्षा का समय, समीक्षा के दौर और बदलाव का आकार मापें। यदि सहायता प्राप्त बदलाव बड़े या अधिक हैं, तो समीक्षक अतिभारित हो सकते हैं। बदलाव के आकार के मानदंड रखें, और एक समीक्षा में जा सकने वाली बनाई सामग्री सीमित करें। समीक्षा की क्षमता प्रणाली की क्षमता का भाग है (देखें विषय 2.3, प्रगतिरत कार्य और कतारें)।
5. लेखकों से समझाने को कहें। आदत बनाएँ कि बदलाव का लेखक समझा सके कि वह क्या करता है, यह तरीका क्यों, और समझौते क्या हैं। समीक्षा में संक्षिप्त, सहायक बातचीत पर्याप्त है। यह देखने के लिए कि समझ आउटपुट के साथ चलती है या नहीं, हर तिमाही समझाने की जाँच का नमूना लें। जहाँ लेखक समझा न सकें, उसे धीमा होने और सीखने का संकेत मानें, व्यक्ति की विफलता नहीं।
6. स्वचालन के पक्षपात से बचें। समीक्षकों को सहायता प्राप्त काम को किसी भी अन्य जितनी आलोचनात्मक रूप से पढ़ने को प्रोत्साहित करें। समीक्षक घुमाएँ, कभी-कभी पहचान परखने के लिए परीक्षण के बदलाव में ज्ञात मुद्दे बोएँ, और स्वतंत्र समीक्षकों द्वारा आउटपुट का नमूना लेना जारी रखें। बढ़ते पुनर्कार्य के साथ स्वीकृति की बहुत ऊँची दर चेतावनी है (देखें विषय 10.1, सेवा प्रबंधन मापन में AI)।
गुणवत्ता और रख-रखाव का ध्यान रखें
7. कोड और प्रणाली की संरचना की निगरानी करें। उन क्षेत्रों में दोहराव, जटिलता, परीक्षण की कवरेज और बदलाव की दर ट्रैक करें जहाँ सहायता अधिक है। सॉफ़्टवेयर परीक्षण (software testing) और कोड की सेहत के जो माप आपके पास पहले से हैं उन्हें उपयोग करें, और रुझान देखें। बढ़ता दोहराव या गिरती परीक्षण की प्रभावशीलता संकेत दे सकती है कि बनाया कोड डिज़ाइन में समाहित किए बिना स्वीकार हो रहा है। रिग्रेशन परीक्षण (regression testing) की कवरेज सुरक्षा जाल है, और बदलाव की मात्रा बढ़ने पर उसकी मज़बूती अधिक मायने रखती है।
8. बनाए परीक्षणों को सावधानी से संभालें। AI कई परीक्षण जल्दी लिख सकता है, और परीक्षण बिना कुछ सार्थक जाँचे पास हो सकते हैं। बनाए परीक्षणों के मूल्य का नमूना लें, और ऐसी विधियों से परीक्षण की प्रभावशीलता मापें जैसे क्या जान-बूझकर व्यवहार तोड़ने पर परीक्षण विफल होते हैं। लिखे परीक्षणों की गिनती को गुणवत्ता का माप न मानें।
9. सहायता प्राप्त सहायता की गुणवत्ता देखें। सर्विस डेस्क और संचालन के लिए सहायता प्राप्त बनाम बिना सहायता के उत्तरों के लिए दोबारा खुलने की दर, दोहराए संपर्क, संतुष्टि, और नमूने के उत्तरों की सटीकता मापें। जो तेज़ उत्तर उपयोगकर्ता को लौटा दे, वह कुल मिलाकर धीमा है। सहायता प्राप्त उत्तरों पर उपयोगकर्ता की टिप्पणियाँ पढ़ें, और देखें कि जहाँ मायने रखे वहाँ क्या उपयोगकर्ता जानते हैं कि वे AI से निपट रहे हैं (देखें विषय 6.1, ग्राहक संतुष्टि मीट्रिक्स)।
लोगों और कौशल की रक्षा करें
10. नोट करें कि लोग अब भी क्या कर सकते हैं। टीमों से पूछें कि वे मुख्य काम औज़ार के बिना करने का कितना आत्मविश्वास रखती हैं और रुझान ट्रैक करें। कौशल जीवित रखने के लिए कभी-कभार बिना सहायता का अभ्यास, पेयरिंग, और अंतर्निहित डिज़ाइन की समीक्षाएँ उपयोग करें। विशेष रूप से नए टीम के सदस्यों के सीखने की रक्षा करें, जो उन मानसिक मॉडलों को बनाने से पहले औज़ार उपयोग कर सकते हैं जिन पर अनुभवी सहकर्मी उसे आँकने के लिए निर्भर करते हैं (देखें विषय 9.4, कौशल और सीखने के मीट्रिक्स)।
11. लोगों का डेटा मूल्यांकन से बाहर रखें। टीम के स्तर पर एकत्र करें। रिपोर्ट न करें कि कौन व्यक्ति AI सबसे अधिक उपयोग करते हैं, और उपयोग, स्वीकृति की दर, या बनाई मात्रा प्रदर्शन की समीक्षाओं में उपयोग न करें। नियम ज्ञात कराएँ। क्या काम करता है और क्या नहीं इसकी ईमानदार रिपोर्टों के लिए भरोसा चाहिए।
12. नियमित रूप से फिर देखें। औज़ार, मॉडल और प्रथाएँ महीनों में बदलते हैं। औज़ार या काम करने का तरीका बदलने पर तुलना दोबारा चलाएँ। निष्कर्ष साझा करें, इसमें यह भी कि औज़ार ने यहाँ मदद नहीं की, और ऐसे उपयोग सेवानिवृत्त करें जो अपनी जगह नहीं कमाते।
गेमिंग के रास्ते और सुरक्षा-रेखाएँ
| मीट्रिक | इसमें गेमिंग कैसे होती है | जोड़ीदार सुरक्षा-रेखा मीट्रिक या प्रथा |
|---|---|---|
| प्रतिधारण की दर | संख्या ऊँची रखने के लिए ज़रूरी बदलावों से बचना; केवल सफल बदलावों को सहायता प्राप्त टैग करना | लेखक की पसंद से नहीं, औज़ार के लॉग से टैग करें; निकले दोषों और पुनर्कार्य से जोड़ें |
| मर्ज के बाद पुनर्कार्य | अलग टिकट या बिना जुड़े नए बदलाव में सुधार करना; सुधारों को खिड़की से आगे टालना | रजिस्टर में जोड़ने का नियम; लंबी खिड़की देखें; उत्पादन के दोष |
| समीक्षा का भार | जल्दबाज़ी की समीक्षाएँ जो मापा समय घटाती हैं; बिना टिप्पणियों के अनुमोदन | समीक्षा की गहराई का नमूना; निकले दोष; समीक्षकों का सर्वेक्षण |
| निकले दोषों की दर | दोषों को बदलावों से न जोड़ना; दोषों को सुधार के रूप में पुनर्वर्गीकृत करना | आरोपण का नियम; दोषों के वर्गीकरण का स्वतंत्र नमूना |
| समझाने की जाँच पास होने की दर | जाँच के लिए लेखकों का पूर्वाभ्यास करना; उदार समीक्षक | यादृच्छिक, अघोषित नमूने; समीक्षक घुमाएँ; डिज़ाइन के कारणों पर ध्यान |
| सहायता प्राप्त सहायता की गुणवत्ता | केवल आसान टिकटों में सहायता लेना; उपयोगकर्ताओं को ऊँची रेटिंग देना सिखाना | टिकटों को प्रकार और कठिनाई से मिलाएँ; उत्तर देने की दर और मिश्रण; टिप्पणियाँ पढ़ें |
| बिना सहायता के आत्मविश्वास की रेटिंग | जाँच से बचने के लिए फुलाई रेटिंग; अधिक औज़ारों के तर्क के लिए कम रेटिंग | गुमनामी; अभ्यासों में देखी प्रथा से तुलना; टिप्पणियाँ पढ़ें |
स्वस्थ पठन सहायता प्राप्त काम है जो बिना सहायता के जितनी बार अपनी जगह रहता है, पुनर्कार्य और निकले दोष जो तुलना से मेल खाते या बेहतर हैं, समीक्षा जो गहरी रहती है, लेखक जो समझा सकते हैं कि वे क्या शिप करते हैं, सहायता प्राप्त सहायता जो लौटकर नहीं आती, और टीमें जो अपने कौशल में आत्मविश्वासी रहती हैं।
समझौते: लाभ और हानि
| तरीका | ताकत | कमज़ोरी |
|---|---|---|
| आउटपुट की मात्रा मापना | आसान | मात्रा को पुरस्कृत करता है; मूल्य के बारे में कुछ नहीं बताता |
| प्रतिधारण और पुनर्कार्य मापना | समय के साथ गुणवत्ता दर्शाता है | देर से; रिकॉर्ड जोड़ने पड़ते हैं |
| नियंत्रित तुलना | विश्वसनीय | प्रयास चाहिए; अव्यावहारिक हो सकती है |
| अवलोकन की तुलना | सस्ती | काम के चयन से भ्रमित |
| अनिवार्य समझाने की जाँचें | समझ बनाए रखती हैं | परीक्षा जैसी लग सकती हैं; प्रयास जोड़ती हैं |
| हल्की नमूने की जाँचें | कम बोझ | पैटर्न चूक सकती हैं |
| AI के उपयोग पर भारी प्रतिबंध | जोखिम का नियंत्रण | लाभ की हानि; छाया उपयोग |
| मापन के साथ खुला उपयोग | सीखना और लाभ | भरोसा और अनुशासन चाहिए |
सीधा उत्तर है कि स्पष्ट नियमों के भीतर उपयोग की अनुमति दें, जो टिकता है उसे मापें, समझ के लिए नमूना लें, समीक्षा की क्षमता और कौशल की रक्षा करें, और लोगों का डेटा मूल्यांकन से बाहर रखें।
अपनी टीम के साथ चर्चा के प्रश्न
1. पिछली तिमाही में AI की मदद से हमने जो बनाया उसका कितना अब भी अपनी जगह, अपरिवर्तित है, और हमें कैसे पता? तुलना योग्य सेट के विरुद्ध सहायता प्राप्त बदलावों का प्रतिधारण और पुनर्कार्य देखें। सूत्रधार दर्ज करे कि उत्तर देना कितना कठिन था। सहमत हों कि रिकॉर्ड कैसे टैग और जोड़ें ताकि अगली तिमाही उत्तर आसान हो।
2. क्या समीक्षा साथ चल रही है, और जब नहीं चलती तो क्या होता है? समीक्षा के समय, दौर और आकार देखें। समीक्षकों से पूछें कि सहायता प्राप्त बदलावों के बारे में वे कैसा महसूस करते हैं। आकार की सीमाओं और भार साझा करने के तरीकों पर चर्चा करें। आज़माने के लिए एक मानदंड पर सहमत हों।
3. क्या हममें से हर कोई AI की मदद से शिप किए आख़िरी बदलाव और उसके समझौते समझा सकता है? जोड़ियों में आज़माएँ। नोट करें कि समझाना कहाँ आसान था और कहाँ कठिन। चर्चा करें कि यह औज़ार के हमारे उपयोग के बारे में क्या बताता है, और समझ ऊँची कैसे रखें।
4. औज़ार के बिना हम अब भी क्या अच्छी तरह कर सकते हैं, और किसकी महारत खो रहे हैं? मुख्य काम सूचीबद्ध करें, आत्मविश्वास ईमानदारी से रेट करें, और कुछ बिना सहायता के अभ्यास या पेयरिंग की योजना बनाएँ। बातचीत यह भी उजागर करती है कि लोग अपने काम में किसकी क़द्र करते हैं और रखना चाहते हैं।
5. AI ने हमारी सबसे अधिक और सबसे कम मदद कहाँ की, और उन जगहों में क्या साझा है? उदाहरणों की तुलना करें। भली-भाँति परिभाषित काम, अच्छे परीक्षण, या परिचित डोमेन जैसी विशेषताएँ खोजें। निष्कर्षों का उपयोग यह दिशा देने में करें कि औज़ार कहाँ उपयोग करें।
6. यदि हम अपने पहले प्रभावों पर भरोसा न करें, तो हम क्या मापेंगे? समूह से वह प्रमाण नामित करने को कहें जो औज़ार के बारे में उनकी राय किसी भी दिशा में बदलेगा। उत्तरों का उपयोग अगली तुलना परिभाषित करने में करें।
चार दृष्टिकोण
उत्पाद और डिलीवरी टीमें
डिलीवरी टीमों के पास रोज़ का अनुभव और गुणवत्ता के परिणाम हैं। उन्हें सहायता प्राप्त काम टैग करना चाहिए, प्रतिधारण और पुनर्कार्य देखना चाहिए, समीक्षा को सार्थक रखना चाहिए, और अपनी समझ बनाए रखनी चाहिए। जब बनाए बदलावों की मात्रा उनकी समीक्षा करने की क्षमता से आगे निकल जाए तो उन्हें बोलना चाहिए।
सेवा और संचालन टीमें
संचालन टीमें सारांश, निदान और उत्तरों के लिए AI उपयोग करती हैं, और जो गुणवत्ता की समस्याएँ निकल जाती हैं उन्हें विरासत में पाती हैं। उन्हें आउटपुट का नमूना लेना चाहिए, दोबारा खुलने और दोहराए संपर्क की दरों की तुलना करनी चाहिए, और उत्पादन में कार्रवाइयों की स्पष्ट मानवीय ज़िम्मेदारी रखनी चाहिए। उन्हें परिभाषित करने में मदद करनी चाहिए कि AI को बिना व्यक्ति के कहाँ कार्रवाई नहीं करनी चाहिए।
नेतृत्व और शासन
नेताओं पर लाभ दिखाने का दबाव है और उपयोग तथा आउटपुट के मीट्रिक्स उन्हें ललचा सकते हैं। उन्हें गति के बगल में प्रतिधारण, पुनर्कार्य और स्थिरता के माप पर ज़ोर देना चाहिए, समीक्षा की क्षमता को वित्त देना चाहिए, कौशल विकास की रक्षा करनी चाहिए, और लोगों को रैंक करने का विरोध करना चाहिए। शासन को AI के लाभ की रिपोर्टों में तुलनाओं और चेतावनियों की अपेक्षा करनी चाहिए।
ग्राहक और उपयोगकर्ता
उपयोगकर्ता परिणाम पाते हैं: कोड जो उनकी सेवाएँ चलाता है, उनके अनुरोधों के उत्तर, दस्तावेज़ जिन पर वे निर्भर हैं। जब गुणवत्ता टिकती है तब उन्हें लाभ होता है और नहीं टिकती तब वे पीड़ित होते हैं। उन्हें किसी व्यक्ति तक पहुँचने में सक्षम होना चाहिए, और सहायता प्राप्त बातचीतों पर उनका फीडबैक गुणवत्ता का मुख्य प्रमाण है।
व्यवहार में: सेवा प्रबंधन का एक उदाहरण
एक यूरोपीय एयरलाइन के डिजिटल समूह की छह उत्पाद टीमें बुकिंग और संचालन का सॉफ़्टवेयर बनाती और चलाती हैं। टीमों ने एक साल पहले AI कोडिंग सहायक उपयोग करना शुरू किया, और समूह का डैशबोर्ड रिपोर्ट करता है कि मर्ज हुई पंक्तियों का 38 प्रतिशत AI-जनित है। नीचे की संख्याएँ दृष्टांत के लिए हैं।
इंजीनियरिंग उत्कृष्टता की प्रमुख उस डैशबोर्ड से असहज हैं। वे तीन टीमों से औज़ार के लॉग के माध्यम से, केवल टीम के स्तर पर, सहायता प्राप्त बदलाव टैग करने और आकार तथा क्षेत्र में समान तुलना के बदलाव चुनने को कहती हैं। एक तिमाही में पहले कमिट से मर्ज तक के समय की माध्यिका सहायता प्राप्त बदलावों के लिए 2.0 के विरुद्ध 1.4 दिन छोटी है। 30 दिन बाद सहायता प्राप्त बदलावों की प्रतिधारण की दर तुलना के बदलावों के 90 प्रतिशत के विरुद्ध 81 प्रतिशत है, और सहायता प्राप्त बदलावों के 12 प्रतिशत को 14 दिन के भीतर अनुवर्ती सुधार चाहिए था जबकि 7 प्रतिशत को। समीक्षा का भार वही कहानी कहता है: प्रति बदलाव समीक्षा के समय की माध्यिका सहायता प्राप्त बदलावों के लिए 35 प्रतिशत अधिक है, और बदलाव के आकार का 85वाँ परसेंटाइल बढ़ा है। प्रति 100 बदलावों पर निकले दोष सहायता प्राप्त बदलावों के लिए थोड़े अधिक हैं, हालाँकि नमूना छोटा है और अंतर सामान्य भिन्नता के भीतर है। 40 सहायता प्राप्त बदलावों का नमूना दिखाता है कि 31 में लेखक तरीका और उसके समझौते अच्छी तरह समझा सका, 6 में आंशिक, और 3 में बिल्कुल नहीं, अधिकतर उन कोड के क्षेत्रों में जो लेखक के लिए नए थे। सर्विस डेस्क में सहायता प्राप्त उत्तरों की दोबारा खुलने की दर बिना सहायता वालों के 6 के विरुद्ध 7 प्रतिशत थी, संतुष्टि समान। टीम के पल्स में नए इंजीनियर औज़ार के बिना मुख्य फ़ीचर लागू करने का अपना आत्मविश्वास 5 में से 2.6 रेट करते हैं, जबकि समूह में तीन साल से अधिक वाले इंजीनियर 4.1।
इंजीनियरिंग उत्कृष्टता की प्रमुख परिणाम टीमों तक ले जाती हैं और उन्हें रैंक नहीं करतीं। टीमें चार बदलावों पर सहमत होती हैं। बदलाव के आकार की सीमाएँ और समीक्षा की रोटा समीक्षकों की रक्षा करती हैं। लेखक समीक्षा में सहायता प्राप्त बदलावों को संक्षेप में समझाते हैं। नए इंजीनियर मुख्य फ़ीचरों पर अनुभवी लोगों के साथ पेयर करते हैं, और मासिक बिना सहायता का अभ्यास कौशल अभ्यास में रखता है। डैशबोर्ड बनाई पंक्तियों का हिस्सा छोड़ता है और तुलना के विरुद्ध सहायता प्राप्त प्रतिधारण, पुनर्कार्य, समीक्षा का भार और निकले दोष दिखाता है। तीन महीने बाद प्रतिधारण का अंतर 4 बिंदु तक संकरा होता है, अनुवर्ती सुधार 8 प्रतिशत तक गिरते हैं, और समझाने की जाँच सुधरती है। एक उपाध्यक्ष बनाई पंक्तियों के हिस्से को हर टीम का लक्ष्य बनाने को कहते हैं। इंजीनियरिंग उत्कृष्टता की प्रमुख निष्कर्ष समझाती हैं और परिणाम ट्रैक करते रहने का प्रस्ताव रखती हैं, यह जोड़ते हुए कि कुछ कामों में लाभ असली हैं और कुछ में नहीं, और टीम तय करेगी कि औज़ार कहाँ उपयोग करना है। निर्णय दर्ज होता है।
एजाइल, AI, स्वचालन और विश्लेषण
एजाइल
टिकाऊ गति और प्रेरित लोगों में समझ की रक्षा शामिल है, इसलिए AI-सहायता प्राप्त काम की समीक्षा टीम के साथ नियमित लय में करें और देखें कि क्या टिका। सावधानी यह है कि व्यक्तिगत AI के उपयोग को मापना टीम की प्रथा को निगरानी में बदल देता है।
AI
AI-सहायता प्राप्त काम को इससे आँकें कि समीक्षा और उत्पादन के बाद क्या टिकता है, और क्या लोग अब भी समझते हैं कि वे क्या शिप करते हैं। प्रतिधारण और पुनर्कार्य को समझाने की जाँच और बिना सहायता के आत्मविश्वास की रेटिंग से जोड़ें, और डेटा टीम के स्तर पर रखें। सावधानी यह है कि तेज़ मसौदे प्रयास समीक्षकों पर खिसकाते हैं, इसलिए समीक्षा का भार भी मापें।
स्वचालन
जहाँ औज़ार अनुमति दे वहाँ AI-सहायता प्राप्त बदलाव अपने-आप टैग करें, और टैगिंग को कवरेज पर मापें, क्योंकि बिना टैग का काम तुलना तोड़ता है। सावधानी यह है कि स्वचालित टैग हटाए या छूट सकते हैं, इसलिए नमूना लें।
विश्लेषण
AI-सहायता प्राप्त और अन्य काम की तुलना उन्हीं मापों पर गिनतियों और अनिश्चितता के साथ करें। यह जिस निर्णय को सूचित करता है वह है AI की मदद कहाँ असली है और कहाँ पुनर्कार्य जोड़ती है। सावधानी यह है कि काम के दो समूह प्रकार में भिन्न हो सकते हैं, इसलिए मोटी तुलना से कारण के दावों से बचें।
क्षेत्र का नज़रिया
स्टार्टअप। छोटी टीमें सहायता से बहुत लाभ पा सकती हैं और साथ ही छिपा ऋण तेज़ी से जमा कर सकती हैं। शुरू से प्रतिधारण और पुनर्कार्य ट्रैक करें, परीक्षण सार्थक रखें, और सुनिश्चित करें कि जो लोग प्रणाली को बनाए रखेंगे वे उसे समझते हैं। ऐसा कोड शिप करने से सावधान रहें जिसे कोई समझा नहीं सकता।
छोटा व्यवसाय। सहायता बहुत छोटी टीम को खींच सकती है। छोटे नमूने पर मापें: सहायता प्राप्त काम को बाद में कितनी बार ठीक करना पड़ता है। बैकअप, परीक्षण, और ग्राहक-मुखी किसी भी चीज़ की मानवीय समीक्षा रखें, और जिन प्रणालियों पर स्वामी निर्भर है उनकी उसकी समझ की रक्षा करें।
उद्यम। पैमाना लाभ और समस्याओं दोनों को बढ़ाता है। टैगिंग, समीक्षा की सीमाओं और मापों पर साझा मार्गदर्शन दें, बिना रैंक किए टीमों में सावधानी से तुलना करें, और समीक्षा तथा परीक्षण की क्षमता में निवेश करें। पाइपलाइन में बनाए कोड की सुरक्षा और लाइसेंस की समीक्षा शामिल करें (देखें विषय 7.2, सॉफ़्टवेयर परिसंपत्ति और लाइसेंस मीट्रिक्स)।
सरकार और सार्वजनिक क्षेत्र। सार्वजनिक प्रणालियों का जीवन लंबा, जवाबदेही सख्त, और त्रुटि के परिणाम गंभीर हैं। अनुरेखित मानवीय ज़िम्मेदारी, सावधान परीक्षण, और AI कैसे उपयोग हुआ इसके दस्तावेज़ आवश्यक करें। सहायता प्राप्त काम परिवर्तन के रिकॉर्डों में दर्ज करें, और निष्पक्षता तथा सुरक्षा के जोखिम आँकें (देखें विषय 8.5, विनियमित और सरकारी रिपोर्टिंग)।
व्यावसायिक औचित्य: प्रेरणाएँ, ROI और TCO
लागतें हैं औज़ार और उपयोग के शुल्क, रिकॉर्ड टैग और जोड़ने का प्रयास, समीक्षा और ठीक करने का समय, अतिरिक्त परीक्षण, और प्रशिक्षण। तुलना का अध्ययन समय लेता है, पर बढ़ाने या प्रतिबंध लगाने के ग़लत निर्णय की तुलना में सस्ता है।
प्रतिफल वहाँ असली हैं जहाँ सहायता गुणवत्ता घटाए बिना प्रयास घटाती है, और वहाँ खो जाते हैं जहाँ वह प्रयास को समीक्षा, पुनर्कार्य और रख-रखाव में ले जाती है। मामला अपने मापों से बनाएँ: मर्ज हुए, रखे गए बदलाव तक का समय, तुलना के विरुद्ध पुनर्कार्य और निकले दोष, समीक्षा का भार, और उपयोगकर्ताओं तथा कर्मचारियों की संतुष्टि। प्रकाशित उत्पादकता के आँकड़ों को अपने अनुमान के रूप में उपयोग करने से बचें। छिपी लागतें याद रखें: घटी समझ, कौशल की हानि, और तकनीकी ऋण। अनिश्चितता के बारे में ईमानदार रहें (देखें विषय 7.7, निवेश पर प्रतिफल और व्यावसायिक औचित्य)।
प्रतिरूप-विरोधी और जाल
- बनाई पंक्तियाँ या स्वीकार किए सुझाव गिनना। वे मात्रा को पुरस्कृत करते हैं। जो टिकता है उसे मापें।
- आसान कामों पर सहायता प्राप्त काम की कठिन कामों पर बिना सहायता के काम से तुलना। परिणाम औज़ार की चापलूसी करता या उसे दंडित करता है। काम मिलाएँ।
- समीक्षा की क्षमता को पिछड़ने देना। गुणवत्ता चुपचाप गिरती है। बदलाव का आकार सीमित करें और समीक्षकों की रक्षा करें।
- बाद के माप छोड़ देना। लागत बाद में दिखती है। पुनर्कार्य, दोष और स्थिरता ट्रैक करें।
- बनाए परीक्षणों को गुणवत्ता मानना। वे बिना कुछ जाँचे पास हो सकते हैं। परीक्षणों को परखें।
- कौशल को अनदेखा करना। समझ अनदेखी मंद पड़ती है। बिना सहायता का आत्मविश्वास ट्रैक करें और अभ्यास करें।
- व्यक्तियों की निगरानी। यह भय पैदा करती और समस्याएँ छिपाती है। डेटा टीम के स्तर पर रखें।
- छोटे, कम अध्ययन पर विजय घोषित करना। औज़ार और प्रथाएँ बदलने पर दोबारा चलाएँ।
परिपक्वता मॉडल
| आयाम | 1 आरंभ | 2 विकास | 3 मानकीकरण | 4 प्रबंधन | 5 समन्वयन |
|---|---|---|---|---|---|
| जो टिकता है उसे मापना | आउटपुट की गिनतियाँ | गुणवत्ता के अनौपचारिक प्रभाव | सहायता प्राप्त काम टैग; तुलना के विरुद्ध प्रतिधारण और पुनर्कार्य ट्रैक | बाद के दोष, स्थिरता और समीक्षा का भार साथ प्रबंधित | टीमों के पार का प्रमाण दिशा देता है कि सहायता कहाँ उपयोग हो; परिणाम व्यापक रूप से साझा |
| समीक्षा और समझ | पहले जैसी समीक्षा | अतिभार की चिंता | बदलाव के आकार के मानदंड; समझाने की जाँचों का नमूना | समीक्षा की क्षमता नियोजित; स्वचालन के पक्षपात का मुकाबला | समीक्षा और समझ सभी टीमों के AI के साथ काम करने के तरीके में बनी |
| लोग और कौशल | विचार नहीं किया | किस्से | बिना सहायता के आत्मविश्वास का पल्स; कुछ अभ्यास | कौशल विकास नियोजित; रुझान प्रबंधित | सीखना और शिल्प संगठन भर सुरक्षित; कर्मचारियों के साथ AI के उपयोग का सह-डिज़ाइन |
जाँच-सूची
- AI-सहायता प्राप्त काम टीम के स्तर पर औज़ार के लॉग या हल्की परिपाटी से टैग होता है।
- समान आकार, क्षेत्र और जोखिम का तुलना का काम परिभाषित है।
- सहायता प्राप्त और तुलना के काम के लिए प्रतिधारण और मर्ज के बाद पुनर्कार्य ट्रैक होते हैं।
- निकले दोष और परिवर्तन विफलता दर किसी भी गति के माप के बगल में रिपोर्ट होते हैं।
- समीक्षा का समय, दौर और बदलाव का आकार आकार के मानदंडों के साथ निगरानी में हैं।
- लेखक सहायता प्राप्त बदलाव समझा सकते हैं, और हर तिमाही नमूने की जाँच होती है।
- बनाए परीक्षणों के मूल्य का नमूना लिया जाता है।
- सहायता प्राप्त सहायता की तुलना दोबारा खुलने की दर, दोहराए संपर्क और संतुष्टि पर होती है।
- बिना सहायता का आत्मविश्वास पल्स होता है, और बिना सहायता का अभ्यास नियोजित है।
- व्यक्तिगत उपयोग और स्वीकृति का डेटा मूल्यांकन में उपयोग नहीं होता।
AI प्रॉम्प्ट
सहायता प्राप्त और बिना सहायता के बदलावों की तुलना की योजना बनाएँ।
We want to compare AI-assisted and unassisted changes for [team and system]. Our
data includes: [list fields]. Propose how to tag assisted changes without
relying on authors' memory, how to choose comparison changes of similar size and
risk, which measures to compare (retention, rework, review load, defects), the
period, and how to caveat the findings. Do not state expected results. List your
assumptions and threats to validity.
समझाने की जाँच डिज़ाइन करें।
Design a short, supportive explanation check for sampled AI-assisted changes in
[language and domain]. Include how to sample, the questions a reviewer asks,
what a good explanation covers, how to record results at team level, and how to
use the findings for learning without grading people. List your assumptions and
risks of the check.
बाद के मापों की समीक्षा करें।
Here are our measures for [period]: speed [values], retention [values], rework
[values], review load [values], escaped defects [values], for assisted and
comparison work. Describe what the pattern suggests and what it does not, which
differences are within normal variation, and what to check next. Do not claim
causation. List your assumptions and the data I should add.
बिना सहायता के अभ्यास की योजना बनाएँ।
Propose a light program to keep core skills alive for a team that uses AI tools
daily: monthly unaided exercises, pairing between newer and experienced members,
and design discussions. Suggest how to fit it into the working week without
adding pressure and how to track its effect with the unaided confidence pulse.
List your assumptions and trade-offs.
AI स्किल
- Service Management Metrics skill: AI-सहायता प्राप्त कार्य के माप की जोड़ीदार सुरक्षा-रेखा खोजने के लिए उपयोग करें।
- Service Management Metrics maintainer skill: यह जाँचने के लिए उपयोग करें कि AI-सहायता प्राप्त कार्य का माप वह मापता है जो टिकता है और अपना गेमिंग का रास्ता तथा सुरक्षा-रेखा रखता है।
मुख्य निष्कर्ष
- जो टिकता है उसे मापें: तुलना योग्य बिना सहायता के काम के विरुद्ध प्रतिधारण, पुनर्कार्य, निकले दोष और स्थिरता।
- समीक्षा की क्षमता की रक्षा करें और समीक्षा गहरी रखें, क्योंकि यह सीमित करती है कि सहायता प्राप्त काम कितनी तेज़ी से सुरक्षित बह सकता है।
- जाँचें कि लेखक समझा सकते हैं कि वे क्या शिप करते हैं, और नोट करें कि कौशल बढ़ रहे हैं या मंद पड़ रहे हैं।
- वास्तविक मूल्य के लिए बनाए परीक्षणों और आउटपुट का नमूना लें।
- प्रकाशित उत्पादकता के दावों को एकल अध्ययन के रूप में पढ़ें, और अपना काम मापें।
- व्यक्तिगत उपयोग का डेटा मूल्यांकन से बाहर रखें।
संदर्भ और आगे का अध्ययन
- Peng, S., Kalliamvakou, E., Cihon, P., and Demirer, M., "The Impact of AI on Developer Productivity: Evidence from GitHub Copilot," arXiv preprint, 2023.
- Forsgren, N., Humble, J., and Kim, G., Accelerate: The Science of Lean Software and DevOps, IT Revolution, 2018.
- DORA, Google Cloud, Accelerate State of DevOps Report (latest edition addressing AI), https://dora.dev/.
- Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
- Forsgren, N., Storey, M.-A., Maddila, C., Zimmermann, T., Houck, B., and Butler, J., "The SPACE of Developer Productivity," ACM Queue, 19(1), 2021.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Lines of code.
- Wikipedia, Code review.
- Wikipedia, Pull request.
- Wikipedia, Duplicate code.
- Wikipedia, Technical debt.
- Wikipedia, Cognitive offloading.
- Wikipedia, Deskilling.
- Wikipedia, Goodhart's law.
- Wikipedia, Software testing.
- Wikipedia, Regression testing.