मीट्रिक की स्फीति और गुणवत्ता का क्षरण
जब AI मात्रा और गति को सस्ता बनाता है, तो मात्रा और गति गिनने वाला हर मीट्रिक फूल जाता है, इसलिए हर एक को ऐसे उपयोगिता के माप से जोड़ें जिसे किसी व्यक्ति ने जाँचा हो, और देखते रहें कि आपके डेटा का संकेत डूब रहा है या नहीं।
अवलोकन और प्रेरणा
मीट्रिक इसलिए काम करता है कि वह कुछ ऐसा दर्शाता है जिसे बनाना कठिन है। हल हुए टिकट प्रयास दर्शाते हैं। लिखे दस्तावेज़ ज्ञान दर्शाते हैं। जोड़े परीक्षण देखभाल दर्शाते हैं। जब औज़ार दिखाई देने वाले आउटपुट को लगभग मुफ़्त बना दे, तो आउटपुट और प्रयास के बीच की कड़ी टूट जाती है। संख्याएँ बढ़ती रहती हैं और अर्थ बह जाता है। यह मीट्रिक की स्फीति है, और उसका साथी है गुणवत्ता का क्षरण: जो बनाया जाता है उसका उपयोगी हिस्सा गिरता है, और उपयोगी भाग खोजना कठिन हो जाता है।
यह नई समस्या नहीं है। गुडहार्ट का नियम (Goodhart's law) और उसका संबंधी कैम्पबेल का नियम (Campbell's law) वर्णित करते हैं कि नियंत्रण के लिए उपयोग किए माप कैसे भ्रष्ट होते हैं। वैनिटी मीट्रिक (vanity metric) प्रभावशाली दिखता है और काम की सेहत के बारे में कुछ नहीं बताता। AI जो बदलता है वह गति और पैमाना है जिस पर आउटपुट बनाया जा सकता है, और उसके साथ गति और पैमाना जिस पर ये पुरानी विफलताएँ हो सकती हैं। जो टीम कभी गिनती हाथ से फुलाती थी वह अब मिनटों में कर सकती है, अक्सर बिना इरादे के।
सेवा और डिलीवरी के काम में कई पैटर्न दोहराते हैं।
- मात्रा की स्फीति। AI अधिक टिकट, अधिक उत्तर, अधिक टिप्पणियाँ, अधिक परीक्षण के मामले, अधिक दस्तावेज़ और अधिक कोड का मसौदा बनाता है। इनकी गिनतियाँ बढ़ती हैं। जिन्हें उन्हें पढ़ना, समीक्षा करना और बनाए रखना है उनका कार्यभार भी बढ़ता है।
- गति की स्फीति। पहले मसौदे तक का समय तेज़ी से गिरता है, और पूरे, जाँचे परिणाम तक का समय कम गिरता है, या बिल्कुल नहीं। जो डैशबोर्ड पहला रिपोर्ट करता है वह चापलूसी की कहानी कहता है।
- शोर। अधिक सामग्री ध्यान के लिए प्रतिस्पर्धा करती है। सूचना का अतिभार (information overload) वह अवस्था है जिसमें व्यक्ति प्रस्तुत जानकारी की मात्रा संसाधित नहीं कर सकता, और ज्ञान आधार, टिकट की कतार, या अलर्ट की धारा का सिग्नल-टू-नॉइज़ अनुपात (signal-to-noise ratio) गिरता है। अलर्ट की थकान (alert fatigue) उसका परिचालन रूप है (देखें विषय 5.5, निगरानी और अलर्ट की गुणवत्ता के मीट्रिक्स)।
- ख़राब गुणवत्ता की बनाई सामग्री। थोक में थोड़ी समीक्षा के साथ बनी सामग्री, जिसे कभी-कभी AI स्लॉप (AI slop) कहते हैं, विश्वसनीय और पतली है। ऐसे लेखों से भरा ज्ञान आधार कम भरोसेमंद बनता है, और उपयोगकर्ता उस पर अविश्वास करना सीख जाते हैं।
- सत्यापन की लागत। किसी दावे को जाँचने का प्रयास अक्सर उसे करने के प्रयास से बहुत बड़ा होता है, एक पैटर्न जिसे कभी-कभी ब्रैंडोलिनी का नियम (Brandolini's law) कहते हैं। जब बनाना सस्ता हो, तो सत्यापन बॉटलनेक बन जाता है।
- दक्षता जो उपभोग बढ़ाती है। जेवन्स विरोधाभास (Jevons paradox) उन मामलों का वर्णन करता है जिनमें दक्षता के लाभ से संसाधन का उपयोग घटने की जगह बढ़ता है। यदि रिपोर्ट का मसौदा बनाना सस्ता हो जाए, तो अधिक रिपोर्टें माँगी जाती हैं। औज़ार से बचा समय कम मूल्य के अधिक काम में खप सकता है।
- फीडबैक के चक्र। यदि बनाई सामग्री अगले दौर की रचना को खिलाती है, तो त्रुटियाँ जमा होती हैं। शोध साहित्य उन मॉडलों में मॉडल कोलैप्स (model collapse) वर्णित करता है जो अपने ही आउटपुट पर प्रशिक्षित हुए। संगठन के भीतर समान चक्र हो सकता है जब सहायक उन टिकटों का सारांश बनाए जो सहायक ने उन लेखों से लिखे जिनका सारांश सहायक ने बनाया।
- भटकते आधार। यदि AI के कारण डेटा का वितरण बदलता है, तो रुझान और सीमाओं का वह अर्थ नहीं रहता जो था। यह मशीन लर्निंग में कॉन्सेप्ट ड्रिफ़्ट (concept drift) जैसा है, जहाँ इनपुट और परिणामों का संबंध समय के साथ बदलता है। टिकट की मात्रा में वृद्धि अधिक समस्याओं को नहीं, टिकट बनाना आसान होने को दर्शा सकती है।
यहाँ एजाइल उद्देश्य मायने रखते हैं। निरंतर डिलीवरी, सतत सुधार और टिकाऊ गति सब संकेत के स्पष्ट होने पर निर्भर हैं। प्रेरित लोगों से मशीन-जनित शोर में चलने या आउटपुट के ढेरों को अटिकाऊ गति से सत्यापित करने को नहीं कहा जाना चाहिए। निरंतर शामिल हितधारक भी सबसे अच्छा बचाव हैं: वे आपको बताएँगे जब रिपोर्टें मदद करना बंद कर दें।
यह विषय स्फीति और क्षरण को नोटिस करने के माप, और उन्हें उजागर करने वाली जोड़ियाँ देता है। यह बुनियाद और सहायता प्राप्त काम के मापों पर बनता है (देखें विषय 10.1, सेवा प्रबंधन मापन में AI, और विषय 10.2, AI-सहायता प्राप्त कार्य को मापना)।
मुख्य सिद्धांत
- हर मात्रा या गति के माप को उपयोगिता की जाँच से जोड़ें। व्यक्ति आँकता है कि आउटपुट उपयोगी है या नहीं।
- पूरे, सत्यापित परिणाम तक मापें। पहले मसौदे की गति जाल है।
- सत्यापन का बोझ देखें। वह चुपचाप बढ़ता है और बचा समय खा जाता है।
- संकेत की रक्षा करें। ज्ञान आधार, कतारें और अलर्ट इतने साफ़ रखें कि उन पर भरोसा हो।
- फीडबैक के चक्र तोड़ें। बनाई सामग्री को बिना समीक्षा के रचना को खिलाने न दें।
- जब डेटा बदले तो आधार फिर तय करें। तकनीक के बदलाव के पार रुझानों में सावधानी चाहिए।
- कम, बेहतर आउटपुट को तरजीह दें। जब ध्यान सीमित संसाधन हो तो कम अधिक हो सकता है।
मीट्रिक परिभाषाएँ
| मीट्रिक | परिभाषा | सूत्र | इकाई | डेटा स्रोत | ITIL प्रैक्टिस | एजाइल समकक्ष | आवृत्ति |
|---|---|---|---|---|---|---|---|
| आउटपुट-से-परिणाम का अनुपात | आउटपुट की मात्रा उस परिणाम के सापेक्ष जिसे वह पैदा करने के लिए थी | आउटपुट की गिनती (टिकट, लेख, बदलाव) / परिणाम का माप (हल समस्याएँ, उपयोग हुए लेख, रखे बदलाव), उसी अवधि में, रुझान के रूप में ट्रैक | अनुपात | काम का ट्रैकर, ज्ञान आधार, परिणाम के माप | सतत सुधार; माप और रिपोर्टिंग | दस्तावेज़ों की मात्रा से ऊपर चालू सॉफ़्टवेयर | मासिक |
| उपयोगी मदों का हिस्सा | नमूने की मदों का हिस्सा जिन्हें योग्य समीक्षक ने उपयोगी आँका | उपयोगी (सही, प्रासंगिक, गैर-डुप्लिकेट) आँकी नमूने की मदें / नमूने की मदें | प्रतिशत | यादृच्छिक नमूने की समीक्षा | ज्ञान प्रबंधन; गुणवत्ता आश्वासन | सामग्री के लिए पूर्णता की परिभाषा | मासिक |
| सत्यापन का बोझ | प्रति इकाई आउटपुट बनाए काम को जाँचने और सुधारने में लगा मानवीय समय | समीक्षा और सुधार के घंटे / आउटपुट की इकाइयाँ, रुझान के रूप में ट्रैक | घंटे प्रति इकाई | समय के अनुमान, समीक्षा के औज़ार का डेटा | सेवा वित्तीय प्रबंधन; सतत सुधार | बाधा के रूप में समीक्षा की क्षमता | मासिक |
| सामग्री के दोहराव की दर | ज्ञान की मदों का हिस्सा जो किसी अन्य की नकल हैं या काफ़ी हद तक चढ़ती हैं | समीक्षा में या मिलान से डुप्लिकेट या चढ़ती चिह्नित मदें / ज्ञान आधार की मदें | प्रतिशत | ज्ञान आधार की समीक्षा, मिलान की रिपोर्टें | ज्ञान प्रबंधन | सत्य का एकल स्रोत | त्रैमासिक |
| बनाए ज्ञान का समीक्षित हिस्सा | AI-जनित ज्ञान की मदों का हिस्सा जिनकी योग्य व्यक्ति ने प्रकाशन से पहले समीक्षा और अनुमोदन किया | अनुमोदित समीक्षा के साथ प्रकाशित बनाई मदें / प्रकाशित बनाई मदें | प्रतिशत | ज्ञान आधार का मेटाडेटा | ज्ञान प्रबंधन; परिवर्तन सक्षमीकरण | रिलीज़ से पहले समीक्षा | मासिक |
| समाधान के विरुद्ध बैकलॉग का प्रवाह | AI से प्रभावित कतारों के लिए, आ रहे काम की वृद्धि हल हुए काम की वृद्धि के सापेक्ष | (बनी मदों में बदलाव) / (हल मदों में बदलाव), AI से पहले के आधार से तुलना किया | अनुपात | टिकट और ट्रैकर का इतिहास | घटना प्रबंधन; सेवा अनुरोध प्रबंधन | प्रवाह का संतुलन | मासिक |
| मीट्रिक के भटकाव के चिह्न | उन मीट्रिक्स की संख्या जिनकी परिभाषा या वितरण AI आने के बाद साफ़ खिसका, समीक्षित और टिप्पणी किया हुआ | समीक्षा में चिह्नित मीट्रिक्स / रजिस्टर के मीट्रिक्स | गिनती; प्रतिशत | मीट्रिक रजिस्टर की समीक्षा, वितरण की जाँचें | माप और रिपोर्टिंग | मापन पर रेट्रोस्पेक्टिव | त्रैमासिक |
"उपयोगी" को लिखित रूब्रिक में परिभाषित करें: सही, असली ज़रूरत के लिए प्रासंगिक, गैर-डुप्लिकेट, और सामयिक। सत्यापन का बोझ लोगों द्वारा बिताया समय गिनता है, फिर से प्रॉम्प्ट देने का समय सहित, और वह समय बाहर रखता है जो केवल प्रतीक्षा है। समीक्षित हिस्सा नियंत्रण है: बिना समीक्षा का बनाया ज्ञान अलग ट्रैक होता है और दिखाई देने वाले लेबल के साथ रखा जाता है। मीट्रिक के भटकाव के चिह्न चर्चाएँ हैं, दंड नहीं: चिह्न का अर्थ है कि किसी व्यक्ति ने तय किया है कि परिभाषा समायोजित करनी है, रुझान पर टिप्पणी करनी है, या आधार फिर तय करना है। सभी माप प्रक्रियाओं और सामग्री का वर्णन करते हैं, व्यक्तियों का नहीं।
सिफ़ारिशें
मात्रा को उपयोगिता से जोड़ें
1. हर मात्रा के माप में उपयोगिता की जाँच बनाएँ। अपने डैशबोर्ड के हर मात्रा या गति के माप के लिए व्यक्ति से आँका उपयोगिता का माप नामित करें। बने टिकट समाधान की गुणवत्ता से जुड़ते हैं, लिखे लेख लेख के उपयोग और सटीकता से, मर्ज हुए बदलाव प्रतिधारण और पुनर्कार्य से (देखें विषय 10.2, AI-सहायता प्राप्त कार्य को मापना)। उन्हें साथ दिखाएँ, और चर्चा करें जब वे अलग हों।
2. नियमित रूप से नमूना लें और आँकें। हर महीने उन धाराओं से मदों का यादृच्छिक नमूना लें जिन्हें AI छूता है और योग्य व्यक्ति से लिखे रूब्रिक के विरुद्ध आँकवाएँ। उपयोगी हिस्सा और मदों के विफल होने के कारण दर्ज करें। समीक्षक घुमाएँ और उन्हें निर्माताओं से स्वतंत्र रखें। नमूना धीमे क्षरण से मुख्य बचाव है।
3. आउटपुट से पहले परिणाम रिपोर्ट करें। नेतृत्व की रिपोर्टों में परिणामों से शुरू करें: हल हुई समस्याएँ, संतुष्ट उपयोगकर्ता, टाले दोष। आउटपुट की गिनतियाँ संदर्भ के रूप में बाद में रखें। यदि आउटपुट की गिनतियाँ हटाने पर भी रिपोर्ट मूल्यवान रहे, तो वह अच्छी तरह उन्मुख है।
सत्यापन और शोर पर नियंत्रण रखें
4. सत्यापन का बोझ मापें। बनाए काम को जाँचने और सुधारने में लगे समय का अनुमान लगाएँ, और प्रति इकाई आउटपुट रुझान के रूप में ट्रैक करें। यदि आउटपुट बढ़ने के साथ वह बढ़ता है, तो शुद्ध लाभ बनाने की संख्याओं के सुझाव से छोटा है, और समीक्षक अतिभार की ओर जा सकते हैं। प्रति काम लागत में बोझ शामिल करें (देखें विषय 10.1, सेवा प्रबंधन मापन में AI)।
5. जो सिस्टम में आता है उसे सीमित करें। तय करें कि कौन-सी बनाई सामग्री अपने-आप बनाई और प्रकाशित हो सकती है, और किसे समीक्षा चाहिए। एक समीक्षा में बनाए बदलावों के आकार और संख्या पर सीमाएँ रखें। मात्रा को ना कहना आसान बनाएँ। छोटी कतार जिसकी मदें स्पष्ट हों उपयोगकर्ताओं की बेहतर सेवा करती है।
6. ज्ञान आधार को उत्पाद की तरह प्रबंधित करें। बनाई सामग्री पर लेबल लगाएँ, प्रकाशन से पहले समीक्षा आवश्यक करें, डुप्लिकेट और बासी मदें सेवानिवृत्त करें, और दोहराव तथा उपयोग ट्रैक करें। ज्ञान आधार इस अनुपात में उपयोगी है कि उपयोगकर्ता उस पर कितना भरोसा करते हैं। वे लेख हटाएँ जिनका कोई उपयोग नहीं करता और जिनकी कोई ज़मानत नहीं ले सकता (देखें विषय 3.6, ज्ञान प्रबंधन मीट्रिक्स)।
7. अलर्ट और टिकट की धाराएँ साफ़ रखें। यदि AI अलर्ट या सारांशों से टिकट बनाता है, तो उपयोगी हिस्सा और डुप्लिकेट मापें। आक्रामक रूप से ट्यून करें। गिरते सिग्नल-टू-नॉइज़ अनुपात को अपने-आप में घटना मानें, क्योंकि जब असली परेशानी आती है तो वह प्रतिक्रिया को नुकसान पहुँचाता है।
चक्र तोड़ें और आधार पर नज़र रखें
8. बनी सामग्री को बिना जाँचे स्वयं को खिलाने से रोकें। जहाँ सहायक ज्ञान आधार, टिकट के इतिहास, या पिछली रिपोर्टों से लेता है, वहाँ सुनिश्चित करें कि उन स्रोतों में बनाई सामग्री की समीक्षा हुई है, या वह लेबल की गई और उसी के अनुसार भारित है। शृंखला का नमूना लें: कोई उत्तर चुनें और उसे उसके स्रोतों तक अनुरेखित करें यह देखने को कि वह कहाँ से आया। बिना जाँची शृंखलाएँ त्रुटियाँ बढ़ाती हैं।
9. जब डेटा खिसके तो आधार फिर तय करें। AI लाने के बाद रुझान चार्टों पर टिप्पणी करें और, जहाँ डेटा की प्रकृति बदली हो, नया आधार शुरू करें। केवल कुल नहीं, वितरण जाँचें: टिकट की लंबाई, श्रेणी का मिश्रण और बनाने का समय सब खिसक सकते हैं। मीट्रिक के भटकाव के चिह्न ये बातचीतें प्रेरित करते हैं (देखें विषय 1.6, सेवा मीट्रिक्स के लिए सांख्यिकीय साक्षरता)।
10. उछाल पर नज़र रखें। जब कोई काम सस्ता हो जाए, तो पूछें कि क्या उसकी माँग बढ़ेगी। पहले से तय करें कि बचे समय का उपयोग कैसे करें, ताकि वह कम मूल्य के अधिक आउटपुट में न खपे। जो टीम उसी प्रयास में दोगुनी रिपोर्टें बनाती है वह कम उपयोगी काम कर रही हो सकती है।
मानवीय ध्यान को लूप में रखें
11. समीक्षकों और उपयोगकर्ताओं के ध्यान की रक्षा करें। समीक्षा की क्षमता और ध्यान दुर्लभ हैं। जो सामग्री लोगों को पढ़नी है उसकी मात्रा घटाएँ, समीक्षकों को यथार्थवादी भार दें, और उनसे पूछें कि क्या कठिन हो रहा है। टिकाऊ गति में पढ़ने और आँकने की गति शामिल है (देखें विषय 9.2, संतुष्टि और कल्याण मीट्रिक्स)।
12. उपयोगकर्ताओं और हितधारकों से पूछें कि क्या संकेत स्पष्ट है। आउटपुट उपयोग करने वाले लोगों की निरंतर भागीदारी सबसे अच्छी परीक्षा है। पूछें कि क्या ज्ञान आधार उपयोग में आसान या कठिन है, क्या रिपोर्टें उन्हें वह बताती हैं जो उन्हें चाहिए, क्या कतार अधिक स्पष्ट लगती है। उनके उत्तर और टिप्पणियाँ संख्याओं के बगल में पढ़ी जानी चाहिए।
गेमिंग के रास्ते और सुरक्षा-रेखाएँ
| मीट्रिक | इसमें गेमिंग कैसे होती है | जोड़ीदार सुरक्षा-रेखा मीट्रिक या प्रथा |
|---|---|---|
| आउटपुट-से-परिणाम का अनुपात | ऐसा परिणाम का माप चुनना जो मात्रा के साथ बढ़ता है; अवधि बदलना | रजिस्टर में तय परिणाम; संतुष्टि और दोबारा खुलने की दर से तुलना |
| उपयोगी मदों का हिस्सा | आसान मदों का नमूना; उदार रूब्रिक; निर्माता से प्रभावित समीक्षक | यादृच्छिक नमूना; लिखित रूब्रिक; स्वतंत्र, घूमते समीक्षक |
| सत्यापन का बोझ | समीक्षा का समय लॉग न करना; जाँच नीचे की टीमों को खिसकाना | नीचे का पुनर्कार्य शामिल करें; समीक्षकों से भार के बारे में पूछें |
| सामग्री के दोहराव की दर | संकरे मिलान के नियम जो डुप्लिकेट चूकते हैं; भिन्न मदें मिलाना | हाथ से डुप्लिकेट का नमूना; विलय के नियम लॉग |
| बनाए ज्ञान का समीक्षित हिस्सा | पढ़े बिना समीक्षा पूर्ण चिह्नित करना; थोक में समीक्षा | सार के लिए समीक्षाओं का नमूना; प्रति समीक्षा समय; प्रकाशित मदों में त्रुटि की दर |
| समाधान के विरुद्ध बैकलॉग का प्रवाह | मदें अपने-आप बंद करना; मदें बाँटना | समाधान की गुणवत्ता जाँचें; दोबारा खुलने की दर; बंद मदों का नमूना |
| मीट्रिक के भटकाव के चिह्न | काम से बचने के लिए चिह्नित न करना; सब कुछ चिह्नित करना | हर तिमाही सभी मीट्रिक्स की समीक्षा; हर चिह्न के लिए निर्णय आवश्यक |
स्वस्थ पठन मात्रा बढ़ने पर स्थिर या बढ़ता उपयोगी मदों का हिस्सा, सत्यापन का बोझ जो ज्ञात और वहन योग्य है, कम दोहराव और समीक्षित बनाई सामग्री वाला ज्ञान आधार, स्पष्ट संकेत वाली कतारें, और परिणामों से शुरू होने वाला नेतृत्व का दृश्य है।
समझौते: लाभ और हानि
| तरीका | ताकत | कमज़ोरी |
|---|---|---|
| आउटपुट गिनना | आसान, परिचित | फूलता है; मात्रा को पुरस्कृत करता है |
| परिणाम मापना | मूल्य दर्शाता है | धीमा; आरोपण कठिन |
| नमूना लेना और आँकना | क्षरण पकड़ता है | कुशल समीक्षक और प्रयास चाहिए |
| स्वचालित गुणवत्ता का स्कोर | बढ़ता है | दूसरे मॉडल की राय; वही अंधे बिंदु साझा कर सकता है |
| बनाई हर चीज़ की समीक्षा | सुरक्षित | लाभ हटाती है; समीक्षक अतिभारित |
| नमूने की समीक्षा | व्यावहारिक | कुछ ख़राब मदें पास हो जाती हैं |
| खुली रचना की अनुमति | तेज़, व्यापक | शोर; भरोसा घटता है |
| रचना को मंज़ूर उपयोगों तक सीमित करना | साफ़ संकेत | धीमा अपनाया जाना; छूटे लाभ |
सीधा उत्तर है कि परिणाम मापें, उपयोगिता लोगों से नमूना लेकर आँकें, बिना समीक्षा के साझा भंडारों में जो आता है उसे सीमित करें, और आधार फिर देखें। स्वचालित स्कोर को सहायता के रूप में उपयोग करें, न्यायाधीश के रूप में नहीं।
अपनी टीम के साथ चर्चा के प्रश्न
1. जब से हमने AI उपयोग करना शुरू किया, हमारी कौन-सी संख्याएँ बढ़ी हैं, और उसने उन लोगों के लिए क्या किया जिनकी हम सेवा करते हैं? संख्याएँ सूचीबद्ध करें। हर एक के लिए वह परिणाम देखें जिसे वह दर्शाने के लिए था। सूत्रधार नोट करे कि परिणाम कहाँ नहीं हिला। उन संख्याओं को उपयोगिता की जाँच से जोड़ें।
2. पिछले महीने हमने जो प्रकाशित या बनाया उसका कितना हम पंक्ति-दर-पंक्ति बचाव करने में खुश होंगे? यादृच्छिक नमूना लें और साथ पढ़ें। चिह्नित करें कि क्या उपयोगी, पतला, ग़लत, या डुप्लिकेट है। दर और कारणों पर चर्चा करें। साझा भंडारों में क्या जाए इसके मानक पर सहमत हों।
3. जाँच कहाँ हमारी बॉटलनेक बन रही है? समीक्षकों से पूछें। समीक्षाओं की कतारें, समीक्षा की गहराई, और अब वे जो प्रयास ढोते हैं देखें। प्रति समीक्षा बनाई मदों के आकार या संख्या की सीमा और बोझ मापने के तरीके पर सहमत हों।
4. यहाँ कौन-सी बनाई सामग्री अन्य बनाई सामग्री को खिला रही है? सामान्य उत्तर को उसके स्रोतों तक अनुरेखित करें। शृंखला कहाँ शुरू हुई? चर्चा करें कि व्यक्ति को शृंखला कहाँ जाँचनी चाहिए, या सामग्री पर लेबल लगाना चाहिए।
5. उपयोगकर्ता अब हमारे ज्ञान आधार के बारे में एक साल पहले की तुलना में क्या कहेगा? हाल की टिप्पणियाँ पढ़ें और उपयोग का डेटा देखें। पूछें कि भरोसेमंद उत्तर खोजना आसान हुआ या कठिन। एक सफ़ाई और नई सामग्री के लिए एक नियम पर सहमत हों।
6. हमारे कौन-से रुझान हमें नए आधार से फिर शुरू करने चाहिए? वे मीट्रिक्स सूचीबद्ध करें जो मात्रा या मदें कैसे बनती हैं इस पर निर्भर हैं। AI आने के बाद आकार में बदलाव खोजें। रुझानों पर टिप्पणी करें, और तय करें किन्हें नया आधार चाहिए।
चार दृष्टिकोण
उत्पाद और डिलीवरी टीमें
डिलीवरी टीमें अधिकांश मात्रा बनाती हैं और रख-रखाव ढोती हैं। उन्हें छोटे, स्पष्ट बदलावों को तरजीह देनी चाहिए, बनाई सामग्री समीक्षित और लेबल की हुई रखनी चाहिए, और प्रतिधारण तथा पुनर्कार्य देखना चाहिए। उन्हें बनाई मात्रा पर आधारित मीट्रिक्स से इनकार करना चाहिए, और परिणाम के माप माँगने चाहिए।
सेवा और संचालन टीमें
संचालन टीमें उन कतारों, अलर्टों और ज्ञान आधार में रहती हैं जिन्हें क्षरण नुकसान पहुँचाता है। उन्हें संकेत मज़बूत रखने के लिए AI के बनाए टिकट और अलर्ट ट्यून करने चाहिए, प्रकाशित होने से पहले बनाए ज्ञान की समीक्षा करनी चाहिए, और रिपोर्ट करना चाहिए जब धारा शोर बन जाए। वे उपयोगिता आँकने के लिए सबसे अच्छी स्थिति में हैं।
नेतृत्व और शासन
नेता वे डैशबोर्ड पाते हैं जिन्हें स्फीति विकृत करती है। उन्हें पहले परिणाम माँगने चाहिए, मात्रा के बगल में उपयोगिता की जाँचें आवश्यक करनी चाहिए, समीक्षा की क्षमता को वित्त देना चाहिए, और स्वीकार करना चाहिए कि कुछ मापों को आधार फिर तय करना होगा। शासन को जाँचना चाहिए कि साझा भंडारों में बनाई सामग्री समीक्षित और लेबल की गई है।
ग्राहक और उपयोगकर्ता
उपयोगकर्ता क्षरण की लागत ढोते हैं जब उत्तर ग़लत हों, लेख एक-दूसरे का खंडन करें, और उत्तर लंबे और खाली हों। वे छोटी, सही, प्रासंगिक मदद चाहते हैं। जो उन्हें मिलता है उसकी गुणवत्ता पर उनकी प्रतिक्रिया सीधा परीक्षण है कि संकेत बचा या नहीं।
व्यवहार में: सेवा प्रबंधन का एक उदाहरण
एक वैश्विक दवा कंपनी का IT समूह ज्ञान के लेखों के मसौदे बनाने, टिकटों के सारांश, और साप्ताहिक स्थिति की रिपोर्टें तैयार करने के लिए AI सहायक सक्षम करता है। एक तिमाही में डैशबोर्ड बहुत अच्छा दिखता है। नीचे की संख्याएँ दृष्टांत के लिए हैं।
बने ज्ञान के लेख 140 से 610 प्रति माह तक बढ़ते हैं। टिकटों में विस्तृत AI-लिखित सारांश हैं। साप्ताहिक रिपोर्टें बारह पृष्ठों की हो जाती हैं। सेवा की गुणवत्ता की प्रबंधक नोट करती हैं कि सेल्फ़-सर्विस से संतुष्टि गिरी है और सर्विस डेस्क "लेख ने मदद नहीं की" के अधिक संपर्क रिपोर्ट करता है। वे दो अनुभवी एजेंटों के साथ नए लेखों में से 100 का नमूना लेती हैं। केवल 54 उपयोगी आँके जाते हैं: 23 मौजूदा लेखों की नकल हैं, 15 में पुराने या ग़लत चरण हैं, और 8 कार्रवाई के लिए बहुत अस्पष्ट हैं। नए लेखों में से 71 प्रतिशत बिना मानवीय समीक्षा के प्रकाशित हुए। ज्ञान आधार में अब लगभग 3,200 लेख हैं, सामग्री के दोहराव की दर जिसका वे एक साल पहले के 9 प्रतिशत के विरुद्ध 28 प्रतिशत आँकती हैं। एजेंट रिपोर्ट करते हैं कि भरोसेमंद उत्तर खोजने में अधिक समय लगता है। सर्विस डेस्क के लेख के संपादकों के लिए सत्यापन का बोझ 12 से बढ़कर लगभग 40 घंटे प्रति सप्ताह हो गया है। टिकटों के AI-लिखित सारांश बाद के AI-जनित उत्तरों को उस पाठ पर निर्भर करते हैं जो किसी ने नहीं लिखा, और पाँच उत्तरों को उनके स्रोतों तक अनुरेखित करने पर दो ऐसे सारांश पर निर्भर थे जिसने समस्या ग़लत बताई थी। साप्ताहिक स्थिति की रिपोर्टें, पढ़ने पर, ऐसा बहुत कम कहती हैं जो पिछली में नहीं था, और हितधारकों ने दूसरे पृष्ठ से आगे पढ़ना बंद कर दिया है।
वे चार बदलाव प्रस्तावित करती हैं, जिन्हें सेवा की नेतृत्व टीम और ज्ञान के स्वामी अपनाते हैं। बनाए लेखों को प्रकाशन से पहले नामित संपादक की समीक्षा चाहिए, और अनुमोदन तक वे लेबल किए जाते हैं। प्रति विषय समूह एक बनाए लेख की सीमा डुप्लिकेट रोकती है, और सफ़ाई दोहराई मदें मिलाती या सेवानिवृत्त करती है। रिपोर्ट के टेम्पलेट दो पृष्ठों तक काटे जाते हैं जो परिणामों से शुरू होते हैं, और AI केवल वे खंड ड्राफ़्ट करने में उपयोग होता है जिन्हें व्यक्ति फिर संपादित करता है। टिकटों के सारांश बनाए के रूप में चिह्नित हैं, और हर महीने एक नमूना जाँचा जाता है। डैशबोर्ड लेखों की गिनतियों के बगल में उपयोगी मदों का हिस्सा, दोहराव की दर, समीक्षित हिस्सा और सत्यापन का बोझ रिपोर्ट करता है।
दो तिमाहियों के बाद प्रति माह बने लेख 190 तक गिरते हैं, उपयोगी मदों का हिस्सा 91 प्रतिशत तक बढ़ता है, दोहराव की दर 11 प्रतिशत तक गिरती है, समीक्षित हिस्सा 100 प्रतिशत है, और सत्यापन का बोझ लगभग 16 घंटे प्रति सप्ताह पर टिकता है। सेल्फ़-सर्विस की संतुष्टि लौटती है और "लेख ने मदद नहीं की" के संपर्क गिरते हैं। हितधारक दो पृष्ठों की रिपोर्ट पढ़ते हैं। एक निदेशक AI कार्यक्रम का मूल्य दिखाने के लिए प्रति माह 1,000 लेखों का लक्ष्य माँगते हैं। सेवा की गुणवत्ता की प्रबंधक समझाती हैं कि गिनती ही समस्या थी, और उपयोगिता तथा उपयोग ट्रैक करने का प्रस्ताव रखती हैं। निर्णय दर्ज होता है।
एजाइल, AI, स्वचालन और विश्लेषण
एजाइल
नियमित समीक्षा कि क्या हर गिनती अब भी उपयोगिता दर्शाती है, टीम को स्फीति जल्दी नोटिस करने में मदद करती है, और हितधारक आपको बता सकते हैं कि वे वास्तव में क्या उपयोग करते हैं। सावधानी यह है कि स्फीति नोटिस करने के बाद गिनती कसना चक्र फिर शुरू करता है।
AI
AI मात्रा और गति को सस्ता बनाता है, इसलिए मात्रा या गति की हर गिनती फूलती है। हर एक को उन मदों के हिस्से से जोड़ें जिन्हें व्यक्ति ने उपयोगी आँका और सत्यापन के बोझ से, और दोहराई सामग्री जाँचें। सावधानी यह है कि AI के आउटपुट की जाँच के लिए उपयोग हुआ AI वही अंधे बिंदु साझा कर सकता है, इसलिए मानवीय नमूना रखें।
स्वचालन
डुप्लिकेट, निकट-डुप्लिकेट और बासी सामग्री की पहचान स्वचालित करें, और पहचान को झूठे पॉज़िटिव पर मापें। सावधानी यह है कि स्वचालित सफ़ाई दुर्लभ पर महत्वपूर्ण मदें हटा सकती है।
विश्लेषण
आउटपुट-से-परिणाम का अनुपात और उपयोगी मदों का हिस्सा नमूने के आकार के साथ रिपोर्ट करें। यह जिस निर्णय को सूचित करता है वह है कौन-सी गिनतियाँ रिपोर्ट करना बंद करना है। सावधानी यह है कि अनुपात इस पर निर्भर है कि परिणाम कैसे परिभाषित हैं, इसलिए उसे बताएँ।
क्षेत्र का नज़रिया
स्टार्टअप। रचना सस्ती है और समीक्षा का समय दुर्लभ। दस्तावेज़ और टिकट छोटे रखें, जो ग्राहक पढ़ेंगे उसकी समीक्षा करें, और खुलकर हटाएँ। संदिग्ध लेखों के बड़े सेट से लेखों का छोटा, सही सेट बेहतर है।
छोटा व्यवसाय। समीक्षा की क्षमता कम है, इसलिए औज़ार जो बनाता है उसे सीमित करें। मुट्ठी भर सत्यापित मार्गदर्शिकाओं और टेम्पलेट को तरजीह दें। जाँचे बिना बनाई सामग्री सार्वजनिक पृष्ठों पर प्रकाशित करने से सावधान रहें।
उद्यम। पैमाना शोर बढ़ाता है। स्वामियों, लेबलों और समीक्षा के नियमों के साथ सामग्री का शासन स्थापित करें, पूरे ज्ञान आधार में उपयोगिता मापें, और आवधिक सफ़ाइयाँ चलाएँ। टीमों में रूब्रिक साझा करें और रुझानों की तुलना करें, टीमों की नहीं।
सरकार और सार्वजनिक क्षेत्र। सार्वजनिक सामग्री सटीक और सुलभ होनी चाहिए, और त्रुटियाँ नुकसान पहुँचा सकती हैं। बनाई सार्वजनिक जानकारी की समीक्षा आवश्यक करें, रिकॉर्ड रखें कि वह कैसे बनी, और सादी भाषा तथा पहुँच के मानक लागू करें। बनाई सामग्री पर प्रतिधारण और रिकॉर्ड के नियम लागू हो सकते हैं (देखें विषय 8.5, विनियमित और सरकारी रिपोर्टिंग)।
व्यावसायिक औचित्य: प्रेरणाएँ, ROI और TCO
स्फीति से बचने की लागतें मामूली हैं: नमूने के लिए समीक्षा का समय, बनाई सामग्री के लिए संपादन का प्रयास, डुप्लिकेट पहचानने के औज़ार, और रुझानों का आधार फिर तय करने का प्रयास। ऐसा न करने की लागतें बड़ी पर फैली हैं: उपयोगकर्ता जो सेल्फ़-सर्विस पर भरोसा करना बंद कर देते हैं, समीक्षक जो थक जाते हैं, फुलाई संख्याओं पर लिए निर्णय, और सफ़ाई की परियोजनाएँ।
मामला अपने डेटा से बनाएँ: समय के साथ उपयोगी मदों का हिस्सा और सत्यापन का बोझ, अनुपयोगी सामग्री से हुए संपर्कों की मात्रा, और ज्ञान आधार की सफ़ाई की लागत। बनाई सामग्री की गुणवत्ता पर प्रकाशित आँकड़े उपयोग करने से बचें, जो औज़ार, काम और विधि के साथ बहुत भिन्न होते हैं। ग़लत जानकारी प्रकाशित करने से साख को होने वाले नुकसान की टाली लागत शामिल करें (देखें विषय 7.7, निवेश पर प्रतिफल और व्यावसायिक औचित्य)।
प्रतिरूप-विरोधी और जाल
- मात्रा का जश्न। यह शोर को पुरस्कृत करता है। परिणामों और उपयोगिता का जश्न मनाएँ।
- पहले मसौदे की गति को उत्पादकता की कहानी बनाना। बचत जाँच में गायब हो सकती है। सत्यापित परिणाम तक का समय मापें।
- बनाई सामग्री बिना समीक्षा के प्रकाशित करना। भरोसा चुपचाप घटता है। समीक्षा करें और लेबल लगाएँ।
- बनाई सामग्री को रचना को खिलाने देना। त्रुटियाँ जमा होती हैं। शृंखला जाँचें।
- अपरिवर्तित आधार। तकनीक के बदलाव के बाद रुझान भ्रमित करते हैं। टिप्पणी करें और आधार फिर तय करें।
- समीक्षकों को अतिभारित करना। समीक्षा रबर-स्टैंप बन जाती है। मात्रा सीमित करें और बोझ मापें।
- हर चीज़ के लिए AI न्यायाधीश उपयोग करना। वह निर्माता के अंधे बिंदु साझा कर सकता है। लोगों को लूप में रखें।
- उछाल को अनदेखा करना। सस्ता काम अधिक काम आकर्षित करता है। तय करें कि बचा समय किसलिए है।
परिपक्वता मॉडल
| आयाम | 1 आरंभ | 2 विकास | 3 मानकीकरण | 4 प्रबंधन | 5 समन्वयन |
|---|---|---|---|---|---|
| जोड़ना और नमूना लेना | मात्रा अकेले रिपोर्ट | गुणवत्ता के अनौपचारिक प्रभाव | हर मात्रा का माप नमूने की उपयोगिता की जाँच से जुड़ा | उपयोगिता, बोझ और दोहराव समीक्षा के लक्ष्यों से प्रबंधित, मात्रा के नहीं | संगठन भर में संकेत की गुणवत्ता का दृश्य; साझेदारों के साथ रूब्रिक साझा |
| सामग्री और चक्र | बनाई सामग्री मिली हुई | कुछ लेबलिंग | बनाई सामग्री लेबल और प्रकाशन से पहले समीक्षित; शृंखलाओं का नमूना | चक्र निगरानी में; भंडार क्यूरेट; डुप्लिकेट कार्यक्रम से सेवानिवृत्त | औज़ारों और आपूर्तिकर्ताओं में आरंभ से अंत तक प्रोवेनेंस ट्रैक |
| आधार और ध्यान | रुझान बदलाव के पार पढ़े गए | कुछ चार्टों पर टिप्पणियाँ | जहाँ डेटा बदला वहाँ आधार फिर तय; उछाल पर विचार | भटकाव के चिह्न त्रैमासिक समीक्षित; समीक्षक का भार प्रबंधित | मीट्रिक का डिज़ाइन हितधारकों के साथ तकनीक के बदलाव के अनुकूल निरंतर ढलता है |
जाँच-सूची
- हर मात्रा या गति के माप के साथ व्यक्ति से आँका उपयोगिता का साथी है।
- AI से छुई मदों का यादृच्छिक नमूना हर महीने लिखे रूब्रिक के विरुद्ध समीक्षित होता है।
- सत्यापन के बोझ का अनुमान लगाया और रुझान के रूप में ट्रैक किया जाता है।
- बनाया ज्ञान प्रकाशन से पहले लेबल और समीक्षित होता है।
- ज्ञान आधार में दोहराव मापा और घटाया जाता है।
- अलर्ट और टिकट की धाराओं की उपयोगी हिस्से और डुप्लिकेट के लिए निगरानी होती है।
- बनाए आउटपुट से उनके स्रोतों तक की शृंखलाओं का नमूना लिया जाता है।
- AI के आने के पार के रुझानों पर टिप्पणी या आधार फिर तय किया जाता है।
- नेतृत्व की रिपोर्टें परिणामों से शुरू होती हैं।
- उपयोगकर्ताओं और हितधारकों से पूछा जाता है कि संकेत अधिक स्पष्ट है या अधिक शोर वाला।
AI प्रॉम्प्ट
उपयोगिता का रूब्रिक बनाएँ।
Draft a short rubric (no more than six criteria) for judging whether a [knowledge
article, ticket summary, status report] is useful in [type of organization].
Include correctness, relevance to a real need, duplication, currency, and
clarity, with a three-level rating and examples of each level. Do not invent
statistics. List your assumptions and how to keep reviewers consistent.
संकेत में गिरावट का विश्लेषण करें।
Since introducing AI for [task], these figures changed: [paste volumes, resolution,
satisfaction, reopen rate, reviewer hours]. Describe what the pattern suggests
about inflation or dilution, which changes may be due to easier creation, what
to sample next, and which metrics may need a new baseline. Do not assume
causes the data cannot support. List your assumptions.
ज्ञान आधार की सफ़ाई की योजना बनाएँ।
Our knowledge base has [number] articles, of which [number] were generated in the
last [period]. Propose a clean-up plan: how to detect duplicates and stale items,
how to prioritize by use, how to review generated articles, rules to prevent
recurrence, and measures to track. Do not assume specific tools. List your
assumptions and risks.
बनाई सामग्री की शृंखला अनुरेखित करें।
Here is an AI-generated answer and the sources it drew on: [paste]. Trace each
claim to its source and mark whether the source was human-written, reviewed
generated content, or unreviewed generated content. Identify where an error
could have entered and suggest a check. Do not assume facts beyond the text. List
your assumptions.
AI स्किल
- Service Management Metrics skill: मात्रा या गति के माप का उपयोगिता का साथी खोजने के लिए उपयोग करें।
- Service Management Metrics maintainer skill: यह जाँचने के लिए उपयोग करें कि AI से प्रभावित मीट्रिक मात्रा को नमूने की उपयोगिता से जोड़ता है और अपना गेमिंग का रास्ता तथा सुरक्षा-रेखा रखता है।
मुख्य निष्कर्ष
- जब AI आउटपुट सस्ता बनाता है, तो मात्रा और गति के मीट्रिक्स फूलते हैं और उपयोगी हिस्सा गिर सकता है।
- हर मात्रा या गति के माप को नमूने की, व्यक्ति से आँकी उपयोगिता की जाँच से जोड़ें।
- सत्यापित परिणाम तक का समय और सत्यापन का बोझ मापें, क्योंकि जाँच बॉटलनेक बन जाती है।
- बनाई सामग्री को साझा भंडारों में आने से पहले लेबल और समीक्षित करें, और चक्रों को बिना जाँचे स्वयं को खिलाने से रोकें।
- तकनीक के बदलाव के बाद रुझानों का आधार फिर तय करें, और रिपोर्टें परिणामों से शुरू करें।
- पहले से तय करें कि बचा समय किसलिए है, और समीक्षकों तथा उपयोगकर्ताओं के ध्यान की रक्षा करें।
संदर्भ और आगे का अध्ययन
- Shumailov, I., Shumaylov, Z., Zhao, Y., Papernot, N., Anderson, R., and Gal, Y., "AI models collapse when trained on recursively generated data," Nature, 631, 2024.
- Goodhart, C. A. E., "Problems of Monetary Management: The U.K. Experience," in Papers in Monetary Economics, Reserve Bank of Australia, 1975.
- Campbell, D. T., "Assessing the impact of planned social change," Evaluation and Program Planning, 2(1), 1979.
- Muller, J. Z., The Tyranny of Metrics, Princeton University Press, 2018.
- Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
- National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
- Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
- Wikipedia, Goodhart's law.
- Wikipedia, Campbell's law.
- Wikipedia, Vanity metric.
- Wikipedia, Information overload.
- Wikipedia, Signal-to-noise ratio.
- Wikipedia, Alert fatigue.
- Wikipedia, AI slop.
- Wikipedia, Brandolini's law.
- Wikipedia, Jevons paradox.
- Wikipedia, Model collapse.
- Wikipedia, Concept drift.