अवलोकन और प्रेरणा

कृत्रिम बुद्धि अब उन कई औज़ारों के भीतर बैठी है जिन्हें टीमें सेवाएँ बनाने और चलाने में उपयोग करती हैं। कृत्रिम बुद्धि (artificial intelligence) (AI) गणना की प्रणालियों की वह क्षमता है जो मानव बुद्धि से जुड़े कार्य करे। उसके भीतर मशीन लर्निंग (machine learning) प्रणालियाँ डेटा से पैटर्न सीखती हैं, और जनरेटिव AI (generative AI) प्रणालियाँ, जो अक्सर बड़े भाषा मॉडल (large language models) पर बनी होती हैं, प्रॉम्प्ट के उत्तर में पाठ, कोड और अन्य सामग्री बनाती हैं। IT सेवा प्रबंधन (ITSM) में ये क्षमताएँ टिकट के ट्रायेज, घटनाओं के सारांश, ज्ञान के लेखों के मसौदे, सर्विस डेस्क के सुझाए उत्तरों, डिलीवरी की पाइपलाइन में कोड के पूरा होने और रिव्यू, मॉनिटरिंग में विसंगतियों की पहचान, और उपयोगकर्ताओं के लिए बातचीत वाले सहायकों में दिखती हैं। AIOps IT संचालन के डेटा पर AI के उपयोग को दिया जाने वाला नाम है।

इन औज़ारों के लिए किए दावे बड़े हैं, और किसी भी संगठन में प्रमाण आमतौर पर छोटा। विक्रेता बचा समय रिपोर्ट करते हैं। शुरुआती अपनाने वाले उत्साह रिपोर्ट करते हैं। अधिकारी वादा की गई दक्षता का लाभ माँगते हैं। इस बीच टीमें रिपोर्ट करती हैं कि आउटपुट की जाँच चाहिए, कुछ सुझाव आत्मविश्वास से ग़लत हैं, और काम अलग लगता है। मापन ही वह तरीका है जिससे संगठन पता लगाता है कि इनमें से कौन-सा उसके अपने काम के लिए सच है। पुस्तक का यह भाग AI को मापे जाने वाली चीज़ के रूप में गंभीरता से लेता है, किसी भी अन्य मीट्रिक परिवार जैसी ही सुरक्षा-रेखाओं के साथ।

AI मापन की समस्या को चार तरह से बदलता है।

  • मात्रा और गति बढ़ती हैं जबकि गुणवत्ता देखना कठिन हो जाता है। AI टिकट, उत्तर, कोड और दस्तावेज़ जल्दी बना सकता है, इसलिए आउटपुट के माप बढ़ते हैं। आउटपुट अच्छा है या नहीं यह अलग प्रश्न है (देखें विषय 10.4, मीट्रिक की स्फीति और गुणवत्ता का क्षरण)।
  • आधार गायब हो जाते हैं। एक बार AI रोज़ के उपयोग में आ जाए, तो आप वापस नहीं पा सकते कि उसके बिना काम कैसा दिखता था। आधार बदलाव से पहले जुटाना चाहिए, या तुलना का समूह मौजूद होना चाहिए।
  • मनुष्य लूप में रहते हैं, परिणामों के साथ। मानव-इन-द-लूप (human-in-the-loop) डिज़ाइन परिणाम के लिए व्यक्ति को ज़िम्मेदार रखते हैं। मशीन के आउटपुट की समीक्षा करने वाले लोग उसे बहुत आसानी से मान सकते हैं, एक पैटर्न जिसे स्वचालन का पक्षपात (automation bias) कहते हैं, या वे जाँच में उससे अधिक समय लगा सकते हैं जितना बचाया।
  • आउटपुट धाराप्रवाह और ग़लत हो सकते हैं। हैलुसिनेशन (hallucination) ऐसा आत्मविश्वासी आउटपुट है जिसे इनपुट या तथ्य का सहारा नहीं। मापों में शुद्धता की जाँच शामिल होनी चाहिए, जिसका नमूना व्यक्ति ले।

एजाइल और ITIL की कार्य-पद्धतियाँ दोनों इसके प्रति रुख देती हैं। निरंतर डिलीवरी, सतत सुधार और निरंतर विकास के एजाइल उद्देश्य AI के हर उपयोग को छोटा प्रयोग मानने का सुझाव देते हैं: अपेक्षित लाभ बताएँ, कुछ इच्छुक लोगों के साथ आज़माएँ, तुलना करें, और निर्णय लें। फीडबैक के साथ बार-बार आगे बढ़ने का ITIL का मार्गदर्शक सिद्धांत उसी ओर इशारा करता है, और मूल्य पर उसका बल पूछता है कि उपयोगकर्ताओं और व्यवसाय के लिए कौन-सा परिणाम सुधरता है, कितना पाठ बनता है यह नहीं। प्रेरित लोगों का उद्देश्य तब पूरा होता है जब AI उबाऊ काम से राहत दे और उनके विवेक का सम्मान करे, और तब नहीं जब AI गति बढ़ाने या उसके उपयोगकर्ताओं की निगरानी का तरीका बन जाए। टिकाऊ गति का अर्थ है कि बचा समय चुपचाप अधिक माँग में नहीं बदलना चाहिए।

गुडहार्ट का नियम (Goodhart's law) की सुरक्षा-रेखा AI पर अपने सबसे तीखे रूप में लागू होती है। यदि "AI अपनाया जाना" या "कोड का AI-जनित हिस्सा" लक्ष्य बन जाए, तो लोग औज़ार वहाँ उपयोग करेंगे जहाँ वह मदद नहीं करता, और संख्या की कीमत गुणवत्ता चुकाएगी (देखें विषय 1.2, गुडहार्ट का नियम और मीट्रिक्स का मनोविज्ञान)।

यह विषय बुनियाद कवर करता है: AI काम में कहाँ आता है, कौन-से आधार जुटाने हैं, और कौन-से माप दिखाते हैं कि AI का उपयोग मदद कर रहा है या नहीं। अगले विषय सहायता प्राप्त काम, एजेंट और चैटबॉट, स्फीति और क्षरण, और शासन पर गहरे जाते हैं। AI के उत्पादों और नियमों के तथ्य तेज़ी से बदलते हैं, और इस भाग में विशिष्ट औज़ारों या विनियमों के बारे में कथन अक्टूबर 2026 तक के हैं और उन्हें फिर जाँचा जाना चाहिए।

मुख्य सिद्धांत

  • AI लाने से पहले आधार जुटाएँ। उसके बिना हर लाभ का दावा राय है।
  • हर उपयोग को तुलना के साथ प्रयोग मानें। उसी अवधि में AI के बिना किए समान काम से तुलना करें।
  • गुणवत्ता नमूने से, लोगों के साथ मापें। धाराप्रवाह आउटपुट सही आउटपुट नहीं है।
  • पूरी लागत गिनें। समीक्षा का समय, पुनर्कार्य, लाइसेंस और इन्फ़ेरेंस की लागत शामिल करें।
  • लोगों को जवाबदेह और सूचित रखें। AI उपयोग करने वाला व्यक्ति परिणाम का उत्तरदायी है।
  • AI को गति बढ़ाने या निगरानी का साधन न बनने दें। बचा समय इस बारे में चुनाव है कि समय कैसे उपयोग करें।
  • इच्छुक लोगों और असली समस्याओं से शुरू करें। अनिवार्यता मूल्य के बिना उपयोग पैदा करती है।

मीट्रिक परिभाषाएँ

मीट्रिक परिभाषा सूत्र इकाई डेटा स्रोत ITIL प्रैक्टिस एजाइल समकक्ष आवृत्ति
आधार की पूर्णता नियोजित AI के उपयोग के मामलों का हिस्सा जिनके मुख्य संकेतकों के लिए अपनाने से पहले का दर्ज आधार है तिथि वाले आधार के उपयोग के मामले / नियोजित उपयोग के मामले प्रतिशत उपयोग के मामलों का रजिस्टर सतत सुधार; माप और रिपोर्टिंग प्रयोग से पहले आधार त्रैमासिक
AI के उपयोग की कवरेज पात्र कार्य की मदों या कामों का हिस्सा जहाँ AI का उपयोग हुआ, उपयोग के मामले के अनुसार औज़ार के लॉग या उपयोगकर्ता के टैग से, टीम के स्तर पर, AI की सहायता वाली मदें / पात्र मदें प्रतिशत औज़ार के उपयोग के लॉग, टैग सर्विस डेस्क; घटना प्रबंधन; रिलीज़ और डिप्लॉयमेंट प्रबंधन इच्छुक टीमों द्वारा औज़ार का अपनाया जाना मासिक
सुझाव की स्वीकृति और अधिलेखन की दर AI के सुझावों का हिस्सा जो जस के तस स्वीकार, संपादित, या अस्वीकृत हुए हर श्रेणी में सुझाव / दिए गए सुझाव प्रतिशत टीम के अनुसार एकत्र औज़ार के लॉग सर्विस डेस्क; ज्ञान प्रबंधन मशीन के सुझावों की समीक्षा मासिक
समीक्षित आउटपुट की सटीकता नमूने के AI आउटपुट का हिस्सा जिन्हें योग्य समीक्षक ने सही और उद्देश्य के अनुकूल आँका सही आँके आउटपुट / नमूने के आउटपुट प्रतिशत नमूने की समीक्षा के रिकॉर्ड गुणवत्ता आश्वासन; ज्ञान प्रबंधन आउटपुट के लिए पूर्णता की परिभाषा मासिक
आधार के विरुद्ध काम का समय परिभाषित काम को AI के साथ पूरा करने का समय, आधार या तुलना के समूह से तुलना किया AI के साथ काम के समय की माध्यिका और 85वाँ परसेंटाइल घटा आधार या तुलना के लिए वही मिनट या घंटे समयबद्ध काम, टिकट के टाइमस्टैम्प सर्विस डेस्क; घटना प्रबंधन काम का साइकल टाइम त्रैमासिक
AI-सहायता प्राप्त काम की लागत प्रति काम AI की सहायता से किए काम की कुल लागत, समीक्षा और पुनर्कार्य सहित (लाइसेंस और उपयोग की लागत + समीक्षा और पुनर्कार्य के समय की लागत) / AI से पूरे हुए काम मुद्रा प्रति काम विक्रेता के चालान, समय के अनुमान, काम का ट्रैकर सेवा वित्तीय प्रबंधन प्रति परिणाम सेवा की लागत त्रैमासिक
तुलना के विरुद्ध परिणाम में गति AI-सहायता प्राप्त काम के लिए परिणाम के संकेतक में बदलाव, समान असहायता प्राप्त काम से तुलना किया AI-सहायता प्राप्त समूह के लिए संकेतक का बदलाव घटा तुलना के समूह का बदलाव संकेतक की इकाइयाँ हर उपयोग के मामले के परिणाम के माप (गुणवत्ता, संतुष्टि, दोबारा खुलने की दर, दोष) सतत सुधार प्रयोगों से सीखना त्रैमासिक

हर उपयोग के मामले को काम, उपयोगकर्ताओं और परिणाम के संकेतकों से परिभाषित करें, और रजिस्टर में दर्ज करें। AI के उपयोग की कवरेज वर्णनात्मक माप है, लक्ष्य नहीं। समीक्षित आउटपुट की सटीकता योग्य व्यक्ति द्वारा लिखे मानक के विरुद्ध आँकी जाती है जिसने आउटपुट नहीं बनाया। काम के समय में प्रॉम्प्ट देने, समीक्षा और सुधार का समय भी शामिल है, केवल बनाने का नहीं। प्रति काम लागत जाँचने और ठीक करने में बीता लोगों का समय गिनती है। परिणाम में गति को पहले से चुनी तुलना और अवधि के दौरान अन्य बदलावों पर नोट चाहिए।

सिफ़ारिशें

तय करें कि AI कहाँ का है

1. काम और हर AI के उपयोग की संबोधित समस्या सूचीबद्ध करें। औज़ार से नहीं, पीड़ा से शुरू करें: दोहराए मसौदे, धीमा ट्रायेज, बिखरा ज्ञान, लंबी समीक्षाएँ, शोर वाले अलर्ट। हर संभव उपयोग के लिए समस्या, उसे कौन महसूस करता है, कौन-सा परिणाम सुधरना चाहिए, और जोखिम लिखें। स्पष्ट समस्या के बिना उपयोग छोड़ दें। यह वह रजिस्टर है जिससे आधार और माप जुड़ते हैं।

2. हर उपयोग के जोखिम को वर्गीकृत करें। आंतरिक नोट का ड्राफ़्ट बनाने वाला औज़ार उस औज़ार से भिन्न जोखिम रखता है जो उत्पादन की प्रणालियाँ बदलता है, ग्राहकों को उत्तर देता है, या लोगों के बारे में निर्णय लेता है। उपयोगों को इस आधार पर वर्गीकृत करें कि आउटपुट ग़लत होने पर हानि क्या है, कौन प्रभावित होता है, और क्या प्रभावी होने से पहले कोई व्यक्ति उसकी समीक्षा करता है। उच्च जोखिम के उपयोगों को मज़बूत माप, नमूने और शासन चाहिए (देखें विषय 10.5, AI शासन और जोखिम मीट्रिक्स)।

3. इच्छुक लोगों और सीमित कामों से शुरू करें। आम और जाँचने योग्य काम पर स्वयंसेवकों के साथ पायलट करें। स्वयंसेवक ईमानदार फीडबैक देते हैं और औज़ार को अपने काम में ढालते हैं। सीमित काम आधार और तुलना संभव बनाता है। सबसे संवेदनशील काम से शुरू करने से बचें।

आधार जुटाएँ और तुलनाएँ स्थापित करें

4. पहले उपयोग से पहले आधार दर्ज करें। हर उपयोग के मामले के लिए संकेतकों की वर्तमान अवस्था जुटाएँ: पूरा करने का समय, गुणवत्ता या दोष की दर, पुनर्कार्य, उपयोगकर्ताओं की संतुष्टि, और लागत। सामान्य भिन्नता देखने के लिए पर्याप्त प्रेक्षण लें (देखें विषय 1.6, सेवा मीट्रिक्स के लिए सांख्यिकीय साक्षरता)। आधार पर तिथि डालें और उसे रखें। रोलआउट के बाद लिया गया आधार नई दुनिया का रिकॉर्ड है।

5. तुलना बनाएँ। जहाँ संभव हो, पायलट की अवधि में ऐसा समान समूह या कामों का सेट रखें जो AI उपयोग नहीं करता, या उपयोग को सप्ताह या काम के प्रकार से उचित ढंग से बारी-बारी करें। यादृच्छिकीकरण आदर्श है और अक्सर अव्यावहारिक। साफ़ बताएँ कि और क्या बदला। तुलना के बिना मौसमीयता, कर्मचारी-व्यवस्था या सीखने से हुए सुधार औज़ार के खाते में जाएँगे।

6. समय ईमानदारी से मापें। पहले मसौदे तक का समय शायद ही कभी सही माप है। पूरे, जाँचे परिणाम तक का समय मापें, जिसमें प्रॉम्प्ट देना, समीक्षा और सुधार शामिल हैं। लोग अक्सर बनाने के चरण के आधार पर बचा समय रिपोर्ट करते हैं, और समीक्षा का चरण उसमें से कुछ या सब खा जाता है। काम के नमूने पर समय के अध्ययन प्रयास के लायक हैं।

गुणवत्ता और लागत मापें

7. योग्य लोगों की समीक्षा के लिए आउटपुट का नमूना लें। हर महीने AI-सहायता प्राप्त आउटपुट का यादृच्छिक नमूना लें और योग्य व्यक्ति से लिखे मानक के विरुद्ध उन्हें आँकवाएँ। सटीकता, मिली त्रुटियों के प्रकार, और रुझान रिपोर्ट करें। यह धाराप्रवाह ग़लतियों के फैलने से मुख्य सुरक्षा है। समीक्षक को निर्माता से स्वतंत्र रखें और समीक्षक घुमाएँ।

8. स्वीकृति और अधिलेखन के पैटर्न देखें। स्वीकृति की बहुत ऊँची दर स्वचालन के पक्षपात का संकेत हो सकती है, जहाँ लोग बिना जाँचे स्वीकार करते हैं। बहुत कम दर ऐसे औज़ार का संकेत हो सकती है जो उपयोगी नहीं है। दरों का उपयोग टीम से बातचीत शुरू करने में करें और पूछें कि उनके अनुभव में संख्याओं का क्या अर्थ है। स्वीकृति के लक्ष्य न रखें।

9. प्रति काम पूरी लागत गिनें। लाइसेंस की फ़ीस, उपयोग-आधारित शुल्क, प्रॉम्प्ट देने, समीक्षा और सुधार में लगा समय, प्रशिक्षण, और शासन का प्रयास शामिल करें। आधार की लागत से तुलना करें। जो औज़ार मसौदे जल्दी बनाता है और भारी सुधार माँगता है वह पुराने तरीके से अधिक खर्च कर सकता है। उपयोगकर्ताओं तक पहुँचने वाली ग़लतियों की लागत शामिल करें।

मानवीय पक्ष को सही रखें

10. लोगों को निगरानी और गति बढ़ने से बचाएँ। AI के उपयोग का डेटा टीम के स्तर पर एकत्र करें और उसका उपयोग व्यक्तियों को रेट करने में न करें। उपयोग को प्रदर्शन का माप न बनाएँ। पहले से सहमत हों कि बचा समय अपने-आप अतिरिक्त कार्यभार नहीं बनेगा, और टीम के साथ तय करें कि उसका क्या करें: गुणवत्ता, सीखना, सुधार, या अन्य काम। स्थिर गति डिज़ाइन का लक्ष्य है (देखें विषय 9.2, संतुष्टि और कल्याण मीट्रिक्स)।

11. जो लोग उपयोग करते हैं उनसे पूछें। संक्षिप्त पल्स और बातचीतें दिखाती हैं कि संख्याएँ क्या चूकती हैं: औज़ार कहाँ मदद करता है, कहाँ निराश करता है, कहाँ काम को बनाने से जाँचने में बदलता है, और क्या वह नौकरी की संतुष्टि बदलता है। कौशल, गुणवत्ता और नौकरी की सुरक्षा की चिंताओं को सम्मान से लें।

12. निर्णय लें, प्रकाशित करें, और फिर देखें। हर पायलट के अंत में बढ़ाने, ढालने, या रोकने का निर्णय लें और प्रमाण दर्ज करें। परिणाम ईमानदारी से साझा करें, शून्य और नकारात्मक सहित। औज़ार बदलने पर निर्णय फिर देखें, जो वे जल्दी करते हैं। जिस उपयोग ने पिछले साल मदद नहीं की वह अब मदद कर सकता है, और उलटा भी।

गेमिंग के रास्ते और सुरक्षा-रेखाएँ

मीट्रिक इसमें गेमिंग कैसे होती है जोड़ीदार सुरक्षा-रेखा मीट्रिक या प्रथा
आधार की पूर्णता आधार बाद में दर्ज करना; सुविधाजनक संकेतक उपयोग करना तिथि-मुहर वाले आधार; आधार की विधि की स्वतंत्र समीक्षा
AI के उपयोग की कवरेज उपयोग अनिवार्य करना; मामूली या अपने-आप के आह्वान गिनना कभी लक्ष्य नहीं; परिणाम में गति से तुलना; सार्थक उपयोग गिनें
सुझाव की स्वीकृति और अधिलेखन की दर स्वीकृति को पुरस्कृत करना; अस्वीकार करना बोझिल बनाना कोई लक्ष्य नहीं; समीक्षित आउटपुट की सटीकता; उपयोगकर्ताओं से उनके अनुभव के बारे में पूछें
समीक्षित आउटपुट की सटीकता आसान आउटपुट का नमूना; उदार समीक्षक स्वतंत्र समीक्षकों द्वारा यादृच्छिक नमूना; लिखित मानक; समीक्षकों का घुमाना
आधार के विरुद्ध काम का समय केवल बनाना समयबद्ध करना; आसान काम चुनना जाँचे परिणाम तक का समय; काम यादृच्छिक रूप से नमूना करें; समीक्षा और पुनर्कार्य शामिल करें
AI-सहायता प्राप्त काम की लागत समीक्षा का समय या शासन की लागत छोड़ना पूरी लागत की जाँच-सूची; समय के अध्ययनों से तुलना
तुलना के विरुद्ध परिणाम में गति अनुकूल समूह या अवधि चुनना; अन्य बदलाव अनदेखा करना पहले से सहमत तुलना और अवधि; अन्य बदलावों की सूची

स्वस्थ पठन हर पायलट के आधार, पूरे परिणामों तक का मापा समय, योग्य लोगों द्वारा जाँची सटीकता, समीक्षा सहित लागतें, निष्पक्ष तुलना किए परिणाम, और ऐसी टीमें हैं जो कहती हैं कि औज़ार उनके विवेक की सेवा करता है।

समझौते: लाभ और हानि

तरीका ताकत कमज़ोरी
स्वयंसेवकों के साथ पायलट ईमानदार फीडबैक; कम जोखिम स्वयंसेवक उत्साही होते हैं; परिणाम सामान्यीकृत न हों
अनिवार्य रोलआउट तेज़ कवरेज मूल्य के बिना उपयोग; नाराज़गी; गेमिंग
नियंत्रित तुलना विश्वसनीय प्रमाण प्रयास; हमेशा संभव नहीं
केवल पहले-और-बाद सरल अन्य बदलावों से भ्रमित
विक्रेता द्वारा रिपोर्ट की बचत पाना आसान आशावादी; संदर्भ-रहित
अपने समयबद्ध काम आपके काम में आधारित समय लेने वाले; छोटे नमूने
हर आउटपुट की भारी समीक्षा सुरक्षित लाभ हटाती है
नमूने की समीक्षा बढ़ती है कुछ त्रुटियाँ फिसल जाती हैं

सीधा उत्तर है कि आधार और तुलना के साथ छोटे पायलट चलाएँ, गुणवत्ता के लिए आउटपुट का नमूना लें, पूरी लागत गिनें, और प्रमाण पर निर्णय लें। विक्रेता के आँकड़ों को परखने की परिकल्पनाओं के रूप में उपयोग करें।

अपनी टीम के साथ चर्चा के प्रश्न

1. हम कहाँ अपेक्षा करते हैं कि AI हमारी मदद करेगा, और यदि करे तो हमें क्या दिखेगा? संभव उपयोग सूचीबद्ध करें और, हर एक के लिए, संकेतक और आज हमारे पास जो आधार है। सूत्रधार विशिष्टताओं पर ज़ोर दे: कौन-सा काम, कौन-सा माप, कितने आकार का बदलाव मायने रखेगा। पायलट के लिए एक उपयोग चुनें और आधार पर सहमत हों।

2. AI के सुझाव पर हमें भरोसा या अविश्वास किससे होगा, और हमें कैसे पता चलेगा कि हम ग़लत थे? उन मामलों पर चर्चा करें जहाँ आउटपुट ग़लत था और कैसे नोटिस हुआ। विचार करें कि व्यवहार में समीक्षा कैसे काम करती है और क्या दबाव उसे छोड़ने की ओर ले जाता है। ऐसे नमूने की विधि पर सहमत हों जिसे कोई स्वतंत्र व्यक्ति चलाएगा।

3. हमारे बचाए समय का कितना भाग जाँच में खर्च होगा? एक असली काम को औज़ार के साथ और उसके बिना, प्रॉम्प्ट देने और समीक्षा सहित, समयबद्ध करें। उसकी तुलना लोगों की अपेक्षा से करें। बातचीत अक्सर दिखाती है कि लाभ कहाँ है और कहाँ नहीं।

4. हमें बचे समय का क्या करना चाहिए? पहले से तय करें। विकल्पों में गुणवत्ता का काम, सीखना, सुधार, या कम दबाव शामिल हैं। चर्चा करें कि समय को चुपचाप अधिक माँग में समाने से कैसे रोकें। नेताओं के साथ सहमत हों कि टीम उसकी रक्षा कैसे करेगी।

5. यहाँ हम AI से क्या नहीं करवाना चाहेंगे, और क्यों? वे काम सूचीबद्ध करें जिन्हें मानवीय विवेक, सहानुभूति या जवाबदेही चाहिए। उपयोगकर्ताओं और कौशल के जोखिमों पर चर्चा करें। सूत्रधार सीमाएँ शासन के इनपुट के रूप में दर्ज करे।

6. हमें कैसे पता चलेगा कि कब रुकना है? वह प्रमाण परिभाषित करें जो पायलट या उपयोग समाप्त करेगा। सहमत हों कि कौन और कब निर्णय लेता है। बिना निकास की कसौटियों का पायलट स्थायी बन जाता है।

चार दृष्टिकोण

उत्पाद और डिलीवरी टीमें

डिलीवरी टीमें कोड, परीक्षण, समीक्षाओं और दस्तावेज़ के लिए AI उपयोग करती हैं। उन्हें समीक्षित, चालू परिणाम तक का समय मापना चाहिए, गुणवत्ता और दोष देखने चाहिए, और मानवीय समीक्षा को सार्थक रखना चाहिए। उन्हें बनाई पंक्तियों या स्वीकृति गिनने वाले मीट्रिक्स का विरोध करना चाहिए, और दोष तथा स्थिरता जैसे परिणाम के मापों पर ज़ोर देना चाहिए।

सेवा और संचालन टीमें

संचालन और सर्विस डेस्क की टीमें ट्रायेज, सारांश, सुझाव और मॉनिटरिंग के लिए AI उपयोग करती हैं। उन्हें हैंडलिंग और समाधान की गुणवत्ता की तुलना आधार से करनी चाहिए, आउटपुट का नमूना लेना चाहिए, और उपयोगकर्ताओं तथा दोहराए संपर्कों पर प्रभाव देखने चाहिए। उपयोगकर्ताओं के सामने AI रखने से पहले उनसे परामर्श होना चाहिए।

नेतृत्व और शासन

नेता AI के कार्यक्रमों को प्रायोजित करते हैं और लाभ दिखाने का दबाव झेलते हैं। उन्हें आधार और तुलनाओं पर ज़ोर देना चाहिए, समीक्षा के काम को वित्त देना चाहिए, उपयोग के लक्ष्यों से बचना चाहिए, और लोगों को निगरानी तथा गति बढ़ने से बचाना चाहिए। शासन को बढ़ाने से पहले जोखिम का वर्गीकरण और प्रमाण आवश्यक करना चाहिए।

ग्राहक और उपयोगकर्ता

उपयोगकर्ता AI से उत्तरों, सुझावों और स्वचालित कार्रवाइयों में मिलते हैं। वे सही, समझने योग्य मदद और किसी व्यक्ति तक पहुँचने की क्षमता चाहते हैं। जहाँ उचित हो उन्हें बताया जाना चाहिए कि वे AI से बातचीत कर रहे हैं, और उनका फीडबैक मुख्य प्रमाण है कि वह मदद करता है या नहीं (देखें विषय 6.1, ग्राहक संतुष्टि मीट्रिक्स)।

व्यवहार में: सेवा प्रबंधन का एक उदाहरण

एक मध्यम आकार के बीमाकर्ता का तकनीकी समूह 4,000 कर्मचारियों के लिए आंतरिक सर्विस डेस्क और कई उत्पाद टीमें चलाता है। नेतृत्व AI सहायक के लाइसेंस खरीदता है और तीन महीने बाद बचे समय की रिपोर्ट माँगता है। नीचे की संख्याएँ दृष्टांत के लिए हैं।

सेवा प्रबंधन की प्रमुख आधार पर ज़ोर देती हैं। सर्विस डेस्क के सबसे आम काम, पहुँच और पासवर्ड के अनुरोधों के उत्तर लिखने, के लिए वे 120 हाल के टिकट समयबद्ध करती हैं: हैंडलिंग के समय की माध्यिका 11 मिनट, 85वाँ परसेंटाइल 24, दोबारा खुलने की दर 6 प्रतिशत, और सर्वेक्षण की संतुष्टि का स्कोर स्थिर। वे सहायक के पायलट के लिए दो टीमें चुनती हैं और तुलना के लिए दो समान टीमें रखती हैं। पायलट टीमें स्वयंसेवक हैं।

आठ सप्ताह बाद पायलट टीमों के हैंडलिंग के समय की माध्यिका 8 मिनट और 85वाँ परसेंटाइल 19 है, तुलना की टीमों में 11 और 23 की तुलना में। औज़ार के लॉग दिखाते हैं कि एजेंट 52 प्रतिशत मामलों में सुझाव जैसे लिखे स्वीकार करते हैं, 38 प्रतिशत में संपादित करते हैं, और 10 प्रतिशत में अस्वीकार करते हैं। पायलट में न रहे वरिष्ठ एजेंट द्वारा समीक्षित 80 उत्तरों का मासिक यादृच्छिक नमूना 91 प्रतिशत पूरी तरह सही पाता है, त्रुटियाँ शायद ही उपयोग होने वाली प्रक्रिया में केंद्रित हैं जहाँ सहायक ने पुराने चरण दिए। पायलट टीमों में दोबारा खुलने की दर थोड़ी बढ़कर 7 प्रतिशत हो जाती है, सामान्य भिन्नता के भीतर। लाइसेंस और समीक्षा का समय गिनने पर प्रति टिकट लागत मामूली गिरती है। सर्वेक्षण दिखाता है कि एजेंट मसौदों की क़द्र करते हैं और लंबे उत्तरों की अतिरिक्त जाँच नापसंद करते हैं। दो एजेंट कहते हैं कि उन्हें प्रति घंटे अधिक टिकट संभालने का दबाव महसूस होता है।

सेवा प्रबंधन की प्रमुख माध्यिका पर लगभग एक-चौथाई समय की बचत रिपोर्ट करती हैं और चेतावनियाँ बताती हैं: दो टीमें, आठ सप्ताह, स्वयंसेवक, और दोबारा खुलने की दर जिस पर नज़र रखनी है। वे नेताओं से सहमत होती हैं कि बचा समय ज्ञान आधार और जटिल मामलों में जाएगा, और कोई टिकट का लक्ष्य नहीं बढ़ेगा। ज्ञान आधार में पुरानी प्रक्रिया ठीक की जाती है। एक वरिष्ठ प्रबंधक कंपनी-व्यापी अनिवार्य उपयोग और 80 प्रतिशत स्वीकृति का लक्ष्य माँगते हैं। वे लक्ष्य अस्वीकार करती हैं, यह समझाते हुए कि स्वीकृति का लक्ष्य न जाँचने को पुरस्कृत करेगा, और वही माप रखकर पायलट को दो और टीमों तक बढ़ाने का प्रस्ताव रखती हैं। निर्णय दर्ज होता है।

एजाइल, AI, स्वचालन और विश्लेषण

एजाइल

AI को हितधारकों के साथ छोटे चरणों में लाएँ, हर चरण के लिए आधार और तुलना के साथ, और परिणाम की समीक्षा नियमित सुधार की बातचीत में करें। सावधानी यह है कि AI को हर जगह एक साथ रोलआउट करना तुलना का समूह हटा देता है।

AI

यह पूरा विषय AI के बारे में है, इसलिए नियम सरल है: काम जैसा आज है दर्ज करें, हर उपयोग को उस आधार और AI के बिना किए तुलना योग्य काम के विरुद्ध मापें, और हर गति के लाभ को जाँची गुणवत्ता के माप से जोड़ें। हर उपयोग का स्वामी नामित करें, और पहले से तय करें कि मनुष्य कहाँ निर्णय लेता है। सावधानी यह है कि विक्रेता के आँकड़े अन्य संगठनों का वर्णन करते हैं, इसलिए अपना डेटा उपयोग करें।

स्वचालन

उपयोग, सुझाव, स्वीकृति और अधिलेखन की घटनाएँ अपने-आप जुटाएँ, और AI का आउटपुट लागू करने वाले स्वचालन को उसकी त्रुटि और पलटने की दरों पर मापें। सावधानी यह है कि स्वीकृति की दरें इसलिए बढ़ सकती हैं कि लोग जाँचना बंद कर देते हैं, इसलिए स्वीकृत आउटपुट का नमूना लें।

विश्लेषण

नमूने के आकार के साथ समीक्षित नमूने से सटीकता रिपोर्ट करें, और बताई सीमाओं के साथ तुलना के विरुद्ध परिणाम। यह जिस निर्णय को सूचित करता है वह है AI के उपयोग को बढ़ाना, बदलना या रोकना। सावधानी यह है कि छोटे पायलट शोर वाले परिणाम देते हैं, इसलिए पायलट से किसी आँकड़े का वादा करने से बचें।

क्षेत्र का नज़रिया

स्टार्टअप। औज़ार जल्दी और अक्सर अनौपचारिक रूप से अपनाए जाते हैं। मुख्य उपयोग के लिए समय और दोषों का सरल आधार जुटाएँ, ग्राहक-मुखी किसी भी चीज़ की मानवीय समीक्षा रखें, और शुरू में एक ही विक्रेता में बँधने से बचें। जब कर्मचारी सार्वजनिक औज़ार उपयोग करें तब सुरक्षा और डेटा के उजागर होने पर नज़र रखें।

छोटा व्यवसाय। तैयार सहायक मसौदे और नियमित कामों के लिए असली मदद दे सकते हैं। छोटे पैमाने पर मापें: कुछ असली कामों का समय और सुधारों की दर। गोपनीय डेटा के साथ सावधान रहें, और विक्रेता की उन शर्तों को जाँचें कि डेटा कैसे उपयोग होता है।

उद्यम। पैमाना शासन, खरीद के मानकों और साझा मापन के तरीके की माँग करता है। तुलना के साथ पायलट चलाएँ, परिणाम आंतरिक रूप से प्रकाशित करें, और टीमों में आधार और विधियाँ साझा करें। ऐसे कार्यक्रमों से सावधान रहें जो उपयोग को सफलता के रूप में रिपोर्ट करते हैं।

सरकार और सार्वजनिक क्षेत्र। नागरिकों को प्रभावित करने वाले निर्णय पारदर्शिता, निष्पक्षता और मानवीय समीक्षा के कानूनी कर्तव्यों के अधीन हो सकते हैं। उपयोगों को जोखिम से वर्गीकृत करें, निर्णयों में AI कैसे उपयोग हुआ इसके रिकॉर्ड रखें, और इस बारे में खुले रहें। खरीद के नियम और डेटा सुरक्षा लागू होते हैं, और कुछ क्षेत्राधिकारों में विशिष्ट AI के कानून हैं जिन्हें आज की स्थिति के अनुसार जाँचा जाना चाहिए (देखें विषय 8.5, विनियमित और सरकारी रिपोर्टिंग)।

व्यावसायिक औचित्य: प्रेरणाएँ, ROI और TCO

लागतें हैं लाइसेंस या उपयोग के शुल्क, एकीकरण, प्रशिक्षण, आधार जुटाने और तुलनाएँ चलाने का समय, आउटपुट की समीक्षा और सुधार में लगा लोगों का समय, और शासन का प्रयास। लागतें उपयोग के साथ बढ़ सकती हैं और विक्रेता के मूल्य निर्धारण के साथ बदल सकती हैं, इसलिए सीमा का मॉडल बनाएँ।

संभावित प्रतिफल हैं दोहराव वाले कामों पर लौटाया समय, तेज़ मसौदे और खोज, ज्ञान की बेहतर कवरेज, और कर्मचारियों को उबाऊ काम से राहत। ये परखने की संभावनाएँ हैं, बैंक करने की मान्यताएँ नहीं। मामला अपने पायलटों से बनाएँ: आधार और तुलना के विरुद्ध जाँचे परिणाम तक का मापा काम का समय, समीक्षित सटीकता, पुनर्कार्य, और प्रति काम पूरी लागत। विक्रेता या सर्वेक्षण के स्रोतों से उत्पादकता के प्रतिशत उद्धृत करने से बचें जब तक आप विधि और अपने काम में फिट अनुरेखित न कर सकें। उपयोगकर्ताओं तक पहुँचने वाली ग़लतियों का जोखिम और औज़ारों के शासन की लागत शामिल करें (देखें विषय 7.7, निवेश पर प्रतिफल और व्यावसायिक औचित्य)।

प्रतिरूप-विरोधी और जाल

  • आधार के बिना AI लाना। आप नहीं बता सकते कि क्या बदला। पहले उसे जुटाएँ।
  • बनाने की गति मापना। बचत समीक्षा में गायब हो सकती है। जाँचे परिणाम तक का समय मापें।
  • अपनाने के लक्ष्य। वे मूल्य के बिना उपयोग पैदा करते हैं। कवरेज को वर्णनात्मक मानें।
  • विक्रेता के दावों पर भरोसा। वे परिकल्पनाएँ हैं। उन्हें अपने काम पर परखें।
  • ऐसी समीक्षा जो असली नहीं है। स्वचालन का पक्षपात समीक्षा को रबर-स्टैंप बनाता है। नमूना लें और स्वतंत्र रूप से जाँचें।
  • बचे समय को अधिक माँग में बदलना। यह भरोसा और टिकाऊ गति नष्ट करता है। पहले से तय करें कि समय किसलिए है।
  • व्यक्तिगत उपयोग की निगरानी। यह भय पैदा करती है। टीम के स्तर पर एकत्र करें।
  • बिना अंत के पायलट। वे डिफ़ॉल्ट रूप से स्थायी हो जाते हैं। निकास की कसौटियाँ तय करें।

परिपक्वता मॉडल

आयाम 1 आरंभ 2 विकास 3 मानकीकरण 4 प्रबंधन 5 समन्वयन
उद्देश्य और आधार उत्साह से अपनाए औज़ार उपयोग के मामले सूचीबद्ध हर उपयोग के लिए समस्या, जोखिम की श्रेणी, आधार और संकेतक वाला रजिस्टर बढ़ाने से पहले आधार और तुलनाएँ आवश्यक; परिणाम प्रकाशित टीमों और साझेदारों में साझा आधार और विधियाँ; प्रमाण फीका पड़ने पर उपयोग सेवानिवृत्त
लाभ का प्रमाण किस्से और विक्रेता के दावे अनौपचारिक समय के अनुमान समयबद्ध काम; नमूने की सटीकता; प्रति काम पूरी लागत तुलना के विरुद्ध परिणाम में गति सीमाओं के साथ रिपोर्ट AI कहाँ मदद करता है इसका पोर्टफ़ोलियो दृश्य, सीख व्यापक रूप से साझा
लोग और गति अनिवार्यताएँ; निगरानी अनौपचारिक देखभाल केवल टीम के स्तर का डेटा; बचा समय समझौते से आवंटित चिंताएँ ट्रैक; कौशल और संतुष्टि मापी उपयोगकर्ताओं और कर्मचारियों के साथ AI के उपयोग का सह-डिज़ाइन; टिकाऊ गति सुरक्षित

जाँच-सूची

  • AI के हर उपयोग की लिखित समस्या, जोखिम की श्रेणी, स्वामी और निकास की कसौटियाँ हैं।
  • हर पायलट के लिए पहले उपयोग से पहले का तिथि वाला आधार मौजूद है।
  • तुलना का समूह या तुलना के काम पहले से परिभाषित हैं।
  • समय पूरे, जाँचे परिणाम तक मापा जाता है।
  • आउटपुट का हर महीने नमूना लिया जाता है और योग्य, स्वतंत्र लोग उनकी समीक्षा करते हैं।
  • प्रति काम पूरी लागत में समीक्षा और पुनर्कार्य शामिल है।
  • उपयोग का डेटा टीम के स्तर पर एकत्र है और व्यक्तियों के लिए उपयोग नहीं होता।
  • टीम ने सहमत किया है कि बचे समय का क्या करना है।
  • उपयोगकर्ताओं से औज़ार के अनुभव के बारे में पूछा जाता है।
  • पायलट बढ़ाने, ढालने, या रोकने के दर्ज निर्णय पर समाप्त होते हैं।

AI प्रॉम्प्ट

उपयोग के मामले की प्रविष्टि का मसौदा बनाएँ।

We are considering using AI for [task] in [team and service]. Draft a use case
register entry: the problem and who feels it, the outcome that should improve,
risk classification and why, the human review step, baseline indicators to
capture now, a comparison approach, cost components to track, exit criteria,
and questions for the team. Do not assume specific vendor features or claim
benefits. List your assumptions.

समयबद्ध काम का अध्ययन डिज़ाइन करें।

Design a small study to measure the effect of an AI assistant on [task]. Propose
how to select tasks, how to compare with and without the tool fairly, what to
time (including prompting, review, and correction), how to judge output quality,
and how to avoid bias. Keep it practical for a team of [number] people.
Do not state expected results. List your assumptions and limits of the design.

आउटपुट के नमूने की योजना बनाएँ।

Our AI-assisted outputs per month are about [number] of types [list]. Design a
monthly random sampling and review process: sample size and selection method (with
the reasoning, avoiding overstated precision), who reviews, the written standard,
error categories, how to report, and how to use findings. List your assumptions
and risks.

तय करें कि बचे समय का क्या करना है।

Our pilot saved a median of [value] per task for [number] tasks per week in
[team]. Suggest options for using the time that support quality, learning, and
a sustainable pace, with the trade-offs and risks of each, and a way to agree
the choice with the team and leaders. Do not assume the savings will persist.
List your assumptions.

AI स्किल

  • Service Management Metrics skill: AI से जुड़े माप रिपोर्ट करने से पहले उसकी जोड़ीदार सुरक्षा-रेखा खोजने के लिए उपयोग करें।
  • Service Management Metrics maintainer skill: यह जाँचने के लिए उपयोग करें कि AI के माप की प्रविष्टि अपना आधार, तुलना, गेमिंग का रास्ता और सुरक्षा-रेखा दर्ज करती है।

मुख्य निष्कर्ष

  • AI उपयोग होने से पहले तिथि वाला आधार जुटाएँ, और AI के बिना किए समान काम से तुलना करें।
  • पूरे, जाँचे परिणाम तक का समय मापें, और स्वतंत्र समीक्षकों के साथ सटीकता के लिए आउटपुट का नमूना लें।
  • समीक्षा और पुनर्कार्य सहित पूरी लागत गिनें।
  • उपयोग और स्वीकृति को वर्णनात्मक मानें, लक्ष्य कभी नहीं।
  • पहले से तय करें कि बचे समय का क्या करना है, और टिकाऊ गति रखें।
  • उपयोग का डेटा टीम के स्तर पर रखें, और हर पायलट को दर्ज निर्णय के साथ समाप्त करें।

संदर्भ और आगे का अध्ययन

  1. National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
  2. ISO/IEC 42001, Information technology: Artificial intelligence: Management system, International Organization for Standardization, 2023.
  3. Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
  4. Bender, E. M., Gebru, T., McMillan-Major, A., and Shmitchell, S., "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?" Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, 2021.
  5. Russell, S., and Norvig, P., Artificial Intelligence: A Modern Approach, 4th ed., Pearson, 2020.
  6. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  7. Wikipedia, Artificial intelligence.
  8. Wikipedia, Machine learning.
  9. Wikipedia, Generative artificial intelligence.
  10. Wikipedia, Large language model.
  11. Wikipedia, AIOps.
  12. Wikipedia, Human-in-the-loop.
  13. Wikipedia, Automation bias.
  14. Wikipedia, Hallucination (artificial intelligence).
  15. Wikipedia, Goodhart's law.