अवलोकन और प्रेरणा

कई संगठन अब उपयोगकर्ताओं और सर्विस डेस्क के बीच एक संवादी सहायक रखते हैं, और कुछ संगठन AI एजेंटों को कार्रवाई करने की क्षमता भी देते हैं: पासवर्ड रीसेट करना, उपकरण मँगवाना, कोई सेवा पुनः आरंभ करना, कॉन्फ़िगरेशन बदलना। चैटबॉट (chatbot) ऐसा सॉफ़्टवेयर अनुप्रयोग है जो बातचीत करता है, और वर्चुअल असिस्टेंट (virtual assistant) उसमें उपयोगकर्ता की ओर से कार्य करने की क्षमता जोड़ता है। बुद्धिमान एजेंट (intelligent agent) का व्यापक विचार ऐसी प्रणाली है जो अपने परिवेश को समझती है और लक्ष्यों की ओर कार्रवाई करती है। आधुनिक भाषा-मॉडल इन प्रणालियों को अपने नियम-आधारित पूर्ववर्तियों की तुलना में खुली बातचीत के लिए कहीं अधिक सक्षम बनाते हैं। पहले संवादी कार्यक्रम, 1960 के दशक में जोसेफ़ वाइज़ेनबाउम के ELIZA, ने ही दिखा दिया था कि जो मशीन केवल विश्वसनीय लगने वाले उत्तर देती है, उसमें लोग कितनी सहजता से समझ का आरोपण कर लेते हैं।

आकर्षण स्पष्ट है। उपयोगकर्ता बिना प्रतीक्षा किए किसी भी समय मदद पाते हैं। टीमें नियमित अनुरोधों पर कम समय लगाती हैं। स्व-सेवा (self-service) लंबे समय से ITSM का लक्ष्य रही है, और शिफ़्ट-लेफ़्ट, यानी समाधान को पहले और सस्ते बिंदुओं की ओर ले जाना, सर्विस डेस्क का मूल विचार है (देखें विषय 3.7, स्व-सेवा और स्वचालन मीट्रिक्स)। मापन की समस्या यह है कि सबसे स्पष्ट संख्याएँ ग़लत बातों को पुरस्कृत करती हैं। जो बॉट बातचीत समाप्त कर दे, उसने उसे "रोक लिया" (contained) गिना जाता है, चाहे उपयोगकर्ता को मदद मिली हो या उसने हार मान ली हो। जो बॉट कभी किसी व्यक्ति का विकल्प नहीं देता, वह रोक-दर (containment) को अधिकतम करता है। जो बॉट आत्मविश्वास से ग़लत उत्तर देता है, वह एक चुपचाप होने वाली विफलता पैदा करता है, जो कुछ दिन बाद किसी नाराज़ संपर्क के रूप में सामने आती है।

दो तरह की प्रणालियों के लिए अलग-अलग मापन चाहिए।

  • संवादी सहायक प्रश्नों के उत्तर देते हैं, उपयोगकर्ताओं का मार्गदर्शन करते हैं और जानकारी जुटाते हैं। उनका जोखिम ग़लत या अनुपयोगी उत्तर और उपयोगकर्ताओं को चक्र में फँसा देना है। मापन समाधान, सटीकता और किसी व्यक्ति तक पहुँचने के मार्ग पर केंद्रित होते हैं।
  • कार्रवाई करने वाले एजेंट दुनिया में चीज़ें बदलते हैं: खाते, प्रणालियाँ, टिकट, धन। उनका जोखिम ऐसी ग़लत कार्रवाई है जिसके वास्तविक परिणाम हों। मापन कार्रवाइयों की शुद्धता, उत्क्रमणीयता, अनुमति-सीमाओं और ऑडिट-निशान पर केंद्रित होते हैं। ऐसे उपयोगों में अधिक सशक्त शासन और अक्सर परिणामी चरणों के लिए मानवीय अनुमोदन की आवश्यकता होती है (देखें विषय 10.5, AI शासन और जोखिम मीट्रिक्स)।

कई डिज़ाइन-प्रश्न तय करते हैं कि आप क्या मापें।

  • उपयोगकर्ता किससे बात कर रहा है, इस बारे में ईमानदारी। कई क्षेत्राधिकारों में लोगों को यह बताने के कर्तव्य हैं या बन रहे हैं कि वे किसी AI प्रणाली से संवाद कर रहे हैं। अक्टूबर 2026 तक ये नियम विकसित हो रहे हैं, इसलिए जाँचें कि आप पर क्या लागू होता है। हर हाल में अच्छा तरीक़ा यही है कि यह बात साफ़ शब्दों में कही जाए।
  • बाहर निकलने का रास्ता। उपयोगकर्ता बिना संघर्ष के किसी व्यक्ति तक पहुँच सकें। जो बॉट मानव तक का रास्ता छिपाता है, वह डार्क पैटर्न (dark pattern) है, यानी ऐसा डिज़ाइन जो उपयोगकर्ताओं को ऐसे परिणामों में धोखे से या फँसाकर ले जाता है जिन्हें वे चुनते नहीं।
  • सुगम्यता। संवादी इंटरफ़ेस उन लोगों के लिए भी काम करें जो सहायक तकनीक का उपयोग करते हैं, जिनकी भाषा-क्षमता सीमित है, और जिन्हें दूसरी भाषा या दूसरे चैनल की ज़रूरत है।
  • स्वचालित निर्णय। जब सहायक का आउटपुट किसी व्यक्ति के अधिकारों या पहुँच को प्रभावित करता है, तब स्वचालित निर्णय-प्रक्रिया (automated decision-making) और उससे जुड़े कर्तव्य लागू होते हैं। ऐसे निर्णय लोगों के पास रखें, या मज़बूत सुरक्षा-उपायों के साथ लें।

गुडहार्ट का नियम (Goodhart's law) यहाँ बहुत स्पष्ट दिखता है: यदि रोक-दर या डिफ़्लेक्शन लक्ष्य है, तो उसे पूरा करने का सबसे सस्ता तरीक़ा मानव तक पहुँचना कठिन बना देना है (देखें विषय 1.2, गुडहार्ट का नियम और मीट्रिक्स का मनोविज्ञान)। नीचे दिए मापन समाधान और उपयोगकर्ता के परिणाम को पहले रखते हैं।

मुख्य सिद्धांत

  • मापन समाधान का हो, रोक-दर का नहीं। जो बातचीत समाप्त हो गई, वह हल हुई समस्या नहीं है।
  • सत्यापित करें, और लौटने की जाँच करें। किसी संपर्क को तभी हल गिनें जब उपयोगकर्ता पुष्टि करे या वापस न आए।
  • किसी व्यक्ति तक का रास्ता हमेशा दें। रास्ता आसान, तेज़ और दिखाई देने वाला रखें, और संदर्भ साथ भेजें।
  • प्रणाली के बारे में ईमानदार रहें। बताएँ कि यह AI है, क्या कर सकती है और क्या नहीं।
  • एजेंट क्या कर सकते हैं, उसे सीमित रखें। न्यूनतम विशेषाधिकार दें, परिणामी कार्रवाइयों के लिए अनुमोदन आवश्यक करें, और ऑडिट-निशान रखें।
  • उत्तरों की गुणवत्ता नमूना-जाँच से मापें। धाराप्रवाह उत्तर भी ग़लत हो सकते हैं।
  • उपयोगकर्ताओं और टुकड़े समेटने वाले कर्मचारियों की सुनें। मीट्रिक्स जो चूक जाते हैं, वह उन्हें दिखता है।

मीट्रिक परिभाषाएँ

मीट्रिक परिभाषा सूत्र इकाई डेटा स्रोत ITIL प्रैक्टिस एजाइल समकक्ष आवृत्ति
सत्यापित समाधान दर बॉट की उन बातचीतों का अनुपात जिनमें उपयोगकर्ता ने पुष्टि की कि समस्या हल हो गई, या निर्धारित अवधि में वापस नहीं आया पुष्टि-प्राप्त समाधान या 7 दिन में कोई वापसी-संपर्क न होने वाली बातचीतें / हल योग्य आशय (intent) से शुरू हुई बातचीतें प्रतिशत बातचीत के लॉग, उपयोगकर्ता की पुष्टि, टिकट और संपर्क डेटा सर्विस डेस्क; ज्ञान प्रबंधन उपयोगकर्ता के लिए कार्यशील परिणाम साप्ताहिक
वापसी-संपर्क दर बॉट द्वारा समाप्त की गई उन बातचीतों का अनुपात जिनके बाद किसी भी चैनल से उसी समस्या पर संपर्क आया 7 दिन में संबंधित संपर्क वाली बातचीतें / बिना हस्तांतरण समाप्त बातचीतें प्रतिशत टिकट और संपर्क रिकॉर्ड से जोड़े गए बातचीत के लॉग सर्विस डेस्क; घटना प्रबंधन निकल भागे दोष (escaped defects) साप्ताहिक
हस्तांतरण-संदर्भ की पूर्णता किसी व्यक्ति को किए गए उन हस्तांतरणों का अनुपात जिनमें व्यक्ति के पास आवश्यक जानकारी थी और उपयोगकर्ता से दोहराने को नहीं कहना पड़ा प्राप्तकर्ता एजेंट द्वारा पूर्ण आँके गए नमूना-हस्तांतरण / नमूने में लिए गए हस्तांतरण प्रतिशत नमूना-हस्तांतरण, एजेंट की प्रतिक्रिया सर्विस डेस्क; ज्ञान प्रबंधन सीमा के आर-पार सहज सहयोग मासिक
मानव तक पहुँचने का समय उपयोगकर्ता के व्यक्ति माँगने, या बॉट के हस्तांतरण का निर्णय लेने, से लेकर किसी व्यक्ति के कमान सँभालने तक का समय मिनटों की माध्यिका और 85वाँ शतमक मिनट बातचीत के लॉग, कतार का डेटा सर्विस डेस्क; घटना प्रबंधन उपयोगकर्ता को मदद चाहिए तब प्रतिक्रियाशीलता साप्ताहिक
उत्तर की सटीकता बॉट के उन नमूना-उत्तरों का अनुपात जिन्हें योग्य समीक्षक ने सही, पूर्ण और सुरक्षित आँका सही आँके गए उत्तर / नमूने में लिए गए उत्तर प्रतिशत नमूना-समीक्षा ज्ञान प्रबंधन; गुणवत्ता आश्वासन उत्तर के लिए "पूर्ण" की परिभाषा मासिक
बॉट से संतुष्टि और प्रयास बातचीत के बाद संतुष्टि और सहजता की उपयोगकर्ता-रेटिंग, टिप्पणियों सहित अनुकूल रेटिंग / रेटिंग; औसत प्रयास-रेटिंग प्रतिशत; पैमाने के अंक बातचीत के बाद का छोटा सर्वेक्षण सर्विस डेस्क; ग्राहक अनुभव कार्यशील सॉफ़्टवेयर पर प्रतिक्रिया साप्ताहिक
एजेंट-कार्रवाई उत्क्रमण दर AI एजेंट की उन कार्रवाइयों का अनुपात जिन्हें सुधारना, पलटना या ऊपर बढ़ाना पड़ा पलटी या सुधारी गई कार्रवाइयाँ / की गई कार्रवाइयाँ, कार्रवाई-प्रकार और जोखिम-वर्ग के अनुसार प्रतिशत कार्रवाई का ऑडिट लॉग, परिवर्तन रिकॉर्ड परिवर्तन सक्षमीकरण; घटना प्रबंधन पुनर्कार्य और रोलबैक साप्ताहिक

बॉट जिन आशयों (intents) को सँभालता है उन्हें परिभाषित करें, और जिन्हें उसे हमेशा हस्तांतरित करना चाहिए उन्हें रोक-दर से बाहर रखें। सत्यापित समाधान किसी बातचीत को तभी गिनता है जब समस्या दायरे में थी और उपयोगकर्ता ने या तो पुष्टि की या कोई वापसी-संपर्क नहीं दिखा। मानव तक पहुँचने का समय उपयोगकर्ता के अनुरोध से शुरू होता है, मेनू के अंत से नहीं। उत्तर की सटीकता का निर्णय ज्ञान-आधार और नीति के विरुद्ध ऐसा व्यक्ति करता है जिसने बॉट नहीं बनाया। एजेंट-कार्रवाई उत्क्रमण को कार्रवाई-प्रकार और जोखिम-वर्ग के अनुसार बाँटा जाता है, और कोई भी हानिकारक कार्रवाई घटना के रूप में अलग से रिपोर्ट की जाती है।

सिफ़ारिशें

सफलता को समाधान के रूप में परिभाषित करें

1. आशय और वांछित परिणाम परिभाषित करें। उन समस्याओं की सूची बनाएँ जिन्हें सहायक सँभालेगा, जैसे पासवर्ड रीसेट, पहुँच की स्थिति और "कैसे करें" प्रश्न, और हर एक का परिणाम: उत्तर दिया गया, काम हो गया, या हस्तांतरित हुआ। तय करें कि कौन-से आशय हमेशा किसी व्यक्ति के पास जाएँगे: शिकायतें, और कुछ भी जिसमें संकट, सुरक्षा, क़ानूनी अधिकार या धन शामिल हो। जो बॉट सब कुछ सँभालने की कोशिश करता है, वह किनारों पर बुरी तरह विफल होता है।

2. सत्यापित समाधान और वापसी को मापें। अंत में उपयोगकर्ताओं से पूछें कि उनकी समस्या हल हुई या नहीं, और साथ ही बाद में संबंधित संपर्क भी देखें। अकेला कोई भी पर्याप्त नहीं है: जो उपयोगकर्ता हार मान लेते हैं वे उत्तर नहीं देते, और कुछ जिन्हें मदद मिली वे भी फ़ोन कर देते हैं। दोनों मिलकर वास्तविक समाधान का अनुमान देते हैं। किसी भी रोक-दर आँकड़े के लिए वापसी-संपर्क दर को मुख्य सुरक्षा-रेखा मानें (देखें विषय 3.1, सर्विस डेस्क मीट्रिक्स)।

3. रोक-दर को लक्ष्य न बनाएँ। रोक-दर को केवल वर्णनात्मक आँकड़े के रूप में रिपोर्ट करें, और हमेशा सत्यापित समाधान, वापसी और संतुष्टि के साथ रखें। वापसी बढ़ने के साथ रोक-दर का बढ़ना बताता है कि बॉट लोगों को लौटा रहा है। रोक-दर का लक्ष्य न रखें और किसी का प्रदर्शन उससे न जोड़ें।

किसी व्यक्ति तक का मार्ग आसान और अच्छा बनाएँ

4. उपयोगकर्ता किसी भी बिंदु पर व्यक्ति तक पहुँच सकें। मानव माँगने का स्पष्ट, सरल तरीक़ा दें, और उसका सम्मान करें। मानव तक पहुँचने का समय और उन बातचीतों का अनुपात मापें जिनमें उपयोगकर्ता ने एक से अधिक बार माँगा। इस रास्ते की नियमित रूप से स्वयं जाँच करें। जहाँ कोई व्यक्ति उपलब्ध नहीं है, वहाँ बताएँ कि कब होगा और कॉलबैक की पेशकश करें।

5. संदर्भ के साथ हस्तांतरित करें। जब बॉट बातचीत किसी व्यक्ति को सौंपे, तो सारांश, क्या आज़माया गया, उपयोगकर्ता के अपने शब्द और खाते का संबंधित विवरण शामिल करें, ताकि उपयोगकर्ता को ख़ुद को दोहराना न पड़े। प्राप्तकर्ता एजेंटों से कहें कि वे आँकें कि हस्तांतरण पूर्ण था या नहीं, और परिणामों की नमूना-जाँच करें। ख़राब हस्तांतरण उपयोगकर्ताओं का बॉट और सेवा, दोनों पर भरोसा घटाते हैं (देखें विषय 9.3, सहयोग और हस्तांतरण मीट्रिक्स)।

6. सभी उपयोगकर्ताओं के लिए डिज़ाइन करें। सहायक का परीक्षण उन उपयोगकर्ताओं के साथ करें जो सहायक तकनीक का उपयोग करते हैं, जो दूसरी भाषाओं में लिखते हैं, जो जल्दी में या संकट में हैं, और जो तकनीक से सहज नहीं हैं। दूसरे चैनल उपलब्ध कराएँ। जहाँ ऐसा करना सुरक्षित और वैध हो, वहाँ उपयोगकर्ता-समूह के अनुसार सत्यापित समाधान और संतुष्टि मापें। औसत उन्हें छिपा देते हैं जिन्हें बॉट सबसे ज़्यादा विफल करता है।

जो वह कहता और करता है उसकी गुणवत्ता जाँचें

7. सटीकता और सुरक्षा के लिए उत्तरों का नमूना लें। हर महीने बातचीतों का यादृच्छिक नमूना लें और किसी योग्य व्यक्ति से उत्तर जँचवाएँ: सही, पूर्ण, सुरक्षित, और अनिश्चितता के बारे में ईमानदार। त्रुटियाँ प्रकार के अनुसार दर्ज करें: पुरानी, गढ़ी हुई, नीति-विरुद्ध या ग़लत समझी गई। त्रुटियाँ ज्ञान-आधार और कॉन्फ़िगरेशन तक पहुँचाएँ। संवेदनशील विषयों के लिए, और सहायक को उसके दायरे से बाहर धकेलने के प्रयासों के लिए, लक्षित परीक्षण जोड़ें।

8. ज्ञान को ताज़ा रखें। सहायक उतना ही अच्छा है जितनी उसकी सामग्री और औज़ार। उत्तर की त्रुटियों को ज्ञान-लेखों से जोड़ें, और जिस ज्ञान का वह उपयोग करता है उसकी ताज़गी मापें (देखें विषय 3.6, ज्ञान प्रबंधन मीट्रिक्स)। जहाँ प्रणाली ज्ञान-आधार से पुनर्प्राप्ति (retrieval) करती है, वहाँ यह जाँच जोड़ें कि वह अपने स्रोत उद्धृत करती है और स्रोत सही हैं।

9. उपयोगकर्ताओं के साथ ईमानदार रहें। शुरुआत में बताएँ कि वे AI से बात कर रहे हैं, और वह क्या कर सकता है और क्या नहीं। उसे ऐसा मानवीय नाम या व्यवहार न दें जो इसके उलट संकेत दे। जहाँ वह अनिश्चित हो, वह कहे और किसी व्यक्ति की पेशकश करे। प्रकटीकरण पर लागू क़ानून जाँचें।

कार्रवाई करने वाले एजेंटों का शासन करें

10. कार्रवाइयों को जोखिम के अनुसार वर्गीकृत करें और अनुमतियाँ उसी के अनुरूप रखें। एजेंट जो भी कार्रवाई कर सकता है, उसका जोखिम-वर्ग परिभाषित करें: सूचनात्मक, उत्क्रमणीय और कम प्रभाव वाली, या परिणामी। आवश्यक न्यूनतम विशेषाधिकार दें। परिणामी कार्रवाइयों के लिए मानवीय अनुमोदन आवश्यक करें। हर कार्रवाई का ऑडिट-निशान कारण, उपयोगकर्ता और परिणाम के साथ रखें। ये नियंत्रण पिछले भागों के परिवर्तन और सुरक्षा मापनों से जुड़ते हैं (देखें विषय 8.1, सुरक्षा घटना और संवेदनशीलता मीट्रिक्स, और विषय 8.2, जोखिम और नियंत्रण मीट्रिक्स)।

11. कार्रवाई की शुद्धता और उत्क्रमणीयता मापें। कार्रवाई-प्रकार के अनुसार उत्क्रमण दर पर नज़र रखें, और हर हानिकारक कार्रवाई की घटना के रूप में, दोषारोपण के बिना, समीक्षा करें। पहुँच देने से पहले एजेंटों का परीक्षण सुरक्षित वातावरण में करें, और मॉडल या औज़ार बदलने पर दोबारा परीक्षण करें। नया मॉडल-संस्करण व्यवहार बदल सकता है, इसलिए उसे ऐसा परिवर्तन मानें जिसे नियंत्रण चाहिए (देखें विषय 4.3, परिवर्तन सक्षमीकरण मीट्रिक्स)।

12. टुकड़े समेटने वाले लोगों की सुनें। सर्विस डेस्क के कर्मचारी बॉट की विफलताओं के परिणाम देखते हैं: नाराज़ उपयोगकर्ता, बार-बार के संपर्क, और साफ़ करने को बिखराव। उनसे नियमित रूप से पूछें कि बॉट क्या ग़लत करता है और क्या चीज़ें कठिन बनाती है। उनकी प्रतिक्रिया और उपयोगकर्ताओं की टिप्पणियाँ ऐसा प्रमाण हैं जिसे कोई मीट्रिक पूरी तरह नहीं पकड़ता, और वह परिवर्तनों के अगले दौर को आकार दे।

गेमिंग के रास्ते और सुरक्षा-रेखाएँ

मीट्रिक इसमें गेमिंग कैसे होती है जोड़ी गई सुरक्षा-रेखा मीट्रिक या प्रैक्टिस
सत्यापित समाधान दर बातचीत के हर अंत को हल गिन लेना; पुष्टि के लिए प्रेरक प्रश्न पूछना पुष्टि को तटस्थ रूप से परिभाषित करें; वापसी-संपर्क दर; बातचीतों का नमूना
वापसी-संपर्क दर केवल एक चैनल से मापना; छोटी अवधि सभी चैनल जोड़ें; जाँच के रूप में लंबी अवधि लें; वापसियों का नमूना लें
हस्तांतरण-संदर्भ की पूर्णता सारांश की जगह लंबा ट्रांसक्रिप्ट सौंपना; आसान हस्तांतरणों का नमूना लेना प्राप्तकर्ता एजेंट की रेटिंग; यादृच्छिक नमूना; हस्तांतरण के बाद समाधान का समय
मानव तक पहुँचने का समय मेनू के बाद घड़ी शुरू करना; कतार की पावती को कमान सँभालना गिनना घड़ी अनुरोध से शुरू होती है; कमान सँभालने का मतलब है कि कोई व्यक्ति बातचीत में सक्रिय है
उत्तर की सटीकता आसान बातचीतों का नमूना लेना; नरम समीक्षक स्वतंत्र समीक्षकों द्वारा यादृच्छिक नमूना; प्रतिकूल परीक्षण-मामले
बॉट से संतुष्टि और प्रयास केवल पूरी हुई बातचीतों का सर्वेक्षण; सर्वेक्षण ऐसी जगह रखना जहाँ केवल संतुष्ट उपयोगकर्ता पहुँचें छोड़ी गई बातचीतों का भी सर्वेक्षण; प्रतिक्रिया-दर और मिश्रण; टिप्पणियाँ पढ़ें
एजेंट-कार्रवाई उत्क्रमण दर उत्क्रमण दर्ज न करना; सुधारों को नया काम बताकर पुनर्वर्गीकृत करना छेड़छाड़-प्रतिरोधी ऑडिट लॉग; उत्क्रमणों को कार्रवाइयों से जोड़ें; घटना-समीक्षा

स्वस्थ तस्वीर यह है: कम वापसी के साथ ऊँचा सत्यापित समाधान, पूर्ण हस्तांतरण के साथ व्यक्ति तक आसान और तेज़ मार्ग, नमूना-समीक्षा में सटीक उत्तर, सभी समूहों में संतुष्ट उपयोगकर्ता, और ऐसे एजेंट जिनकी कार्रवाइयों को शायद ही पलटना पड़े और जो अनदेखी हानि कभी न पहुँचाएँ।

समझौते: लाभ और हानि

दृष्टिकोण ताक़त कमज़ोरी
नियम-आधारित बॉट पूर्वानुमेय, परीक्षण में आसान संकीर्ण; नाज़ुक; स्क्रिप्ट के बाहर निराशाजनक
भाषा-मॉडल सहायक लचीला, धाराप्रवाह आत्मविश्वास के साथ ग़लत हो सकता है; परीक्षण कठिन
अनुमोदित ज्ञान से पुनर्प्राप्ति आधारित उत्तर, सुधार आसान सामग्री की गुणवत्ता पर निर्भर
खुली जनरेशन व्यापक कवरेज गढ़ने का अधिक जोखिम
कार्रवाइयों के लिए मानवीय अनुमोदन सुरक्षा धीमा; समीक्षक की थकान
स्वायत्त कार्रवाइयाँ गति ग़लत होने पर प्रभाव-क्षेत्र बड़ा
सख़्त दायरा, जल्दी हस्तांतरण सुरक्षित कम रोक-दर
व्यापक दायरा अधिक रोक-दर किनारों पर अधिक त्रुटियाँ

सीधा उत्तर यह है कि संकीर्ण, भली-भाँति समझे गए आशयों से शुरू करें, उत्तरों को अनुमोदित ज्ञान पर आधारित रखें, मानवीय मदद आसान बनाएँ, और दायरा तथा स्वायत्तता तभी बढ़ाएँ जब मापन इसे उचित ठहराएँ।

अपनी टीम के साथ चर्चा के प्रश्न

1. यदि उपयोगकर्ता को अभी किसी व्यक्ति की ज़रूरत हो, तो कितने चरण लगेंगे, और क्या हमने ख़ुद आज़माया है? रास्ते को साथ मिलकर परखें। चरण और प्रतीक्षा गिनें। सुविधाकर्ता हर बाधा नोट करे। रास्ता छोटा करने के लिए बदलावों पर सहमत हों, और मानव तक पहुँचने का समय मापें।

2. हमारे बॉट द्वारा समाप्त की गई बातचीतों में से कितनी ने वास्तव में समस्या हल की? नमूने के लिए वापसियाँ और पुष्टियाँ जाँचें। रोक-दर के आँकड़े से तुलना करें। अंतर पर चर्चा करें। तय करें कि नेतृत्व को कौन-सा आँकड़ा दिखे।

3. हमारा बॉट क्या ग़लत करता है, और किसे पता चलता है? सर्विस डेस्क से पूछें। नमूना-बातचीतों की समीक्षा करें। पैटर्न खोजें: पुराने लेख, अस्पष्ट प्रश्न, संवेदनशील विषय। त्रुटियों से सुधारों तक एक स्वामी के साथ मार्ग तय करें।

4. एजेंट कौन-सी कार्रवाइयाँ अपने आप कर सकता है, और किनके लिए व्यक्ति चाहिए? कार्रवाइयों को उनके जोखिम-वर्ग और अनुमतियों के साथ सूचीबद्ध करें। पूछें कि हर एक की सबसे बुरी यथार्थवादी विफलता क्या होगी। अनुमोदन के नियमों और ऑडिट-निशान पर, और हानिकारक मामलों की समीक्षा कौन करेगा, इस पर सहमत हों।

5. बॉट चुपचाप किसे विफल कर रहा है? उन उपयोगकर्ताओं के बारे में सोचें जो जल्दी में हैं, संकट में हैं, जिनकी सुगम्यता-आवश्यकताएँ हैं, या सीमित भाषा-क्षमता है। जहाँ सुरक्षित हो, समूह के अनुसार समाधान और संतुष्टि देखें। ऐसे उपयोगकर्ताओं के साथ एक परीक्षण पर सहमत हों।

6. हमें बॉट बंद करने या उसका दायरा घटाने के लिए क्या प्रेरित करेगा? प्रमाण परिभाषित करें: एक स्तर से ऊपर की वापसियाँ, हानिकारक कार्रवाइयाँ, मानक से नीचे की सटीकता। तय करें कि निर्णय कौन ले सकता है। पहले से रोक-नियम होने से कार्रवाई करना आसान होता है।

चार दृष्टिकोण

उत्पाद और डिलीवरी टीमें

सहायक बनाने वाली टीमें उसकी गुणवत्ता की स्वामी हैं। उन्हें आशय परिभाषित करने चाहिए, उत्तरों को अनुमोदित ज्ञान पर आधारित रखना चाहिए, प्रतिकूल मामलों से परीक्षण करना चाहिए, परिवर्तन नियंत्रण में जारी करने चाहिए, और विफलताएँ पढ़नी चाहिए। उन्हें उन रोक-दर लक्ष्यों का विरोध करना चाहिए जो उपयोगकर्ताओं को फँसाने को पुरस्कृत करते हैं।

सेवा और संचालन टीमें

सर्विस डेस्क के कर्मचारी सहायक के साथ काम करते हैं और उसकी विफलताएँ विरासत में पाते हैं। उन्हें हस्तांतरणों की रेटिंग करनी चाहिए, ग़लत उत्तरों को चिह्नित करना चाहिए, ज्ञान को ताज़ा रखना चाहिए, और माँगे जाने पर जल्दी कमान सँभालनी चाहिए। वे इसके सबसे अच्छे निर्णायक हैं कि सहायक उपयोगकर्ताओं की मदद करता है या नहीं, और उनका कार्यभार तथा तनाव तस्वीर का हिस्सा हैं।

नेतृत्व और शासन

नेता सहायक के प्रायोजक हैं और बचत चाहते हैं। उन्हें रोक-दर के साथ सत्यापित समाधान, वापसी और संतुष्टि माँगनी चाहिए, रोक-नियम आवश्यक करना चाहिए, मानव मार्ग के लिए धन देना चाहिए, और एजेंटों के जोखिम-वर्गों की समीक्षा करनी चाहिए। शासन को प्रकटीकरण, सुगम्यता और क़ानूनी कर्तव्यों की जाँच करनी चाहिए।

ग्राहक और उपयोगकर्ता

उपयोगकर्ता कम प्रयास और बिना चालाकी के मदद चाहते हैं। उन्हें पता होना चाहिए कि वे AI से बात कर रहे हैं, व्यक्ति तक आसानी से पहुँच सकना चाहिए, और भरोसा होना चाहिए कि प्रणाली बिना उचित कारण के कार्रवाई नहीं करेगी। उनका अनुभव, विशेषकर विफलता का अनुभव, इसका प्राथमिक प्रमाण है कि सहायक रखने योग्य है या नहीं।

व्यवहार में: सेवा प्रबंधन का एक उदाहरण

एक राष्ट्रीय विश्वविद्यालय छात्रों और कर्मचारियों का सर्विस डेस्क चलाता है जो महीने में लगभग 30,000 संपर्क सँभालता है। वह सामान्य अनुरोधों के लिए एक चैटबॉट शुरू करता है, और विक्रेता का डैशबोर्ड 74 प्रतिशत की रोक-दर बताता है। नीचे की संख्याएँ उदाहरण के लिए हैं।

छात्र सेवाओं की प्रमुख जाँच करती हैं। पिछले महीने बॉट द्वारा समाप्त की गई बातचीतों में से 29 प्रतिशत के बाद सात दिन के भीतर ईमेल या फ़ोन से संबंधित संपर्क आया। उपयोगकर्ता की पुष्टि और वापसी के अभाव के आधार पर, दायरे के आशयों के लिए सत्यापित समाधान 49 प्रतिशत है। माँगने के बाद व्यक्ति तक पहुँचने का माध्यिका समय 6 मिनट है और 85वाँ शतमक 22 है, कुछ हद तक इसलिए कि रास्ते में तीन मेनू-चरण हैं। दो अनुभवी सलाहकारों द्वारा समीक्षित 100 बातचीतों के नमूने में 88 उत्तर सही और 12 दोषपूर्ण निकलते हैं: 7 पुराने, 3 में समय-सीमा के बारे में गढ़े हुए विवरण, और 2 में कठिनाई में पड़े छात्र वाले संवेदनशील मामले ग़लत ढंग से सँभाले गए। प्राप्तकर्ता एजेंट 54 प्रतिशत हस्तांतरणों को पूर्ण आँकते हैं। स्क्रीन रीडर इस्तेमाल करने वाले और अंग्रेज़ी के अलावा अन्य भाषाओं में लिखने वाले छात्रों में बॉट से संतुष्टि कम है। सर्विस डेस्क टीम बताती है कि कई संपर्क "चैटबॉट मदद नहीं कर सका" से शुरू होते हैं।

छात्र सेवाओं की प्रमुख टीम के साथ बदलाव करती हैं। कल्याण, शिकायतें और शुल्क-विवाद जैसे संवेदनशील आशय सीधे किसी व्यक्ति के पास भेजे जाते हैं, और बॉट यह बताता है। हर स्क्रीन पर "किसी व्यक्ति से बात करें" का विकल्प दिखता है, मानव तक पहुँचने का समय मापा जाता है, और स्टाफ़ वाले घंटों में कुछ ही मिनटों में उत्तर देने का लक्ष्य रखा जाता है। हस्तांतरणों में स्वचालित सारांश और उपयोगकर्ता के अपने शब्द शामिल होते हैं। ज्ञान-आधार के स्वामी पुराने लेख ठीक करते हैं, और मासिक नमूना-समीक्षा उन्हें सामग्री देती है। सहायक को अनुमोदित सामग्री से ही उत्तर देने तक सीमित किया जाता है और जब उसे नहीं पता हो तो यह कहना आवश्यक किया जाता है। दूसरा पायलट एक एजेंट को पहचान-सत्यापन के बाद पासवर्ड रीसेट करने देता है, जिसमें हर कार्रवाई दर्ज होती है और समय-सीमा के भीतर पलटी जा सकती है, और उत्क्रमण दर पर नज़र रखी जाती है। डैशबोर्ड रोक-दर की जगह सत्यापित समाधान, वापसी-संपर्क दर, सटीकता, मानव तक पहुँचने का समय और समूह-वार संतुष्टि दिखाता है।

तीन महीने बाद, दायरे के आशयों के लिए सत्यापित समाधान 66 प्रतिशत पर पहुँचता है, वापसी-संपर्क दर 14 प्रतिशत पर आ जाती है, मानव तक पहुँचने का माध्यिका समय 2 मिनट पर आ जाता है, पूर्ण हस्तांतरणों का अनुपात 86 प्रतिशत हो जाता है, और नमूना-उत्तरों की सटीकता 95 प्रतिशत हो जाती है, नमूने में कोई संवेदनशील मामला ग़लत नहीं सँभाला गया। पासवर्ड पायलट में एजेंट-कार्रवाई उत्क्रमण दर 1.2 प्रतिशत है। कुलपति का कार्यालय 85 प्रतिशत की रोक-दर का लक्ष्य माँगता है। छात्र सेवाओं की प्रमुख समझाती हैं कि ऊँचा रोक-दर लक्ष्य व्यक्ति तक का रास्ता छिपाने को पुरस्कृत करेगा, और सत्यापित समाधान तथा वापसी को मापन के रूप में प्रस्तावित करती हैं, साथ में इस समीक्षा के कि आगे क्या बढ़ाया जाए। निर्णय दर्ज किया जाता है।

एजाइल, AI, स्वचालन और विश्लेषण

एजाइल

उपयोगकर्ताओं और कमान सँभालने वाले लोगों की प्रतिक्रिया के साथ सहायकों को छोटे क़दमों में सुधारें, और हितधारकों के साथ विफलताओं की नियमित समीक्षा करें। सावधानी यह है कि रोक-दर को पुरस्कृत करने से बॉट लोगों को मदद से दूर रखना सीखता है।

AI

संवादी सहायक ने तभी मदद की है जब समस्या हल हो और हल ही रहे, इसलिए सत्यापित समाधान, वापसी, हस्तांतरण की गुणवत्ता और एजेंट-कार्रवाइयों का उत्क्रमण मापें। मानव की भूमिका परिभाषित करें: कार्रवाइयाँ कौन अनुमोदित करता है, बॉट को कब सौंपना चाहिए, और व्यक्ति उसे कैसे ओवरराइड करता है। सावधानी यह है कि सुखद बातचीत भी काम में विफल हो सकती है।

स्वचालन

हर बातचीत और एजेंट-कार्रवाई को अनुमतियों और रोलबैक के तरीक़े के साथ दर्ज करें, और स्वचालन को ग़लत कार्रवाइयों पर मापें। सावधानी यह है कि व्यापक अनुमतियों वाला एजेंट गति से हानि पहुँचा सकता है, इसलिए दायरा सीमित रखें और लॉग की समीक्षा करें।

विश्लेषण

उपयोगकर्ता की पुष्टि या बिना-वापसी की अवधि से सत्यापित समाधान को गिनतियों के साथ रिपोर्ट करें, और बातचीतों का नमूना पढ़ें। इससे यह निर्णय सूचित होता है कि सहायक को कहाँ बढ़ाना सुरक्षित है। सावधानी यह है कि बॉट की बातचीतों पर संतुष्टि-अंक उन उपयोगकर्ताओं की ओर झुके होते हैं जिन्होंने बातचीत पूरी की।

क्षेत्र का नज़रिया

स्टार्टअप। सहायक कम लागत पर सहायता कवर कर सकता है, और एक ख़राब उत्तर एक ग्राहक की क़ीमत चुका सकता है। दायरा संकीर्ण रखें, उत्तरों को अपने दस्तावेज़ों पर आधारित करें, मानव विकल्प स्पष्ट रखें, और हर एस्केलेशन पढ़ें। एजेंट को खातों या भुगतानों पर कार्रवाई करने देने में सावधानी बरतें।

छोटा व्यवसाय। वेबसाइट पर तैयार सहायक सामान्य प्रश्न सँभाल सकता है। उसे ग्राहक की तरह परखें, सुनिश्चित करें कि फ़ोन नंबर या ईमेल आसानी से मिले, और बातचीतों की साप्ताहिक समीक्षा करें। जाँचें कि विक्रेता डेटा के साथ क्या करता है।

बड़ा उद्यम। पैमाना बचत और जोखिम, दोनों लाता है। जोखिम-वर्गों, अनुमोदनों और ऑडिट के लिए शासन-प्रक्रिया चलाएँ, आशय और उपयोगकर्ता-समूह के अनुसार मापें, और सुनिश्चित करें कि हर चैनल पर कोई व्यक्ति पहुँच में हो। सहायता, सुरक्षा, क़ानूनी और सुगम्यता टीमों में समन्वय करें।

सरकार और सार्वजनिक क्षेत्र। नागरिकों के पास कोई वैकल्पिक प्रदाता नहीं हो सकता, और सुगम्यता, भाषा-पहुँच और निष्पक्ष व्यवहार के कर्तव्य दृढ़ता से लागू होते हैं। व्यक्ति को पहुँच में रखें, पात्रता के बारे में स्वचालित निर्णय बिना सुरक्षा-उपायों के न लें, प्रकाशित करें कि सहायक का उपयोग कैसे होता है, और प्रकटीकरण तथा प्रशासनिक क़ानून के कर्तव्य जाँचें (देखें विषय 8.5, विनियमित और सरकारी रिपोर्टिंग)।

व्यावसायिक औचित्य: प्रेरणाएँ, ROI और TCO

लागतें हैं: लाइसेंस या उपयोग-शुल्क, एकीकरण, सामग्री की तैयारी, चल रही नमूना-जाँच और समीक्षा, ज्ञान-आधार का रखरखाव, परीक्षण और शासन। अच्छे मानव मार्ग की भी लागत होती है, क्योंकि उसमें कर्मचारी लगाने पड़ते हैं।

संभावित प्रतिफल हैं: सरल समस्याओं के लिए छोटी प्रतीक्षा, दोहराव वाले संपर्कों से राहत, और कार्य-समय के बाहर कवरेज। जोखिम की ओर: वापसी, खोया भरोसा, ग़लत उत्तरों या कार्रवाइयों से हानि, और क़ानूनी जोखिम। औचित्य अपनी संख्याओं से बनाएँ: सत्यापित समाधान और वापसी, हस्तांतरण सहित प्रति हल किए गए संपर्क की लागत, बॉट की विफलताएँ ठीक करने में लगा कर्मचारियों का समय, और समूह-वार संतुष्टि। विक्रेता के रोक-दर या डिफ़्लेक्शन के दावों को अपना अनुमान न बनाएँ। मानव मार्ग और शासन की लागत गिनें (देखें विषय 7.7, निवेश पर प्रतिफल और व्यावसायिक औचित्य)।

प्रतिरूप-विरोधी और जाल

  • रोक-दर को लक्ष्य बनाना। यह लोगों को मदद से दूर रखने को पुरस्कृत करता है। सत्यापित समाधान और वापसी रिपोर्ट करें।
  • व्यक्ति तक का छिपा या धीमा मार्ग। यह डार्क पैटर्न है, और उपयोगकर्ता इसे भाँप लेते हैं। इसे छोटा रखें और परखें।
  • बिना संदर्भ के हस्तांतरण। उपयोगकर्ता ख़ुद को दोहराते हैं और भरोसा गिरता है। सारांश सौंपें।
  • संवेदनशील मामले बॉट को सँभालने देना। कल्याण, शिकायतों और अधिकारों के लिए लोग चाहिए। उन्हें सीधे भेजें।
  • बिना ऑडिट या अनुमोदन के स्वायत्त कार्रवाइयाँ। एक त्रुटि बड़े पैमाने पर फैल सकती है। वर्गीकृत करें, सीमित करें और दर्ज करें।
  • केवल वही मापना जो विक्रेता का डैशबोर्ड दिखाता है। वह चापलूसी करता है। अपना डेटा जोड़ें।
  • जिन समूहों को बॉट विफल करता है, उन्हें अनदेखा करना। औसत उन्हें छिपाते हैं। जहाँ सुरक्षित हो, परखें और खंडित करें।
  • कोई रोक-नियम नहीं। विफल होता बॉट चालू रहता है। वह प्रमाण परिभाषित करें जो उसे सीमित या बंद करेगा।

परिपक्वता मॉडल

आयाम 1 आरंभ 2 विकास 3 मानकीकरण 4 प्रबंधन 5 समन्वयन
परिणाम रोक-दर रिपोर्ट होती है संतुष्टि का सर्वेक्षण होता है आशय-वार सत्यापित समाधान और वापसी पर नज़र उपयोगकर्ता-समूह के अनुसार विभाजित; रोक-नियम परिभाषित; सटीकता का मासिक नमूना सहायक, कर्मचारी और ज्ञान साझा प्रमाण से मिलकर सुधरते हैं
व्यक्ति तक का मार्ग खोजना कठिन विकल्प उपलब्ध छोटा मार्ग; मानव तक पहुँचने के समय पर नज़र; हस्तांतरण संदर्भ साथ ले जाते हैं हस्तांतरण की गुणवत्ता आँकी और सुधारी जाती है; कर्मचारी-व्यवस्था माँग के अनुरूप बॉट और कर्मचारी चैनलों के पार सहजता से सहयोग करते हैं, और उपयोगकर्ता की पसंद का सम्मान होता है
कार्रवाई करने वाले एजेंट तदर्थ स्वचालन स्क्रिप्ट की गई कार्रवाइयाँ जोखिम-वर्गीकृत कार्रवाइयाँ, न्यूनतम विशेषाधिकार, अनुमोदन और ऑडिट उत्क्रमण दर और हानि की समीक्षा; परिवर्तन नियंत्रित एजेंट का व्यवहार संगठन और आपूर्तिकर्ताओं में स्वतंत्र आश्वासन के साथ शासित

जाँच-सूची

  • सहायक के आशयों की सूची है, और जो हमेशा किसी व्यक्ति के पास जाने चाहिए वे चिह्नित हैं।
  • सत्यापित समाधान और वापसी-संपर्क दर रोक-दर के साथ रिपोर्ट होती हैं।
  • हर स्क्रीन पर व्यक्ति तक पहुँचने का दिखाई देने वाला छोटा मार्ग है, और मानव तक पहुँचने का समय मापा जाता है।
  • हस्तांतरणों में सारांश और उपयोगकर्ता के शब्द शामिल होते हैं, और प्राप्तकर्ता एजेंट उन्हें आँकते हैं।
  • योग्य, स्वतंत्र समीक्षक हर महीने उत्तरों का नमूना जाँचते हैं।
  • उपयोगकर्ताओं को बताया जाता है कि वे AI से बात कर रहे हैं, और वह क्या कर सकता है।
  • सुगम्यता और अन्य भाषाओं का परीक्षण वास्तविक उपयोगकर्ताओं के साथ किया जाता है।
  • एजेंट की कार्रवाइयाँ जोखिम-वर्गीकृत हैं, न्यूनतम विशेषाधिकार से अनुमत हैं, और ऑडिट-लॉग में दर्ज हैं।
  • उत्क्रमण दरों और हानिकारक कार्रवाइयों की दोषारोपण के बिना समीक्षा होती है।
  • रोक-नियम परिभाषित करता है कि सहायक का दायरा कब घटाना या उसे बंद करना है।

AI प्रॉम्प्ट

आशय और हस्तांतरण के नियम परिभाषित करें।

हम [संगठन का प्रकार] के लिए सर्विस डेस्क चलाते हैं। संपर्क के सबसे आम कारण
ये हैं: [मात्राओं सहित सूची]। प्रस्ताव दें कि चैटबॉट किन आशयों को पूरी तरह
सँभाले, किनमें केवल मदद करे और फिर हस्तांतरित करे, और किन्हें हमेशा किसी
व्यक्ति के पास जाना चाहिए, कारण सहित। साथ भेजी जाने वाली हस्तांतरण-जानकारी
शामिल करें। आँकड़े न गढ़ें। संवेदनशील मामलों के लिए अपनी मान्यताएँ और
जोखिम सूचीबद्ध करें।

रोक-दर के दावे की जाँच करें।

हमारे चैटबॉट डैशबोर्ड में रोक-दर [मान] दिखती है। हमारे पास यह भी है: सात दिन
के भीतर वापसी-संपर्क [मान], सर्वेक्षण परिणाम [मान], और बातचीतों का एक नमूना
[वर्णन करें]। समझाएँ कि सत्यापित समाधान क्या हो सकता है, उसे हमारे डेटा से
कैसे निकालें, रोक-दर और समाधान के बीच का अंतर क्या सुझाता है, और आगे क्या
जाँचें। ऐसे कारण न बताएँ जिन्हें डेटा सिद्ध नहीं कर सकता। अपनी मान्यताएँ
सूचीबद्ध करें।

एजेंट की कार्रवाइयों के लिए जोखिम-वर्गीकरण डिज़ाइन करें।

कोई AI एजेंट ये कार्रवाइयाँ कर सकता है: [सूची]। हर एक के लिए जोखिम-वर्ग
(सूचनात्मक, उत्क्रमणीय कम प्रभाव, परिणामी) प्रस्तावित करें, उसे कौन-सी अनुमति
चाहिए, क्या किसी व्यक्ति को अनुमोदन करना होगा, क्या दर्ज करें, उसे कैसे
पलटें, और सक्षम करने से पहले चलाने के लिए एक परीक्षण। विशिष्ट औज़ार न मानें।
अपनी मान्यताएँ और वे निर्णय सूचीबद्ध करें जिनके लिए सुरक्षा और क़ानूनी
राय चाहिए।

बॉट की बातचीतों की समीक्षा की योजना बनाएँ।

बॉट की बातचीतों की मासिक समीक्षा डिज़ाइन करें: नमूने का आकार और चयन
(कुछ छोड़ी गई बातचीतें और कुछ ऐसे उपयोगकर्ता-समूहों से जिन्हें ख़राब सेवा का
जोखिम है, सहित), समीक्षकों की योग्यता, शुद्धता, सुरक्षा और अनिश्चितता के बारे
में ईमानदारी के लिए छोटा रूब्रिक, त्रुटियाँ कैसे दर्ज करें और उनके स्रोत कैसे
ठीक करें, और उपयोगकर्ताओं की पहचान किए बिना रिपोर्ट कैसे करें। अपनी
मान्यताएँ और गोपनीयता-सावधानियाँ सूचीबद्ध करें।

AI स्किल

  • Service Management Metrics skill: चैटबॉट या AI एजेंट मीट्रिक की जोड़ी वाली सुरक्षा-रेखा खोजने के लिए उपयोग करें।
  • Service Management Metrics maintainer skill: यह जाँचने के लिए उपयोग करें कि चैटबॉट मीट्रिक की प्रविष्टि समाधान को मापती है और उसमें उसका गेमिंग का रास्ता और सुरक्षा-रेखा है।

मुख्य निष्कर्ष

  • सत्यापित समाधान और वापसी-संपर्क मापें, और रोक-दर को केवल वर्णनात्मक आँकड़ा मानें।
  • किसी व्यक्ति तक का मार्ग छोटा और दिखाई देने वाला रखें, और संदर्भ के साथ हस्तांतरित करें।
  • सटीकता और सुरक्षा के लिए उत्तरों का नमूना लें, और सहायक जिस ज्ञान का उपयोग करता है उसे ताज़ा रखें।
  • ईमानदारी से बताएँ कि उपयोगकर्ता AI से बात कर रहे हैं, और उन उपयोगकर्ताओं के साथ परीक्षण करें जिन्हें विफल किए जाने की सबसे अधिक संभावना है।
  • कार्रवाई करने वाले एजेंटों के लिए जोखिम वर्गीकृत करें, अनुमतियाँ सीमित करें, परिणामी कार्रवाइयों के लिए अनुमोदन आवश्यक करें, और ऑडिट-निशान रखें।
  • रोक-नियम पहले से परिभाषित करें।

संदर्भ और आगे का अध्ययन

  1. Weizenbaum, J., "ELIZA: A computer program for the study of natural language communication between man and machine," Communications of the ACM, 9(1), 1966.
  2. National Institute of Standards and Technology, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023.
  3. European Parliament and Council, Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act), 2024.
  4. Dixon, M., Toman, N., and DeLisi, R., The Effortless Experience, Portfolio/Penguin, 2013.
  5. Parasuraman, R., and Manzey, D. H., "Complacency and bias in human use of automation: An attentional integration," Human Factors, 52(3), 2010.
  6. Beck, K., et al., Principles behind the Agile Manifesto, 2001, https://agilemanifesto.org/principles.html.
  7. Wikipedia, Chatbot.
  8. Wikipedia, Virtual assistant.
  9. Wikipedia, Intelligent agent.
  10. Wikipedia, Self-service.
  11. Wikipedia, Dark pattern.
  12. Wikipedia, Automated decision-making.
  13. Wikipedia, Goodhart's law.