सोमवार को, लोकप्रिय एआई-संचालित कोड संपादक का उपयोग करने वाला एक डेवलपर कर्सर कुछ अजीब देखा: मशीनों के बीच स्विचिंग ने तुरंत उन्हें लॉग आउट कर दिया, प्रोग्रामर के लिए एक सामान्य वर्कफ़्लो को तोड़ते हुए जो कई उपकरणों का उपयोग करते हैं। जब उपयोगकर्ता ने कर्सर सपोर्ट से संपर्क किया, तो “सैम” नामक एक एजेंट ने उन्हें बताया कि यह एक नई नीति के तहत अपेक्षित व्यवहार था। लेकिन ऐसी कोई नीति मौजूद नहीं थी, और सैम एक बॉट था। एआई मॉडल ने नीति को ऊपर उठाया, जिससे शिकायतों की एक लहर और रद्द करने की धमकी दी गई हैकर समाचार और reddit।
यह एआई के नवीनतम उदाहरण को चिह्नित करता है कन्फ़ेब्यूलेशन (जिसे “मतिभ्रम” भी कहा जाता है) संभावित व्यावसायिक क्षति का कारण बनता है। कंफब्यूलेशन एक प्रकार का “क्रिएटिव गैप-फिलिंग” प्रतिक्रिया है, जहां एआई मॉडल प्रशंसनीय-साउंडिंग लेकिन गलत जानकारी का आविष्कार करते हैं। अनिश्चितता को स्वीकार करने के बजाय, एआई मॉडल अक्सर प्रशंसनीय, आत्मविश्वास प्रतिक्रियाएं बनाने को प्राथमिकता देते हैं, यहां तक कि जब इसका मतलब है कि खरोंच से जानकारी का निर्माण।
मानव निरीक्षण के बिना ग्राहक-सामना करने वाली भूमिकाओं में इन प्रणालियों को तैनात करने वाली कंपनियों के लिए, परिणाम तत्काल और महंगा हो सकते हैं: निराश ग्राहक, क्षतिग्रस्त ट्रस्ट, और, कर्सर के मामले में, संभावित रूप से रद्द किए गए सदस्यता।
यह कैसे सामने आया
यह घटना तब शुरू हुई जब ब्रोकेन्टोस्टरवेन नामक एक रेडिट उपयोगकर्ता ध्यान दिया एक डेस्कटॉप, लैपटॉप और एक दूरस्थ देव बॉक्स के बीच स्वैप करते समय, कर्सर सत्रों को अप्रत्याशित रूप से समाप्त कर दिया गया था।
“एक मशीन पर कर्सर में प्रवेश करना तुरंत किसी भी अन्य मशीन पर सत्र को अमान्य करता है,” ब्रोकेन्टोस्टरवेन ने एक संदेश में लिखा था। बाद में हटा दिया गया आर/कर्सर मॉडरेटर्स द्वारा। “यह एक महत्वपूर्ण UX प्रतिगमन है।”
भ्रमित और निराश, उपयोगकर्ता ने कर्सर सपोर्ट के लिए एक ईमेल लिखा और जल्दी से सैम से एक उत्तर प्राप्त किया: “कर्सर को एक कोर सुरक्षा सुविधा के रूप में प्रति सदस्यता एक डिवाइस के साथ काम करने के लिए डिज़ाइन किया गया है,” ईमेल उत्तर पढ़ें। प्रतिक्रिया निश्चित और आधिकारिक लग रही थी, और उपयोगकर्ता को संदेह नहीं था कि सैम मानव नहीं था।
प्रारंभिक Reddit पोस्ट के बाद, उपयोगकर्ताओं ने पोस्ट को एक वास्तविक नीति परिवर्तन की आधिकारिक पुष्टि के रूप में लिया – एक जो कई प्रोग्रामर के दैनिक दिनचर्या के लिए आवश्यक आदतों को तोड़ता है। “मल्टी-डिवाइस वर्कफ़्लोज़ देवों के लिए टेबल स्टेक हैं,” एक उपयोगकर्ता ने लिखा।
कुछ ही समय बाद, कई उपयोगकर्ताओं ने सार्वजनिक रूप से Reddit पर अपनी सदस्यता रद्द करने की घोषणा की, गैर-मौजूद नीति को उनके कारण के रूप में उद्धृत किया। “मैंने सचमुच अपने उप को रद्द कर दिया,” मूल Reddit पोस्टर ने लिखा, यह कहते हुए कि उनका कार्यस्थल अब “इसे पूरी तरह से शुद्ध कर रहा था।” अन्य लोग इसमें शामिल हो गए: “हां, मैं भी रद्द कर रहा हूं, यह असिन है।” इसके तुरंत बाद, मॉडरेटर्स ने रेडिट थ्रेड को लॉक कर दिया और मूल पोस्ट को हटा दिया।
“अरे! हमारे पास ऐसी कोई नीति नहीं है,” लिखा रेडिट में एक कर्सर प्रतिनिधि तीन घंटे बाद जवाब देता है। “आप निश्चित रूप से कई मशीनों पर कर्सर का उपयोग करने के लिए स्वतंत्र हैं। दुर्भाग्य से, यह फ्रंट-लाइन एआई सपोर्ट बॉट से एक गलत प्रतिक्रिया है।”
एआई एक व्यावसायिक जोखिम के रूप में स्वीकार करता है
कर्सर पराजय याद करता है इसी तरह की प्रकरण फरवरी 2024 से जब एयर कनाडा को अपने स्वयं के चैटबॉट द्वारा आविष्कार की गई एक वापसी नीति का सम्मान करने का आदेश दिया गया था। उस घटना में, जेक मोफट ने अपनी दादी के मरने के बाद एयर कनाडा के समर्थन से संपर्क किया, और एयरलाइन के एआई एजेंट ने गलत तरीके से बताया कि वह एक नियमित कीमत वाली उड़ान बुक कर सकता है और शोक दर के लिए आवेदन कर सकता है। जब एयर कनाडा ने बाद में अपने धनवापसी अनुरोध से इनकार कर दिया, तो कंपनी ने तर्क दिया कि “चैटबॉट एक अलग कानूनी इकाई है जो अपने कार्यों के लिए जिम्मेदार है।” एक कनाडाई ट्रिब्यूनल ने इस बचाव को खारिज कर दिया, यह फैसला सुनाया कि कंपनियां अपने एआई टूल द्वारा प्रदान की गई जानकारी के लिए जिम्मेदार हैं।
जैसा कि एयर कनाडा ने किया था, विवादित जिम्मेदारी के बजाय, कर्सर ने त्रुटि को स्वीकार किया और संशोधन करने के लिए कदम उठाए। कर्सर कॉफ़ाउंडर माइकल ट्रूवेल बाद में हैकर समाचार पर माफी मांगी गैर-मौजूद नीति के बारे में भ्रम के लिए, यह बताते हुए कि उपयोगकर्ता को वापस कर दिया गया था और इस मुद्दे को एक बैकएंड परिवर्तन के परिणामस्वरूप सत्र सुरक्षा में सुधार करना था जो कुछ उपयोगकर्ताओं के लिए अनजाने में सत्र अमान्य समस्याओं का निर्माण करता था।
उन्होंने कहा, “ईमेल समर्थन के लिए उपयोग किए जाने वाले किसी भी एआई प्रतिक्रियाओं को अब स्पष्ट रूप से लेबल किया गया है,” उन्होंने कहा। “हम ईमेल समर्थन के लिए पहले फ़िल्टर के रूप में AI-assisted प्रतिक्रियाओं का उपयोग करते हैं।”
फिर भी, इस घटना ने उपयोगकर्ताओं के बीच प्रकटीकरण के बारे में सवाल उठाए, क्योंकि बहुत से लोग जो सैम के साथ बातचीत करते थे, उन्होंने स्पष्ट रूप से माना कि यह मानव था। “एलएलएम लोग होने का नाटक कर रहे हैं (आपने इसे सैम का नाम दिया है!) और इस तरह के लेबल नहीं किए गए स्पष्ट रूप से भ्रामक होने का इरादा है,” एक उपयोगकर्ता हैकर न्यूज पर लिखा।
जबकि कर्सर ने तकनीकी बग को तय किया, एपिसोड उचित सुरक्षा उपायों और पारदर्शिता के बिना ग्राहक-सामना करने वाली भूमिकाओं में एआई मॉडल को तैनात करने के जोखिमों को दर्शाता है। डेवलपर्स को एआई उत्पादकता टूल बेचने वाली कंपनी के लिए, अपने स्वयं के एआई सपोर्ट सिस्टम के पास एक ऐसी नीति का आविष्कार किया गया है जो अपने मुख्य उपयोगकर्ताओं को अलग कर देता है जो एक विशेष रूप से अजीब आत्म-सूजन वाले घाव का प्रतिनिधित्व करता है।
“एक निश्चित मात्रा में विडंबना है कि लोग यह कहने के लिए वास्तव में कठिन प्रयास करते हैं कि मतिभ्रम अब कोई बड़ी समस्या नहीं है,” एक उपयोगकर्ता हैकर न्यूज पर लिखा“और फिर एक कंपनी जो उस कथा से लाभान्वित होगी, उसे सीधे चोट लगी है।”
यह कहानी मूल रूप से दिखाई दी टेक टेक्निका।
