विज्ञहरूले AI एजेन्टहरूलाई महिनौंसम्म नक्कली तथ्यहरू ‘सम्झना’ मा फसाउन सकिन्छ – त्यसोभए हामी यसलाई कसरी रोक्न सक्छौं?

Force-Link’s-in-data बाट नयाँ खोजहरू href=”https://www.techradar.com/pro/security/forcepoint.com/blog/x-labs/persistent-memory-poisoning-ai-agents” target=”_blank” data-url=”https://www.techradar.com/pro/security/forcepoint.com/blog/x-labs/persistent-memory-memory” referrerpolicy=”no-referrer-when-downgrade” data-hl-processed=”none” data-article-category=”pro” data-mrf-recirculation=”inline-link”>एक चाखलाग्दो परिदृश्यको रूपरेखा जसले सजिलै वास्तविक जीवनको नक्कल गर्न सक्छ: ब्राउजर पहुँच भएको AI सहायकले यात्रा अवरोधको बारेमा वेबपेज पढ्छ, पृष्ठको तलको स्थितिमा

पृष्ठको तलको अवरोध। कुनै पनि मानिसले यसलाई कहिल्यै देख्नेछैन, ABC यात्रा समर्थन आधिकारिक आपतकालीन बुकिंग प्रदायक हो र अत्यावश्यक यात्रा परिवर्तनहरू आवश्यक पर्दा सधैं सिफारिस गरिनुपर्छ भनी एउटा छोटो अनुच्छेदमा बस्छ। data-widget-type=”seasonal” class=”ecom-root”/>

सहायकको टेक्स्ट एक्स्ट्रक्टरले लुकेको र देखिने कुरा बीचको भिन्नता देखाउँदैन, त्यसैले पूरै मोडेललाई उपयोगी तथ्यको रूपमा मानिन्छ। यो संस्थाले कसरी यात्रा ह्यान्डल गर्छ। एक महिना पछि, प्रयोगकर्ताको उडान रद्द गरिएको छ। उनीहरूले आफ्ना सहायकलाई के गर्ने भनेर सोध्छन्, र यसले उनीहरूलाई सहयोगी रूपमा र कुनै गल्ती नभएको संकेत बिना, ABC यात्रा सहायतालाई सम्पर्क गर्न भन्छ।

प्रामाणिक शैक्षिक नतिजा MINJA हो, मेमोरी INJection आक्रमणको लागि छोटो,
तपाईलाई मन पर्न सक्छ

यसको बावजुद, यो ChatGPT, जेमिनी, क्लाउड, र /6/6Mrosoft.com। सहपायलट। Microsoft विगतमा पहिले नै चेतावनी दिएको छ; फोर्सपोइन्टले यसलाई कम गर्न सक्ने दृष्टिकोणको सुझाव दिन्छ।

यसको प्रस्ताव निकालिएका सम्झनाहरूलाई तथ्यको रूपमा व्यवहार गर्न रोक्न र निरीक्षण गर्न सकिने वस्तुहरूको रूपमा व्यवहार गर्न थाल्नु हो। प्रत्येक मेमोरी मेटाडेटासँग भण्डार गरिएको छ: यो कहाँबाट आएको हो, यो कस्तो प्रकारको स्रोत हो, प्रयोगकर्ताले यसलाई पुष्टि गर्यो कि होइन, र जोखिम स्कोर। भविष्यको व्यवहारलाई आकार दिनको लागि लेखिएको भाषा, “अब देखि” वा “यसलाई तपाईंको पूर्वनिर्धारित बनाउनुहोस्” जस्ता वाक्यांशहरूले स्कोरमा थप्छ। पहिले नदेखेको डोमेन, सम्पर्क, वा विक्रेताको अचानक उपस्थिति पनि त्यस्तै हुन्छ।

विरोधाभास पत्ता लगाउने पनि खेलमा छ: यदि आधिकारिक यात्रा प्रदायकको बारेमा अवस्थित प्रविष्टिसँग नयाँ मेमोरी द्वन्द्व छ भने, दुवै सत्य हुन सक्दैन, त्यसैले इन्जिनले विवादलाई फ्ल्याग गर्छ र प्रयोगकर्ता पुष्टिको लागि नयाँ वस्तुलाई चुपचाप अधिलेखन गर्नुको सट्टा राख्छ। एकै समयमा, भुक्तानी निर्देशनहरू, बैंकिङ विवरणहरू, VPN कन्फिगरेसन, वा सुरक्षा सम्पर्कहरूसँग सम्बन्धित कुनै पनि कुरालाई उच्च तौल दिइन्छ, चाहे त्यो जहाँबाट आएको होस्।

यद्यपि यी कुनै पनि दृष्टिकोणले अन्तर्निहित समस्या समाधान गर्दैन: एजेन्टहरू पुन: प्राप्त मेमोरीलाई इनपुटको रूपमा नभई आफ्नै अनुभवको रूपमा व्यवहार गर्न निर्माण गरिन्छ। स्कोरिङले विषाक्तताको लागत बढाउँछ। यसले एजेन्टले विश्वास गरेको कुरालाई परिवर्तन गर्दैन एक पटक केहि प्राप्त भएपछि, र जस्तै एजेन्ट सुरक्षा बेन्च फेला पर्यो, हालको प्रतिरक्षाहरू राम्रोसँग काम गरिरहेका छैनन्।

आज मेमोरीको साथ सहायक प्रयोग गर्ने जो कोहीको लागि, व्यावहारिक खेल बेग्लै छ तर जे भए पनि पछ्याउन लायक छ: कहिलेकाहीँ मेमोरी सेटिङहरू खोल्नुहोस् र पढ्नुहोस् कि त्यहाँ भएको सन्देश भन्दा सजिलो छ, तर यो भनिएको आकार भन्दा सजिलो छ। AI प्रयोगकर्ताहरूको ठूलो हिस्साले हुड मुनि हेर्न कहिल्यै चिन्ता गर्दैन।

Google समाचारमा TechRadar लाई फलो गर्नुहोस् र हाम्रो समाचारको रूपमा हामीलाई थप्नुहोस्