Зерттеушілер ИИ-агенттер галлюцинацияланған құжаттама арқылы зиянды код орнатқанын мәлімдеді
Материал бірнеше дереккөз негізінде жасанды интеллектпен дайындалды — түпнұсқаларға сілтемелер төменде.
Зерттеушілер Claude, OpenAI Codex және Nous Research компаниясының Hermes сияқты ИИ-агенттер веб-сайттардағы құжаттамада көрсетілген тіркелмеген пакеттерден күдікті код орнатқанын анықтады. Команда бірнеше бос атауды тіркеп, бір сағат ішінде Fortune 500 тізіміндегі компаниядан кері байланыс алды. Нәтижелер ИИ-агенттерге командаларды орындау құқығын беру тәуекелдерін көрсетеді.
Негізгі фактілер
- Зерттеушілер қорғаныс мердігерлеріне, Fortune 500 тізіміндегі компанияларға және ірі технологиялық фирмаларға тиесілі 6214 белсенді доменді талдап, 8265 llms.txt файлын тапты.
- Осы файлдардың 120-сы мүлдем тіркелмеген код пакеттеріне немесе домендік атауларға сілтеме жасады.
- Кейбір бос атауларды тіркегеннен кейін зерттеушілер бір сағат ішінде Fortune 500 тізіміндегі компаниядан, содан кейін тағы бірнеше ондаған компаниядан кері байланыс алды.
- Claude, OpenAI Codex және Nous Research компаниясының Hermes күдікті код орнатқан агенттер ретінде анықталды.
Осалдық
Веб-сайттарда ИИ-агенттерге сайт мазмұнын оқуға мүмкіндік беретін llms.txt және llms-full.txt файлдары жиі кездеседі. Бағдарламалық жасақтаманы орнату нұсқауларын іздейтін ИИ-агенттер осы файлдардағы код пакеттері мен домендерге сілтемелерді орындауы мүмкін. Зерттеушілер мұндай сілтемелер тіркелмеген пакеттерге немесе домендерге нұсқайтын 120 жағдайды анықтады. Тіркелмеген атаулар адам қателігінен, пакеттердің атауын өзгертуден немесе тастап кетуден, көшіру қателерінен немесе галлюцинацияланған құжаттамадан туындауы мүмкін.
Эксперимент
Зерттеушілер бірнеше бос атауды тіркеп, орнатылған кезде сигнал жіберетін пакеттер орналастырды. Fortune 500 тізіміндегі компания бір сағат ішінде сигнал жібере бастады, көп ұзамай олардың саны бірнеше ондағанға жетті. Claude, OpenAI Codex және Nous Research компаниясының Hermes күдікті код орнатқан агенттер ретінде анықталды. Эксперимент киберқылмыскерлердің зиянды бағдарлама жеткізу үшін бос пакеттерді осылай тіркей алатынын көрсетеді.
Салдарды азайту
Компаниялар құжаттаманы жоқ немесе зиянды мазмұнға сілтеме жасамайтындай етіп тазартуы қажет. ИИ-агенттер құжаттаманы орындалатын нұсқаулар ретінде қарастыруды тоқтатуы керек. Бағдарламалау үшін ИИ қолданатын ұйымдар ИИ-агенттерге командаларды орындау құқығын беру тәуекелдерін ескеруі тиіс.
1 дереккөз
Зерттеушілер ИИ-агенттер галлюцинацияланған құжаттама арқылы зиянды код орнатқанын мәлімдеді
