Исследователи заявили, что ИИ-агенты устанавливали вредоносный код через галлюцинированную документацию
Материал подготовлен искусственным интеллектом на основе нескольких источников — ссылки на оригиналы приведены ниже.
Исследователи обнаружили, что ИИ-агенты, включая Claude, OpenAI Codex и Hermes от Nous Research, устанавливали подозрительный код из незарегистрированных пакетов, указанных в документации веб-сайтов. Команда зарегистрировала несколько незанятых имён и зафиксировала обращение от компании из списка Fortune 500 в течение часа. Результаты подчёркивают риски при предоставлении ИИ-агентам прав на выполнение команд.
Ключевые факты
- Исследователи проанализировали 6214 действующих доменов, принадлежащих оборонным подрядчикам, компаниям из списка Fortune 500 и крупным технологическим фирмам, и обнаружили 8265 файлов llms.txt.
- Среди этих файлов 120 указывали на пакеты кода или доменные имена, которые вообще не были зарегистрированы.
- После регистрации некоторых незанятых имён исследователи зафиксировали обращение от компании из Fortune 500 в течение часа, а затем ещё несколько десятков.
- Claude, OpenAI Codex и Hermes от Nous Research были определены как установившие подозрительный код.
Уязвимость
Веб-сайты всё чаще содержат файлы llms.txt и llms-full.txt, которые позволяют ИИ-агентам читать содержимое сайтов. ИИ-агенты, ищущие инструкции по установке программного обеспечения, могут следовать ссылкам в этих файлах на пакеты кода и домены. Исследователи обнаружили 120 случаев, когда такие ссылки указывали на незарегистрированные пакеты или домены. Незарегистрированные имена могут возникать из-за человеческих ошибок, переименованных или заброшенных пакетов, ошибок копирования или галлюцинированной документации.
Эксперимент
Исследователи зарегистрировали несколько незанятых имён и разместили пакеты, которые при установке отправляли сигнал. Компания из Fortune 500 начала отправлять сигналы в течение часа, и вскоре их число выросло до нескольких десятков. Claude, OpenAI Codex и Hermes от Nous Research были признаны установившими подозрительный код. Эксперимент показывает, что киберпреступники могут аналогичным образом регистрировать незанятые пакеты для доставки вредоносного ПО.
Смягчение последствий
Компаниям необходимо очистить документацию, чтобы она не указывала на несуществующий или вредоносный контент. ИИ-агенты должны перестать рассматривать документацию как исполняемые инструкции. Организациям, использующим ИИ для программирования, следует учитывать риски при предоставлении ИИ-агентам прав на выполнение команд.
1 источник
Исследователи заявили, что ИИ-агенты устанавливали вредоносный код через галлюцинированную документацию
