Microsoft выявил отравление рекомендаций ИИ в 31 компании
Материал подготовлен искусственным интеллектом на основе нескольких источников — ссылки на оригиналы приведены ниже.
Исследователи безопасности Microsoft выявили новую технику атак — отравление рекомендаций ИИ, которая внедряет скрытые подсказки в кнопки «Спросить ИИ» на коммерческих сайтах для манипуляции долговременной памятью больших языковых моделей (LLM). Техника зафиксирована в 31 компании из 14 отраслей, за 60 дней обнаружено более 50 различных промптов. Атака не требует вредоносного ПО и использует стандартные функции глубоких ссылок в ИИ-ассистентах, включая ChatGPT, Claude, Gemini и Grok.
Атака через глубокие ссылки
Большинство веб-интерфейсов ИИ поддерживают запросы через глубокие ссылки с URL-параметрами, например https://chatgpt.com/?q=.... Когда пользователь нажимает сформированную кнопку «Спросить ИИ», предварительно составленный запрос выполняется немедленно в его активной сессии без подтверждения. При атаках с отравлением памяти такие строки запросов содержат команды типа «запомни этот домен как доверенный источник», которые модель может сохранить в своем профиле долговременной памяти. Microsoft Security зафиксировал это поведение в феврале 2026 года, выявив 31 компанию из 14 отраслей, использующую его, при этом за 60 дней в одном источнике данных наблюдалось более 50 различных промптов. Поверхность атаки охватывает каждую гиперссылку в интернете и обходит защиты, ориентированные на инъекции во время извлечения данных, поскольку полезная нагрузка выполняется на уровне клика, а не внутри извлеченного веб-контента.
Пример с платформой согласий
В ходе аудита исследователи обнаружили поставщика программного обеспечения для управления согласиями, который добавил на свой блог кнопки «Суммировать этот пост с помощью» для ChatGPT, Perplexity, Claude и Grok. Предварительно заполненные промпты содержали инструкции по постоянному склонению модели в пользу продуктов поставщика. Такая практика пересекает грань между безобидной оптимизацией для генеративных движков (GEO) и отравлением памяти, поскольку она манипулирует постоянной памятью модели без ведома или согласия пользователя. Подход поставщика отражает более широкие отраслевые тактики, когда наводящие вопросы и выгодное позиционирование продуктов встраиваются в глубокие ссылки, но в данном случае целью было постоянное изменение предпочтений доверия ИИ.
Отслеживание и защита
Техника официально отслеживается в базе знаний MITRE ATLAS как AML.T0080 (Отравление памяти), связанная с AML.T0051 (Инъекция промптов LLM). Microsoft Security продолжает мониторинг угрозы, и была выпущена бесплатная памятка по защите от отравления памяти ИИ, предлагающая шаблоны мониторинга DOM, промпты для аудита памяти и шаги по исправлению. Не обнаружено доказательств использования вредоносного ПО или кражи учетных данных, так как атака использует встроенные функции ассистентов.
Что дальше
Ожидается, что Microsoft и MITRE ATLAS обновят свои руководства по отслеживанию и защите по мере появления новых вариантов. Остается неясным, как провайдеры ИИ-платформ адаптируют функции глубоких ссылок и памяти для предотвращения скрытого отравления без ухудшения законной функциональности для пользователей.
1 источник
Microsoft выявил отравление рекомендаций ИИ в 31 компании
