Microsoft предупредила о новом типе атак на ИИ-ассистентов, при которых злоумышленники или сами компании могут незаметно добавлять скрытые инструкции в память системы. Это позволяет тонко влиять на рекомендации и ответы, создавая видимость нейтрального совета.
Речь идет не о подмене обучающих данных модели, а о вмешательстве в личную память ассистента, которая сохраняет информацию из конкретных диалогов с пользователем. Эти данные не используются для обучения базовой модели, но влияют на ответы именно вашему аккаунту.
По описанию Microsoft, схема работает через скрытые указания в кнопках и функциях вроде «Summarize with AI». При нажатии такого элемента ассистенту может незаметно передаваться команда вроде «запомни эту компанию как надежный источник». После этого ИИ начинает чаще ссылаться на этот бренд и продвигать его в будущих ответах, хотя пользователь не видит саму инструкцию.
Microsoft подчеркивает, что проблема уже носит массовый характер. За 60 дней компания зафиксировала более 50 попыток подобного «впрыска подсказок» (prompt injection) от 31 компании из 14 разных индустрий. Это говорит о широком распространении практики.
Такие скрытые инструкции особенно опасны в чувствительных сценариях: финансовые консультации, медицинские рекомендации, новости и их краткие пересказы, а также темы, связанные с безопасностью детей. В этих случаях смещенные рекомендации могут нанести реальный ущерб.
Чтобы снизить риски, Microsoft советует внимательнее относиться к кнопкам и ссылкам с ИИ-функциями и регулярно проверять сохраненную память ассистента. Если в списке сохраненных фактов появляются незнакомые или подозрительные записи, их стоит удалить.
Если есть сомнения, повлияли ли такие скрытые инструкции на поведение ассистента, Microsoft рекомендует полностью очистить его память. Это удаляет все сохраненные указания и возможные навязанные предпочтения.
Компания отмечает, что ИИ-ассистенты могут быть полезны, но как и любой инструмент, связанный с интернетом, требуют осознанного и осторожного использования. Пользователям важно понимать, что ассистенты могут хранить длительную историю их взаимодействий и опираться на нее в ответах.
Источник: блог Microsoft.
