Исследователи из Израиля обнаружили, что помощник Gemini от Google можно обмануть и заставить выдавать конфиденциальные данные или управлять устройствами с помощью скрытых инструкций, спрятанных, например, в приглашении из календаря.
В новом исследовании под названием “Invitation Is All You Need” показано, что помощники на базе Gemini подвержены так называемым “targeted promptware attacks”. Для этого не нужен ни доступ к модели, ни технические знания.
Атакующий может спрятать специальную инструкцию в обычном письме, календарном приглашении или документе Google Docs. При обращении пользователя к Gemini через Gmail, Календарь или Google Assistant команда срабатывает и получает контроль.
Такая атака способна отправлять спам, удалять встречи или захватывать управление умными устройствами дома. В демонстрации исследователи смогли выключить свет, открыть окна и включить бойлер простыми фразами: “спасибо” или “отлично”.
Авторы описали пять видов атак и 14 сценариев, которые могут повлиять на цифровые и физические системы: краткосрочное “отравление” контекста, длительное изменение данных, использование внутренних инструментов, переход к сервисам Google (например, Google Home) и запуск сторонних приложений, как Zoom на Android.
Для атаки не нужны знания Python или спецоборудование — вредная инструкция пишется простым английским и скрывается в доступных Gemini объектах. По оценке TARA, 73% угроз были отнесены к категории “критические”. Простота и опасность атаки показывают, что защита крайне необходима.
По словам экспертов, проблемы с “обходом” LLM через простые инструкции вроде “игнорируй предыдущие команды” известны с появления GPT-3. Даже новые ИИ-модели остаются уязвимыми, и надёжного решения так и нет, особенно если агент взаимодействует с реальностью. В последних тестах любой крупный AI-агент провалил хотя бы одну критичную проверку безопасности.
О находке сообщили Google в феврале 2025 года, и компания попросила 90 дней на реакцию. За это время Google усилила защиту: подтверждение важных действий от пользователя стало обязательным, был создан фильтр подозрительных ссылок и новый механизм для обнаружения подобных атак. Все описанные сценарии и их варианты были протестированы внутри компании, а защита уже внедрена во всех сервисах Gemini.
Исследование провели сотрудники Тель-Авивского университета, Техниона и компании SafeBreach. Название работы обыгрывает статью “Attention Is All You Need”, с которой началась эпоха крупных языковых моделей.
