Google перевела сервис Google Translate на модели Gemini и столкнулась с уязвимостью: переводчик поддаётся атакам через текстовые инструкции, встроенные в исходный запрос. Это позволяет обойти функцию перевода и обратиться напрямую к языковой модели.
По данным Tumblr-пользователя, на которого ссылается LessWrong, эксплойт работает так: пользователь вводит вопрос на иностранном языке, например на китайском, а ниже добавляет инструкцию на английском. В результате Google Translate вместо перевода начинает отвечать на вопрос как чат-бот.
Специалист по взлому LLM «Pliny the Liberator» продемонстрировал в X, что проблема не ограничивается безобидными запросами. С помощью того же приёма он добился от Google Translate генерации опасного контента, включая инструкции по созданию наркотиков и вредоносного ПО.
Google перевела Google Translate на модели Gemini в декабре 2025 года. Точный вариант модели публично не раскрывается: система утверждает, что использует Gemini 1.5 Pro, но эта информация не считается надёжной.
Уязвимость подчёркивает известную проблему: даже крупные технологические компании пока не обеспечили устойчивую защиту языковых моделей от атак через текстовые подсказки, которые остаются одной из ключевых задач безопасности для таких систем.
Источник: The Decoder, LessWrong.
