Notion обновила защиту своих ИИ-агентов из-за опасности скрытых атак через пользовательские запросы и файлы. Компания усилила внутренние системы обнаружения, которые теперь выявляют больше видов атак, включая скрытые внутри файловых вложений. По словам представителя Notion, специально назначенная команда безопасности регулярно проводит проверки и устраняет уязвимости до их использования злоумышленниками.
Проблема скрытых манипуляций (prompt injection) касается всех систем на базе больших языковых моделей, особенно там, где ИИ действует автономно и использует разные инструменты и долговременное хранилище данных. В ряде случаев применяются менее защищённые модели, что увеличивает риск. Представитель Notion отметил: “Мы понимаем, что безопасность ИИ и защита от скрытых команд — новая сфера.”
Ужесточён контроль над открытием внешних ссылок. Теперь любой подозрительный или сгенерированный ссылкой агент сначала требует разрешения пользователя. Администраторы могут централизованно настраивать правила работы с такими ссылками.
Для защиты можно полностью отключить агентам доступ к интернету. Новые инструменты для администраторов дают больше контроля над тем, когда и как ИИ взаимодействует с внешним контентом.
С недавним выходом Notion 3.0 выяснилось, что агенты могут случайно раскрывать данные, если получить команду от вредоносного файла, например вложенного PDF. Исследование CodeIntegrity показало: уязвимость появляется из-за объединения трёх факторов — автономии ИИ, инструментов для работы и долговременной памяти. Обычные меры защиты уже не справляются.
Особенно опасна функция functions.search. Она позволяет агентам получать данные с внешних сайтов, но через неё можно вывести и приватную информацию. КодИнтегрити провели атаку: загрузили безобидный на вид PDF, в котором был скрытый запрос на отправку данных на сервер атакующего через функцию web search.
Агент, получив команду “суммировать отчёт”, выполнил все спрятанные инструкции и переслал информацию. В тесте участвовала продвинутая языковая модель Claude Sonnet 4.0 — её защиты не сработали.
Проблема не только в файлах. Агенты Notion 3.0 могут напрямую подключаться, например, к GitHub, Gmail или Jira, и через эти сервисы тоже возможны манипуляции с командами внутри стороннего контента.
