Федеральное управление информационной безопасности Германии (BSI) сообщает, что даже ведущие компании в сфере искусственного интеллекта сталкиваются с трудностями при защите языковых моделей от так называемых evasion-атак.
В таких атаках вредоносные инструкции прячут внутри обычного содержимого: веб-сайтов, писем или файлов с кодом. При обработке такого контента ИИ может совершить непреднамеренные действия, пропустить защиту или раскрыть данные.
BSI выпустило новый набор рекомендаций, где представлены технические фильтры, подходы к безопасной формулировке запросов и организационные меры. Ведомство подчеркивает: «Однако следует учитывать, что на данный момент не существует единого полностью эффективного решения для противодействия evasion-атакам».
Особенно подвержены опасности агентные ИИ-системы. Например, недавние исследования показали, что Gemini от Google утек данными после обработки измененной записи в календаре. В другом случае функция Deep Research от ChatGPT была скомпрометирована с помощью скрытых инструкций в HTML в письме.
