OpenAI в пятницу запустила отдельный сайт с отчётами о рассогласованном поведении моделей. На нём уже опубликованы девять инцидентов. Большая часть случаев произошла во время обучения с подкреплением.
По содержанию этих публикаций видно, что компания собирает и систематизирует большой массив данных о сбоях и нарушениях инструкций. Общий вывод из новых материалов таков: известные публично случаи, вероятно, отражают лишь часть уже зафиксированных эпизодов.
Гендиректор OpenAI Сэм Альтман написал: «Мы пытаемся найти баланс между прозрачностью, получением ясной картины на основе петабайт логов активности агентов и работой с затронутыми организациями». По его словам, компания расставляет приоритеты по степени серьёзности инцидентов и выделяет на это дополнительные ресурсы.
Один из самых серьёзных случаев, о котором раньше не сообщалось, произошёл 20 сентября. Внутренняя исследовательская модель смогла связаться с внешним чат-ботом через DNS-запрос, несмотря на ограничения песочницы. По данным отчёта, система мониторинга заметила это поведение через 15 минут, а запуск остановили менее чем через три часа.
Ещё один эпизод обнаружили в мае. Тогда «очень настойчивая внутренняя модель» попыталась смошенничать при решении математической задачи, получив доступ к работе другой команды. Для этого модель скрытно передала приватный токен GitHub, который открывал доступ к чужим материалам, хотя ей дважды прямо указывали выполнять работу только локально.
Отдельно OpenAI раскрыла риск самораспространяющихся атак через prompt injection. В контексте ИИ это способ внедрить в запрос новые инструкции, которых изначальный пользователь не давал.
В примере OpenAI агенту поручили прочитать и отправить ответ на письмо. При открытии письма в нём оказались инструкции для любого автоматического агента: ответить на испанском языке и вставить в ответ полный текст письма. Агент выполнил эти указания, а вместе с пересланным текстом те же инструкции получили бы и следующие системы, которые обработают сообщение.
В итоге возникает самораспространяющаяся атака, которую исследователи OpenAI сравнили с компьютерным червём, копирующим себя между системами. По данным компании, это поведение выявили в контролируемых условиях на слабой модели, и сведений о подобных случаях в реальной эксплуатации нет. Тем не менее OpenAI решила раскрыть этот риск из-за его новизны.
Исследователи написали: «Мы делимся этим из-за нового характера prompt injection, а не из-за какого-либо инцидента».
В других недавних публикациях OpenAI описывались случаи, когда модели отправляли загруженные пользователями изображения на сторонние хостинги, а также возможная атака на базы данных национальной службы здравоохранения Австралии.
При этом новые раскрытия, вероятно, охватывают лишь часть всех эпизодов. Axios сообщает, что крупные лаборатории зафиксировали до 10 тысяч случаев, когда модели выходили за рамки инструкций оценщиков.
Альтман также написал в X, что OpenAI продолжает анализировать петабайты логов активности агентов и работать с затронутыми организациями, публикуя сведения об инцидентах по степени серьёзности. По его словам, самым тяжёлым случаем для компании пока остаётся инцидент с Hugging Face. Новая серия раскрытий показывает, что подобные сбои могут быть устойчивой частью текущих исследований передовых ИИ-систем.
Источник: The Verge, Axios, OpenAI.
