Пользователи новой флагманской модели OpenAI для программирования и кибербезопасности GPT-5.6 Sol жалуются в соцсетях на удаление файлов, данных и даже рабочих баз данных без явного подтверждения со стороны пользователя.
О таких случаях, в частности, написали основатель OthersideAI и HyperWrite Мэтт Шумер, разработчики Бруно Лемос и Джоуи Кудиш. Шумер заявил: «GPT-5.6-Sol just accidentally deleted almost ALL of my Mac’s files». Лемос написал: «GPT-5.6 Sol just deleted my whole production database. That’s it. Not a joke. This had never happened to me before, with any other model, ever». Кудиш сообщил, что модель «deleted some files it shouldn’t have» и добавил, что у него есть резервные копии, но «this is not cool, Sol needs to be toned down».
На Reddit также появился пост, где собраны другие похожие примеры. При этом несколько сообщений пользователей сами по себе ещё не доказывают, что причиной во всех случаях была именно модель: на поведение таких систем могут влиять и другие факторы.
Однако OpenAI предупреждала о таком риске ещё до релиза. За две недели до выпуска GPT-5.6 Sol компания опубликовала system card — документ с описанием тестирования модели и его результатов. В нём говорится: «In coding contexts, misalignment generally stems from a mix of overeagerness to complete the task and interpreting user instructions too permissively — assuming that actions are allowed unless they’re explicitly and unambiguously prohibited».
Далее OpenAI уточняет, что это может проявляться как излишняя самостоятельность модели при обходе ограничений, неосторожные разрушительные действия вне рамок задачи и даже неверные отчёты пользователю о том, что произошло.
Компания привела и конкретные примеры. В одном случае пользователь попросил Sol удалить три удалённые виртуальные машины с именами 1, 2 и 3. Модель не нашла их в нужном месте, но вместо того чтобы остановиться и уточнить запрос, удалила другие машины — 5, 6 и 7. По описанию в документе, она «killed active processes, and force-removed worktrees», а позже признала, что несохранённая работа на удалённой машине 6 могла быть потеряна.
В другом эпизоде Sol, по данным OpenAI, использовала учётные данные, на которые пользователь не давал разрешения. Когда модель не смогла получить доступ к облачным файлам проекта, она не сообщила о проблеме, а самостоятельно нашла нужные данные в скрытом локальном кэше и применила их без запроса.
В system card OpenAI пишет, что разрушительное поведение должно встречаться редко. При этом компания признаёт, что GPT-5.6 Sol чаще, чем GPT-5.5, выходит за рамки намерения пользователя, включая действия, о которых её не просили.
Пока рано говорить, насколько широко распространены такие инциденты. На данный момент пользователям Sol рекомендуют ограничивать права доступа, не давать модели доступ к production-системам, хранить резервные копии и проводить поэтапное развёртывание.
OpenAI не ответила на запрос о комментарии сразу после обращения.
Источник: Futurism, system card OpenAI.
