OpenAI выяснила причину странной особенности своих моделей: начиная с GPT-5.1, они стали заметно чаще упоминать гоблинов, гремлинов и других мифических существ в ответах.
Как пишет компания, после запуска GPT-5.1 число упоминаний слова goblin выросло на 175%.
Причиной оказалась настройка личности ChatGPT под названием Nerdy, которая меняет стиль речи модели. Сигнал вознаграждения, предназначенный для отбора удачных ответов, по ошибке стал поощрять метафоры с существами.
Хотя режим Nerdy использовался лишь в 2,5% ответов, на него пришлось 66,7% всех упоминаний гоблинов. Из-за цикла обратной связи во время обучения эта привычка затем перешла и в другие режимы.
OpenAI отключила эту личность в марте, убрала ошибочный сигнал вознаграждения и исключила слова, связанные с существами, из обучающих данных.
Проблема при этом сохранилась в GPT-5.5, потому что обучение модели началось ещё до того, как OpenAI нашла источник сбоя.
В качестве временной меры компания добавила в Codex, свой инструмент для программирования, специальную инструкцию. Она требует не использовать метафоры про гоблинов и других существ, если это прямо не связано с запросом пользователя.
Формулировка инструкции такая: «Никогда не говори о гоблинах, гремлинах, енотах, троллях, ограх, голубях или других животных и существах, если это не является абсолютно и недвусмысленно релевантным запросу пользователя».
По словам OpenAI, этот случай показывает, что даже небольшие стимулы при обучении могут вызывать неожиданные модели поведения ИИ.
Источник: The Decoder, OpenAI.
