Недавно выпущенная OpenAI “думающая” модель o1 проявляет необычное поведение: при решении задач она иногда «думает» на китайском или других языках, даже если запрос задан на английском.
Например, отвечая на вопрос «Сколько букв R в слове “strawberry”?», модель выполняет промежуточные шаги на китайском языке, а финальный ответ всё же выдаёт на английском. Это явление озадачило пользователей.
«Почему [o1] внезапно начала думать на китайском?» — задаются вопросом пользователи X и Reddit.
OpenAI пока не прокомментировала эту ситуацию, но эксперты выдвигают гипотезы:
- Обучение на китайских данных. Некоторые исследователи, включая генерального директора Hugging Face Клемента Деланга, связывают это с обучением модели на больших объемах данных, включающих китайские символы. Также отмечается, что компании, включая OpenAI, используют услуги китайских провайдеров для разметки данных, что могло повлиять на модель.
- Эффективность языка. Другая гипотеза предполагает, что модель выбирает язык, который наиболее удобен для решения задачи. Например, для вычислений китайский может быть более эффективным из-за краткости числовых обозначений.
- Структура моделей. Исследователи, такие как Мэттью Гуздиал из Университета Альберты, подчеркивают, что модели не «понимают» языков. Для них это просто текстовые токены, где выбор языка может быть случайным или основанным на вероятностных ассоциациях.
Эксперты, включая исследователя из Allen Institute Лука Солдайни, предупреждают, что из-за закрытости ИИ-моделей невозможно точно определить, что вызывает такие аномалии.
«Это подчёркивает необходимость прозрачности в разработке ИИ-систем», — заявляют учёные.
Без объяснений от OpenAI остаётся лишь гадать, почему модель решает задачи биологии на китайском, а песни анализирует на французском.
