Baidu представила компактную модель Ernie 5.1

Baidu представила Ernie 5.1 — языковую модель, созданную на базе Ernie 5.0. По данным компании, новая версия содержит примерно треть от общего числа параметров предшественника и использует около половины активных параметров на один запрос.

По заявлению Baidu, затраты на предобучение составили 6% от уровня, который обычно требуется для сопоставимых моделей. На Arena Search Leaderboard модель набрала 1223 балла по состоянию на 9 мая, заняв четвёртое место в мире и первое место среди китайских моделей.

В дополнительных тестах Baidu сообщает, что Ernie 5.1 опережает DeepSeek-V4-Pro в задачах для автономных ИИ-агентов, включая tau3-bench и SpreadsheetBench-Verified. В тестах на знания и рассуждение, таких как GPQA и MMLU-Pro, модель, по словам компании, приблизилась к уровню Gemini 3.1 Pro от Google.

На сложном математическом бенчмарке AIME26 версия модели с доступом к инструментам показала результат сразу после Gemini 3.1 Pro. Внутренние оценки Baidu также показывают, что модель сопоставима с западными коммерческими системами в задачах на креативное письмо.

Baidu создала Ernie 5.1 как более компактную версию Ernie 5.0 с помощью подхода, который компания называет Once-For-All elastic training framework. Вместо отдельного и дорогостоящего предобучения для каждой конфигурации компания обучает целое семейство моделей разного размера за один запуск.

Эти модели используют общие веса, но отличаются по глубине, ширине и числу специализированных экспертных блоков, которые включаются при обработке запроса. Baidu выбрала из этого семейства конфигурацию, которую считает лучшей для Ernie 5.1. По версии компании, именно это позволило заметно снизить стоимость предобучения, так как основная вычислительная работа уже была выполнена при создании Ernie 5.0.

Компания также полностью перестроила инфраструктуру обучения с подкреплением. Обновление модели, генерация ответов и оценка результата теперь работают как отдельные подсистемы, которые масштабируются независимо и управляются через центральный контроллер.

По словам Baidu, это позволяет подбирать подходящее оборудование для каждого этапа и не останавливать весь процесс, если одна часть системы становится узким местом. Компания также заявляет, что решила проблему расхождения между обучением и генерацией примеров, которое возникает из-за разных вычислительных настроек и может дестабилизировать обучение.

Для этого Baidu использует стандартизированную библиотеку низкоточных вычислений и механизм коррекции для моделей типа mixture-of-experts. По данным компании, он снижает расхождение вдвое без заметного падения скорости.

Для дообучения Ernie 5.1 Baidu применяет процесс из четырёх этапов. Он нужен, чтобы снизить эффект, при котором рост качества в одной задаче ухудшает результаты в другой. Компания называет это «эффектом качелей»: программирование, логика и креативность могут мешать друг другу при совместном обучении.

Сначала модель проходит стандартное supervised-обучение на широком наборе данных. На втором этапе параллельно обучаются несколько специализированных экспертных моделей — отдельно для кода, рассуждений и агентных задач, каждая со своими сигналами оценки.

На третьем этапе единая студенческая модель учится сразу у всех этих учителей: она генерирует собственные ответы и сравнивает их с результатами экспертных моделей. Финальный этап добавляет обучение с подкреплением для открытого диалога и творческих задач.

Baidu объясняет, что этот этап нужен, потому что дистилляция по схеме «учитель — ученик» часто делает ответы слишком выверенными и менее разнообразными. Ernie 5.1 уже доступна через ernie.baidu.com и в playground на платформе Baidu AI Studio.

Модель также появится более чем на 10 креативных платформах, включая ролевую платформу Isekai Zero, агент Mulan AI, приложение для ИИ-холстов Diting Huanliu и генератор коротких драм Storymaster.

Как и в случае с Ernie 5.0, Baidu не опубликовала веса модели. Поэтому заявленные результаты в бенчмарках и данные об эффективности нельзя независимо проверить.

Основа для этого релиза была заложена в Ernie 5.0, которую Baidu представила в январе 2026 года. Эта модель работает с текстом, изображениями, аудио и видео в единой архитектуре и использует структуру mixture-of-experts с примерно 2,4 трлн параметров. При этом на один запрос активируется менее 3% параметров.

Источник: The Decoder.

Читать новости ИИ и технологий в Telegram.


Оцените статью
Gimal-Ai