Институт искусственного интеллекта Аллена (Ai2) выпустил OLMo 3 — новую линейку полностью открытых ИИ-моделей. Среди новинок представлен первый открытый «мыслящий» ИИ с 32 миллиардами параметров, который прозрачно показывает логику своих решений. Модель работает в 2,5 раза эффективнее аналогов.
Линейка OLMo 3 включает три варианта: OLMo 3-Base (7B и 32B), OLMo 3-Think (7B и 32B) и OLMo 3-Instruct (7B). У всех поддержка окна контекста в 65 000 токенов — в 16 раз больше, чем у OLMo 2.
Ai2 впервые раскрывает все этапы обучения: от данных до развертывания. Пользователи могут отслеживать каждый шаг обучения, просматривать контрольные точки и анализировать, на каких данных строились конкретные выводы модели.
Как отмечают в Ai2, основная модель OLMo 3-Base с 7B параметрами обучалась с эффективностью в 2,5 раза выше, чем Llama-3.1-8B от Meta*. При этом по качеству OLMo 3 конкурирует с более крупными системами и превосходит открытых соперников — Apertus-70B и SmolLM 3 — по задачам логического мышления, понимания текста и работы с длинным контекстом.
Генеральный директор Ali Farhadi заявил: «Высокая производительность не должна быть дорогой. OLMo 3 показывает, что ответственный, устойчивый ИИ может масштабироваться без компромиссов».
OLMo 3-Think — первая полностью открытая модель, генерирующая явные, пошаговые цепочки рассуждений. Ранее такая прозрачность была только в закрытых системах, например, серии o1 от OpenAI. Теперь пользователи видят весь процесс рассуждения: от исходных данных до конечного вывода. Новые модели доступны для тестирования на Ai2 Playground.
Большинство открытых моделей обычно публикуют только веса, скрывая наборы данных и процесс тренировки («open weights»). По словам Ai2, до сих пор лучшие reasoning-модели открытого типа разрабатывались в Китае — например, Kimi K2 Thinking от Moonshot AI. OLMo 3 впервые полностью раскрывает весь цикл разработки искусственного интеллекта.
OLMo 3 обучен на наборе Dolma 3 — это шесть триллионов токенов из интернета, научных публикаций и кода. Ai2 также представил Dolci Suite для дообучения на задачах рассуждений и систему OLMES для воспроизводимой оценки моделей.
Все модели доступны по лицензии Apache 2.0 на Hugging Face и в Ai2 Playground. Команды могут обучать их на своих данных, изменять задачи или использовать уже готовые чекпойнты.
Ранее OLMo 2 32B уже достиг уровня коммерческих моделей (например, GPT-4o mini), используя в три раза меньше вычислительных ресурсов. OLMo 3 продолжает тенденцию — повышает прозрачность, эффективность и открытость.
*Meta — запрещенная в РФ организация.
