Arcee AI выпустила Trinity-Large-Thinking — открытую reasoning-модель для агентных задач, которую компания позиционирует как конкурента Claude Opus. Проект обошёлся примерно в 20 млн долларов, что составляет около половины всего венчурного капитала, привлечённого стартапом.
Сейчас сегмент открытых крупных языковых моделей в основном контролируют китайские лаборатории, включая Qwen, MiniMax и Zhipu AI. Arcee AI пытается изменить это с помощью модели с лицензией Apache 2.0 и примерно 400 млрд параметров, созданной специально для работы агентных систем.
В модели используется архитектура mixture-of-experts: она включает 256 специализированных подсетей, но на каждый токен активируются только четыре. За один шаг вычислений работают около 13 млрд параметров, что снижает затраты на инференс без заметной потери общей ёмкости модели.
По данным компании, базовую версию обучали на 2048 GPU Nvidia B300 в течение 33 дней. Технический директор Arcee AI Лукас Аткинс написал в блоге, что «во многом это самая мощная открытая модель, выведенная на рынок за пределами Китая».
Trinity-Large-Thinking перед каждым ответом формирует явный ход рассуждений в специальных think-блоках. Модель оптимизирована для вызова инструментов, многоэтапного планирования и автономных рабочих процессов.
Согласно карточке модели на Hugging Face, она показывает сильные результаты в тестах для агентных систем:
- Tau2-Airline — 88 баллов, первое место
- PinchBench — 91,9 балла, второе место; у Claude Opus 4.6 — 93,3
- AIME25 — 96,3 балла
В тестах на общее рассуждение результаты ниже. На GPQA-Diamond модель набрала 76,3 балла, на MMLU-Pro — 83,4, тогда как Claude Opus 4.6 получил 89,2 и 89,1 соответственно.
По данным технического отчёта, базовая модель показывает результаты, сопоставимые с GLM 4.5, хотя у той на каждый токен активируется заметно больше параметров.
Для работы с длинными текстами Trinity Large сочетает два типа attention-слоёв: локальные слои, которые охватывают отдельные части текста, чередуются с глобальными, работающими со всем контекстом. Это позволяет поддерживать длинное окно контекста без пропорционального роста вычислительных затрат.
На практике модель поддерживает контекст до 512K токенов, хотя обучалась на 256K. В тесте Needle-in-a-Haystack, который проверяет поиск заданной информации в длинных текстах, она получила 0,976 при 512K.
На ранних этапах обучения команда столкнулась с деградацией отдельных экспертов. Распределение токенов между подсетями смещалось, часть экспертов переставала использоваться, и прогресс обучения останавливался.
Согласно техническому отчёту, причиной оказался прежний метод балансировки нагрузки между экспертами. Он вносил поправки с одинаковым фиксированным шагом вне зависимости от масштаба перегрузки. При 256 экспертах это вызывало постоянные колебания и не давало системе выйти в стабильный режим.
Чтобы решить проблему, команда разработала метод SMEBU — Soft-clamped Momentum Expert Bias Updates. Он меняет величину коррекции пропорционально реальному отклонению и сглаживает изменения во времени.
Вместе ещё с пятью мерами стабилизации, введёнными одновременно из-за нехватки времени, это позволило исправить ситуацию. После этого весь цикл обучения прошёл стабильно, без резких скачков training loss, которые часто срывают обучение крупных моделей.
Значительная часть обучающих данных была синтетической. Из 17 трлн токенов более 8 трлн сгенерировали другие ИИ-модели, а не собрали из открытого веба.
- 6,5 трлн токенов — переписанный веб-текст
- около 1 трлн токенов — многоязычные данные
- примерно 800 млрд токенов — код
Подготовкой данных занималась DatologyAI. В техническом отчёте говорится, что это один из крупнейших задокументированных примеров генерации синтетических данных для предобучения.
GPU-кластеры предоставила Prime Intellect. Поскольку системы B300 на тот момент были новыми, во время работы регулярно возникали ошибки GPU, которые устранялись обновлениями прошивки.
Команда также создала новый метод обработки обучающих данных под названием Random Sequential Document Buffer или RSDB. Обычно очень длинные документы могут занимать несколько последовательных шагов обучения подряд и искажать распределение данных. RSDB перемешивает документы случайным образом, что, как сказано в отчёте, заметно снижает колебания между отдельными шагами обучения.
После предобучения модель прошла второй этап дообучения, нацеленный на использование инструментов и многошаговые задачи. Однако, как указано в техническом отчёте, этот этап оказался короче запланированного из-за ограниченного времени работы на GPU-кластере.
Arcee AI называет текущую версию предварительной и планирует более масштабное дообучение в следующей итерации.
Ранее выпущенная preview-версия работала через OpenRouter и за первые два месяца обработала 3,37 трлн токенов. По данным Arcee AI, она вошла в число самых используемых открытых моделей в США на этой платформе.
Версия Thinking уже доступна в OpenRouter и совместима с агентными фреймворками OpenClaw и Hermes Agent.
Незадолго до релиза Arcee AI компания Google представила Gemma 4 — новое семейство открытых моделей с лицензией Apache 2.0, часть которых также использует архитектуру mixture-of-experts.
Источник: The Decoder, Hugging Face model card, технический отчёт Arcee AI.
