Китайская компания MiniMax представила модель M3. Компания называет её первой моделью с открытыми весами, которая сочетает высокий уровень в задачах программирования, контекстное окно на 1 млн токенов и встроенную мультимодальность.
По данным MiniMax, раньше такое сочетание было доступно только в закрытых системах вроде Opus 4.7, GPT-5.5 и Gemini 3.1 Pro. Компания заявляет, что добиться этого помог новый механизм внимания, который увеличивает контекст до 1 млн токенов без резкого роста вычислительных затрат.
Во внутренних тестах M3 также могла планировать работу, отлаживать код и самостоятельно исправлять ошибки на протяжении многих часов.
На бенчмарке SWE-Bench Pro, который используют для оценки моделей в разработке ПО, M3 набрала 59%, сообщает MiniMax. По заявлению компании, это выше результатов GPT-5.5 и Gemini 3.1 Pro, но немного ниже Opus 4.7.
В задачах для терминала и при работе с инструментами модель, по словам MiniMax, также показывает уровень закрытых систем. В тесте автономного веб-поиска BrowseComp M3 получила 83,5 балла и обошла Opus 4.7 с результатом 79,3. При этом в материале отмечается, что Anthropic уже выпустила более сильную версию модели — Opus 4.8.
Чтобы приблизить обучение к реальной работе разработчиков, MiniMax создала среду-симулятор, которая повторяет типичные сценарии: уточнение требований, обсуждение подходов к решению, реакцию на промежуточные результаты и перенос задач между несколькими контекстами.
По словам компании, это даёт модели опыт многошагового взаимодействия во время обучения, а не работы только с одиночными и чётко заданными запросами.
MiniMax описала три внутренних эксперимента, которые должны показать, как эти возможности работают вместе.
В первом тесте M3 поручили самостоятельно воспроизвести научную работу по тонкой настройке LLM. Модель работала почти 12 часов без вмешательства человека, создала 18 коммитов и 23 графика, а также подтвердила ключевые выводы статьи.
Во втором тесте M3 попросили оптимизировать вычислительное ядро для умножения матриц на GPU Nvidia Hopper. По данным MiniMax, опытным командам на такую работу обычно требуется от одной до двух недель.
Модель получила только описание задачи, скрипт для бенчмарка и нерабочий шаблон кода без готового решения. Примерно через 24 часа M3 подняла загрузку оборудования Hopper с 7,6% до 71,3%.
Компания пишет, что большинство других протестированных моделей прекращали работу после нескольких десятков попыток. M3 прошла через несколько плато и нашла лучший результат только на 145-й попытке. В задаче оптимизации FP8-ядра модель достигла 71,3% пиковой производительности Hopper после 147 запусков и обошла Opus 4.7, хотя модели Anthropic для этого понадобилось заметно меньше запусков.
В третьем тесте, PostTrainBench, M3 должна была без участия человека обучить четыре базовые модели, синтезировать данные, провести обучение, оценку и повторные итерации. По заявлению MiniMax, модель оказалась чуть ниже Opus 4.7 и GPT-5.5, но заметно опередила остальные протестированные системы.
MiniMax также сообщает, что M3 с самого начала обучалась на смешанных данных разных модальностей. Компания отдельно отмечает важность interleaved-данных, где текст и изображения объединены в одной последовательности. После переработки конвейера данных обучение удалось масштабировать до порядка 100 трлн токенов.
Технической основой модели стал новый вариант механизма внимания MiniMax Sparse Attention, или MSA. В классическом полном attention каждый токен сравнивается со всеми остальными, из-за чего вычислительные затраты растут квадратично по мере увеличения длины входа.
MSA сокращает эти затраты: вместо расчёта для каждой пары токенов модель считает внимание только для выбранных сегментов. KV-кэш, то есть сохранённый контекст в формате ключей и значений, делится на блоки, а предварительный фильтр определяет, какие из них нужны для текущего запроса.
Есть и изменение на уровне вычислений на GPU. Обычно модель загружает подходящие KV-блоки из памяти для каждого отдельного запроса, из-за чего одни и те же блоки могут считываться много раз. В MSA блоки обрабатываются последовательно: для каждого блока вместе собираются все запросы, которым он нужен. Это позволяет читать каждый блок из памяти один раз. MiniMax утверждает, что такая реализация работает более чем в четыре раза быстрее, чем конкурирующие open-source-решения.
По заявлению компании, при контексте в 1 млн токенов M3 требует всего 1/20 вычислений на токен по сравнению с предыдущей моделью. Обработка входных запросов стала более чем в девять раз быстрее, а генерация ответов — более чем в 15 раз быстрее.
M3 уже доступна через MiniMax API. Запросы до 512 тыс. входных токенов тарифицируются по стандартной ставке, а более длинный контекст стоит дороже. Режим рассуждения можно включать и отключать для каждого запроса отдельно.
Платный тариф начинается от $20 в месяц примерно за 1,7 млрд токенов и доходит до $120 за 9,8 млрд токенов. MiniMax также заявила, что в течение десяти дней опубликует веса модели и технический отчёт на Hugging Face и GitHub.
Компания ещё обновила своё агентное приложение MiniMax Code. Его тоже планируют перевести в open-source.
Около трёх месяцев назад MiniMax выпустила M2.7. Тогда компания заявляла, что модель уже участвовала в собственной разработке: запускала автономные циклы оптимизации более чем на 100 раундов и брала на себя 30–50% задач внутренней команды MiniMax по RL.
Источник: The Decoder, MiniMax.
