Исследователи показали, что модель искусственного интеллекта, обученная только на синтетических задачах программирования, может опережать более крупные аналоги. Важный вывод: разнообразие заданий важнее их количества.
В эксперименте четко прослеживается связь между объемом данных и результатами: для 32 000 синтетических заданий модель достигает 43,7% решенных задач. С увеличением до 64 000 заданий показатель вырастает до 51,3%, затем 57,2% при 128 000 заданиях и 62,7% при 192 000.
При одинаковых вычислительных ресурсах разнообразие задач влияет больше, чем число решений на каждую задачу. Например, датасет с 64 000 разными задачами и одним решением для каждой дает лучший результат, чем с 16 000 задач по четыре варианта или 8 000 задач по восемь решений.
Обычно прогресс в моделях программирования тормозится из-за ограниченного количества тренировочных данных. Существующие коллекции задач быстро исчерпывают себя и используются повторно, что не позволяет повысить качество моделей. Прошлые методы синтетической генерации просто переписывали уже существующие задачи — так теряется их разнообразие.
Новая система под названием SynthSmith создает задачи, решения и тестовые примеры «с нуля». Сначала берутся ключевые черты реальных задач для конкурсов по программированию из 10 000 примеров кода: алгоритмы, структуры данных, приемы оптимизации. После этапа отбора система увеличивает объём возможных алгоритмов с 27 400 до почти 177 000. Потом она комбинирует эти элементы в новые задания разных типов.
Контроль качества идет в два этапа: сначала система сверяет правильность тестовых ответов голосованием между несколькими вариантами решения, затем проверяет лучшее решение на отдельном наборе тестов, чтобы избежать запоминания.
Модель X-Coder с 7 миллиардами параметров набирает 62,9% успешных решений на LiveCodeBench v5 (из восьми попыток). На новой версии v6 получает 55,8%, опережая DeepCoder-14B-Preview и AReal-boba2-14B с аналогичной архитектурой на 14 миллиардов параметров.
SynthSmith дает преимущество в 6,7 пункта по сравнению с крупнейшим из доступных открытых наборов данных по программированию: задачи требуют более длинной цепочки рассуждений (в среднем 17 700 токенов против 8 000 у конкурентов).
Дополнительный этап обучения с подкреплением прибавляет еще 4,6 процентных пункта к результату. Обучение возможно даже с синтетическими тестами, где примерно в 5% случаев встречаются ошибки. По информации из публикации, на дообучение под контролем ушло 220 часов на 128 GPU H20, а на обучение с подкреплением — 32 GPU H200 за 7 дней.
Синтетический подход проявляет преимущество на новых и старых бенчмарках: например, модель Qwen3-8B потеряла 30,6 пункта между старой и новой версией LiveCodeBench (с 88,1 до 57,5), а X-Coder — лишь 17,2 пункта (с 78,2 до 62,9). Команда отмечает: модель X-Coder не могла запомнить старые задачи, так как обучалась только на синтетических данных.
Код для сбора обучающих материалов выложен на GitHub. В будущем планируется публикация весов модели.
Интерес к синтетическим датасетам среди разработчиков ИИ растет. В прошлом году стартап Datology AI представил фреймворк BeyondWeb, который перерабатывает веб-документы для плотных обучающих данных. Компания Nvidia также активно использует синтетические данные в робототехнике, чтобы компенсировать нехватку реальных данных. В компании считают, что вопрос данных проще решать вычислениями.
