Bytedance представила экспериментальную ИИ-модель Seed Diffusion Preview для генерации кода, которая создает токены параллельно, а не по одному.
Компания утверждает, что модель может выдавать до 2 146 токенов в секунду на видеокартах Nvidia H20.
Seed Diffusion Preview основана на подходе “дискретной диффузии”. Обычно диффузионные модели используют для непрерывных данных, как изображения, но здесь метод адаптирован для работы с текстом и кодом.
Вместо того чтобы поочередно порождать каждый токен, Seed Diffusion Preview восстанавливает код из шумного состояния с помощью плейсхолдеров. Благодаря архитектуре трансформера модель может генерировать несколько участков кода одновременно, а не пошагово.
Параллельная генерация значительно повышает скорость, но, по словам Bytedance, качество кода остается высоким. На тестах модель показала сопоставимые результаты с конкурентами, особенно хорошо проявила себя при редактировании кода.
Для решения проблем обычных моделей с масками компания использует двухэтапное обучение. На первом этапе применяется маскирование — части кода заменяются специальными токенами. Но это может привести к копированию уже открытых фрагментов.
Чтобы избежать этого, второй этап обучения основан на редактировании — с вставками и удалениями. Такой подход вынуждает модель проверять и исправлять все токены, а не только замаскированные.
Команда также улучшила логику генерации, учитывая структуру кода и зависимости — например, чтобы переменные объявлялись до использования. Для обучения использовались большие, специально отобранные наборы данных, созданные самой моделью.
Хотя диффузионные модели теоретически должны позволять параллельную декодировку, на практике это трудно реализовать — параллельные шаги требуют больше ресурсов, сокращение их числа может не лучшим образом влиять на качество.
Bytedance решила это, обучив модель оптимизировать собственный процесс генерации через on-policy learning: цель — минимизировать количество шагов при контроле качества через отдельную модель.
В реальных задачах Seed Diffusion Preview генерирует код параллельно внутри блоков, сохраняя при этом правильный порядок между ними. Под эти процессы также была доработана внутренняя инфраструктура компании.
Seed Diffusion Preview — ответ Bytedance на модель Google Gemini Diffusion, анонсированную в мае. Компания заявляет, что продолжит развивать подход, масштабируя его и применяя для более сложных задач.
Демо версии доступно для ознакомления.
