Datology AI представила BeyondWeb — новый фреймворк, который использует синтетические данные для обучения языковых моделей. Такой подход призван решить проблему нехватки качественных данных для тренировки ИИ и, как утверждает компания, работает гораздо эффективнее предыдущих методов.
Сегодня бюджеты на обучение больших языковых моделей достигают триллионов токенов, а хорошие данные из интернета всё труднее находить. Datology AI считает эту ситуацию критической и предлагает BeyondWeb как решение. Система делает веб-документы более информативными, улучшает структуру и обучающий стиль контента.
По данным Datology AI, BeyondWeb увеличивает точность на 5,1 процентных пункта по сравнению с Cosmopedia от Hugging Face для моделей в 8 миллиардов параметров и на 2,6 пункта — по сравнению с Nvidia Nemotron-CC.
Эксперименты показали, что BeyondWeb обучается в 7,7 раза быстрее, чем обычные данные из интернета, и в 2,7 раза быстрее по сравнению с синтетическими данными Nemotron. В одном из тестов модель BeyondWeb с 3 миллиардами параметров превзошла 8-миллиардную модель Cosmopedia при одинаковом количестве токенов.
Специалисты изучили семь ключевых вопросов по генерации синтетических данных. Главный вывод: нужна большая разнообразие материалов. Обычные методы полезны на старте обучения, но однообразие стилей быстро снижает результативность.
Также отмечено, что разговорный стиль сильно недооценён: его доля в веб-данных — менее 2,7%, хотя чат — главная функция LLM. Добавление больше таких данных помогает, но эффект замедляется.
Эксперименты с размером моделей показали: даже небольшие языковые модели способны создавать качественные синтетические данные. Переход с 1 до 3 миллиардов параметров поднял качество данных на 1,5 пункта, а после 8 млрд. рост прекратился. Значит, даже небольшие команды могут создавать эффективные датасеты.
Исследования разных типов реформулирующих моделей показали: все они создают схожие по качеству синтетические данные. Общий балл по тестам не отражает успех модели в генерации данных.
BeyondWeb уже использовали для обучения ArceeAI AFM на 4,5 миллиарда параметров. Для этого Datology AI разработала масштабируемый pipeline, который справляется с триллионами токенов. Авторы подчеркивают: создание топовых синтетических данных требует тонкой настройки множества параметров. Сейчас BeyondWeb не доступен для бесплатного использования в исследованиях.
В декабре 2024 года Microsoft показала потенциал синтетических данных на примере Phi-4 — модель обучалась на 400 миллиардах токенов “учебникового” синтетического текста и с помощью особых “поворотных токенов”. Phi-4 показывает хорошие результаты на тестах, но реакции пользователей неоднозначны.
Ещё раньше, Nvidia выпустила Nemotron-4 340B — полностью открытый pipeline для генерации синтетики, 98% датасета которого составили искусственно созданные данные. В то же время исследователи опровергли популярную гипотезу о “крахе модели”, доказав, что грамотно подобранная синтетика помогает развитию ИИ.
OpenAI также подтвердила на презентации GPT-5, что использовала синтетические данные, вероятно, сгенерированные своей моделью o3. Хотя многие применяют синтетические данные для экономии, OpenAI делает акцент на подготовке данных для реального обучения. Себастьян Бюбек, являвшийся лидером проекта Phi в Microsoft, пояснил этот подход.
