Илон Маск согласился с мнением экспертов о том, что реальные данные для обучения искусственного интеллекта практически исчерпаны.
«Мы исчерпали суммарные знания человечества для обучения ИИ. Это произошло, по сути, в прошлом году», — заявил Маск во время беседы с Марком Пеном на платформе X.
По мнению Маска, выходом станет использование синтетических данных, создаваемых самими ИИ.
«Единственный способ дополнить реальные данные — это синтетические, где ИИ генерирует данные сам и проходит процесс самообучения», — добавил он.
Эта идея поддерживается крупными технологическими компаниями. Microsoft, Meta*, OpenAI и Anthropic уже активно используют синтетические данные. Например, модели Phi-4 от Microsoft и Claude 3.5 от Anthropic были частично обучены на таких данных.
Преимущества синтетических данных включают снижение затрат: модель Palmyra X 004 компании Writer, созданная почти полностью на их основе, стоила $700,000, тогда как разработка модели OpenAI схожего размера оценивается в $4,6 млн.
Однако есть и минусы. Исследования показывают, что синтетические данные могут вызывать «коллапс модели», снижая её креативность и увеличивая предвзятость. Если исходные данные имеют ограничения, это неизбежно отразится на результатах работы ИИ.
*Запрещенная в России организация
