Новый бенчмарк RealChart2Code проверил 14 ведущих ИИ-моделей на работе со сложными визуализациями, построенными на реальных наборах данных. Результат показал, что даже лучшие закрытые модели теряют почти половину качества по сравнению с более простыми тестами.
Исследование подготовила группа учёных из нескольких китайских университетов. По их данным, модели уверенно воссоздают простые графики по изображению, но заметно хуже справляются с составными визуализациями из нескольких частей, особенно если они построены на реальных данных.
В RealChart2Code вошло более 2800 тестовых примеров, собранных на основе реальных датасетов Kaggle. В отличие от более ранних бенчмарков Plot2Code и ChartMimic, которые в основном опирались на синтетические данные и одиночные графики, новый набор включает сложные композиции, 50 типов диаграмм и большие исходные файлы.
Для тестов исследователи использовали 1036 отобранных датасетов общим объёмом около 860 млн строк. Авторы работы отмечают, что RealChart2Code стал первым бенчмарком, который системно оценивает генерацию кода по большим исходным данным и пошаговую правку в формате диалога.
Бенчмарк включает три сценария проверки:
- Chart Replication — модель должна создать код визуализации только по изображению.
- Chart Reproduction — модель получает изображение и исходные данные, после чего должна сгенерировать корректный код.
- Chart Refinement — модель получает ошибочный код и должна исправлять его в диалоге с пользователем.
Исследователи протестировали пять закрытых и девять open-weight моделей. В группе закрытых моделей лучший средний результат показала Claude 4.5 Opus от Anthropic — 8,2 балла по шкале, основанной на восьми критериях визуальной точности.
Второе место заняла Gemini 3 Pro Preview от Google с результатом 8,1. При этом именно она показала лучший итог в базовой задаче Chart Replication — 9,0. OpenAI GPT-5.1 заметно отстала с результатом 5,4.
Open-weight модели выступили значительно слабее. Лидеры этой группы, Qwen3-VL-235B и Intern-VL-3.5-241B, набрали 3,6 и 3,4 балла соответственно. Это меньше половины результатов лучших закрытых систем.
Одна из самых компактных моделей в тесте, DeepSeek-VL-7B, показала долю успешного прохождения Chart Replication всего 9,7%. Это значит, что более чем в 90% случаев сгенерированный код не запускался.
Ключевой вывод авторов — так называемый «разрыв по уровню трудности». Модели, которые показывают отличные результаты на более простых бенчмарках, заметно проседают на RealChart2Code.
Например, Gemini 3 Pro Preview набирает более 96% в нормализованной оценке на ChartMimic, но на RealChart2Code её показатель падает примерно до 50%. Для open-weight моделей снижение ещё сильнее: Qwen3-VL-235B получает около 85% на ChartMimic и менее 25% на новом тесте.
Разбор ошибок выявил два разных типа сбоев. Open-weight модели, такие как Qwen3-VL и InternVL, часто ломаются уже на этапе выполнения кода: они придумывают несуществующие библиотеки или вызывают неверные функции.
В случае Qwen3-VL-235B примерно в 20% примеров встречались некорректные вызовы API, включая несуществующий параметр стиля Matplotlib. Даже если код запускался, часто возникали проблемы с компоновкой — например, перекрывающиеся подграфики или сломанная сетка.
Закрытые модели, включая Claude 4.5 и GPT-5.1, редко допускали синтаксические ошибки. Их слабое место связано с привязкой данных: структура графика выглядит верной, но отдельные ряды данных оказываются на неправильных осях, либо визуальные параметры не соответствуют заданию.
Отдельной проблемой стала итеративная правка. Исследователи описывают эффект «регрессивного редактирования»: когда модель исправляет одну ошибку, она нередко ломает те части кода, которые до этого работали правильно. Даже лучшие системы с трудом удерживают баланс между локальными правками и общей согласованностью программы.
Для оценки результатов команда использовала мультиагентную систему, которая проверяет визуализации по трёхуровневой шкале на основе восьми критериев. В их число входят тип диаграммы, пространственная компоновка, текстовые элементы, настройка осей и цветовая схема.
Автоматическая оценка хорошо совпала с мнением экспертов-людей: коэффициент Каппы Коэна составил 0,83. Согласованность между самими агентами достигла 0,82 по коэффициенту Каппы Флейса.
Авторы признают, что у бенчмарка есть ограничения. Сейчас он работает только с библиотекой Matplotlib, а автоматическая оценка может пропускать тонкие визуальные дефекты, например небольшое наложение элементов или точные различия в оттенках цветов.
Бенчмарк и его код опубликованы на GitHub и Hugging Face.
В материале также упоминается более ранний проект Google под названием PaperBanana, который показал, насколько тяжело ИИ генерировать сложные визуализации. В нём пять специализированных агентов совместно создают научные графики по текстовому описанию.
Точность визуального совпадения в PaperBanana составила 45,8%, что ниже человеческого эталона. При этом в почти 73% случаев участники оценки всё равно предпочли такие результаты обычной генерации изображений. Для статистических графиков PaperBanana тоже использует генерацию кода Matplotlib, чтобы повысить точность числового представления.
Источник: The Decoder.
