Исследователи из Пекинского университета и Google Cloud AI Research представили систему PaperBanana для автоматической генерации научных иллюстраций. Она строится на базе модели Google Nano Banana и использует пять специализированных ИИ-агентов для создания готовых к публикации схем по текстовому описанию методов.
Авторы работы отмечают, что подготовка иллюстраций для статей остаётся одной из немногих операций, которые исследователи выполняют вручную. ИИ уже помогает с поиском литературы, генерацией идей и проведением экспериментов, но визуализация по-прежнему требует значительных усилий и навыков работы с профессиональными графическими инструментами, которыми многие учёные не владеют.
Ранее для подобных задач применяли кодовые подходы вроде TikZ или Python-PPTX. По словам авторов, они плохо справляются со сложными визуальными элементами: специальными иконками, произвольными фигурами и композициями, которые стали стандартом для современных публикаций по ИИ. Чисто генеративные модели изображений создают визуально привлекательные картинки, но часто не соответствуют требованиям академических журналов по точности содержания и структуре.
PaperBanana распределяет работу между агентами. Первый агент ищет в референсной базе похожие диаграммы и выбирает их как шаблоны. Второй переводит текстовое описание метода в подробное описание картинки. Третий дорабатывает это описание с учётом правил визуального оформления, автоматически извлечённых из публикаций NeurIPS.
Четвёртый агент создаёт изображение с помощью модели генерации картинок. Пятый отвечает за контроль качества: проверяет результат на предмет ошибок и предлагает правки. Этот цикл «генерация — критика» выполняется три раза, после чего система выдаёт финальную диаграмму.
Для статистических графиков, таких как столбчатые или линейные диаграммы, PaperBanana использует иной подход. Вместо генерации картинки как изображения система пишет код на Python для библиотеки Matplotlib. Это позволяет сохранить численные значения точными, тогда как модели генерации изображений нередко искажают числа и подписи.
Команда подготовила собственный бенчмарк: 292 тестовых случая из публикаций NeurIPS 2025 года. Диаграммы оценивали по четырём критериям: точность содержания, лаконичность, читаемость и визуальное качество.
По всем метрикам PaperBanana показала лучшие результаты по сравнению с простыми моделями генерации изображений. Лаконичность выросла на 37,2%, читаемость — на 12,9%, визуальная оценка — на 6,6%, точность содержания — на 2,8%. Человеческие эксперты отдали предпочтение схемам PaperBanana примерно в 73% случаев.
При этом результаты демонстрируют важные ограничения. Точность содержания достигла лишь 45,8%, тогда как человеческий эталон оценивается в 50%. Частые ошибки связаны с деталями: неправильно направленные стрелки, неверно соединённые элементы, смещённые линии. Даже агент-критик часто не замечает такие проблемы, поскольку текущие языковые модели слабо распознают подобные визуальные несоответствия.
Ещё одно серьёзное ограничение — формат вывода. PaperBanana генерирует растровые изображения вместо векторной графики, которую предпочитают учёные. Это затрудняет последующее редактирование схем. В качестве временного решения авторы предлагают создавать изображения в разрешении 4K для приемлемого качества при печати.
В перспективе исследователи рассматривают несколько вариантов улучшения. Небольшие правки могут выполнять специализированные модели обработки изображений. Более сложный путь — конвейер реконструкции, который с помощью распознавания текста и сегментации изображений выделяет элементы и собирает из них редактируемую диаграмму. Самый амбициозный вариант — агент, способный самостоятельно управлять векторным редактором вроде Adobe Illustrator.
Несколько иллюстраций в опубликованной научной работе были созданы с помощью PaperBanana. Для практического использования авторы рекомендуют генерировать несколько вариантов диаграммы и затем вручную выбирать лучший.
Автоматически обобщённые правила визуального оформления получили дополнительное применение. Их можно использовать для улучшения уже существующих человеческих диаграмм: в экспериментах «улучшенные» версии выигрывали в эстетической оценке в 56,2% случаев по сравнению с исходными.
Исследователи считают, что продемонстрировали общий подход, который пригоден и для других задач. Извлечение референсных примеров помогает модели понять, какой тип диаграммы нужно создать, а обобщение стиля подсказывает, как она должна выглядеть. Подобное разделение содержания и оформления, по их мнению, можно применить к проектированию пользовательских интерфейсов и технических чертежей.
Крупные ИИ-компании продолжают инвестировать в инструменты для научных рабочих процессов. Например, OpenAI запустила Prism — редактор LaTeX с интеграцией GPT 5.2. Одновременно эксперты предупреждают, что такие системы могут усилить поток быстро подготовленных научных публикаций.
Использование генераторов изображений для иллюстраций в статьях началось несколько лет назад, но первые попытки часто подвергались критике. Модели плохо справлялись с цельной структурой рисунка и читаемым текстом. Один из известных случаев — статья 2024 года с некорректной диаграммой крысы, созданной ИИ, которую журналу пришлось отозвать.
PaperBanana пока не доступна для открытого тестирования, так как опирается на закрытые модели Google Gemini-3-Pro и Nano-Banana-Pro. Дополнительные примеры сгенерированных изображений представлены на странице проекта.
Источник: материалы исследовательской работы и описание проекта PaperBanana.
