AI2 выпустил MolmoWeb — полностью открытого веб-агента, который работает только по скриншотам страниц. Компания опубликовала обучающие данные, веса моделей и инструменты оценки. По данным разработчиков, версии на 4 и 8 млрд параметров обошли ряд более крупных закрытых систем в стандартных тестах.
Проект представил Allen Institute for AI. В команде заявили: «Сегодня веб-агенты находятся там же, где большие языковые модели были до OLMo», и добавили, что открытому сообществу нужна базовая открытая платформа для дальнейшей работы.
Обучение строилось на смеси человеческих демонстраций и автоматически сгенерированных сессий браузинга. Для дообучения по размеченным примерам использовали 64 ускорителя H100. При этом команда не применяла обучение с подкреплением и не использовала дистилляцию из закрытых систем.
MolmoWeb основан на архитектуре Molmo2. В качестве языковой модели используется Qwen3, а визуальный энкодер — SigLIP2.
Агент получает скриншот текущего окна браузера, выбирает следующее действие и выполняет его. Он может нажимать на элементы, прокручивать страницу, переключать вкладки и открывать URL, после чего делает новый снимок экрана и повторяет цикл.
MolmoWeb не читает исходный код страницы и не обращается к DOM, то есть к структуре документа в браузере. Он работает только с тем, что видит пользователь на экране. По словам разработчиков, такой подход делает систему более устойчивой, поскольку внешний вид сайтов меняется реже, чем их внутренний код, а решения агента проще отслеживать.
Ключевой частью проекта стал датасет MolmoWebMix. Команда отмечает, что главным препятствием для открытых веб-агентов долгое время оставалась нехватка качественных данных, и этот набор должен частично закрыть проблему.
Исполнители из краудсорсинга выполняли реальные задачи в браузере, а система записывала каждый клик и переход между страницами. В итоге AI2 собрала 36 тысяч полных сессий по более чем 1100 сайтам. По словам команды, это крупнейший общедоступный датасет с выполнением веб-задач людьми.
Дополнительно масштабирование обеспечили автоматические агенты. Для этого использовалась система из трёх ролей: планировщик на базе Gemini 2.5 Flash делил задачу на подцели, исполнитель выполнял действия в браузере, а проверяющий модуль на GPT-4o анализировал скриншоты и подтверждал выполнение каждой подцели.
В датасет также вошло более 2,2 млн пар «скриншот — вопрос — ответ» для чтения и понимания веб-контента. Отдельно обучение локализации элементов интерфейса проводили на grounding-датасете с более чем 7 млн примеров.
В сопутствующей статье исследователи отметили неожиданный результат: MolmoWeb лучше учится на синтетических браузерных сессиях, чем на человеческих демонстрациях для тех же задач. По их версии, люди на незнакомых сайтах чаще делают лишние шаги, тогда как автоматические агенты выбирают более прямой путь. Анализ состава данных также показал, что 10% датасета дают 85–90% итоговой производительности.
Несмотря на сравнительно небольшой размер, обе версии MolmoWeb показали высокие результаты в тестах открытых веб-агентов. В бенчмарке WebVoyager, который проверяет навигацию по 15 популярным сайтам, включая GitHub и Google Flights, модель на 8 млрд параметров набрала 78,2%.
По данным AI2, это выше результатов предыдущего лидера среди открытых моделей Fara-7B на всех четырёх протестированных бенчмарках и близко к результату OpenAI o3 с 79,3%. В DeepShop модель MolmoWeb-8B уступила GPT-5 всего шесть пунктов.
Разработчики также утверждают, что MolmoWeb обходит агентов на базе более крупной GPT-4o, даже если те имеют доступ к размеченным скриншотам и структурированным данным страниц. Специализированная версия 8B превзошла Claude 3.7 от Anthropic и CUA от OpenAI в тестах ScreenSpot на локализацию элементов интерфейса, хотя AI2 выбрала для сравнения более ранние закрытые модели.
По сравнению со своим «учителем» — агентом на базе Gemini с доступом к структуре страницы — MolmoWeb уступает примерно пять пунктов. Это цена подхода, основанного только на скриншотах: системе приходится самой распознавать текст, а не получать его в готовом виде.
При этом разрыв можно заметно сократить за счёт дополнительных вычислений на этапе запуска. Если агент выполняет задачу несколько раз и выбирает лучший результат, показатель успеха в WebVoyager растёт с 78,2% до 94,7%.
У MolmoWeb есть и ограничения. Модель может ошибаться при чтении текста на скриншотах, а качество работы падает при расплывчатых инструкциях или большом числе условий. Во время обучения команда специально исключила задачи, связанные с входом в аккаунты и финансовыми операциями.
Демо-версия работает только с ограниченным набором сайтов, блокирует поля для паролей и банковских карт, а также использует интерфейс Google для фильтрации проблемного контента. В AI2 уточняют, что эти защитные меры относятся к демо-сервису, а не к самой модели.
Команда также указывает на нерешённые вопросы: как веб-агенты должны учитывать пользовательские соглашения, как ограничивать доступ к незаконному контенту и как не допускать необратимых действий. По мнению AI2, полная открытость как раз позволяет большему числу исследователей и разработчиков работать над этими задачами.
MolmoWeb доступен на Hugging Face и GitHub по лицензии Apache 2.0. В материале отмечается, что схожий подход недавно применила OpenSeeker для поисковых ИИ-агентов, опубликовав данные, код и веса моделей, а MolmoWeb развивает эту линию уже для автоматизации браузера.
В публикации также говорится, что AI2, известный курсом на прозрачный ИИ, недавно столкнулся с потерей части команды: Microsoft наняла нескольких ведущих исследователей института. Они присоединились к новой команде Microsoft по superintelligence под руководством сооснователя DeepMind Мустафы Сулеймана.
Источник: The Decoder.
