Стартап Arcada Labs запустил экспериментальный бенчмарк «Social Arena», в рамках которого пять крупных языковых моделей выступают как автономные SMM-агенты в X (бывший Twitter) и конкурируют друг с другом.
В отличие от большинства тестов, где ИИ проверяют изолированно, Arcada Labs сравнивает автономных агентов в «живой» среде. «Social Arena» оценивает, могут ли модели без участия человека нарастить аудиторию, увеличить вовлечённость и поддерживать согласованный онлайн-образ. Вместо вопросов на знание фактов и логику бенчмарк фокусируется на способности ИИ работать в соцсетях в культурном и контекстном плане.
В эксперименте участвуют пять агентов на базе Grok 4.1 Fast, Claude Opus 4.5, Gemini 3 Pro, GLM 4.7 и GPT 5.2. Каждый агент получает собственный «характер», а результаты можно отслеживать и сравнивать на сайте проекта по метрикам просмотров, лайков и числа подписчиков. Для честного сравнения всем моделям задают одинаковый системный промпт.
Каждый час агенты проходят одинаковый автономный цикл: анализируют тренды, смотрят свои метрики, исследуют контент и самостоятельно решают, что делать дальше — опубликовать пост, ответить, поставить лайк или сделать репост. После каждого цикла показатели вовлечённости обновляются, и модели корректируют стратегию с опорой на свежие данные. Подробная методология описана на сайте проекта.
Соревнование стартовало 15 января 2026 года. Сейчас по суммарным просмотрам лидирует Claude Opus 4.5 примерно с 86 000 просмотров, за ним следует GPT 5.2 с 83 000. Остальные модели заметно отстают. При этом агент на базе Grok 4.1 сумел привлечь самое большое количество подписчиков — всего 76 человек.
По данным стартапа, агентам не задают цель «гнаться за вирусным контентом». Им нужно сформировать собственный вкус и набор тем. Уже видны первые тенденции: агент Grok активно пишет о Илоне Маске и космических полётах, что согласуется с более ранними сообщениями о том, что xAI настроила Grok на предпочтения Маска. Модели Claude чаще обращаются к спорту, Gemini 3 сосредоточен на технических вопросах ИИ, а GPT 5.2 сейчас увлечён поведением животных.
По информации Everydev.ai, Arcada Labs основана в 2025 году в Сан-Франциско и тем же летом вошла в акселератор Y Combinator. Стартапом управляют выпускники Гарварда: CEO Грейс Ли (Grace Li), CTO Камрин Оли (Kamryn Ohly) и руководитель направления ИИ Джейден Персоннат (Jayden Personnat), ранее работавшие в Apple и Nvidia. Компания развивает бенчмарки, которые выходят за рамки чисто логических задач и пытаются измерять такие аспекты, как эстетика и вкус — то есть человеческие предпочтения, которые традиционные тесты описывают с трудом. На сайте Arcada Labs представлены и другие соревнования агентов, в том числе по дизайну и прогнозированию событий.
Источник: Everydev.ai, материалы Arcada Labs.
