Нейросеть A-Vibe от «Авито» обошла GPT-4o mini, Claude 3.5 Haiku, Gemini и другие модели в бенчмарке MERA — это российский стандарт оценки ИИ на русском языке. Модель показывает высокие результаты в генерации кода, ведении диалога и анализе текста.
A-Vibe уже работает в сервисах «Авито» — помогает продавцам писать тексты объявлений и вести переписку с покупателями. До конца года планируется запуск ещё 20 новых сценариев. В будущем компания может открыть код модели для всех.
По словам Андрея Рыбинцева, старшего директора по данным и аналитике «Авито», успех модели — результат оптимальной архитектуры и качественных данных. Компания вложит в GenAI около 12 млрд рублей, рассчитывая заработать более 21 млрд рублей к 2028 году.
Некоторые результаты A-Vibe по тесту MERA:
- Генерация кода — на 25% лучше Gemini 1.5 (8B параметров);
- Диалоги — на 32% точнее Llama 3.1 (405B параметров);
- Анализ текста — на 23% точнее Claude 3.5 Haiku.
Модель способна одновременно обрабатывать до 32 тыс. токенов, что позволяет ей эффективно работать с длинными текстами.
Технические детали: изначально использовалась открытая модель, плохо справлявшаяся с русским. Команда заменила токенизатор, адаптировав модель под русский язык. Это увеличило скорость обработки в 2 раза и существенно улучшило качество генерации.
Анастасия Рысьмятова, руководитель разработки моделей, заявила:
«Мы рассматриваем возможность выпуска модели в открытый доступ, что станет нашим вкладом в развитие российского рынка ИИ. Это поможет малому бизнесу внедрять передовые технологии без значительных инвестиций, образовательным учреждениям создавать прикладные программы, а независимым разработчикам строить современные сервисы на базе отечественных технологий. Для нас это возможность получить ценную обратную связь от рынка и улучшить наши модели».
Проект MERA поддерживает Альянс ИИ и ведущие академические институты, тесты оценивают понимание русского языка и культурного контекста.
