Google представила Gemini Embedding 2 — первый собственный мультимодальный embedding-модельный сервис компании, который преобразует текст, изображения, видео, аудио и документы в единое семантическое пространство. Это должно упростить сложные цепочки ИИ, где раньше для разных типов данных часто приходилось использовать отдельные модели.
Первая версия, gemini-embedding-001, вышла в июле 2025 года и работала только с текстом, поддерживая более 100 языков и занимая лидирующие позиции в рейтинге MTEB Multilingual. Новая версия также основана на архитектуре Gemini, но теперь единым образом кодирует текст, картинки, видео, аудио и PDF-документы.
Embeddings — это числовое представление данных, которое передаёт смысл. На них строятся семантический поиск, Retrieval Augmented Generation (RAG), анализ тональности и кластеризация данных. Единое пространство признаков позволяет напрямую сравнивать разные типы медиа без отдельных моделей и дополнительных преобразований.
По данным Google, Gemini Embedding 2 поддерживает до 8 192 токенов текста на вход, что в четыре раза больше лимита предыдущей модели в 2 048 токенов. За один запрос можно обработать до шести изображений в форматах PNG и JPEG. Длина видео ограничена 120 секундами, а PDF-документов — шестью страницами.
Отдельно подчёркивается работа с аудио. Модель обрабатывает звук напрямую, без предварительного перевода речи в текст. Ранее большинство подходов опирались на промежуточное распознавание речи, что приводило к потере части информации. Gemini Embedding 2 отказывается от этого шага.
Google также вводит режим «interleaved input», когда в одном запросе можно смешивать несколько типов данных, например изображение и подпись к нему. Компания утверждает, что это помогает модели лучше улавливать связи между медиаданными по сравнению с отдельной обработкой каждого типа.
Как и предшественник, Gemini Embedding 2 использует технику Matryoshka Representation Learning (MRL). Информация организована слоями, поэтому размер вектора можно уменьшать динамически, как в матрёшке, где меньшие представления вложены в большие.
По умолчанию размер эмбеддинга составляет 3 072 измерения, при этом Google рекомендует 1 536 и 768 как практичные альтернативы. Это даёт разработчикам возможность выбирать между максимальным качеством и меньшими затратами на хранение и обработку, в зависимости от задачи. Модель, по заявлению компании, фиксирует смысл более чем на 100 языках.
Google подкрепляет заявления о качестве сравнительными тестами с Amazon Nova 2 Multimodal Embeddings, Voyage Multimodal 3.5 и собственными ранними моделями. По опубликованным данным, Gemini Embedding 2 показывает лучшие результаты во всех проверенных категориях: текст, изображения, видео и устная речь.
Разрыв наиболее заметен в заданиях на текст и видео: Gemini Embedding 2 набирает до 68,8 балла, тогда как Amazon Nova 2 — 60,3, а Voyage Multimodal 3.5 — 55,2. В задачах текст–изображение Google также уверенно лидирует с 93,4 балла против 84,0 у Amazon.
Компания сообщает, что ранние партнёры уже используют модель в мультимодальных приложениях. Embeddings лежат в основе многих продуктов Google, от RAG-систем и управления большими массивами данных до классического поиска.
Gemini Embedding 2 доступна через Gemini API и Vertex AI. Google предоставляет интерактивные ноутбуки в Colab и поддерживает интеграции с популярными фреймворками и векторными базами данных: LangChain, LlamaIndex, Haystack, Weaviate, Qdrant, ChromaDB и Vector Search. Также выпущен облегчённый демонстрационный проект для мультимодального семантического поиска, чтобы разработчики могли быстро попробовать модель в работе.
На фоне этого, в конце февраля ИИ-поисковик Perplexity выпустил два открытых embedding-сервиса под лицензией MIT: pplx-embed-v1 и pplx-embed-context-v1. Они работают только с текстом, зато нацелены на предельно экономный расход памяти и двунаправленное понимание текста.
По данным компании, на бенчмарке MTEB для задач поиска крупнейшая модель Perplexity достигла тех же показателей, что и Qwen3 embedding от Alibaba, и превзошла результаты Google gemini-embedding-001, при этом потребляя значительно меньше памяти.
Источник: The Decoder
