Perplexity представила два новых открытых текстовых эмбеддинговых модуля, которые, по заявлению компании, сопоставимы или лучше решений Google и Alibaba, при этом требуют в несколько раз меньше памяти. Оба модуля распространяются под лицензией MIT.
Перед тем как языковая модель отвечает на запрос, система должна найти релевантные документы среди миллиардов веб-страниц. Эту первую стадию отбора выполняют эмбеддинги: они переводят запросы и документы в числовые векторы, чтобы можно было вычислять смысловую близость. От качества этих векторов напрямую зависит, какие документы попадут к ранжирующим моделям и далее к языковой модели.
Perplexity выпустила два варианта: pplx-embed-v1 и pplx-embed-context-v1. Первый предназначен для классического плотного поиска по текстам, второй кодирует фрагменты с учётом контекста всего документа, что помогает точнее обрабатывать неоднозначные участки текста. Оба доступны в версиях на 0,6 млрд и 4 млрд параметров.
По данным исследователей, большинство современных эмбеддинговых моделей строятся на языковых моделях, которые читают текст только слева направо: каждое слово видит лишь предыдущие. Это подходит для генерации текста, но хуже для понимания смысла, поскольку намерение фразы часто зависит от следующих слов.
Perplexity использует предобученные модели Qwen3 от Alibaba, которые изначально читали текст только слева направо, и модифицирует их для двунаправленной обработки. Затем модель обучают методом, похожим на BERT от Google: слова случайным образом маскируются, а модель учится восстанавливать пропуски по контексту с обеих сторон. Исследователи называют этот подход диффузионным предобучением.
Обучение проводилось примерно на 250 млрд токенов на 30 языках: половина датасета — англоязычные образовательные сайты FineWebEdu, вторая половина — данные на ещё 29 языках из FineWeb2. В абляционных экспериментах двунаправленный подход дал около +1 процентного пункта на задачах поиска.
Есть и практическое отличие. В отличие от других решений, pplx-embed не требует добавлять к каждому запросу и документу описания задач. В Perplexity утверждают, что такие префиксы могут ухудшать качество поиска, если на этапе индексации и на этапе запросов они заданы по-разному.
Хранение эмбеддингов для миллиардов страниц быстро становится дорогим. Стандартно применяют 32-битные числа с плавающей точкой (FP32). Perplexity изначально обучает модели на 8-битных целых числах (INT8), что уменьшает объём памяти в 4 раза без потери качества.
Ещё более компактный бинарный вариант, который использует 1 бит на значение, уменьшает требования к памяти в 32 раза. По данным компании, при использовании модели на 4 млрд параметров падение качества остаётся менее 1,6 процентного пункта, так как более длинный вектор эмбеддинга (2560 измерений) сохраняет больше информации, чем вектор размером 1024 измерения у меньшей модели.
На многоязычном бенчмарке MTEB (Multilingual, v2) модель pplx-embed-v1-4B показывает nDCG@10 на уровне 69,66%, что сопоставимо с Qwen3-Embedding-4B от Alibaba (69,60%) и выше, чем у gemini-embedding-001 от Google (67,71%), при заметно меньшем потреблении памяти.
На бенчмарке контекстного поиска ConTEB модель pplx-embed-context-v1-4B достигает 81,96%, опережая voyage-context-3 от Voyage (79,45%) и контекстную модель Anthropic (72,4%).
В тесте BERGEN, который оценивает полную цепочку RAG (от поиска документов до итогового ответа), компактная pplx-embed-v1-0.6B обходит более крупную Qwen3-embedding-4B в трёх из пяти задач. Это делает её интересным вариантом там, где критичны задержки и стоимость вычислений.
Perplexity указывает, что открытые бенчмарки лишь частично отражают реальные запросы пользователей: редко встречающиеся формулировки, «шумные» документы и смещение распределения данных там представлены слабо. Поэтому компания создала два внутренних набора тестов на основе до 115 000 реальных запросов к более чем 30 млн документов с более чем 1 млрд сайтов.
На этих внутренних тестах разрыв более заметен. В бенчмарке PPLXQuery2Query, который проверяет, способен ли модельный эмбеддинг распознавать запросы с одинаковым смыслом, pplx-embed-v1-4B находит 73,5% релевантных совпадений в топ-10 результатов против 67,9% у Qwen3-Embedding-4B. Версия на 0,6 млрд параметров достигает 71,1%, заметно опережая Qwen3-Embedding-0.6B (55,1%) и BGE-M3 (61,8%).
В тесте PPLXQuery2Doc, который измеряет качество поиска по документам в корпусе из 30 млн страниц, модель на 4 млрд параметров находит 91,7% релевантных документов в топ-1000 результатов против 88,6% у Qwen3.
Perplexity подчёркивает, что для эмбеддингов, работающих на первой ступени поиска, приоритетом является нахождение максимального числа релевантных документов. То, что не попадёт на этой стадии в выборку, уже не сможет быть восстановлено последующими моделями ранжирования.
Все четыре модели доступны на платформе Hugging Face под лицензией MIT и интегрированы с Perplexity API, а также с популярными фреймворками для вывода моделей, такими как Transformers, SentenceTransformers и ONNX. Компания также опубликовала технический отчёт с полными результатами оценок.
Источник: The Decoder.
