Perplexity представила оркестратор гибридного вывода, который объединяет ИИ-модели, работающие на компьютере пользователя, с более мощными облачными моделями и автоматически распределяет задачи между ними.
Система должна одновременно повысить точность, приватность и энергоэффективность. В июле её встроят в продукт Personal Computer — always-on агента, который компания показала в марте.
Конфиденциальные данные, включая финансовые документы и медицинскую информацию, будут обрабатываться локально на устройстве. Более ресурсоёмкие задачи система направит в облако.
Perplexity представила решение вместе с Intel. При этом компания отмечает, что фреймворк не привязан к одной модели и может работать и на другом оборудовании, включая RTX Spark от Nvidia.
В сообщении компании сказано: «Гонка за локальные вычисления началась».
По словам Perplexity, перенос типовых задач на пользовательские устройства может снизить потребность в централизованной вычислительной инфраструктуре и упростить вопросы суверенитета данных.
Компания также заявила, что её бизнес-модель поощряет правильные ответы, а не высокое потребление вычислительных ресурсов. Поэтому повышение эффективности для неё напрямую связано с экономической мотивацией.
Источник: Perplexity, The Decoder.
