Платформа для управления корпоративными расходами Ramp запустила сервис маршрутизации ИИ-моделей Router. Он позволяет пользователям и компаниям работать с разными большими языковыми моделями через API и переключаться между ними без смены инфраструктуры.
Ramp сообщила, что использовала этот маршрутизатор для собственных задач с ИИ в течение последних трёх лет. Сейчас сервис доступен только в США.
До конца 2026 года Router можно использовать бесплатно, но пользователи всё равно оплачивают затраты на инференс моделей. На старте компания также предлагает кредит на 26 долларов. Сколько сервис будет стоить в 2027 году, Ramp не раскрыла.
По своей функции Router близок к OpenRouter, хотя набор моделей у Ramp пока меньше. Сервис даёт доступ к моделям OpenAI, Anthropic, DeepSeek, Moonshot, Minimax, Nvidia, xAI и Z.ai.
В Router есть несколько стратегий маршрутизации запросов. Например, пользователи могут задать приоритет для flex-тарифов поставщиков моделей или поручить сервису выбирать модель по трём заданным бенчмаркам. Также можно отправлять только трудные задачи на дорогие модели или быстро тестировать разные варианты без ручного переключения.
Пользователям доступна панель мониторинга, где видны расход токенов, стоимость, задержка и попытки резервного переключения. Это позволяет отслеживать, как именно расходуются ресурсы при работе с моделями.
Отдельно компания указала, что в Router по умолчанию действует политика хранения данных с отказом по запросу пользователя. Сервис будет хранить входные данные, ответы моделей и вызовы инструментов в течение одного года. Ramp заявляет, что перед использованием этих данных для улучшения продукта удаляет персонально идентифицирующую информацию.
Для Ramp выход на этот рынок даёт сразу две возможности: работать на растущем рынке ИИ-инференса и предложить текущим клиентам сервис, который дополняет её продукты для мониторинга использования токенов и управления расходами.
Если Router станет такой же удобной площадкой для тестирования моделей, как OpenRouter, Ramp сможет укрепить связи с ИИ-лабораториями и поставщиками инференса. Это также может помочь компании привлечь новых клиентов. В июне Ramp привлекла 750 млн долларов при оценке 44 млрд долларов.
Источник: исходный материал пользователя.
