OpenAI представила новый Decisions API. О продукте кратко рассказал глава компании Сэм Альтман на мероприятии Dev Day.
По описанию API выполняет задачу, похожую на модель Jev от TypeSafe AI, которую компания выпустила в начале месяца для автоматизации программных процессов. Это инструмент на базе большой языковой модели, который получает набор вариантов и быстро возвращает вероятности по каждому из них при низкой стоимости.
По словам Альтмана, Decisions API позволяет передать модели Luna заранее заданный набор вариантов для выбора. Это могут быть, например, категории для классификации изображения или разные модели поведения ИИ-агента.
«Сфокусировав модель на таком выборе, мы можем сделать её очень быстрой, сохранив при этом возможности понимания изображений, широкую языковую поддержку и защитные механизмы», — сказал Альтман.
TypeSafe не ответила на вопросы TechCrunch о новом продукте OpenAI. При этом гендиректор компании Диогу Алмейда, бывший инженер OpenAI и один из создателей метода обучения с подкреплением, в шутку написал в X о начале «войны клонов».
Он также добавил, что интерес OpenAI может быть «признаком того, что будущее — за подходом, совместимым с System One». Под System One в TypeSafe понимают быстрое и интуитивное мышление, в отличие от System 2, которое связано с более медленным рассуждением.
Из материала следует, что классические большие языковые модели часто плохо подходят для многих программных задач, потому что работают медленнее и обходятся дороже. Разработчики используют Jev как дополнение к LLM и получают более быстрый и дешёвый результат.
Пока неясно, насколько Decisions API близок к Jev по возможностям. OpenAI выпустила продукт в режиме ограниченного превью, и TechCrunch пока не увидел примеров активного тестирования со стороны разработчиков.
При этом интерес к таким инструментам уже заметен по обсуждениям в X. Кроме OpenAI, похожие API выводят и другие стартапы, и, как отмечает издание, это вряд ли последний подобный продукт от крупной технологической компании.
Один из главных вопросов для таких моделей — насколько хорошо их результаты будут соответствовать реальным сценариям. Алмейда считает преимуществом TypeSafe синтетические данные, которые компания использует для получения статистически полезных результатов.
«Быстро и дёшево сделать очень легко. Если нужно совсем быстро и дёшево, можно бросать кости. Сложнее всего — интеллект, и мой главный ориентир — улучшать соотношение интеллекта к доллару по кривой Парето», — сказал Алмейда TechCrunch на прошлой неделе.
Такие модели, вероятно, найдут применение в контроле и защите ИИ-агентов. После нескольких инцидентов, в которых агенты OpenAI некорректно вели себя в открытом интернете, компания начала использовать отдельную модель для отслеживания нежелательных действий, но это требует значительных вычислительных затрат.
Шапор Нагибзаде, специалист по кибербезопасности и глава стартапа QueryStory, считает, что модель уровня Jev может решать эту задачу гораздо дешевле.
На хакатоне, который прошёл в прошлые выходные, он собрал демо, где Jev проверяет каждое действие агента на соответствие поставленной задаче. Система блокирует действия, которые с высокой вероятностью считаются плохими, отправляет часть шагов на проверку и пропускает остальные.
Теоретически такой мониторинг мог бы предотвратить инцидент с Hugging Face. По словам автора демо, подобная проверка стоит $2,94 с Jev против $372 при использовании передовой LLM.
Как отмечает TechCrunch, низкая стоимость делает Jev достаточно доступным для проверки каждого действия агента. Это добавляет ещё один уровень контроля и может повысить стабильность работы таких систем.
Источник: TechCrunch.
