OpenAI представила режим Ultrafast для модели GPT 5.6 Sol. Компания заявляет, что новый режим заметно ускоряет работу модели и повышает скорость генерации ответов.
По данным OpenAI, Ultrafast работает в 14 раз быстрее стандартного режима обработки. Скорость может достигать 750 выходных токенов в секунду. Токены — это отдельные фрагменты текста, которые большая языковая модель генерирует в ходе диалога с пользователем.
В блоге компании говорится: «До сих пор работа в реальном времени обычно требовала выбора меньшей или более специализированной модели». OpenAI добавила, что Ultrafast показывает прогресс по другому пути — за счёт большего объёма полезной работы в секунду.
Ускоренные версии моделей выпускают и конкуренты OpenAI. В частности, у Anthropic есть быстрый режим Claude, однако в исходном сообщении отмечается, что он не обеспечивает ту скорость, о которой сейчас говорит OpenAI.
Компания считает, что Ultrafast можно применять в разных корпоративных процессах. В их числе реагирование на инциденты, клиентский сервис и поддержка, анализ финансовых рынков и электронная коммерция.
Сейчас Ultrafast доступен в формате preview. Режим работает при поддержке партнёрства OpenAI с производителем чипов Cerebras.
На первом этапе доступ к preview получила небольшая группа клиентов. OpenAI заявила, что будет расширять доступ по мере роста вычислительных мощностей.
Источник: блог OpenAI.
