OpenAI представила GPT-Realtime-2, GPT-Realtime-Translate и GPT-Realtime-Whisper — новое поколение голосовых моделей для рассуждения, перевода и расшифровки речи в реальном времени.
Как отмечает компания, голосовые функции в ChatGPT уже доступны, а схожий режим есть и у Google Gemini. При этом модели для таких сценариев заметно уступали текстовым версиям, особенно тем, что умеют пошагово решать задачи.
По данным OpenAI, этого уже недостаточно. Современный голосовой агент должен понимать смысл запроса, удерживать контекст, учитывать изменения, работать с инструментами и давать уместный ответ в одном потоке взаимодействия.
Компания описала три сценария работы, которые можно комбинировать:
- Voice-to-Action — пользователь голосом объясняет задачу, а система анализирует запрос, вызывает нужные инструменты и выполняет действие.
- Systems-to-Voice — приложение превращает контекст в голосовые подсказки. Например, сервис для путешествий может сообщить пассажиру, что он ещё успевает на стыковочный рейс, подсказать путь к новому выходу и подтвердить перевод багажа.
- Voice-to-Voice — ИИ помогает вести живой разговор через языковой барьер. Deutsche Telekom уже тестирует такой сценарий в поддержке клиентов.
OpenAI также сообщила, что эти возможности вскоре появятся и в аудиорежиме ChatGPT. По формулировке компании, голос теперь действительно может стать основным интерфейсом.
Ключевой моделью релиза стала GPT-Realtime-2. По заявлению OpenAI, по качеству рассуждений она сопоставима с GPT-5 и рассчитана на живой голосовой диалог, где нужно одновременно поддерживать беседу, обдумывать запросы, вызывать инструменты и учитывать прерывания.
Контекстное окно модели выросло с 32 000 до 128 000 токенов. Это должно помочь в более длинных и насыщенных диалогах.
Модель умеет вызывать несколько инструментов параллельно и озвучивать свои действия фразами вроде «дай мне это проверить». Короткие вводные реплики, например «одну минуту», показывают, что система занята обработкой запроса. Если возникает ошибка, модель теперь не замолкает, а сообщает об этом словами вроде «сейчас у меня с этим проблема».
По словам OpenAI, новая версия лучше работает со специальной терминологией, именами собственными и медицинскими терминами. Компания также заявляет, что тон ответа можно точнее настраивать: спокойный при решении задачи, сочувственный при раздражении пользователя и более живой после успешного действия.
Для разработчиков доступны пять уровней интенсивности рассуждений: minimal, low, medium, high и xhigh. По умолчанию используется уровень low, чтобы снизить задержку в простых запросах, а для более трудных задач можно задействовать больше вычислений.
По внутренним тестам OpenAI, GPT-Realtime-2 опережает предыдущую модель GPT-Realtime-1.5. В режиме high она набирает 96,6% точности в Big Bench Audio против 81,4% у предшественника.
В тесте Audio MultiChallenge, который проверяет выполнение инструкций в многоходовых диалогах, вариант xhigh показывает 48,5% среднего pass rate против 34,7% у прошлой версии.
GPT-Realtime-Translate — отдельная модель для синхронного перевода. По данным OpenAI, она поддерживает более 70 входных языков и 13 выходных, сохраняет смысл высказывания и успевает за говорящим даже при смене контекста, региональных акцентах и специальной лексике.
Компания указывает, что модель можно применять в поддержке клиентов, международных продажах, образовании, на мероприятиях и в медиа. GPT-Realtime-Whisper, в свою очередь, рассчитана на потоковую расшифровку речи с низкой задержкой.
Она переводит речь в текст по мере разговора и подходит для субтитров в реальном времени на встречах, занятиях, трансляциях и мероприятиях. Команды могут использовать её для заметок и сводок ещё во время беседы, а также для создания голосовых агентов с непрерывным пониманием речи и более быстрых процессов в поддержке, здравоохранении, продажах и найме. Все три модели уже доступны через Realtime API и для тестирования в Playground.
Стоимость GPT-Realtime-2 составляет $32 за 1 млн входных аудиотокенов и $64 за 1 млн выходных аудиотокенов. Для кэшированных входных токенов цена составляет $0,40 за 1 млн.
GPT-Realtime-Translate стоит $0,034 за минуту, а GPT-Realtime-Whisper — $0,017 за минуту.
Realtime API также поддерживает хранение данных в ЕС для приложений, работающих в Евросоюзе, и подпадает под корпоративные обязательства OpenAI по защите данных. Источник: The Decoder, OpenAI.
