OpenAI выпустила свою “realtime API” для работы в реальных условиях, завершив этап тестирования.
API предназначен для компаний и разработчиков, которые создают голосовых ассистентов для задач вроде поддержки клиентов, обучения или организации личных дел. Основная часть — модель “gpt-realtime”. Она сразу обрабатывает и генерирует речь, минуя обычный этап преобразования текста. По словам OpenAI, этот подход дает более быструю реакцию, естественное звучание и лучшее понимание сложных команд.
Модель распознает невербальные сигналы — смех, смену языка прямо в разговоре, а также может менять тон. Например, говорить “дружелюбным голосом с французским акцентом” или “быстро и профессионально”. Добавлены два новых голоса: Cedar и Marin. Текущие голоса тоже получили доработки.
На тестах gpt-realtime достигает 82,8% точности на Big Bench Audio (было 65,6%), 30,5% на MultiChallenge (было 20,6%) и 66,5% на ComplexFuncBench (было 49,7%).
Интеграция инструментов с API упростилась. OpenAI отмечает, что модель теперь лучше выбирает нужный инструмент, запускает его вовремя и корректно использует параметры. Это делает обращение к функциям более надежным. Через SIP и удаленные MCP-серверы можно подключать внешние сервисы. Повторное использование подсказок дает возможность сохранять настройки для разных задач.
Появилась поддержка изображений: теперь в чат можно отправлять снимки или скриншоты, а модель сможет их использовать — например, чтобы прочитать текст с фото или ответить на вопросы о содержимом. Разработчик управляет тем, что видит модель.
Добавлены настройки лимита токенов и обрезки длинных диалогов, чтобы экономить средства при длительных сессиях. Стоимость работы с gpt-realtime снижена на 20%: $32 за миллион входных аудио токенов и $64 за миллион выходных. Кэшированные входные токены — $0.40 за миллион.
По информации OpenAI, API может выявлять проблемный контент и завершать беседу, если нарушены правила. Однако ранее эксперты отмечали, что такие меры безопасности не должны быть единственными. Разработчики могут ввести свои ограничения. Для пользователей из ЕС предусмотрено хранение данных в регионе и дополнительные правила конфиденциальности для бизнеса.
