OpenAI на конференции Hot Chips раскрыла новые детали о системе Jalapeño и показала первую серию результатов тестов. В бенчмарке InferenceX от Semianalysis платформа показала больше токенов на пользователя и более высокую пропускную способность на киловатт по сравнению с доступными сегодня передовыми процессорами для инференса.
Глава аппаратного направления OpenAI Ричард Хо заявил, что результаты показывают «очень, очень заметный прирост производительности» по сравнению с текущими решениями. По его словам, Jalapeño выполняет больший объём ИИ-задач на единицу энергии и при этом быстрее возвращает ответы. «Система очень эффективна при обслуживании большого числа клиентов, но также может обеспечивать очень низкую задержку», — сказал Хо во время пресс-звонка.
Сравнение проводилось с системой Nvidia Blackwell. При этом к моменту полного развёртывания Jalapeño конкурентные решения могут заметно продвинуться. Хо оценил запуск в конце 2026 года в очень небольших объёмах, а более масштабное внедрение ожидается в 2027 году.
OpenAI впервые анонсировала Jalapeño в октябре прошлого года. Система создаётся в тесном сотрудничестве с Broadcom, а в процессе разработки компания использовала и собственные модели. OpenAI планирует развивать Jalapeño как платформу на несколько поколений, где ИИ-продукты, модели, чипы и память создаются согласованно.
За счёт такого полного стека OpenAI смогла заняться конкретными этапами инференса, которые часто замедляют обработку запросов. В частности, Jalapeño должна сокращать задержки на этапах prefill и обмена данными, которые компания считает узкими местами.
В блоге OpenAI говорится: «Мы спроектировали Jalapeño так, чтобы сократить перемещение данных и задержки при обмене данными». Компания добавила, что это позволяет явно размещать состояние модели, включая KV-кэш, который используется при генерации ответа, и сохранять его локально, пока система задействует нужное сочетание вычислений, памяти и сети для каждой фазы инференса.
Источник: Hot Chips, OpenAI, Semianalysis.
