OpenAI вместе с AMD, Broadcom, Intel, Microsoft и NVIDIA представила новый сетевой протокол MRC — Multipath Reliable Connection. Он нужен для ускорения, более предсказуемой работы и повышения устойчивости передачи данных между GPU в крупных ИИ-суперкомпьютерах.
MRC распределяет пакеты сразу по сотням сетевых маршрутов, а не отправляет каждый поток по одному пути. По данным OpenAI, это снижает перегрузку в ядре сети и важно для обучения больших ИИ-моделей.
Если путь, канал связи или коммутатор выходят из строя, MRC может обнаружить сбой и перестроить маршрут за микросекунды. OpenAI отмечает, что обычным сетям после таких отказов часто нужны секунды или даже десятки секунд, чтобы вернуться к стабильной работе.
За счёт этого обучение может продолжаться даже во время сбоев сети и технических работ, которые раньше приводили к остановке или задержкам. По словам OpenAI, многоплоскостная архитектура MRC позволяет подключать более 100 000 GPU с помощью двух уровней Ethernet-коммутаторов вместо трёх или четырёх уровней, которые обычно нужны в сетях 800 Гбит/с.
Компания заявляет, что это снижает энергопотребление, число компонентов и общую стоимость сети.
MRC уже используется во всех крупнейших суперкомпьютерах OpenAI на базе NVIDIA GB200, которые применяются для обучения передовых моделей. В их число входят площадка Oracle Cloud Infrastructure в Абилине, штат Техас, и суперкомпьютеры Microsoft Fairwater.
Во время обучения одной из недавних передовых моделей для ChatGPT и Codex OpenAI, по её данным, пришлось перезагрузить четыре коммутатора первого уровня. С MRC компании не потребовалось отдельно согласовывать эту процедуру с командами, которые запускали обучение в кластере.
Спецификацию MRC сегодня опубликовали через Open Compute Project, вместе с сопутствующей научной статьёй. В разработке, помимо OpenAI, участвовали AMD, Broadcom, Intel, Microsoft и NVIDIA.
Источник: The Decoder, OpenAI, Open Compute Project.
