Amazon Web Services представила TorchNeuron — инструмент, который упрощает перенос ИИ-приложений на чип Trainium. Как пишет TechCrunch, этим шагом Amazon пытается ослабить программное преимущество Nvidia, благодаря которому её ускорители стали стандартным выбором для ИИ-задач.
TorchNeuron работает с PyTorch — открытым фреймворком, который используют для создания, обучения и запуска ИИ-моделей. По данным Amazon, приложения на PyTorch можно запускать на Trainium, изменив одну строку конфигурации, без переписывания кода.
AWS утверждает, что около 85% ИИ-приложений написаны на PyTorch. Изначально фреймворк создала Facebook, а с 2022 года он развивается под управлением Linux Foundation. Nvidia много лет выстраивала поддержку PyTorch через CUDA — программную платформу для запуска приложений на её GPU и другом оборудовании. В итоге связка PyTorch и Nvidia стала фактическим стандартом.
В Amazon заявляют, что TorchNeuron построен на базе PyTorch, поэтому разработчикам, уже знакомым с этим фреймворком, не придётся осваивать новый подход. При этом AWS не первая компания, которая предлагает простой перенос приложений на свои чипы: пользователи PyTorch уже могут переводить проекты на GPU AMD или чипы Apple через простое изменение конфигурации.
Amazon делает акцент на том, что перенос на Trainium даёт стартапам доступ ко всей облачной инфраструктуре AWS. Компания противопоставляет этот вариант так называемым neocloud-провайдерам, которые во многом завязаны на Nvidia и её оборудовании, включая Coreweave, Nebius и Firmus.
В письме TechCrunch вице-президент по технологическому ПО AWS Annapurna Labs Колин Брейс заявил: «Вы строите продукт на AWS. Вы не делаете ставку на провайдера вычислений для одной задачи и не пытаетесь потом срочно достроить вокруг него всё остальное». Он добавил, что в AWS уже есть инфраструктура для перехода от прототипа к промышленному использованию, что помогает основателям быстрее запускаться и масштабироваться.
AWS также утверждает, что использование одного и того же чипа для обучения модели и инференса, то есть её рабочего применения, в связке с облачной инфраструктурой позволяет стартапам снизить общие затраты. По словам компании, это возможно даже в том случае, если у AWS нет самой низкой цены за токен.
Брейс сказал: «Ценность Trainium — в соотношении цены и производительности, а также в том, что это единая платформа для обучения и инференса, что улучшает экономику всей нагрузки». В качестве примера он привёл Deepgram, сервис ИИ-обработки голоса и конкурента ElevenLabs. По его словам, после перехода на Trainium с нативной поддержкой PyTorch компания стала обрабатывать на 70% больше аудио на каждый доллар при точности, достаточной для промышленного использования.
Amazon также заявила, что хочет изменить сам PyTorch, чтобы он меньше зависел от Nvidia по умолчанию. Компания сообщила, что передаст эти изменения в основной проект PyTorch.
В блоге AWS говорится: «Подход Amazon выходит за рамки собственного оборудования. Компания передаёт изменения в сам PyTorch и работает с сообществом, чтобы убрать код, который привязывает фреймворк к конкретным чипам». Цель, по словам Amazon, — сделать PyTorch более нейтральным к типу оборудования для всего сообщества разработчиков, а не только для пользователей Trainium.
Если Amazon добьётся заметного отделения PyTorch от Nvidia, это может повлиять на положение производителя GPU куда сильнее, чем обычная конкуренция на рынке чипов. Как отметил Брейс, «настоящая история здесь — устранение привязки, которая не оставляла разработчикам реального выбора».
Источник: TechCrunch.
