Google объявила, что проект TorchTPU стал доступен как open-source решение. Это версия PyTorch для чипов Google Tensor Processing Units, или TPU, и ещё один шаг в попытке снизить зависимость рынка ИИ от Nvidia.
PyTorch — популярный открытый набор инструментов для создания, обучения и запуска ИИ-моделей. По некоторым оценкам, он используется в 85% ИИ-приложений. Изначально фреймворк создала Meta в 2016 году, когда стандартом для ИИ-исследований уже были GPU Nvidia, поэтому многие функции PyTorch изначально создавались под это оборудование. В 2022 году Meta передала PyTorch Linux Foundation.
TorchTPU позволяет запускать приложения на PyTorch на чипах Google TPU. Компания заявляет, что перенос существующих приложений на TPU и в Google Cloud требует лишь простого изменения конфигурации, без переписывания кода.
Похожий анонс днём ранее сделала Amazon. Компания выпустила TorchNeuron — версию PyTorch для собственного ИИ-чипа Trainium и облака AWS. Amazon также сообщила, что передаёт код в основной проект PyTorch, чтобы отвязать часть функций от чипов Nvidia и сделать фреймворк более открытым для разного оборудования по умолчанию.
Google, в свою очередь, заявила о сотрудничестве с Meta, Hugging Face, Inferact и RadixArk. По словам компании, это было нужно для совместимости TorchTPU с популярными инструментами разработки ИИ, включая vLLM и SGLang, на уровне, близком к исходному PyTorch.
Кроме того, Google запустила отдельный инструмент TPU agent suite. Он должен помочь разработчикам переносить приложения на TPU и в Google Cloud, а также устранять ошибки в процессе миграции. Компания также обновила LiteRT, чтобы этот инструмент лучше работал с ИИ-приложениями на PyTorch на телефонах, ноутбуках и встраиваемых устройствах.
Пока это не означает, что разработчики массово откажутся от оборудования Nvidia. Однако действия Amazon и Google показывают, что обе компании пытаются ослабить её преимущество на рынке ИИ-инфраструктуры.
Источник: исходный материал новости.
*Организация Meta (владелец Facebook и Instagram) признана экстремистской организацией и ее деятельность запрещена на территории России.
