Французский ИИ-стартап ZML выпустил сервер для инференса больших языковых моделей ZML/LLMD. По данным TechCrunch, продукт позволяет запускать разные open source LLM на нескольких типах чипов, включая Nvidia, AMD, Google TPU, Apple Metal и Intel Arc.
Основная цель компании — убрать барьеры между программными стеками и оборудованием, чтобы разные чипы можно было использовать для ИИ-задач на максимально доступной скорости, а в ряде случаев и быстрее. Основатель ZML Стив Морен сказал TechCrunch: «Идея в том, чтобы вернуть людям возможность создавать собственную систему и добиваться реального роста эффективности, который позволит шире распространять ИИ».
Морен считает, что по мере внедрения ИИ в работу и повседневную жизнь инференс, то есть обработка запросов, становится важнее этапа обучения моделей. По его словам, сейчас этот сегмент часто устроен фрагментарно: программные и архитектурные ограничения приводят к привязке клиентов к одному поставщику.
В ZML рассчитывают, что продукт даст компаниям и облачным провайдерам возможность использовать смешанную инфраструктуру из разных чипов. Часть из них может обходиться дешевле или потреблять меньше энергии, что особенно важно на фоне роста расходов на ИИ.
По словам Морена, такой подход может помочь и новым разработчикам ИИ-чипов. В качестве примеров он назвал Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud и VSORA. При этом, по его словам, важнее не страна происхождения компаний, а возможность вместе делать то, «чего раньше нигде в мире не делали».
При этом Морен не считает, что позиции Nvidia быстро ослабнут. Он заявил, что у ZML хорошие отношения с компанией, а сама Nvidia уже готовится к росту спроса на инференс.
Рынок инференса привлекает всё больше инвестиций, и конкуренция в нём усиливается. TechCrunch напоминает, что в этом сегменте работают Baseten, недавно оценённая в 13 млрд долларов, Inferact от создателей open source-проекта vLLM, а также RadixArk — коммерческая компания, стоящая за SGLang.
По словам Морена, vLLM и SGLang частично конкурируют с LLMD, но планы ZML шире. «Мы дошли до точки, когда уже совместно проектируем кремний», — сказал он. Он также отметил, что небольшой штат из 20 человек помогает компании двигаться быстро, и в планах уже есть новые релизы.
Для команды такого размера стартап привлёк заметное финансирование. Морен, ранее занимавший пост вице-президента по разработке в Zenly, которую Snapchat купил в 2017 году за сумму в девятизначном диапазоне, привлёк 20 млн долларов от фондов 20VC Гарри Стеббингса, commit, AALVC, Drysdale Ventures, Kima Ventures Ксавье Ньеля, Kindred Capital, LocalGlobe и Puzzle Ventures.
В отличие от первого публичного проекта ZML — ML-фреймворка для инференса, выпущенного в 2024 году и обновлённого в марте, — ZML/LLMD не распространяется как open source. При этом продукт запущен бесплатно: компания хочет сначала изучить сценарии использования. Морен объяснил это так: «Я предпочитаю сначала измерить это и зарабатывать там, где это будет максимально эффективно, вместо того чтобы с самого начала тормозить рост из-за излишней жадности».
Пока рано говорить, когда ZML/LLMD станет платным и как быстро его начнут внедрять. Однако состав инвесторов показывает интерес к компании со стороны заметных участников рынка: в капитале стартапа есть основатель Dagger и Docker Соломон Хайкс, Клеман Деланг и Жюльен Шомон из Hugging Face, а также Ян Лекун, который сейчас связан с AMI Labs.
Морен также считает, что европейские ИИ-стартапы уже могут строить крупные компании у себя дома. «Я не смог бы создать ZML нигде, кроме Парижа», — сказал он.
Источник: TechCrunch.
