Стартап PrismML привлёк $22,25 млн в seed-раунде и делает ставку на то, что сильные рассуждающие языковые модели не обязательно должны быть большими. Компания разрабатывает методы сжатия LLM, чтобы такие модели можно было запускать на ПК и смартфонах.
На этой неделе PrismML представила Bonsai 2 27B — новую модель в линейке Bonsai. Она сжимает Qwen3.8 27B, популярную open-source-модель Alibaba, до 5,9 ГБ. Это в 9–10 раз меньше по объёму памяти по сравнению с исходной версией, поэтому модель может работать на ПК и, возможно, на флагманских смартфонах.
PrismML основали исследователи Caltech. Компанию возглавляет профессор Caltech Бабак Хассиби, который занимается технологиями сжатия. Советником стартапа выступает Айон Стоика — сооснователь Databricks и руководитель лаборатории Sky Computing Lab в Беркли. В PrismML также инвестировали Khosla Ventures, Cerberus Capital и Caltech.
Компании, которые занимаются сжатием LLM, уже есть и у PrismML есть конкуренты. В материале TechCrunch в качестве примера упоминается Multiverse Computing. Однако Хассиби утверждает, что технология PrismML отличается тем, что модели почти не теряют качество по сравнению с оригиналом.
По словам компании, Bonsai 2 показывает 98% совокупного результата Qwen в бенчмарках. Для первой версии Bonsai, выпущенной в марте, этот показатель составлял 95%. Первая модель уже скачали более 11 млн раз, а ещё более компактные модели PrismML — ещё 2,6 млн раз.
Хассиби признаёт, что полное равенство с исходной моделью по метрикам может быть недостижимо, поскольку сжатие, вероятно, всё же влияет на результат. При этом разница в 2% в бенчмарках, как отмечает материал, может не оказать заметного влияния в реальном использовании, поскольку сами LLM неидеальны, а итоговая точность зависит ещё и от программной среды, в которой работает модель.
PrismML объясняет свой подход сжатием весов модели — параметров, в которых хранится информация, полученная во время обучения. Обычно каждый вес требует 16 бит, а метод компании использует так называемые тернарные веса: +1, −1 или 0. За счёт этого объём модели резко сокращается. Более подробное описание метода опубликовано на GitHub проекта.
Следующий шаг PrismML — применить этот метод к ещё более крупным моделям. «Следующие модели, которые мы выпустим, надеюсь, в ближайшие пару месяцев, будут иметь несколько сотен миллиардов параметров, и я ожидаю, что там будет проще сохранить интеллект», — сказал Бабак Хассиби в комментарии TechCrunch.
Он добавил: «По мере роста размера модели появляется больше пространства для сжатия без потери интеллекта. Если говорить об общей тенденции, для более крупных моделей проще приблизиться к 100%».
Айон Стоика также положительно оценил технологию PrismML. «У вас будет интеллект под рукой, и он будет бесплатным, потому что станет работать на устройстве, которое вы уже купили. Ещё это будет приватно, потому что вам не придётся отправлять данные в облако», — сказал Стоика.
Ранее TechCrunch также сообщил, что PrismML якобы ведёт переговоры с Apple, но Хассиби отказался это комментировать.
Источник: TechCrunch.
