Стартап TypeSafe AI, основанный бывшим исследователем OpenAI Диогу Алмейдой, представил модель Jev для задач автоматизации ПО. По данным TechCrunch, это не большая языковая модель: она не генерирует текст, а выдает вероятности, которые компания называет «калиброванными решениями».
Алмейда участвовал в создании ChatGPT и RLHF — метода обучения моделей с подкреплением на основе обратной связи от людей. Однако он пришел к выводу, что оптимизация под человеческий язык плохо подходит для автоматизации. «У нас в руках молния в бутылке, и все же это бесполезно», — сказал он TechCrunch. По его словам, модели хорошо работают с человеческим языком уже несколько лет, но это плохо помогает автоматизации, потому что компьютеры «говорят на другом языке».
Два года назад Алмейда ушел из OpenAI и запустил TypeSafe AI, чтобы решить эту проблему. Новая модель построена на архитектуре transformer, но не относится к LLM в привычном виде.
Отказ от генерации текста дает Jev несколько практических преимуществ:
- модель работает быстрее и дешевле;
- пользователь заранее задает возможные выходы, поэтому модель не может «галлюцинировать» в обычном для LLM смысле;
- выходные токены не тарифицируются, а входные считаются миллиардами, а не миллионами.
Интерес к продукту оказался высоким. По информации TechCrunch, из-за всплеска спроса компания временно потеряла возможность обслуживать пользователей через API.
Сейчас Jev в первую очередь применяют для автоматизации программных процессов. Разработчики рассматривают модель как более дешевый и стабильный способ добавить «интеллект» в код.
Инженер Vercel Пранит Шарма рассказал, что его компания использовала OpenAI ChatGPT Luna 5.6 как классификатор для проверки команд на безопасность. После замены Luna на Jev, по его словам, система стала работать в 5–18 раз быстрее и показала более высокую точность.
Технический директор Bryo AI Никхил Мудхолкар сравнил Jev с Gemini в задаче классификации деловых писем. В его тесте Gemini оказался немного точнее, но в 10–20 раз дороже. При этом Мудхолкар отдельно отметил оценки уверенности Jev: «Это единственная модель, которая возвращает реальную вероятность, и это делает ее очень удобной для автоматизации рабочих процессов».
Jev можно использовать и вместе с LLM — как дополнительную проверку для отслеживания нежелательного поведения. Алмейда говорит, что пользователи уже применяют модель для анализа трассировки действий агентных систем и защиты от jailbreak-атак.
CTO Earendil Армин Ронахер пояснил, что в таком подходе часть задачи по контролю ошибок переходит к пользователю. Если модель возвращает 50% вероятности, это можно трактовать как неопределенный результат и не использовать его. Если вероятность достигает 95%, тогда вывод уже можно применять в автоматизации. «Пользователь должен сам решить: если это 50%, то, возможно, это подбрасывание монеты, и я это игнорирую. Но если 95% — тогда с этим уже можно что-то делать», — сказал он.
Еще один сценарий применения — маршрутизация моделей. По словам Ронахера, Jev может быстро и дешево предсказывать, нужна ли конкретной задаче определенная модель, тогда как использование LLM для такой сортировки в реальном времени обходится слишком дорого.
Название Jev отсылает к экономисту XIX века Уильяму Стэнли Джевонсу и парадоксу Джевонса: снижение стоимости ресурса ведет к росту его потребления. Алмейда рассчитывает, что снижение стоимости «интеллекта» приведет к его широкому внедрению в программные системы. «Мы думаем, что умное ПО будет повсюду — в более распределенной и естественной форме, скорее как ранний интернет, а не как крупные приложения, которые многие пытаются строить сейчас», — сказал он.
Подробности архитектуры TypeSafe AI не раскрывает. Наблюдатели предполагают, что модель может быть построена поверх LLM с открытыми весами. Сама компания называет Jev «моделью System One»: она делает упор на интуитивные решения, а не на рассуждение, и заточена под конкретный тип задач.
Алмейда утверждает, что Jev обучается исключительно на синтетических данных с помощью метода, который он называет «обучением с подкреплением на основе калиброванных решений». «Мы рано сделали ставку на то, что будем создавать все свои данные сами, и это была одна из лучших ставок в моей жизни — лучше запуска продукта, на мой взгляд, лучше RLHF», — сказал он TechCrunch. По его словам, половина компании фактически работает как лаборатория, которая занимается этим разделом статистически понятных синтетических данных.
Пока Jev остается редким примером такой модели, но Ронахер ожидает скорого появления конкурентов. По его словам, рынок мог прийти к этой идее раньше, однако из-за низкой цены и субсидирования LLM у компаний долго не было стимула искать другие варианты.
TypeSafe AI собирается выпускать новые версии Jev и расширять модель на другие модальности. На вопрос, можно ли считать компанию frontier lab, Алмейда ответил резко: «Главный продукт frontier labs — это страх или хайп. Я бы хотел, чтобы нашим главным продуктом был интеллект». Он добавил, что не считает TypeSafe лабораторией в смысле ставки на бесконечное богатство или попытки «построить Бога в дата-центре».
Источник: TechCrunch.
