Яндекс открыл доступ к Alice AI Foundation LLM — новой языковой модели на 80 млрд параметров, созданной с нуля. Модель рассчитана на логические задачи, программирование и работу с русскоязычной информацией. Разработчики могут бесплатно использовать её в исследовательских и коммерческих проектах.
Alice AI Foundation LLM — это экспериментальная претрейн-версия нейросети. На этом этапе модель изучает язык, факты и общие закономерности, анализируя большие массивы данных.
В компании сообщили, что разработку используют для создания будущей единой рассуждающей ИИ-модели. Предполагается, что она станет технологической основой Алисы AI. Такой ИИ-агент сможет отвечать на вопросы, искать информацию, работать с документами и запускать последовательности действий в подключённых сервисах.
Модель построена на архитектуре MoE (Mixture of Experts, «смесь экспертов»). В такой схеме разные части нейросети специализируются на разных типах задач, а при обработке запроса используется только часть параметров.
Общий объём модели составляет 80 млрд параметров, но в каждом отдельном вычислении активны около 3 млрд, рассказали в Яндексе. По словам компании, это позволяет обрабатывать запросы быстрее и дешевле по сравнению с системами, где задействуется весь объём параметров.
По данным Яндекса, новая модель показывает высокие результаты в программировании и логических заданиях. При этом в компании уточнили, что сравнение проводилось по отдельным категориям задач и не означает превосходства по всем сценариям использования.
Для оценки качества ответов в русскоязычном информационном контексте Яндекс создал два собственных бенчмарка: WikiWebFacts и HardMultiQA.
- WikiWebFacts проверяет ответы на короткие вопросы и оценивает, насколько хорошо модель работает с датами, определениями, событиями и известными личностями, связанными с Россией.
- HardMultiQA основан на обезличенном потоке запросов к Алисе AI. Вопросы охватывают медицину, право, информационные технологии, искусство и другие сферы.
Alice AI Foundation LLM опубликована по лицензии Apache 2.0. Она разрешает использовать модель в коммерческих и исследовательских проектах, а также создавать на её основе собственные решения.
По заявлению Яндекса, базовый этап обучения модели уже завершён. Разработчики могут использовать её как основу для дальнейших экспериментов и создания собственных ИИ-продуктов.
Источник: https://rb.ru/news/yandeks-otkryl-dostup-k-novoj-ii-modeli-alice-ai-foundation-llm-nejroset-obuchili-s-nulya/
