Институт технологических инноваций (TII) из Абу-Даби выпустил Falcon H1R 7B — компактную языковую модель для рассуждений с 7 миллиардами параметров.
TII утверждает, что модель по результатам тестов сопоставима с конкурентами, которые больше по размеру в 2–7 раз. В то же время специалисты подчеркивают: «оценки в бенчмарках не всегда точно отражают работу в реальных задачах, особенно для более компактных моделей».
Falcon H1R 7B построена на гибридной архитектуре Transformer-Mamba, что помогает ей быстрее обрабатывать данные по сравнению с аналогами.
Модель доступна полностью, включая контрольные точки и квантованный вариант на Hugging Face, а также демоверсия. TII выпустил модель по лицензии Falcon LLM: разрешено бесплатное использование, копирование, модификацию, распространение и коммерческое использование. При этом необходимо соблюдать правила допустимого использования, которые TII может изменять в любой момент.
