Microsoft представила Phi-4-mini-flash-reasoning — компактную модель искусственного интеллекта для устройств и приложений с ограниченными вычислительными ресурсами, памятью или допустимой задержкой. Модель подходит для работы на мобильных устройствах и “на краю” сети, обеспечивая хорошие результаты в задачах логики без необходимости в мощном оборудовании.
В модели 3,8 миллиарда параметров. Она основана на серии Phi-4, а основной упор сделан на математическое рассуждение.
Ключевое нововведение — обновленная архитектура SambaY. Теперь она оснащена Gated Memory Unit (GMU) и механизмом “дифференциального внимания”. В обычных трансформерах внимание применяется на каждом слое для определения значимых частей входных данных.
GMU упрощает этот процесс, заменяя сложные операции перекрестного внимания на простое поэлементное умножение текущих входных данных на “память” предыдущего слоя. Такой подход позволяет модели быстрее и проще выбирать, на какие токены обращать внимание, уменьшая нагрузку на вычисления.
Архитектура SambaY сочетает разные типы внимания: один слой полного внимания создает кэш ключ-значение, доступный остальным слоям, а GMU заменяет около половины традиционных слоев перекрестного внимания. Слои получают нужную информацию через умножения, а не через тяжелые вычисления. Такой подход значительно снижает расход памяти и вычислительных ресурсов. Обычно при увеличении длины последовательности нагрузка на память и процессор растет, но у SambaY этот показатель практически не меняется.
По данным Microsoft, Phi-4-mini-flash-reasoning обеспечивает до десяти раз выше пропускную способность и снижает задержку в два-три раза по сравнению с предыдущей моделью. Однако эти показатели получены на промышленных GPU, а не на слабых устройствах, для которых модель предназначена.
Phi-4-mini-flash-reasoning хорошо работает с длинными текстами: поддерживается окно в 64 000 токенов, и даже на максимальной длине модель сохраняет высокую скорость и стабильную производительность. В Microsoft объясняют это эффективностью архитектуры SambaY: скорость обработки практически не падает с увеличением последовательности — это преимущество перед обычными трансформерами, которые начинают работать медленнее.
Flash-версия выделяется в тестах. Модель обучена на пяти триллионах токенов из того же набора, что и Phi-4-mini, с добавлением синтетических данных. Для обучения использовали 1 000 GPU A100 за 14 дней.
В испытаниях Phi-4-mini-flash-reasoning стабильно опережала основную модель, особенно в сложных задачах и программировании, улучшая результаты на несколько процентов. Также модель показала лучшие успехи в задачах по математике и научной логике, причем без ресурсоемкой процедуры обучения с подкреплением, применявшейся раньше.
Phi-4-mini-flash-reasoning уже доступна на Hugging Face, а код и примеры — в Phi Cookbook. Полный код для обучения открыт на GitHub.
