Google выпустила multi-token prediction drafters для открытого семейства моделей Gemma 4. По данным компании, технология ускоряет генерацию текста до трех раз.
Обычно большие языковые модели создают текст по одному токену за шаг. При каждом таком шаге система загружает из памяти миллиарды параметров, и из-за этого вычислительное ядро процессора значительную часть времени ждет поступления данных, поясняет Google.
Новая технология MTP решает это ограничение так: пока основная модель ждет данные, небольшая вспомогательная модель использует свободные ресурсы и предлагает сразу несколько токенов. Затем основная модель проверяет все эти варианты за один проход. Если предложения верны, они принимаются сразу.
По словам Google, такой подход ускоряет вывод текста без потери качества и точности. В компании отмечают, что вспомогательная модель задействует ресурсы, которые иначе простаивали бы.
Технология работает на смартфонах, локальных компьютерах и в облачных приложениях. Драфтеры доступны по лицензии Apache 2.0 на платформах Hugging Face и Kaggle.
Google представила открытую модель Gemma 4 в начале апреля. С тех пор модель скачали более 60 миллионов раз.
Источник: Google, The Decoder.
