Исследователи из UVA, UIUC, Стэнфорда, Гарварда и Amazon GenAI представили новую архитектуру Energy-Based Transformer (EBT), которая должна обучить ИИ анализировать задачи поэтапно, а не просто угадывать ответы с помощью шаблонов.
Обычные ИИ чаще работают как быстрое “мышление системы 1” по Даниэлю Канеману — распознают примеры и действуют интуитивно. Однако, по мнению авторов исследования, такие системы слабо справляются со сложными расчетами и логическими задачами, для которых нужно анализировать каждый шаг.
EBT начинает с случайного ответа и поэтапно улучшает его, измеряя так называемую “энергию” — чем она ниже, тем лучше ответ подходит к ситуации. Модель постепенно минимизирует эту энергию, тратя больше вычислений на сложные вопросы. Сама концепция “энергетических моделей” обсуждалась давно, в том числе Яном Лекуном из Meta*.
В экспериментах EBT выявил на 35% лучшую эффективность масштабирования по объему данных, числу параметров и затратам на вычисления по сравнению с Transformer++. Модель также показала, что ее можно “разогнать” для сложных задач во время работы — производительность на языковых тестах выросла до 29%.
На задачах очистки изображений EBT обошел Diffusion Transformers почти без вычислительных затрат — потребовалось на 99% меньше шагов. При классификации на ImageNet-1k архитектура EBT достигла точности в 10 раз выше, что говорит о лучшем понимании содержимого.
Однако у модели есть минусы: обучение требует в 3,3–6,6 раза больше вычислений, чем у обычных Transformers. Также EBT пока измеряет сложность задач косвенно — через перплексию, а не на настоящих логических тестах, и не сравнивался с лучшими специализированными моделями из-за ограничений ресурсов. Все тесты были на относительно небольших моделях — до 800 миллионов параметров — так что остается вопрос, подтвердятся ли результаты на более крупных системах.
*Meta — запрещенная в РФ организация.
