Microsoft Research разработала более эффективный метод для включения внешних знаний в языковые модели. Новый подход, называемый Knowledge Base-Augmented Language Models (KBLaM), выполняется без изменений в существующих моделях и использует принцип «plug-and-play».
В отличие от подходов, таких как RAG или In-Context Learning, KBLaM не использует отдельные системы поиска. Вместо этого он превращает знания в векторные пары и интегрирует их непосредственно в архитектуру модели с помощью метода, который Microsoft называет «прямоугольное внимание».
Текущие системы RAG сталкиваются с проблемой квадратичного масштаба из-за использования механизма само-внимания. При добавлении 1,000 токенов из базы знаний, модель обрабатывает миллион взаимодействий токенов. С 10,000 токенов количество взаимодействий увеличивается до 100 миллионов.
KBLaM обходит эту проблему: когда пользовательский ввод может использовать все токены знаний, те не взаимодействуют друг с другом или с вводом. Это означает, что по мере роста базы знаний нужна лишь линейная мощность вычислений. Согласно исследованиям, один GPU способен работать с более чем 10,000 тройками знаний (около 200,000 токенов).
Тесты показывают, что с использованием около 200 элементов знаний, KBLaM лучше, чем стандартные модели, избегает «галлюцинаций» и не отвечает на вопросы, на которые нет информации. Он также более прозрачен благодаря возможности связывания знаний с конкретными токенами.
Код и наборы данных для KBLaM теперь доступны на GitHub. Система работает с рядом популярных моделей, включая Llama 3 от Meta и Phi-3 от Microsoft, и планируется поддержка моделей Hugging Face Transformers. Исследователи подчеркивают, что KBLaM пока не готов для широкого использования. Хотя он хорошо работает с простыми вопросами-ответами, ему нужно доработать комплексные задачи.
Большие языковые модели сталкиваются с парадоксом: их окна контекста растут, позволяя обрабатывать больше данных, но надежная обработка этого объема данных остается сложной. В результате RAG стал стандартным решением для надежной передачи информации в модели, однако KBLaM предлагает более эффективный путь.
