Большие языковые модели способны обрабатывать миллионы токенов за раз, но с увеличением объёма контекста их точность быстро снижается. Об этом говорится в новом исследовании Chroma Research.
Chroma тестировала 18 ведущих ИИ-моделей, включая GPT, Claude, Gemini и Qwen, по четырём заданиям: семантический поиск, вопросы по длинным документам, задачи на повторяемость и другие сценарии. В исследованиях модели должны были находить конкретные предложения, спрятанные в большом массиве ненужного текста, но Chroma усложнила задания, требуя не точного совпадения слов, а понимания смысла.
В отличие от обычных тестов на совпадение ключевых слов, вопросы теперь были только семантически связаны с ответом. Например, чтобы ответить на вопрос «Кто был в Хельсинки?», модель должна была сделать вывод по фразе «Юки живёт рядом с музеем Kiasma», используя знания о географии.
Результаты: точность быстро падала при переходе к таким семантическим вопросам, и ситуация ухудшалась с ростом длины контекста. Даже одна дополнительная фраза-отвлекающий фактор заметно снижала успех, а при четырёх отвлекающих фразах влияние становилось сильнее. Claude зачастую отказывался отвечать, в то время как GPT давал логичные, но неверные ответы.
Важным оказался и порядок предложений. Модели лучше справлялись, когда предложения были перемешаны в случайном порядке, чем при логично организованном тексте. Исследователи считают, что структура контекста напрямую влияет на работу ИИ.
На более практичных тестах с помощью LongMemEval (истории чатов длиной свыше 100 000 токенов) наблюдалась та же картина: качество резко падало, когда модель рассматривала всю историю чата, а не только релевантные фрагменты.
Авторы рекомендуют использовать «инжиниринг контекста» — выбирать и расставлять только самую важную информацию, чтобы сохранить точность больших языковых моделей в реальных задачах.
Выводы Chroma согласуются с другими исследованиями. По словам Николая Савинова (Google DeepMind): «Когда модель получает много токенов, она распределяет внимание по всему входу. Поэтому всегда полезно убирать лишний контент и выдерживать фокус». Аналогичные выводы показало совместное исследование LMU Munich и Adobe Research: даже специализированные модели теряют в эффективности при удлинении контекста.
Microsoft и Salesforce отметили схожую нестабильность. В многоходовых диалогах, когда требования уточняются постепенно, точность ответы падала с 90% до 51%.
Особенно показателен пример Llama 4 Maverick от Meta*: несмотря на поддержку до десяти миллионов токенов, полезно использовать такой объём модель не может. На практике точность с 128 000 токенов у Maverick составила лишь 28,1% — меньше среднего уровня других моделей.
В этих тестах лучшие результаты показали o3 от OpenAI и Gemini 2.5.
*Meta — запрещённая в РФ организация.
