Новое исследование показывает, что вместо постоянного увеличения размера языковых моделей в ряде случаев эффективнее повышать долю конкретных задач в обучающих данных. По выводам авторов, это помогает закреплять редкие навыки даже в более компактных моделях.
Работу подготовили исследователи из Anthropic, Stanford и других организаций. Они попытались объяснить, почему крупные языковые модели осваивают задачи, с которыми меньшие модели не справляются, и пришли к выводу, что дело не только в более высокой скорости обучения.
Авторы отмечают: небольшие модели в ряде случаев не могут стабильно выучить редкие задачи даже при очень долгом обучении. Известные законы масштабирования тоже показывают, что малая модель не достигает уровня потерь большой модели, сколько бы данных ей ни давали.
Чтобы выделить сам механизм, исследователи протестировали набор задач с разной частотой и разной трудностью. По их схеме модель с N нейронами получает N самых полезных признаков, где полезность определяется тем, как часто встречается задача и насколько она важна. В итоге частые и простые задачи получают приоритет, а редкие и более трудные могут быть отброшены.
В экспериментах только достаточно крупные модели смогли выучить задачи, которые составляли всего 0,25% обучающих данных. Авторы объясняют это тем, что частые задачи на каждом шаге обучения тянут модель в свою сторону и затирают сигналы от редких примеров.
Когда большая модель в основном осваивает частые задачи, это давление ослабевает. Освободившаяся ёмкость начинает использоваться для редких задач, и усвоенные сигналы сохраняются дольше. Малые модели, как сказано в работе, часто попадают в цикл «обновила и забыла»: редкий пример кратко усваивается, а затем почти полностью стирается следующими шагами на более частых задачах.
В одном из экспериментов команда отдельно проверила этот эффект. Общая частота редкой задачи оставалась постоянной, но менялся интервал между отдельными наблюдениями. Чем больше был этот интервал, тем сильнее сигнал затухал в узких моделях, тогда как более широкие модели лучше удерживали его между наблюдениями и могли накапливать знания.
Для проверки гипотезы на этапе предварительного обучения исследователи обучили модели OLMo от 4 млн до 4 млрд параметров на объёме до 210 млрд токенов из корпуса Dolma. В данные добавили две искусственные задачи: сравнение чисел и сложение по модулю. Частота этих задач варьировалась от примерно 1000 примеров на батч до одного примера на десять батчей.
Редкие задачи смогли освоить только более крупные версии OLMo. Причём модели не просто запоминали отдельные примеры, а выводили правило и применяли его к новым случаям.
Особенно заметно это было на задаче сложения по модулю, где исследователи наблюдали эффект grokking. Сначала модель запоминает задачу, а затем после дополнительного обучения резко начинает понимать общий принцип. До этой стадии дошли только более крупные модели и только тогда, когда задача достаточно часто встречалась в данных.
Анализ внутренней работы моделей дал тот же результат. В модели на 1 млрд параметров каждый шаг обучения с редкой задачей заметно сдвигал ответ в верную сторону. В модели на 20 млн параметров этот сигнал терялся в шуме от остальных данных, и реальное обучение почти не происходило.
Авторы рассматривают запоминание как необходимый этап для последующего обобщения, а не как нежелательный побочный эффект. Модель должна удерживать отдельные наблюдения достаточно долго, чтобы на их основе в разных батчах сложился более общий паттерн.
Практический вывод работы такой: вместо увеличения модели можно повысить частоту целевой задачи в обучающих данных. По мнению исследователей, это поможет закрепить конкретный навык без обязательного роста числа параметров.
Авторы также напоминают, что это не единственное объяснение пользы масштабирования. В мае группа MIT связала законы масштабирования с геометрией моделей, предположив, что они хранят больше понятий через суперпозицию, чем можно ожидать по числу измерений.
Новое исследование подходит к вопросу с другой стороны и смотрит на то, чему модель реально может научиться при заданной смеси данных. Дискуссия о том, возникают ли способности моделей скачкообразно после достижения определённого размера или это частично эффект измерений, по-прежнему продолжается.
Источник: The Decoder.
