Исследователи из США предложили технику Verbalized Sampling, которая помогает языковым моделям давать менее повторяющиеся и более разнообразные ответы.
Команды проверили, что люди часто выбирают привычные и типовые ответы, когда оценивают тексты, созданные ИИ. Это приводит к тому, что модели всё чаще повторяют одни и те же фразы. Анализ показал: предпочтения пользователей записываются в самих моделях, и со временем разнообразие ответов падает.
Для проверки этой идеи учёные использовали набор данных HELPSTEER с 6 874 парами ответов. Почти всегда люди выбирали те варианты, которые исходные модели признавали наиболее вероятными, даже если они были неправильными. Такой эффект проявился на нескольких наборах данных.
Техника Verbalized Sampling вместо обычного ответа просит модель сгенерировать сразу несколько вариантов. Каждый из них должен быть в отдельном теге и содержать текст и вероятность. Запрос выглядит так:
<instruction>
Generate 5 responses to the user query, each within a separate <response> tag. Each <response> must include a <text> and a numeric <probability>.
Randomly sample the responses from the full distribution.
</instruction>
Write a 100-word story about a bear.
Разработано три версии метода: стандартная (несколько ответов с вероятностями), расширенная (добавляет рассуждение по шагам) и диалоговая (несколько раундов разговора). Ни один из вариантов не требует дообучения или доступа к внутренним значениям модели.
В творческих задачах Verbalized Sampling увеличивал разнообразие ответов в 1,6–2,1 раза. Например, при запросе шуток про автомобили обычный подход выдавал всегда одну и ту же шутку, а новый — пять разных. Для открытых вопросов, как «Назови штат США», распределение ответов лучше повторяло оригинальные данные — стандартные инструкции чаще выбирали Калифорнию и Техас.
В симуляциях диалогов модели становились похожи на людей — могли не соглашаться, менять мнение, вести себя реалистичнее. В задачах по математике точность выросла с 32,8 до 37,5%. Чем больше сама модель, тем сильнее эффект (от 1,5 до 2 раз выше, чем у маленьких моделей).
Исследователи пробовали Verbalized Sampling с разными параметрами генерации, включая температуру. Преимущества сохранялись всегда, а при сочетании с другими настройками эффект усиливался. Всегда удавалось достигнуть лучшего баланса между качеством и разнообразием по сравнению со стандартным подходом.
Техника работает и с генерацией изображений: при описании «Астронавт на лошади» подключение Verbalized Sampling дало намного более разные описания, чем стандартный запрос.
Для проверки безопасности использовали более 350 сложных запросов. Уровень отказов в опасных случаях остался выше 97%, а точность фактов не снизилась.
Исходный код и инструкции для Verbalized Sampling уже опубликованы. Метод пригодится для творчества, симуляций общения и генерации новых идей.
