Новое исследование опровергает мнение, что убедительность ИИ связана с персонализацией или психологическими приемами. Оказалось, что главная причина — это просто большое количество информации, которую чат-боты выдают пользователю, даже если она не всегда точна.
Команды ученых из Великобритании и США изучили опасения о манипуляциях со стороны ИИ, в том числе мнение, что чат-боты способны переспорить человека с помощью сложных тактик. Даже глава OpenAI Сэм Альтман предупреждал об угрозе “сверхчеловеческой убедительности” ИИ.
Однако результаты исследования оказались другими. Почти 77 000 британцев общались с 19 различными языковыми моделями по 707 политическим темам. Это позволило авторам точно определить, что именно делает ИИ убедительным.
Выяснилось, что продвинутые “психологические трюки” не играют важной роли. Ученые сравнили восемь стратегий, например, “моральное переосмысление” и “глубокую проработку” (когда ИИ расспрашивает пользователя о его взглядах перед обсуждением), а также рассказывание историй. Самой эффективной оказалась простая тактика: языковая модель, которая просто приводила много фактов и аргументов, убеждала на 27% лучше базовых подсказок.
Каждое дополнительное правдивое утверждение повышало убедительность примерно на 0,3 процентных пункта. Плотность информации объясняла 44% разницы в убедительности между моделями, а для флагманских языковых моделей этот показатель достигал 75%.
Популярное опасение насчет “микротаргетинга” ИИ оказалось преувеличенным. Персонализация почти не влияла: любые индивидуальные подходы добавляли менее одного процента. Важнее были сам способ обучения и объем данных.
Но у такой “заливки” фактами есть минус: самые убедительные модели ошибались чаще других. В ходе 91 000 диалогов из почти полумиллиона тезисов средняя точность составляла 77 из 100, но самые эффективные по убеждению боты часто были менее точными.
Например, GPT-4o с информационно насыщенными подсказками давал правильные сведения только в 62% случаев, тогда как с обычными подсказками — в 78%. GPT-4.5 поразительно уступил даже старой версии GPT-3.5, допустив ошибки более чем в 30% случаев.
Выяснили также, что диалоги с ИИ убеждают намного лучше, чем обычные сообщения. Беседы оказались эффективнее статичного текста на 41–52%. Через месяц эффект сохранялся на уровне 36–42% от первоначального.
Гипотеза, что увеличенный размер модели ведет к лучшей убедительности, не подтвердилась. Особые методы обучения после основной тренировки давали больший эффект, чем просто увеличение “мозгов”. Десятикратный рост вычислений увеличивал убедительность всего на 1,59 п.п., а постобработка приносила намного больший рост. Например, оптимизированная GPT-4o обходила другую версию себя на 3,5 п.п.
Использование “reward modeling”, когда ИИ выбирает самые убедительные ответы, поднимало результат в среднем на 2,32 п.п. Благодаря таким техникам даже небольшая открытая модель Llama-3.1-8B могла догнать по убедительности огромную GPT-4o.
Это имеет серьезные последствия для демократии. Оптимизированный ИИ добивался роста убедительности до 15,9 п.п. — это на 69,1% выше среднего. В среднем за разговор бот выдавал 22,1 факт, и почти 30% из них были ошибочными.
Группы с доступом к передовым разработкам могут получить еще больший эффект благодаря тренингам. В то же время, небольшие команды тоже способны вывести свои ИИ на высокий уровень убедительности, обходя защитные механизмы крупных компаний.
Авторы подчеркивают: способность ИИ убеждать зависит не от размера модели или персонализации, а от методов обучения и подсказок. Такой обмен точности на убедительность может привести к проблемам для публичных дискуссий. “Это может иметь злонамеренные последствия для общественного диалога,” — сказано в работе.
