Исследователи Цюрихского университета показали, что тексты, созданные искусственным интеллектом, всё ещё можно отличить от человеческих. Модели, которые пишут «по-человечески», нередко теряют точность в содержании.
Искусственный интеллект часто используют для имитации поведения людей в социальных исследованиях, например, как цифровых двойников в опросах. Эти методы работают только если ИИ действительно похож на настоящих людей.
Специально обученный классификатор на базе BERT отличал ответы ИИ от человеческих с точностью 70–80 процентов, что намного выше случайного угадывания.
Размер языковой модели почти не влиял на результат: большие и маленькие системы одинаково плохо имитировали стиль человека. Базовые модели часто работали лучше, чем дообученные на инструкциях.
Ученые проверили девять открытых языковых моделей на имитацию общения пользователей X, Bluesky и Reddit. В тестах участвовали Apertus, Deepseek-R1, Gemma 3, Qwen2.5, а также разные версии Llama 3.1 и Mistral 7B.
Разработчики часто применяют сложные методы — подробное описание персонажа и донастройку на специфичных данных. Эксперименты показали: такие методы не только не помогают, но иногда и облегчают определение текста как искусственного. «Некоторые сложные стратегии, такие как донастройка и описания персонажей, не улучшают реалистичность или даже делают текст более заметно искусственным», — отмечают исследователи.
Простые подходы оказались эффективнее. Примеры нужного стиля или контекст из предыдущих сообщений снижали процент обнаружения ИИ, но алгоритмы всё равно чаще выявляли искусственный текст.
Ключевой вывод — невозможно одновременно добиться и естественного звучания, и идеального совпадения по содержанию. Когда сравнивали тексты ИИ и реальные ответы людей, маскировка происхождения сильно искажала смысл. «Наши результаты указывают на компромисс: сделать ИИ “человечным” получается за счет снижения смысла, и наоборот», — пишут авторы.
Такой парадокс: можно подобрать стиль и тон, чтобы ИИ выглядел как человек, но тогда он начинает «говорить» не то, что сказал бы настоящий участник. Сделать оба пункта одновременно пока что не удается.
Даже если подправить длину фраз и структурные моменты, эмоции всё ещё плохо воспроизводятся. Модели постоянно ошибаются с тоном, особенно в эмоциональных или агрессивных сообщениях, а также с жаргоном, эмодзи и хештегами.
Маскировка сработала лучше всего в сети X*, но на Reddit обмануть опытных пользователей почти не вышло. Исследователи подчеркивают, что применять ИИ вместо реальных людей в социальных анализах нужно очень осторожно.
Ранее похожие вопросы уже поднимали ученые из MIT и Гарварда при попытке автоматизации социальных наук ИИ-агентами. Главная трудность – как получить из этого реальные социальные выводы.
Результаты подтвердили эффективность детекторов искусственного текста, таких как Pangram. ИИ-тексты успешно определяются даже без сложных «водяных знаков». Однако социальная значимость этого вопроса — скорее культурная, а не техническая проблема.
*Meta — запрещенная в РФ организация.
