Исследователи из Университета Карнеги-Меллона провели анализ, который показал, что большие языковые модели (LLM), такие как ChatGPT и Llama, пишут иначе, чем люди. Результаты работы опубликованы в Proceedings of the National Academy of Sciences.
Главное отличие — модели не адаптируют стиль письма под контекст, тогда как люди меняют манеру речи в зависимости от ситуации. «Мы адаптируем стиль письма в зависимости от обстоятельств: иногда пишем формально, иногда неформально. LLM же сохраняют свой уникальный стиль, который отличается от человеческого», — объяснил ведущий автор исследования Алекс Райнхарт.
Чтобы выявить эти отличия, учёные заставили ИИ генерировать текст в разных жанрах, включая сценарии и научные статьи. Анализ выявил различия в грамматике, лексике и стиле.
- LLM гораздо чаще используют причастные обороты. Например, предложение от GPT-4o: «Брайан, опираясь на свою ловкость, уклоняется от тяжёлых ударов Шоу» — построено по схеме, которую люди используют реже.
- Номинализации (преобразование глаголов в существительные, например «анализ» вместо «анализировать») встречаются у ИИ в 1,5–2 раза чаще.
- Пассивный залог без указания действующего лица у LLM встречается вдвое реже, чем в текстах людей.
Отличается и словарный запас. ChatGPT любит слова «camaraderie» (товарищество) и «tapestry» (гобелен, мозаика) – в 150 раз чаще, чем люди. А Llama предпочитает «unease» (тревожность, беспокойство) – в 60–100 раз чаще. Также модели часто используют «palpable» (ощутимый) и «intricate» (замысловатый, сложный).
Почему это важно? По словам соавтора исследования Дэвида Веста Брауна, учёные хотели показать, в каких ситуациях использование LLM уместно, а в каких – нет. Например, для заполнения медицинских карт стиль не важен, но при написании сопроводительного письма при приёме на работу оригинальность играет ключевую роль.
Также исследователи изучают, насколько ИИ может оценивать человеческие тексты. Докторант Бен Марки тестирует, будет ли LLM ставить одинаковые оценки за эссе при повторной проверке или каждый раз менять результаты.
Райнхарт сравнивает LLM с калькуляторами: «Калькулятор выполняет ту же математику, что и человек, но без ошибок. А LLM выдаёт совсем другой текст, нежели написал бы человек».
Исследование продолжается, и учёные планируют глубже изучить, как обучение на инструкциях влияет на стиль письма ИИ.
