Гендиректор сервиса для выявления ИИ-текстов Pangram Макс Сперо заявил, что для обхода системы нужны более сильные аргументы, чем обычно используют авторы таких текстов. Об этом он рассказал в интервью AI Policy Perspectives.
По словам Сперо, классификатор Pangram на базе глубокого обучения работает как «чёрный ящик». «У нас нет большого понимания того, почему он делает именно такие предсказания», — сказал он. Сервис показывает подозрительные фразы как подсказки, но сама модель, по его словам, улавливает структурные паттерны, которые языковая модель оставляет при построении документа.
Сперо добавил, что даже команда Pangram не до конца понимает эти паттерны. При этом он считает, что языковые модели, возможно, превосходят среднего человека по грамматике и логике, но их тексты куда более однотипны.
Он привёл пример: если попросить большую языковую модель подготовить 100 аргументов по одной теме, ответы будут сгруппированы в узком диапазоне. В случае с людьми, по его словам, набор аргументов обычно намного более разнообразен.
Источник: AI Policy Perspectives.
