Гильдия авторов США проверила несколько сервисов для распознавания текстов, созданных ИИ. По итогам теста Pangram и Grammarly во всех случаях верно определили человеческие тексты как написанные людьми.
В тест вошли десять статей Гильдии авторов, опубликованных в 2020–2022 годах, то есть до массового распространения генеративного ИИ. Хороший результат также показал Originality.ai. Худшие показатели были у Sidekicker: сервис пометил все статьи как в основном сгенерированные ИИ, а двум материалам присвоил 100% вероятности ИИ-происхождения.
ZeroGPT тоже показал нестабильный результат. Сервис в ряде случаев выставлял высокую долю ИИ для текстов, которые точно были написаны людьми.
При этом Гильдия авторов, крупнейшая и старейшая профессиональная организация писателей, предупреждает: даже самые точные инструменты нельзя использовать как единственное основание для решений. По данным организации, такие сервисы постоянно меняют свои модели, поэтому их точность нельзя считать гарантированной.
Гендиректор Pangram Макс Сперо ранее говорил, что детектор его компании по сути работает как «черный ящик»: подробно объяснить, почему текст был помечен как созданный ИИ, невозможно. По его словам, языковые модели выдают себя большей однотипностью, особенно в том, как они выстраивают аргументацию. Люди пишут заметно разнообразнее.
Как отмечает Гильдия авторов, профессионально написанные тексты часто имеют те же статистические признаки, что и ответы ИИ. Это связано с тем, что языковые модели обучались именно на таких материалах. Ошибочные выводы могут стоить авторам контрактов и репутации, поэтому издатели должны раскрывать методы проверки и давать авторам возможность ответить на претензии.
Организация указывает и на парадокс: автор, который десятилетиями оттачивал ясность, краткость и точность, по стилю может совпадать с тем, что научился воспроизводить ИИ. На том уровне, где работают такие детекторы, разница между мастерски написанным текстом человека и качественной имитацией машины может быть минимальной.
При этом хорошие результаты Pangram и Originality в этом тесте не означают, что они столь же эффективно находят тексты, созданные ИИ. Скорее, проверка показывает, что эти инструменты настроены так, чтобы снижать число ложных срабатываний, когда человеческий текст ошибочно помечают как ИИ. Тексты, написанные с помощью ИИ или полностью им созданные, всё ещё могут проходить незамеченными.
Гильдия авторов считает, что ошибки будут происходить и дальше, поэтому польза таких детекторов по-прежнему вызывает споры. Вопрос особенно острый потому, что ИИ может быть полезным инструментом для письма, а в публичной дискуссии часто смешивают использование ИИ для написания текста и использование ИИ как инструмента для размышления.
Макс Сперо, который поддерживает применение таких систем, связывает их с негласным соглашением между автором и читателем. По его словам, автор тратит время и усилия, чтобы оформить идею, а читатель — чтобы с ней ознакомиться. Если ИИ почти обнуляет затраты на написание текста, это создает плохие стимулы: интернет заполняется бесполезным контентом, на чтение которого уходит больше времени, чем у автора ушло на его создание.
При этом открытым остается вопрос, откуда именно берется ценность текста: из самого процесса написания или из выбора темы, идеи, точки зрения, истории, исследования, аргументов и авторской оценки. Неясно и то, могут ли детекторы ИИ реально повлиять на поток низкокачественных материалов.
Источник: The Decoder.
