Pangram выпустила версию 3.0 своего детектора AI-текста. Главное нововведение — инструмент теперь делит тексты на четыре категории вместо простой градации “человек” или “ИИ”.
Типы текстов: полностью написанный человеком, немного изменённый ИИ, существенно доработанный ИИ и полностью сгенерированный ИИ. В длинных документах Pangram 3.0 анализирует отдельные фрагменты, чтобы обнаружить, если человек писал часть текста, а ИИ — остальное.
В компании уточнили, что система отслеживает уровень вмешательства ИИ. Категория “легкая помощь ИИ” включает исправления орфографии, грамматики или перевод, если смысл не изменён. Если ИИ переписывал большие фрагменты, добавлял детали или менял структуру, текст попадает в категорию “умеренная помощь”. Полная генерация, например через ChatGPT, отмечается как “полностью созданный ИИ”.
Pangram отмечает, что для обучения AI-системы научили редактировать тексты с разной интенсивностью, об этом говорится в техническом блоге компании (Paper).
По данным Pangram, новая модель распознаёт AI-текст с точностью до 99,98%, а ложные срабатывания почти отсутствуют. Компания сообщает, что эссе, написанные человеком, обычно определяются корректно.
Эти показатели заявлены самой Pangram и не подтверждены независимой экспертизой. Компания признаёт: границы между категориями — “скорее искусство, чем наука“. Четкой границы между “легкой” и “умеренной” помощью ИИ нет.
Подробная категория из четырёх уровней — платная функция. Бесплатная версия отображает слегка доработанный текст как “человеческий”, а умеренно доработанный — как “созданный ИИ”.
До выхода версии 3.0 независимое исследование Университета Чикаго показало выше среднего результаты Pangram. В исследовании отмечается: при анализе средних и длинных текстов практически отсутствовали ложноположительные и ложноотрицательные ответы, инструмент оказался устойчив к обходу через сервисы-“очеловечиватели”.
Однако сами исследователи предупредили о гонке технологий между детекторами, AI-моделями и инструментами обхода. Насколько вообще стоит использовать такие детекторы, остаётся спорным вопросом. AI-эксперт Андрей Карpathy, например, считает обнаружение AI-текстов ошибочным путем и предлагает пересмотреть образовательную систему: «Это фундаментальный провал. Нужно менять подходы к обучению».
