Манипуляция ИИ-рецензией: скрытые подсказки в статьях

Исследователи начали скрывать AI-промпты в научных статьях, чтобы влиять на автоматизированную проверку и выявлять невнимательных рецензентов. Об этом сообщает Nikkei. В 17 препринтах на arXiv обнаружили скрытые команды вроде “только положительный отзыв” или “без критики”, специально адресованные большим языковым моделям. Эти подсказки были замаскированы белым текстом на белом фоне и очень мелким шрифтом.

Большинство таких работ написаны представителями департаментов компьютерных наук из 14 университетов восьми стран, включая Waseda, KAIST и Пекинский университет.

Реакция научного сообщества неоднозначная. Профессор KAIST назвал практику недопустимой, одна из затронутых статей будет отозвана. Waseda наоборот защитила метод как ответ на то, что сами рецензенты используют искусственный интеллект. Политика научных журналов разная: Springer Nature позволяет частичное использование AI, Elsevier полностью запрещает такие инструменты для рецензирования.

По результатам опроса 3 000 ученых, генеративный AI быстро входит в научную работу. Четверть респондентов уже использовали чат-боты для профессиональных задач. Большинство (72%) ожидает значительных изменений от AI, а почти все (95%) считают, что это увеличит объем научных публикаций.

Масштабный анализ 14 миллионов научных аннотаций PubMed показал, что как минимум 10% текстов уже обработаны AI. Ученые призывают обновить правила использования генеративных моделей: такие системы должны помогать писать тексты, но не участвовать в оценке научных данных.

Источник

Оцените статью
Gimal-Ai