OpenAI начнет добавлять невидимый водяной знак в текст, созданный ChatGPT и Codex, для пользователей в Евросоюзе. Об этом компания сообщила в блоге. Мера вводится для соблюдения требований закона EU AI Act.
Правила прозрачности в рамках EU AI Act вступили в силу 2 августа. Они требуют, чтобы компании, работающие с ИИ, помечали сгенерированный контент так, чтобы другие системы могли распознавать его происхождение.
По данным OpenAI, функция станет доступна в ближайшие недели для подходящих пользователей ChatGPT и Codex на всех тарифах в ЕС. Разработчики, использующие API OpenAI в любой стране, могут включить её для отдельных моделей уже сейчас, но по умолчанию она отключена. Глобально компания пока не делает такую маркировку стандартной.
Водяной знак не является видимым символом. Он работает за счет незаметного изменения выбора слов моделью, формируя паттерн, который человек не видит, но может обнаружить специальный детектор. Поскольку метка встроена в сам текст, она сохраняется при копировании и вставке. OpenAI заявила, что водяной знак не раскрывает личность пользователя и не дал заметного ухудшения качества работы моделей.
Одновременно компания опубликовала технический отчет о методе textGrain. Документ подготовили вместе с исследователями из Пенсильванского университета и Йельского университета. В отчете описан пример, где секретный ключ используется для сортировки вариантов следующего слова при завершении предложения. Когда таких небольших изменений накапливается много, детектор может определить ИИ-текст, используя только сам текст и ключ.
OpenAI признает, что водяной знак можно ослабить редактированием. В одном из тестов замена 10% слов на синонимы снизила точность обнаружения примерно с 92% до 66%. Компания также сообщила, что короткие фрагменты, ответы с математикой и переведенные тексты определять труднее.
«Эти ограничения повлияли на наше решение на первом этапе предоставить доступ к детектору только одобренным исследователям и профильным организациям, которые помогут оценить его стабильность и ответственное применение», — заявили в компании.
OpenAI также предупредила, что отсутствие водяного знака «не доказывает, что текст написал человек». По словам компании, текст мог быть слишком коротким, слишком сильно отредактированным или созданным другой ИИ-системой.
«[Водяные знаки] могут показать, что система OpenAI сгенерировала или обработала часть текста, но не показывают, какую часть вклада внес человек — в суждения, редактирование или творческую работу», — заявила компания.
Объявление OpenAI вышло через два месяца после аналогичного шага Anthropic. Ранее Anthropic сообщила, что будет добавлять водяные знаки в текст, созданный Claude, по всему миру. Это решение вызвало критику со стороны части пользователей, которые заявили, что именно они задают «инструкции, контекст и решения», а Claude остается лишь инструментом.
Как сообщала The Wall Street Journal в 2024 году, OpenAI уже создавала систему водяных знаков для текста, но отложила запуск. Одна из причин — опасение, что пользователи перейдут к конкурентам, которые не применяют такую маркировку.
Anthropic, Google, Meta, Microsoft и OpenAI входят в число компаний, которые обязались следовать европейскому кодексу практики по маркировке контента, созданного ИИ.
Источник: блог OpenAI, The Wall Street Journal.
*Организация Meta (владелец Facebook и Instagram) признана экстремистской организацией и ее деятельность запрещена на территории России.
