В материалах по иску The New York Times к OpenAI и Microsoft появились новые неотредактированные данные. Они показывают, что внутри компаний обучение ИИ на чужом контенте сами сотрудники сравнивали с кражей, а влияние таких продуктов на издателей называли угрозой для их бизнеса.
Речь идет о трехлетнем споре, в котором The New York Times обвиняет OpenAI и Microsoft в нарушении авторских прав при обучении генеративных моделей на материалах издания. Как отмечается в документах, значительная часть новых сведений взята из ходатайства самой газеты, а исходные приложения к делу по-прежнему остаются закрытыми. Цитаты в публикации приведены без исходного контекста.
В иске сказано, что топ-менеджер Microsoft в частной переписке назвал практику обучения ИИ на собранных данных «кражей». Руководители OpenAI, по версии истца, также признавали, что такие модели несут «экзистенциальную угрозу» для издателей и журналистов, чьи тексты использовались для обучения.
В документах также описано, как компании, предположительно, получали этот контент: обходили платные доступы без обнаружения, массово собирали данные для обучающих наборов и удаляли уведомления об авторских правах из материалов перед их использованием в обучении моделей.
Вопрос о том, могут ли ИИ-компании законно использовать защищенные авторским правом материалы для обучения, пока не имеет однозначного ответа. При этом суды в ряде случаев относились благосклонно к доводу о «добросовестном использовании» — норме, которая в отдельных ситуациях разрешает применять чужие материалы без лицензии, например для пародии, новостного освещения или критики. Ранее в этом месяце администрация Трампа направила документ в защиту использования OpenAI нелицензированного контента для обучения больших языковых моделей.
Однако новые признания, приведенные в иске, по мнению The New York Times, противоречат линии защиты о добросовестном использовании. В частности, это касается требования, по которому такое использование не должно подменять оригинал и вредить рынку для исходного произведения.
Так, внутренние данные Microsoft показывают, что «answer engine» в Copilot снизил переходы на сайт The New York Times на величину до 93% по сравнению с обычным поиском Bing.
Во внутренней презентации Microsoft, подготовленной директором по прикладной науке Брентом Хектом в январе 2024 года, это падение названо «doom loop». По его оценке, такой эффект будет «одновременно ухудшать качество наших моделей и всего веба».
В документе Microsoft, как цитируется в материалах дела, сказано: «Крайне необычно, когда конечный продукт угрожает экономической базе своих ключевых поставщиков, но именно такую ситуацию мы создали для нашего бизнеса LLM по отношению к его “цепочке поставок контента”».
Генеральный директор Microsoft Сатья Наделла на допросе в этом году заявил: «Все, что находится за платным доступом, должно лицензироваться любым, кто хочет использовать это для grounding или обучения». Он также сказал, что если бы узнал, что OpenAI собирала и использовала для обучения данные из-за paywall, то потребовал бы от OpenAI переобучить модели.
Другие высказывания касаются того, насколько ИИ-продукты подменяют исходные источники. Руководитель ChatGPT Ник Терли во внутренней переписке писал, что издатели сталкиваются с «экзистенциальной угрозой» со стороны чат-ботов, которые «в значительной степени являются заменой» и будут становиться такой заменой по мере улучшения.
Президент OpenAI Грег Брокман называл модели «отличными в новостях». Наделла под присягой также согласился, что общение с чат-ботами уже подменяет ситуацию, когда пользователь получает информацию прямо на сайте источника, вместо этого видя ее на ИИ-платформе.
Отдельный документ Microsoft предупреждает о «реальном риске» того, что генеративный ИИ может существенно нарушить занятость людей, которые создали данные, на которых затем обучались базовые модели.
В материалах дела впервые раскрывается и масштаб копирования. В промежуточных обучающих наборах OpenAI, как утверждается, содержится более 91 692 копий работ, опубликованных NYT, Daily News и Center for Investigative Reporting.
Набор данных на базе Common Crawl, по данным иска, включал более 2 млн документов только с nytimes.com.
Во внутренней записке за январь 2023 года Брент Хект назвал это «поразительной кражей беспрецедентного масштаба» и «крупнейшей кражей труда в истории человечества».
Иск также подробнее описывает, как OpenAI и Microsoft, по версии истцов, получали контент. В частности, говорится о сборе материалов через Bing Index.
В документе сказано: «OpenAI передала Microsoft весь обучающий набор данных GPT-3, который Microsoft использовала для оценки того, как внедрить модели OpenAI в собственные коммерческие продукты». Там же утверждается, что Microsoft, в свою очередь, передавала обучающие данные OpenAI через инициативы Project Taxi и Project Mango.
По версии истцов, данные Project Mango были собраны в обучающий набор, содержащий копии как минимум 160 903 уникальных работ новостных издателей.
Чтобы получить больше данных при скрейпинге, сотрудники OpenAI, как утверждается в иске, придумали способ обходить paywall без обнаружения. Согласно материалам, когда исследователь OpenAI Ник Райдер сообщил Грегу Брокману о «hack to get around nytimes paywall», тот ответил: «ah nice».
В иске также говорится, что сотрудники OpenAI создавали наборы вроде WebText и WebText2, которые в большой степени опирались на собранный новостной контент. Кроме того, они, как утверждается, загружали миллионы статей из Common Crawl и целенаправленно удаляли уведомления об авторских правах до того, как данные попадали в модель, поскольку исследователи «wouldn’t want model outputting» «copyright notices» пользователям.
OpenAI и Microsoft не ответили на запросы о комментарии.
Источник: материалы иска The New York Times к OpenAI и Microsoft.
