Cloudflare внедряет подход, при котором доступ ИИ-сканеров к сайтам возможен только с согласия владельцев, чтобы у создателей контента появилось больше контроля. Крупные медиа-компании поддерживают такой шаг и считают, что он поможет выстроить честные правила для уникального цифрового контента.
Теперь Cloudflare автоматически предлагает владельцам новых сайтов блокировать ИИ-сканеры, которые запрашивают контент без явного разрешения. Компания заявляет, что хочет восстановить баланс между авторами и ИИ-компаниями.
В новой системе ИИ-компании должны указывать причину сбора данных: обучение моделей, поиск или вывод ответов. Владельцы сайтов сами решают, открывать ли доступ к контенту.
Cloudflare считает, что автоматическая загрузка и использование чужого контента ИИ-системами без указания источника или оплаты больше не приемлемы.
CEO Cloudflare Мэттью Принс отметил: “Оригинальный контент — это то, что сделало Интернет величайшим изобретением века, и очень важно, чтобы авторы продолжали создавать его”. Компания предупреждает: без стимулов создавать качественный контент Интернет со временем сильно потеряет. Бизнес Cloudflare напрямую зависит от сайтов и их посетителей.
С сентября 2024 года владельцы ресурсов на Cloudflare могут одним нажатием блокировать ИИ-сканеры. Более миллиона клиентов уже воспользовались этой возможностью.
Cloudflare идет дальше: при регистрации новых доменов теперь по умолчанию предлагается разрешить или запретить доступ ИИ-сканерам. Владельцам не нужно вручную менять настройки, но они могут сделать это при желании.
Для большей прозрачности компания помогает разрабатывать новый протокол для стандартной идентификации ИИ-ботов. Это должно упростить проверку и блокировку анонимных сканеров.
Также Cloudflare запускает закрытое тестирование сервиса Pay Per Crawl — объединив платформу и рынок, где издатели могут брать плату c ИИ-компаний за каждую загрузку страниц. Теперь вместо простого разрешения или блокировки, издатель сам устанавливает цену, а ИИ-компания решает, платить ли за доступ к сайту.
Эту инициативу поддержали крупные издательства. CEO Condé Nast Роджер Линч назвал это “важным шагом к честному ценообразованию в интернете”. Глава Dotdash Meredith Нил Фогель отметил, что теперь доступ получат только те, кто готов к честному сотрудничеству. Представитель Gannett Media сказал, что запрет на несанкционированный сбор данных и бесплатное использование их контента — “важнейший аспект”. Аналогичные мнения высказали Pinterest, Reddit и Ziff Davis.
Среди сторонников этой политики — TIME, BuzzFeed, The Atlantic, Snopes, Sky News Group, USA TODAY Network, Reddit, Quora, Pinterest, Stack Overflow, Digital Content Next, IAB Tech Lab и O’Reilly Media. Все они считают новую схему первым шагом к более справедливому взаимодействию между ИИ-компаниями и создателями онлайн-контента.
В интервью CEO Cloudflare Мэттью Принс предупредил: бизнес-модель открытой сети в опасности. Если 10 лет назад Google приводил одного посетителя на сайт за каждые две просмотренные страницы, то сегодня этот показатель — 18 к 1. А ИИ-модели, такие как OpenAI и Anthropic, могут обрабатывать до 60 000 страниц на одного посетителя сайта.
Исследования показывают: ИИ-ответники, даже указывая ссылки, серьёзно снижают трафик для владельцев ресурсов. При этом эти ИИ-системы обучаются на контенте сайтов и выдают актуальные ответы, используя новые данные прямо с чужих страниц. Без открытого доступа к сайтам такие сервисы работать бы не могли.
