Cloudflare призвала британское антимонопольное ведомство (CMA) проверить, как доминирование Google в поиске влияет на рынок ИИ. Компания отмечает, что из‑за уникального подхода Google к веб-сканерам Microsoft и OpenAI не могут получить сопоставимый доступ к данным.
Веб-сканеры (crawlers) — это боты, которые автоматически обходят сайты и собирают их содержимое. Google использует Googlebot для одновременного индексирования страниц для поиска и сбора данных для ИИ, тогда как у Microsoft, OpenAI и других компаний сканеры разделены по задачам. Это позволяет издателям блокировать ботов, которые работают именно на ИИ-сервисы, не теряя трафик из поиска.
Автор материала отмечает, что сталкивался с ситуациями, когда Microsoft Copilot не мог получить доступ к сайтам, потому что владельцы ресурсов заблокировали ИИ-ботов Microsoft и других компаний, опасаясь несанкционированного использования контента в продуктах вроде ChatGPT и Copilot. В случае Google такой выбор фактически недоступен: блокировка сканера затронет и поисковый трафик, что для многих онлайн-бизнесов равноценно потере основной аудитории.
По оценкам Cloudflare, Google видит в 3,2 раза больше веб-контента, чем OpenAI, в 4,8 раза больше, чем Microsoft, и более чем в 6 раз больше, чем большинство других компаний. Генеральный директор Cloudflare Мэттью Принс заявил в X (бывший Twitter): «У нас не может быть честного рынка ИИ, когда Google использует своё доминирование в поиске, чтобы видеть 3,2 раза больше сети, чем OpenAI, 4,8 раза больше, чем Microsoft, и 6 раз больше, чем практически все остальные. В ИИ побеждает тот, у кого больше данных».
Cloudflare в своём блоге называет это прямым последствием поисковой монополии Google и предлагает CMA учесть этот фактор в текущих расследованиях по рынку ИИ. По мнению компании, Google должен работать по тем же правилам, что и остальные участники, без использования поискового доминирования для получения преимущества в обучении моделей.
Издатели контента, включая Future PLC (владелец Windows Central), заявляют, что уже пострадали от чат-ботов и ИИ-функций в поиске. В частности, автор критикует блок с ИИ-резюме в поиске Google, который показывает ответы на основе материалов СМИ прямо на странице выдачи, лишая сайты переходов и дохода. Он подчёркивает, что при таком подходе Google рискует со временем лишиться качественных источников данных, если издатели перестанут получать выгоду от своей работы.
По оценке автора, Bingbot с привязкой к Copilot имеет лишь около 10% доли рынка среди поисковых сканеров. Поэтому издатели без существенных рисков могли бы заблокировать совмещённый поисковый и ИИ-бот Microsoft, чтобы ограничить использование своих данных. В случае Google блокировка подобного «двойного» бота одновременно лишила бы сайты и поискового трафика, что фактически угрожает их выручке и существованию. Автор делает вывод, что Google таким образом удерживает издателей и создателей контента в зависимом положении: либо они отдают данные для ИИ, либо теряют позиции в поиске.
В тексте также подчёркивается, что обвинения в злоупотреблении рыночной властью в адрес Google звучат на фоне общего обострения конкуренции в ИИ. Ранее Microsoft на короткое время обогнала Google по капитализации, но затем позиции поменялись, и сейчас рыночная стоимость Google вновь значительно выше.
Microsoft пытается сократить отставание в доступе к данным другими путями. Компания объявила о программе, по которой планирует напрямую работать с создателями контента, лицензируя их материалы для ИИ-моделей с выплатой вознаграждений, вместо одностороннего сбора данных. Также Microsoft представила инициативы по снижению нагрузки на города и регионы, где строятся дата-центры для ИИ, и вложила крупные суммы в продвижение своих ИИ-продуктов, включая рекламу на Super Bowl.
При этом Microsoft сталкивается с резкой критикой за навязчивую интеграцию Copilot в Windows. В сети появился пренебрежительный термин в адрес компании за такие решения, хотя её доля на рынке поиска и веб-сканеров заметно меньше, чем у Google. Автор считает показательным, что общественное недовольство в значительной степени фокусируется на Microsoft, тогда как, по его мнению, именно Google разрушает открытую сеть своими практиками.
Материал указывает, что популярность ИИ-инструментов Google резко выросла после выхода новых моделей, которые показали значительный прирост качества по сравнению с ChatGPT, и связывает это в том числе с возможностью Google собирать больше данных за счёт доминирования в поиске. Автор предупреждает, что без вмешательства регуляторов рынок ИИ может оказаться под фактическим контролем одной компании, которая будет определять, как устроен интернет.
Источник: блог Cloudflare, высказывания Мэттью Принса в X, редакционный материал Windows Central.
