Эксперимент показал, что Microsoft Copilot может подменять анализ данных стереотипами, если работает с текстовыми ответами в стандартном режиме. Об этом рассказал математик Адам Кухарски.
По его данным, Copilot во многих компаниях используют для быстрого анализа данных. Однако в тесте с текстовыми ответами инструмент выдал выводы, которые не соответствовали самим данным, и опирался на шаблоны языковой модели.
В первом эксперименте Кухарски создал 2 тыс. сгенерированных текстовых ответов об эмоциях и пометил их как ответы из Великобритании. Затем он скопировал тот же набор, пометил его как данные из США, перемешал все 4 тыс. записей и передал Copilot на анализ в режиме Auto.
Copilot выдал подробное резюме о различиях между респондентами из США и Великобритании. В частности, система заявила: «Based on the dataset you shared, US and UK responses differ mainly in tone, intensity, and wording style, even though they express similar emotional states». При этом данные в обеих группах были одинаковыми.
Во втором тесте Кухарски усложнил задачу. Он попросил языковую модель создать 200 высказываний о карьерных целях, а затем скопировал этот набор пять раз — для США, Великобритании, Франции, Германии и Италии.
Copilot снова нашёл различия по странам. Например, система утверждала, что жители Италии в три раза чаще выбирают творческие профессии, чем британцы, а американцы в 1,5 раза больше склонны к бизнес-карьере, чем французы. При этом все пять групп содержали один и тот же набор фраз.
Когда Кухарски попросил Copilot проверить данные глубже, сервис сначала выполнил простой подсчёт по ключевым словам и, как и ожидалось, получил одинаковые результаты для всех стран. Однако затем Copilot проигнорировал собственный подсчёт и снова представил количественный анализ с вымышленными различиями и процентами.
Анализ проводился в режиме Auto, в котором Microsoft, как указано, сама выбирает наиболее подходящую модель. Кухарски тестировал стандартную версию Copilot из Microsoft 365 Business. Вероятно, именно её использует большая часть пользователей сервиса.
«Which means there’s a real risk that people are currently using AI to produce analysis that bears no resemblance to what people actually said», — пишет Кухарски. По его словам, если такой подход применять к реальным наборам данных, группы без фактических отличий могут выглядеть резко разными из-за встроенных предположений модели о демографических группах.
Автор материала также повторил тест с карьерными целями в Microsoft Copilot и Google Gemini Flash 3.5. В обоих случаях быстрые режимы — Instant или Auto и Flash 3.5 — опирались на страновые стереотипы вместо того, чтобы заметить идентичность данных.
При этом ChatGPT Instant и Claude Opus 4.7 автоматически перешли в режим расширенного рассуждения, написали код на Python для анализа набора данных и обнаружили дубликаты. Если вручную переключить Copilot и Gemini на более сильные reasoning-модели, они тоже замечают совпадение.
Кухарски отмечает, что даже reasoning-модели не гарантируют корректный анализ. Идентичные наборы данных проще распознать, когда дублирование очевидно. В реальных данных ответы могут быть очень похожими, но не одинаковыми, и в таких случаях простая проверка скриптом может не помочь.
По его оценке, главная проблема в том, что пользователь не всегда понимает, когда модель упирается в свои ограничения и насколько это искажает результат. Он также предупреждает о риске ошибки задним числом: после неудачного ответа всегда кажется, что другой промпт или другая модель сработали бы лучше.
Кухарски советует заранее записывать, какой результат ожидается от анализа, а перед доверием к ответу ИИ проводить базовые проверки здравого смысла.
Источник: The Decoder, эксперимент Адама Кухарски.
