Microsoft частично обучала новые модели MAI на данных из открытого интернета без лицензии, следует из технического документа компании. Как отметил Саймон Уиллисон, в числе источников указан Common Crawl.
Это расходится с прежними заявлениями Microsoft о том, что модели MAI обучались только на «данных корпоративного уровня, очищенных и лицензированных для коммерческого использования».
В документе Microsoft описывает обучающие данные как «смесь общедоступных и лицензированных данных, созданных людьми». Для сбора данных из интернета компания, по ее словам, использует собственный веб-краулер, который соблюдает Robots Exclusion Protocol, файл robots.txt, а также связанные метатеги и HTML-настройки, чтобы владельцы сайтов могли управлять доступом к своему контенту и его использованием.
Как и другие разработчики ИИ, Microsoft, вероятно, опирается на принцип fair use, который допускает ограниченное использование материалов без лицензии. При этом правовой статус такого подхода пока остается предметом споров, и суды продолжают рассматривать подобные дела.
Материал The Decoder подчеркивает, что Microsoft действует так же, как и другие компании, обучающие ИИ на веб-данных, но при этом представляла свои обучающие наборы как особенно «чистые». Технический документ показывает, что это описание не вполне соответствует фактическим источникам данных.
Источник: The Decoder, технический документ Microsoft, комментарий Саймона Уиллисона.
