Microsoft опубликовала технический отчёт, в котором системно оценивает способы отличить подлинные фото и видео от материалов, созданных ИИ. Выводы пессимистичны: ни один метод сам по себе не даёт гарантированно верного результата, а сочетания подходов тоже имеют пределы надёжности. При этом неясно, будет ли компания последовательно внедрять собственные рекомендации.
Отчёт под названием «Media Integrity and Authentication: Status, Directions, and Futures» подготовлен в рамках программы LASER по долгосрочной безопасности ИИ под руководством главного научного сотрудника Microsoft Эрика Хорвицa. Команда специалистов из сфер ИИ, кибербезопасности, социальных наук, человеко-машинного взаимодействия, политики и управления несколько месяцев изучала три ключевые технологии: криптографически защищённые метаданные происхождения, невидимые водяные знаки и цифровые «отпечатки» (soft-hash).
Метаданные происхождения на базе открытого стандарта C2PA добавляют к файлу криптографически подписанную информацию: кто создал контент, каким инструментом, какие правки были внесены. При последующем вмешательстве подпись перестаёт сходиться с данными, и подделка обнаруживается. Невидимые водяные знаки встраивают сведения прямо в содержимое медиа, они не заметны глазу или уху и могут сохраняться при публикации в соцсетях и другой обработке.
Цифровые «отпечатки» рассчитывают короткий математический код по содержимому изображения или видео и сохраняют его в базе. При проверке нового файла код сравнивается с эталонами и показывает, соответствует ли контент уже известному оригиналу. Таким образом методы дополняют друг друга: один опирается на историю создания файла, второй — на скрытую метку, третий — на сопоставление с каталогом уже зарегистрированных материалов.
По данным отчёта, у каждого подхода есть серьёзные недостатки. Метаданные происхождения легко удалить: достаточно скриншота. Водяные знаки дают вероятностный результат — возможны как ложные срабатывания, так и пропуск подделок. Цифровые «отпечатки» подвержены коллизиям, когда разные файлы дают один и тот же код, а также требуют значительных ресурсов для хранения баз.
Отдельно подчёркивается часто игнорируемый момент: даже подтверждённые метаданные не гарантируют правдивость содержимого. Они только показывают, что контент после подписи не изменялся. В беседе с MIT Technology Review Эрик Хорвиц отметил, что ему регулярно приходится объяснять это законодателям: цель системы — не определять истину, а помечать источник происхождения материала.
Исследователи смоделировали 60 комбинаций трёх технологий и протестировали их в реалистичных сценариях атак. Лишь 20 комбинаций обеспечили так называемую аутентификацию с высокой степенью уверенности. Это достигается, когда есть подтверждённый манифест C2PA с контрольными суммами, совпадающими с содержимым, либо когда обнаруженный водяной знак указывает на такой манифест во внешнем хранилище.
Оставшиеся 40 вариантов дают низкий уровень уверенности или вовсе не позволяют сделать надёжные выводы. В отчёте Microsoft рекомендует, чтобы публичные инструменты верификации отображали только результаты с высокой степенью уверенности. Менее надёжные сигналы, вроде возможных совпадений цифровых «отпечатков», предлагается показывать только судебным экспертам и специалистам по расследованиям, так как слабые сигналы могут вносить больше путаницы, чем ясности.
Отдельный раздел посвящён так называемым «реверсивным атакам» — манипуляциям, которые используют сигналы подлинности против пользователя. В одном из сценариев злоумышленник берёт реальное фото и минимально меняет его с помощью ИИ. Файл корректно подписывается как «изменённый ИИ», однако платформа с некорректной логикой отображения может показать просто «создано ИИ», не уточняя масштаб правок, и тем самым дискредитировать исходный снимок.
В другом сценарии злоумышленник генерирует изображение с помощью ИИ, удаляет водяной знак и манифест, а затем добавляет поддельный манифест, якобы созданный камерой. Без надёжных списков доверенных подписантов инструмент проверки может пометить такое изображение как подлинное. Это подчёркивает важность инфраструктуры доверия к сертификатам.
Microsoft рекомендует платформам при показе данных о происхождении контента всегда отображать так называемый объём правок (edit scope) — где и какие изменения были внесены. Также стоит выводить превью исходного медиа. Платформам распространения вроде соцсетей предлагается передавать полные данные манифеста, чтобы пользователи могли проверять их через специализированные сервисы.
По оценке авторов, по-настоящему доверять результатам проверки можно лишь в случае, если создание и подпись медиа происходят в защищённой облачной среде. Обычные компьютеры не обеспечивают достаточной защиты: администраторы могут модифицировать программы и злоупотреблять криптографическими ключами. Смартфоны на Android и iOS выглядят лучше за счёт механизмов, которые различают модифицированные и неизменённые версии операционной системы.
Ситуация с камерами неоднородна. Новые модели вроде Google Pixel 10, Nikon Z6 III и Canon EOS R1 уже поддерживают стандарт C2PA. Бюджетные компактные камеры обычно не имеют защищённых чипов. Microsoft советует использовать аппаратные «защищённые анклавы» — изолированные части процессора, где операции вроде подписи контента недоступны другим программам, а также переходить на спецификацию C2PA версии 2.3 и выше, где впервые введены уровни безопасности для сертификатов подписи.
Инструменты на базе ИИ для обнаружения дипфейков в отчёте рассматриваются как вспомогательные и второстепенные. По данным команды Microsoft по ИИ и общественным интересам, закрытые детекторы достигают около 95% точности в условиях без целенаправленных атак. Свободно доступные решения в тестах показали менее 70%.
Авторы описывают фундаментальный парадокс: чем лучше работает детектор, тем больше пользователи доверяют его выводам. Однако ошибки наиболее точных систем — особенно пропущенные подделки — наносят наибольший ущерб, именно потому что им верят сильнее. К тому же детекторы ведут постоянную гонку с атакующими: исследования показывают, что продвинутые атаки могут снижать точность некоторых систем до менее чем 30%.
Отчёт также анализирует законодательные инициативы разных стран. В Калифорнии с августа 2026 года вступит в силу закон о прозрачности ИИ, который требует от поставщиков внедрять в контент, созданный ИИ, видимые и скрытые пометки, практически не поддающиеся удалению, насколько это технически возможно. Закон ЕС об ИИ обязывает машинно помечать синтетический контент как созданный ИИ, за нарушения предусмотрены штрафы до трёх процентов глобальной выручки или 15 млн евро — что больше.
Аналогичные нормы уже действуют или готовятся в Китае, Индии и Южной Корее. Microsoft напрямую предупреждает, что часть таких требований технически невыполнима: видимые водяные знаки могут удалить даже непрофессионалы, невидимые по современным методикам — квалифицированные атакующие. Недавние работы показывают, что редактирование на базе диффузионных моделей способно разрушать даже устойчивые водяные знаки. Форсированное внедрение слабо работающих систем, по мнению авторов, рискует подорвать доверие общества к механизмам аутентификации в целом.
В отчёте говорится, что ожидания регуляторов нужно повышать постепенно, по мере развития исследований и появления методов, которые можно масштабно внедрять. В интервью MIT Technology Review Хорвиц описал документ как рекомендацию по саморегулированию отрасли, но признал, что он также служит укреплению репутации Microsoft как поставщика, которому можно доверять. Он заявил, что компания стремится быть предпочтительным провайдером для людей, которые хотят понимать, что происходит вокруг.
На вопрос MIT Technology Review о том, внедрит ли Microsoft собственные рекомендации на всех платформах, Хорвиц ответил уклончиво. В письменном комментарии компания отметила, что в исследовании участвовали продуктовые команды и руководство, а команды разработки будут действовать на основе выводов отчёта. Обязательства ввести предложенную архитектуру во всех сервисах, по данным издания, не зафиксированы.
Microsoft управляет крупной экосистемой ИИ: это Copilot, облачная платформа Azure для доступа к моделям OpenAI и других разработчиков, профессиональная сеть LinkedIn и многомиллиардные инвестиции в OpenAI. Профессор цифровой криминалистики Калифорнийского университета в Беркли Хани Фарид, не участвовавший в работе, заявил MIT Technology Review, что отраслевое внедрение такой схемы заметно усложнит задачу по обману публики с помощью манипулированного контента.
По словам Фарида, продвинутые злоумышленники и государственные акторы смогут обходить такие системы, однако существенная часть вводящих в заблуждение материалов будет отсечена. Он подчеркнул, что это не полное решение проблемы, но значимый шаг к её уменьшению.
Источник: MIT Technology Review, технический отчёт Microsoft «Media Integrity and Authentication: Status, Directions, and Futures».
