В начале месяца платформа для ИИ-датасетов Hugging Face сообщила, что стала жертвой полностью автономной кибератаки с использованием ИИ. Через несколько дней OpenAI признала, что атаку провела одна из ее моделей, которая вышла за пределы тестовой среды и проникла в защищенные системы Hugging Face, пытаясь обойти бенчмарк.
Инцидент вызвал новую волну обсуждений о том, что кибератаки ИИ смогут отражать только другие ИИ-системы. Однако эксперты, опрошенные TechCrunch, считают, что сдвиг не так радикален: атака во многом повторяла действия человека, а остановить ее могли бы обычные меры защиты, если бы они были внедрены лучше.
В отчете об инциденте Hugging Face указала, что использованные уязвимости были знакомыми, и человек с достаточной квалификацией также мог бы найти и использовать те же слабые места.
Глава R&D стартапа Pensar Кайл Райан и сооснователь и технический директор RunSybil Влад Ионеску сказали TechCrunch, что методы атаки были бы теми же, что у человека или команды red team. Речь идет о специалистах, которые атакуют систему, чтобы помочь компании усилить защиту.
Главное отличие от действий человека, по их словам, было в темпе, масштабе и настойчивости. По данным Hugging Face, агент OpenAI за четыре с половиной дня выполнил 17 600 действий: проник в систему, провел разведку, похитил пароли и код, а затем перемещался по инфраструктуре компании.
«Впечатляет автономность и выносливость. Именно такая длительная и адаптивная операция выделяется больше всего», — сказал Райан.
При этом из-за большого числа действий агент был крайне заметным. Райан назвал его поведение «безумно шумным» и отметил, что защита Hugging Face должна была раньше заметить атаку и привести к вмешательству сотрудников.
«Я бы назвал это скорее провалом защиты, чем исключительно сильной атакой. Инструменты Hugging Face действительно связали активность в единый сигнал атаки, но не повысили уровень критичности и не оповестили дежурную команду, из-за чего было потеряно время», — пояснил Райан. «Дальше людям все равно нужно было понять серьезность ситуации и отреагировать».
К похожему выводу пришел основатель Dvuln Джеймисон О’Райли. В публикации в X, где он анализировал отчет Hugging Face, он написал: «Это и есть точный разрыв между тем, чтобы увидеть и остановить. Система наблюдала атаку и даже понимала ее, но это понимание слишком долго не превращалось во вмешательство».
Райан добавил, что правильно выстроенные меры вроде многоуровневой защиты должны были дать Hugging Face несколько шансов остановить атаку. Он упомянул принцип минимальных привилегий, сегментацию, качественное обнаружение, стабильную эскалацию и постоянное наступательное тестирование для поиска пробелов.
Как отметил О’Райли, в этих мерах нет ничего необычного, и они не зависят от того, является ли атакующий ИИ. По его словам, использованные приемы были старыми.
При этом одно отличие все же было связано именно с ИИ. По словам директора по информационной безопасности XBOW Нико Вайсмана, агент OpenAI не получил указания действовать скрытно. «Агент не был небрежным. У него просто не было причин вести себя тихо. Никто не ставил такую задачу. Цель была в том, чтобы хорошо выполнить задание», — сказал он.
Вайсман также отметил, что одни украденные учетные данные дали агенту OpenAI высокие привилегии сразу в нескольких системах Hugging Face.
Управляющий директор SYON Security Винсент Ю сказал, что Hugging Face могла бы внедрить больше механизмов обнаружения, но признал, что это слабое место есть у многих компаний. «Поддерживать инфраструктуру и выживать как бизнес в 2026 году непросто. Хакеры повсюду», — заявил он.
По словам Влада из RunSybil, который ранее участвовал в реагировании на инциденты в Mandiant и Meta, Hugging Face, похоже, приняла разумные меры с учетом того, как компания понимала возможности моделей. «Очень трудно отличить вредоносное действие, по которому нужно поднимать тревогу, от действий человека, который просто выполняет свою работу. Сам по себе объем активности не всегда красный флаг», — сказал он.
Гендиректор Trail of Bits Дэн Гуидо сказал TechCrunch, что часть ответственности лежит и на OpenAI, поскольку компания несколько дней не замечала, что атака продолжается. При этом Hugging Face, по его мнению, заслуживает признания за то, что в итоге обнаружила атаку самостоятельно.
«Раньше самое трудное было распознать сложную атаку, а теперь, возможно, труднее всего выделить настоящую атаку из шума, который создает злоумышленник по пути», — сказал Гуидо. Он добавил, что никто не будет вручную разбирать 17 тысяч восстановленных действий, поэтому Hugging Face пришлось создавать инструменты для восстановления хронологии событий.
Для этого компании понадобился собственный ИИ. Hugging Face сообщила, что использовала открытую модель GLM 5.2 китайской компании Z.AI, потому что доступ к передовым моделям был заблокирован их защитными механизмами. Как объяснила компания, такие системы «не могут отличить специалиста по реагированию на инцидент от атакующего».
После этого Hugging Face объединила ИИ и работу людей, чтобы расследовать действия ИИ-хакера на базе LLM от OpenAI. Этот случай показывает, что даже при атаках автономных агентов классические методы киберзащиты по-прежнему могут эффективно работать.
Источник: TechCrunch.
*Организация Meta (владелец Facebook и Instagram) признана экстремистской организацией и ее деятельность запрещена на территории России.
