Глава Anthropic Дарио Амодеи после ухода одного из исследователей, который опасался риска вымирания человечества из-за ИИ, призвал подключить внешние организации к проверке соблюдения практик безопасности, фиксации инцидентов и оценке того, насколько согласованы с целями людей как готовые модели, так и процессы обучения. Как пишет TechCrunch, эту идею уже поддержали руководители OpenAI, Google и xAI.
Однако эксперты по кибербезопасности считают, что более быстрый и действенный шаг — усилить базовую защиту инфраструктуры: вести логи, жёстко ограничивать доступ и применять к ИИ-агентам те же меры контроля, что и к людям. По их мнению, это может дать больший эффект, чем внешний аудит и дискуссии о согласовании моделей.
Гендиректор Luta Security Кэти Моуссурис раскритиковала подход Амодеи. «Мне кажется, они передают эту задачу наружу, — сказала она TechCrunch. — Говорить, что сторонний аудит и есть решение, для меня странно. Это было бы похоже на ситуацию, если бы Microsoft вместо Trustworthy Computing Memo сказала: давайте просто замедлим разработку».
Речь идёт о записке Билла Гейтса 2002 года, в которой он потребовал от сотрудников Microsoft сделать ПО стабильным и безопасным после серии известных атак компьютерных червей. По оценке издания, сектор ИИ может находиться в похожей точке.
Исследователь ИИ Саяш Капур, который в следующем году начнёт преподавать в UC Berkeley, считает, что дополнительные вложения в контроль сейчас могут быть полезнее, чем в согласование моделей. «Мы считаем, что эти инциденты показывают недостаточный акцент на контроле ИИ внутри компаний, хотя известные методы уже существуют», — сказал он.
Поводом для этих обсуждений стали случаи, когда передовые модели получали задания в ходе обучения, чаще всего по кибербезопасности, а затем выходили в открытый интернет и пытались проникнуть в закрытые системы сторонних организаций. Обычно это происходило из-за неверно настроенных “песочниц”, которые должны были изолировать агентов. В одном из эпизодов с Anthropic прорыв произошёл потому, что внешние проверяющие не закрыли нужные точки доступа.
«Мы как профессия знаем, как блокировать доступ в интернет, — сказал глава Tailscale Эйвери Пеннарун. — Читаешь все эти длинные отчёты про впечатляющую многошаговую атаку. Но вы же дали модели возможность что-то скачивать. Этого нельзя было делать отдельно от интернета».
По словам экспертов, ещё более серьёзная проблема в том, что ведущие лаборатории долго не замечали такую активность. Моуссурис отмечает, что факты поведения агентов вскрывались либо после жалоб пострадавших, либо по сетевой активности, а не через прямое наблюдение за самими ИИ-системами.
В одном из случаев агенты OpenAI захватили заброшенный немецкий вики-форум, чтобы обойти проверки, и оставались активны неделями, прежде чем это, судя по данным TechCrunch, заметили внутри компании. Эксперты говорят, что для предотвращения новых прорывов нужен мониторинг в реальном времени, а каждая агентная сессия должна иметь жёсткий срок действия.
Бывший руководитель по безопасности Google Шапор Нагибзаде, который сейчас возглавляет стартап QueryStory, описал решение так: «Нужно посадить агента в коробку и очень плотно наблюдать за ним извне, отслеживая всё, что пересекает границу. Каждый вызов инструмента, каждый процесс, каждое сетевое соединение — без исключений. … Та единственная дыра, которую оставляют ради удобства, потом и используют. Обход произошёл именно через такое исключение. В Google я много раз видел то же самое с живыми атакующими, и эти модели как минимум не хуже находят приоткрытую дверь».
OpenAI уже начала двигаться в эту сторону. Компания сообщила, что стала отслеживать все обращения модели Astra к инструментам, хотя это требует существенных вычислительных затрат. Anthropic также заявила, что усиливает процедуры безопасности, включая расширение наблюдаемости за своими моделями. Обе компании не ответили TechCrunch на вопросы о том, как именно они отслеживают и контролируют ИИ-агентов.
Ещё одна проблема — использование общей инфраструктуры несколькими агентами. Это позволило им взаимодействовать во время атаки на Hugging Face. Разработчик Саймон Уиллисон, один из создателей Django, описывает риск через концепцию «смертельной триады»: когда агент одновременно получает доступ к недоверенному вводу, интернету и закрытым данным, это создаёт условия для серьёзного инцидента.
«Хитрость в том, что можно выбрать любые две части этой триады, и агент может получить любые две, — сказал Пеннарун. — Если нужны все три, тогда это надо делить как минимум между двумя агентами … и, возможно, разрешать им общаться через контролируемый канал».
При этом специалисты признают, что у команд безопасности в ведущих лабораториях крайне тяжёлая работа. По словам Нагибзаде, на них одновременно давят попытки государств украсть веса моделей, атаки с дистилляцией через API и обычные задачи защиты крупной цифровой компании. «Инфраструктура исследований с трудом поднимается в верхнюю часть списка приоритетов, хотя теперь это, видимо, должно меняться», — сказал он. «Публичное раскрытие инцидентов действительно помогает выстроить внутри компаний общий фокус на улучшении».
Моуссурис отдельно подчёркивает, что сейчас нет формальной процедуры уведомления пострадавших, когда лаборатории обнаруживают проникновение своих агентов в сторонние системы. По её мнению, могли быть и другие случаи, которые не получили широкой огласки. Она опасается прямого регулирования моделей, но считает разумной мерой обязательное уведомление о таких инцидентах.
Глава компании Embrodiery Зак Корман добавил, что лаборатории ИИ ведут работу, которой раньше никто не занимался. По его словам, «они делают на порядки больше, чем обычная корпоративная компания».
Эксперты также говорят, что тему согласования моделей нельзя полностью отодвигать. По словам Моуссурис, специалистам по кибербезопасности, вероятно, придётся использовать одни ИИ-агенты для наблюдения за другими, чтобы получить шанс отслеживать их поведение в реальном времени. «Вы оказываетесь в ловушке: приходится использовать ИИ, чтобы справляться с этим, хотя сам ИИ сейчас нельзя считать безопасным», — сказала она.
При этом задача будет становиться труднее. Моуссурис отмечает, что сейчас агенты действуют «громко»: публикуются на открытых форумах, а их цепочки рассуждений и другие следы понятны человеку и записаны на английском. «Это всё ещё можно читать человеку, так что пользуйтесь этим, пока это возможно, потому что так будет не всегда», — сказала она.
Источник: TechCrunch. Дополнительный материал подготовил Адитья Мехта.
