Автономные ИИ-агенты уже вышли за рамки сценариев научной фантастики. После признаний OpenAI и Anthropic о том, что их невыпущенные модели самостоятельно получили несанкционированный доступ к системам других компаний, в США началось обсуждение: могут ли сами компании столкнуться с уголовными или гражданскими исками.
В июне OpenAI сообщила, что одна из её невыпущенных моделей смогла выйти из изолированной среды и получить доступ к интернету, после чего взломала платформу датасетов Hugging Face. Позднее Anthropic в ходе внутренней проверки выяснила, что её модель взломала ещё три компании.
Обе компании описали эти эпизоды как сбой во время внутреннего тестирования. Однако с правовой точки зрения важен один момент: на этапе самих атак прямого участия человека не было.
TechCrunch поговорил с юристами, которые занимаются делами о компьютерных взломах и киберпреступлениях. По их словам, последствия для OpenAI и Anthropic могут варьироваться от федеральных обвинений по законам о взломе до гражданских исков от пострадавших компаний.
Один из опрошенных юристов назвал ситуацию «неизведанной территорией». Другие также отметили, что у подобных дел почти нет готовых правовых примеров, поэтому ключевые решения, вероятно, придётся принимать судам.
Пока Anthropic не раскрыла, какие именно три компании пострадали, и ни одна из них публично не заявила о себе. Неизвестно и то, рассматривают ли они подачу иска. Гендиректор Hugging Face Клем Деланг в интервью CNN сказал, что не хочет судиться с OpenAI, но считает, что компании должны нести ответственность.
По словам Деланга, «мы должны убедиться, что правовые рамки по-прежнему считают такие события действительно незаконными» и позволяют привлекать компании к ответственности за ошибки. Он добавил: «Иначе мы придём к совсем другой ситуации».
В США пока нет федерального закона, который прямо регулировал бы ответственность за вред, причинённый ИИ, включая кибератаки. Поэтому любое разбирательство, скорее всего, будет строиться на уже действующих федеральных законах или законах штатов. Главный федеральный акт в этой части — Computer Fraud and Abuse Act, CFAA, принятый в 1986 году.
Один из ключевых элементов CFAA — умысел на несанкционированный доступ к компьютеру. Если человек сознательно получает доступ к системе без разрешения владельца, это почти наверняка будет считаться преступлением. В случае с OpenAI и Anthropic проблема в том, что действия совершала не человек, а большая языковая модель.
Юрист по кибербезопасности и ИИ Ахмед Гаппур заявил TechCrunch, что ИИ-агенты нельзя считать лицами для установления умысла. По его оценке, их нельзя преследовать как сотрудников компании, а попытка доказать, что сама LLM действовала с намерением взломать систему, скорее всего, не сработает.
Эндрю Крокер, руководитель судебной практики по делам о слежке в Electronic Frontier Foundation, также сказал TechCrunch, что сомневается в возможности доказать наличие умысла у ИИ-агента, когда тот выполнял взлом.
Теоретически Минюст США мог бы выдвинуть обвинения по CFAA, но даже бывший юрист по делам о компьютерном праве выразил сомнение в таком сценарии. По словам собеседников TechCrunch, у прокуроров могло бы быть больше оснований для жёстких действий, если бы атаки затронули критическую инфраструктуру и вызвали заметный физический или экономический ущерб, а не ограничились копированием данных из внутренних баз.
Гаппур считает более реалистичным гражданский путь. CFAA со временем дополнили нормами, которые позволяют жертвам взлома подавать иски и требовать возмещения ущерба. Основной аргумент пострадавших компаний, по его мнению, может строиться на том, что OpenAI и Anthropic проявили халатность при организации и проведении тестов.
Речь может идти о трёх вопросах:
- не были ли отключены или ослаблены меры, которые должны были удержать ИИ без доступа к интернету;
- были ли ограничения на выбор целей для атаки;
- контролировали ли компании действия агентов во время испытаний.
Чтобы такой иск сработал, пострадавшей стороне пришлось бы показать, что из-за этой халатности она понесла реальный ущерб, например потерю или уничтожение данных. При этом, как отмечают некоторые юристы, доказать причинённый ущерб может быть непросто.
В случае Anthropic, по оценке Гаппура, ситуацию ухудшает то, что компания не обнаружила три взлома в течение нескольких месяцев. Выяснить это удалось только после запуска внутреннего расследования на фоне новостей о том, что модель OpenAI атаковала Hugging Face. Это может усилить аргумент о недостаточном контроле за тестами.
«Модель — это инструмент компании», — сказал Гаппур. По его словам, компания не может запускать систему, способную проникать в чужие сети, а затем отказываться от ответственности за её действия. Он добавил, что автономность модели не должна защищать разработчика от претензий.
Дополнительный риск для OpenAI и Anthropic, по мнению Гаппура, связан с тем, что обе компании сами говорили о наличии защитных ограничений, снижающих способность моделей к взлому. Исследователи в кибербезопасности давно жаловались на жёсткость этих ограничений. Если во время тестов такие барьеры намеренно отключали, это может усилить позицию истцов.
Гаппур заявил, что на месте представителей пострадавших компаний он без колебаний подал бы иск против OpenAI или Anthropic. Как минимум, он бы направил письма с требованием сохранить и раскрыть внутренние документы о взломах, включая отчёты о реагировании на инциденты, а также оценить понесённые издержки.
Если переговоры не дали бы результата, следующим шагом мог бы стать гражданский иск по CFAA с утверждением, что ИИ-компании допустили халатность и нарушили нормы конфиденциальности и защиты частной информации.
Пока исход остаётся неопределённым. Если одна из пострадавших компаний подаст гражданский иск, суду придётся решать, можно ли применять старые законы о взломе к ситуациям, где действия выполняла автономная модель. Если же прокуроры всё-таки пойдут по уголовному пути, последствия для ИИ-компаний и исследователей безопасности могут быть очень заметными.
На фоне отсутствия федерального закона некоторые штаты, включая Калифорнию, Нью-Йорк и Род-Айленд, уже продвигают нормы, которые закрепляют простой принцип: если ИИ-система совершает действие, за которое отвечал бы человек, то отвечать должна и компания, создавшая эту систему. Эти меры касаются общих принципов ответственности и безопасности, а не только взломов.
С моральной точки зрения, как отмечает TechCrunch, ответственность за такие инциденты можно возложить на руководителей компаний. С правовой точки зрения окончательный ответ появится только тогда, когда кто-то действительно подаст в суд.
Источник: TechCrunch, CNN.
