Гендиректор Anthropic Дарио Амодей опубликовал эссе о рисках мощных систем искусственного интеллекта. Основная мысль: демократии должны использовать ИИ так, чтобы не становиться похожими на своих автократических противников.
Эссе «The Adolescence of Technology» дополняет его предыдущий текст «Machines of Loving Grace» от октября 2024 года. Если раньше речь шла о возможностях ИИ, теперь акцент сделан на опасностях. Амодей считает, что «демократии могут применять ИИ для национальной безопасности, но не должны использовать методы, свойственные автократиям».
Он выделяет четыре технологии, которыми автократии могут угнетать граждан: автономные рои оружия, массовая слежка с помощью ИИ, персонализированная пропаганда на протяжении лет и стратегические советники на базе ИИ («виртуальный Бисмарк»).
Для двух из них Амодей проводит жёсткую границу: массовая слежка и пропаганда против собственных граждан абсолютно недопустимы. Он напоминает, что массовая слежка уже запрещена в США четвертой поправкой, но быстрый прогресс ИИ требует новых законов или даже поправок к конституции для защиты гражданских свобод.
При этом Амодей считает возможным использовать эти инструменты против автократических государств. По его словам, демократии должны применять ИИ для победы в «информационной войне» и воспрепятствовать цензуре в автократиях.
Что касается автономного оружия и стратегических решений на основе ИИ, тут ситуация сложнее. Амодей понимает их важность для обороны, но беспокоится, что слишком малое число людей может контролировать такие технологии, например, управление роем дронов без участия других сотрудников.
Критики, такие как исследователь ИИ Ян ЛеКан и советник Дональда Трампа Дэвид Сакс, обвиняют Anthropic в нагнетании страхов, чтобы лоббировать ограничения для открытых моделей ИИ и сдерживать конкуренцию. Амодей отрицает это и подчеркивает сотрудничество с правительством США, заявляя: «Anthropic – это политический участник, у которого есть свои позиции для всех политических лагерей».
Компания заключила контракт с Минобороны США на сумму до $200 млн для разработки «фронтир-ИИ» для задач нацбезопасности. Модель Claude используют в секретных сетях через такие компании, как Palantir, которую, в том числе, применяет ICE для поиска мигрантов в США. Амодей не видит здесь нарушения своих принципов, хотя признает: продукты Anthropic, защищая демократию от угроз извне, могут усилить элементы автократии внутри страны.
