В индустрии ИИ разгорелся один из самых громких споров о том, несут ли такие технологии экзистенциальную угрозу человечеству. Поводом стало заявление бывшего исследователя Anthropic Джейкоба Коксона, который сообщил, что ушёл из компании, потому что ведущие разработчики ИИ, по его мнению, «играют нашими жизнями».
После этого руководитель команды Anthropic по alignment, то есть по согласованию поведения моделей с целями и правилами, написал: «Мы правда искренне считаем, что ИИ может убить всех людей». Он также добавил, что лично оценивает вероятность такого исхода как «более 10% в течение следующего десятилетия».
Эту дискуссию обсудили ведущие подкаста Equity от TechCrunch — Кирстен Коросек, Шон О’Кейн и Энтони Ха. Выпуск записали до того, как гендиректор Anthropic Дарио Амодеи опубликовал свой план более осторожной разработки ИИ.
Шон О’Кейн назвал реакцию необычно резкой и обратил внимание, как быстро тема получила огласку. По его словам, ситуацию усилило то, что пост Коксона сразу поддержал представитель Anthropic, а сама публикация появилась на фоне роста возможностей новых моделей Anthropic и OpenAI.
Энтони Ха сказал, что его смутило не само эмоциональное предупреждение, а формулировка «мы» и оценка в 10%. По его мнению, такой процент выглядит произвольным и не опирается на понятный расчёт. Он также отметил, что в отличие от руководителей компаний, которые говорят о рисках и при этом продолжают работу, Коксон подкрепил свою позицию уходом из Anthropic.
Кирстен Коросек предположила, что подобные заявления о рисках могут одновременно работать как косвенная демонстрация возможностей моделей. По её словам, если компании регулярно рассказывают об инцидентах с ИИ-агентами или о потенциальной угрозе для человечества, это можно воспринять как сигнал о высоком уровне развития их систем.
Энтони Ха согласился, что такие высказывания могут совпадать с интересами бизнеса, даже если за ними стоит реальная тревога. Он сформулировал это так: компаниям выгодно говорить, что они создали «самое смертоносное программное обеспечение в истории», потому что это подчёркивает значимость их технологий.
Шон О’Кейн при этом отметил и другую сторону. По его мнению, часть последних сообщений создаёт впечатление, что крупные компании уже не полностью контролируют свои модели, особенно на фоне публикаций об OpenAI. Он упомянул сообщения о внутренних агентах, которые получали доступ к разным вики-ресурсам в интернете и оставляли сообщения друг другу.
Отдельный вопрос в обсуждении касался возможного IPO Anthropic. О’Кейн сказал, что ему особенно интересно, как подобные заявления могут отразиться в форме S-1 — регистрационном документе для выхода на биржу в США. Он иронично заметил, что юристы компании, возможно, уже переписывают раздел о рисках так, чтобы в нём было указано: официальная позиция Anthropic состоит в том, что есть вероятность выше 10% создать систему, способную уничтожить человечество, и это «существенно плохо для бизнеса».
Коросек добавила, что в обычной инвестиционной среде такие формулировки могли бы снизить оценку компании. Однако, по её словам, нынешний рынок устроен иначе, и даже акцент на опасности технологии может сыграть в пользу оценки, если инвесторы увидят в этом подтверждение силы и потенциала продукта.
В финале обсуждения ведущие затронули вопрос регулирования и контроля. Коросек сослалась на разговор в том же шоу с исполнительным директором американской некоммерческой организации ControlAI Коннором Лихи и спросила, что вообще можно сделать с опасными аспектами ИИ.
Энтони Ха ответил, что у него нет готового решения, но он считает важным сам факт того, что крупные ИИ-компании, похоже, чувствуют недостаток контроля над своими моделями. По его словам, это повод для беспокойства. Одновременно он скептически относится к апокалиптическим сценариям, потому что такие заявления отвлекают внимание от более близких рисков — для рынка труда, экологии и климата.
Он также добавил, что разговоры об AGI и «суперинтеллекте» часто занимают всё внимание и мешают обсуждать практические меры защиты и регулирования.
Источник: TechCrunch, подкаст Equity.
