Более 1 000 экспертов и известных личностей выступили за запрет на разработку сверхразумного ИИ до достижения “широкого научного консенсуса о безопасности” и “широкой общественной поддержки”.
По словам авторов заявления, ведущие компании по ИИ спешат создать системы, которые смогут превзойти человека почти во всех мысленных задачах в течение ближайшего десятилетия. Подписанты предупреждают о возможных последствиях: экономические потрясения, потеря контроля человеком, угрозы гражданским свободам и даже риск исчезновения человечества.
Среди подписавших — лауреаты премии Тьюринга Джеффри Хинтон и Йошуа Бенджио, одни из самых цитируемых ученых в ИИ. По словам Бенджио, новые системы должны быть “принципиально неспособны навредить людям“, как случайно, так и в результате злоупотребления. Стюарт Рассел, соавтор учебника Artificial Intelligence: A Modern Approach, подчеркнул: “Это не призыв к бану или даже к мораторию в обычном смысле, а предложение требовать адекватных мер безопасности.”
Призыв поддержали не только ученые. Подписи поставили сооснователь Apple Стив Возняк, основатель Virgin Ричард Брэнсон, бывший советник по нацбезопасности США Сьюзан Райс, а также принц Гарри и Меган. Историк Юваль Ной Харари предупредил: сверхразум способен разрушить “операционную систему человеческой цивилизации”. Принц Гарри добавил: “Будущее ИИ должно служить человечеству, а не заменять его.”
Инициатива исходит от института Future of Life, который весной 2023 года уже призывал к полугодовой паузе в исследованиях продвинутого ИИ. То открытое письмо вызвало большой резонанс, но не повлияло на динамику индустрии.
Заявление показывает разногласия в ИИ-сообществе. Одни видят угрозу человечеству, другие считают эти опасения преувеличенными или даже инструментальными.
Янн Лекун, главный специалист по ИИ Meta, недавно обвинил гендиректора Anthropic Дарио Амодеи в “интеллектуальной нечестности”: тот публично предупреждает о рисках искусственного интеллекта, но сам разрабатывает аналогичные системы. Лекун считает, что современные большие языковые модели “переоценены” и ведут к “технологическому тупику”.
Стюарт Рассел также обращает внимание на риск “пузыря” вокруг ИИ: завышенные ожидания могут обернуться резким разочарованием по примеру пузыря доткомов. Председатель совета директоров OpenAI Брет Тейлор замечает, что между сегодняшним бумом ИИ и эпохой доткомов есть много общего.
*Meta — запрещенная в РФ организация.
