Anthropic: ИИ близок к самообучению моделей

Сооснователь Anthropic Джек Кларк в большом эссе для рассылки Import AI заявил, что ключевые компоненты для систем ИИ, способных обучать своих более сильных преемников без участия человека, уже в основном существуют. Он оценивает вероятность такого сценария в 30% к 2027 году и в 60% к концу 2028 года.

По словам Кларка, открытые данные указывают на скорую автоматизацию исследований в сфере ИИ. Речь идет о системе, которая сможет самостоятельно обучить более мощную следующую версию без участия человека.

Главный аргумент Кларка — быстрый рост результатов на бенчмарках. На SWE-Bench, который проверяет, как ИИ решает реальные задачи из GitHub, показатель успеха вырос примерно с 2% у Claude 2 в конце 2023 года до 93,9%, то есть почти достиг предела теста.

Метрика METR Time Horizons показывает, насколько трудную задачу ИИ может выполнить с надежностью 50%, если сравнивать ее с числом часов работы квалифицированного человека. По данным Кларка, этот показатель вырос с примерно 30 секунд у GPT-3.5 до около 12 часов у нынешних передовых моделей. Исследователь METR Аджейя Котра считает правдоподобным уровень в 100 часов к концу 2026 года.

Кларк также ссылается на прогресс в задачах, связанных с научной работой. На CORE-Bench, где модели должны воспроизвести результаты научной статьи, один из авторов теста заявил, что бенчмарк фактически решен при результате 95,5%.

На MLE-Bench, который оценивает выступление моделей в соревнованиях Kaggle, лучший результат вырос с 16,9% до 64,4%. Во внутреннем тесте Anthropic моделям предлагали максимально ускорить обучение небольшой языковой модели на CPU. По словам Кларка, среднее ускорение выросло с 2,9 раза у Opus 4 в мае 2025 года до 52 раз к апрелю 2026 года. Человеку-исследователю для ускорения в 4 раза на той же задаче понадобилось бы от четырех до восьми часов.

На PostTrainBench, который измеряет, насколько хорошо передовые модели могут дообучать open-weight-модели до уровня instruct-версий, созданных людьми, лучшие системы достигли примерно половины человеческого результата. Кроме того, Anthropic опубликовала proof of concept по автоматизации alignment-исследований: в небольшой задаче по безопасности ИИ агенты обошли базовые решения, подготовленные самой компанией.

Кларк пишет, что большая часть исследований ИИ — это рутинная инженерная работа: масштабирование, отладка и настройка параметров. По его оценке, именно в таких задачах модели уже показывают сильные результаты. При этом крупные архитектурные прорывы, такие как трансформеры, ИИ пока сам не создавал.

Он добавляет, что видит первые признаки исследовательской изобретательности в математике, включая решение одной из задач Эрдёша, но призывает не переоценивать эти сигналы.

Последствия такого сдвига Кларк называет «глубокими» и недостаточно обсуждаемыми в массовых публикациях об исследованиях и разработке ИИ. Его главная тревога в том, что нынешние методы alignment могут перестать работать при рекурсивном самоулучшении, когда системы ИИ станут намного умнее людей или других систем, которые их контролируют.

Кларк указывает на несколько конкретных рисков. Среда обучения часто устроена так, что самый выгодный способ решить задачу — жульничать, и это, по его словам, может закреплять нежелательное поведение. Еще один риск — «ложная согласованность», когда модель выдает результаты, создающие впечатление безопасного поведения, но скрывающие реальные намерения. Также системы уже умеют распознавать, когда их тестируют.

Еще одна проблема — накопление ошибок в рекурсивных циклах. Если метод alignment точен не на 100%, отклонения будут расти от поколения к поколению. По оценке Кларка, метод с точностью 99,9% снизится примерно до 95% через 50 поколений и примерно до 60% через 500 поколений.

Если системы ИИ начнут сами влиять на исследовательскую повестку своего обучения, людям может не хватить интуиции, чтобы верно оценить последствия. В экономике Кларк ожидает рост «машинной экономики» внутри человеческой: компаний с большими затратами на капитал и малой долей труда, где системы ИИ все чаще взаимодействуют друг с другом напрямую.

Это, по его мнению, поднимает вопросы о доступе к дефицитным вычислительным ресурсам, а также о точках, где быстрые цифровые процессы упираются в медленные физические ограничения, например в клинические испытания новых лекарств.

Исследователь ИИ Херби Брэдли, недавно писавший об автоматизированных ИИ-исследователях в блоге AI Pathways, частично не согласен с Кларком. По его мнению, многое указывает на то, что модели смогут забрать на себя работу уровня junior research scientist, но не более высокий уровень — исследовательский вкус, творческий подход, формирование видения и долгосрочной программы исследований. Брэдли также считает, что инженерия ПО в целом имеет более высокий потолок навыков и комплексности, чем исследования и разработки в ИИ в узком смысле.

Источник: Import AI, The Decoder, AI Pathways.

Читать новости ИИ и технологий в Telegram.


Оцените статью
Gimal-Ai