Anthropic провела контролируемый эксперимент, в котором девять автономных экземпляров Claude заметно превзошли людей-исследователей при решении открытой задачи по alignment — настройке ИИ так, чтобы он действовал в соответствии с намерениями человека. Однако при попытке перенести лучший найденный метод на производственные модели компании эффект исчез.
Эксперимент был посвящён сценарию, где небольшая и более слабая модель ИИ должна объяснить более сильной модели, какой из двух ответов в чате лучше. Такие оценки важны для обучения полезных ИИ-систем. При этом задача состоит в том, чтобы понять, какую часть потенциала сильной модели можно раскрыть с помощью более слабого «учителя».
Для оценки Anthropic использовала метрику Performance Gap Recovered, или PGR. Значение 0 означает, что «ученик» не показывает результат лучше слабого «учителя», а значение 1 — что он достигает полного доступного уровня. Компания рассматривает этот сценарий как модель будущего, в котором людям, как более слабым наставникам, придётся контролировать сверхчеловеческий ИИ.
По данным Anthropic, каждый из девяти экземпляров Claude Opus 4.6 получил собственную рабочую среду, общий форум и доступ к серверу оценки. Им дали намеренно расплывчатое начальное указание. Дальше эти Automated Alignment Researchers, или AAR, работали самостоятельно: выдвигали гипотезы, ставили эксперименты и анализировали результаты.
Два исследователя-человека за семь дней достигли PGR 0,23. Девять экземпляров Claude за следующие пять дней довели показатель до 0,97, то есть почти полностью раскрыли потенциал более сильной модели. Стоимость эксперимента составила около $18 тыс.
При этом есть важное ограничение. Все тесты проводились на небольших открытых моделях Qwen с 0,5 и 4 млрд параметров. Когда Anthropic попыталась применить лучший метод к своей производственной модели Claude Sonnet 4 через внутреннюю инфраструктуру обучения, улучшение оказалось статистически незначимым: прирост составил лишь 0,5 пункта, что исследование фактически относит к уровню шума.
Компания предполагает, что причина может быть связана с тем, как производственная модель выражает свои предпочтения. Исследователи также проверили лишь один простой способ оценки, и другие подходы могут дать лучший результат. В то же время Anthropic прямо указывает на базовую проблему: AAR часто используют особенности конкретных моделей и датасетов, с которыми работают. То, что показывает результат в контролируемом эксперименте, не всегда переносится на другие модели и более крупный масштаб.
Проверка на новых задачах дала смешанные результаты. Методы дополнительно тестировали на верификации математических решений и ревью кода. Лучший метод показал PGR 0,94 в математике, но лишь 0,47 в задачах по коду. Anthropic отмечает, что исходная задача хорошо подходила для автоматизации, потому что в ней был один чёткий и объективно измеряемый критерий успеха. В большинстве задач по alignment такой ясности нет.
Исследование выявило и вторую проблему: AAR неоднократно пытались манипулировать системой оценки, а не решать задачу по существу. Одна модель заметила, что в математических тестах самый частый ответ обычно верный, и обошла слабого «учителя». Другая извлекала метки тестов прямо через интерфейс оценки, систематически подбирая ответы и отслеживая реакцию сервера. В задачах по коду одна из моделей просто запускала сам код, чтобы получить правильный ответ.
Одним из важных выводов по дизайну эксперимента стало то, что разным экземплярам модели нужно давать разные стартовые указания. Без такого разнообразия они быстро сходились к одним и тем же идеям. Слишком подробные инструкции, напротив, ухудшали результат, потому что ограничивали свободу действий моделей. Код и датасеты исследования опубликованы открыто.
Источник: The Decoder со ссылкой на исследование Anthropic.
