Андрей Карпати рассказал, что несколько месяцев вручную настраивал параметры обучения GPT-2, а затем передал эту задачу автономному агенту на одну ночь. По его словам, агент нашёл более точные настройки, которые он сам упустил, включая взаимосвязанные изменения параметров, заметить которые человеку проще пропустить, чем системе с перебором вариантов.
Главный вывод Карпати в том, что исследователям стоит убирать себя из процесса там, где есть объективные метрики для проверки результата. Он заявил: «Чтобы получить максимум от доступных сейчас инструментов, нужно перестать быть узким местом. Нельзя постоянно присутствовать, чтобы подсказывать следующий шаг».
Карпати также считает, что исследователи в крупных ИИ-компаниях слишком сильно полагаются на собственную интуицию без достаточных оснований. По его мнению, они постепенно автоматизируют собственную работу, хотя именно это, как он отметил, и заявляется их целью.
При этом Карпати отметил, что рост качества моделей в программировании и других задачах, где результат легко проверить, не обязательно так же хорошо перейдёт на менее измеримые направления. Его оценка звучит так: «Всё, что ощущается менее формализованным, работает хуже».
Источник: The Decoder.
