Джерри Творек, работавший над моделями рассуждений в OpenAI, считает, что у современных ИИ есть серьёзный недостаток: они не учатся на ошибках.
В подкасте Unsupervised Learning он сказал: “Если модели ошибаются, вы довольно быстро теряете надежду. Нет хорошего механизма, чтобы модель обновляла свои знания после неудачи.”
Творек ушёл из OpenAI, чтобы решить эту задачу. Он объясняет: “Если модели не справляются со сложностями и не могут выбраться из тупика при решении проблемы, я не назвал бы это ИИ-общего назначения (AGI).” По его словам, обучение ИИ сейчас устроено “очень хрупко”. Человеческое обучение наоборот — устойчивое и саморегулирующееся. “Интеллект всегда находит выход,” — отметил он.
Эту “хрупкость” отмечают и другие исследователи. Например, сотрудники Apple показали: при новых задачах, не встречавшихся на этапе обучения, у моделей рассуждения возникают “коллапсы рассуждений”.
