Глава OpenAI Сэм Альтман заявил, что компания по-прежнему делает ставку на масштабирование больших языковых моделей и не согласна с критиками этого подхода. По его словам, скепсис по поводу дальнейшего роста возможностей LLM сейчас выглядит ошибочным.
На выступлении в Стэнфорде Альтман ответил критикам, включая Яна Лекуна, который называл LLM тупиковым путем. По словам главы OpenAI, часть исследователей слишком уверенно утверждала, чего масштабирование не сможет дать, и этим сдерживала развитие этой сферы.
Альтман также сказал, что некоторые люди слишком сильно связывают себя со своей позицией и не готовы отказаться от нее, даже если данные показывают обратное. Он добавил, что его не беспокоят и «тролли в Twitter», которые годами предсказывают провал OpenAI.
По его словам, модели мира важны для задач вроде робототехники, но имеющиеся данные, как он считает, подтверждают пользу дальнейшего масштабирования LLM. В материале отмечается, что похожие комментарии недавно делал и глава Anthropic Дарио Амодеи.
Альтман утверждает, что LLM уже превзошли человека в ряде задач. В качестве примера он привел недавний случай, когда модель OpenAI опровергла математическую гипотезу, над которой долгое время безуспешно работали сильные специалисты.
«Так что LLM явно способны находить новое знание», — сказал Альтман. При этом он признал, что в задачах с очень длинным горизонтом и высоким требованием к качеству суждений такие модели «кажутся намного слабее людей».
Источник: The Decoder.
