Будущее человечества на “финальном экзамене по ИИ” оказалось под вопросом. Около 29% вопросов по биологии и химии из теста Humanity’s Last Exam (HLE) имеют некорректные или вводящие в заблуждение ответы, если сравнивать их с опубликованными научными работами. Это выяснила компания FutureHouse при помощи анализа человеком и нейросетью.
HLE создан для проверки пределов языковых моделей с помощью сложных вопросов. Но исследование показало: многие вопросы в тесте изначально сформулированы неправильно или содержат ошибки. Эксперты тратили на оценку каждого задания всего несколько минут, а полная проверка точности не требовалась.
FutureHouse выпустила новый сокращённый и проверенный вариант под названием “HLE Bio/Chem Gold” на платформе HuggingFace.
