OpenAI представила GDPval — новый бенчмарк для оценки работы ИИ по реальным задачам из профессиональной деятельности. Первая версия охватывает 44 профессии из девяти главных отраслей, каждая из которых занимает свыше 5% ВВП США.
Для отбора ролей брали самые высокооплачиваемые профессии, используя базу O*NET (создана Министерством труда США), при этом не менее 60% работы должно быть немеханическим трудом. Список составлен по данным Бюро статистики труда на май 2024 года, сообщает OpenAI.
В наборе 1320 задач из разных сфер: технологии, медицина, юриспруденция, софт, журналистика и др. Задания создавались специалистами с опытом около 14 лет и основаны на реальных документах: юридические заключения, планы ухода, технические презентации.
В отличие от обычных бенчмарков с текстовыми промптами, GDPval требует от ИИ выполнения сложных заданий с использованием сторонних материалов и выдачей результатов в разных форматах. Например, инженер может получить задачу спроектировать испытательный стенд, создать 3D-модель и сделать презентацию на базе технических требований.
Все решения оценивают эксперты-практики, сравнивая “вслепую” ответы ИИ и человека по шкале: “лучше”, “так же”, “хуже”. Для проверки также использовали экспериментального ассистента от OpenAI, работающего на ИИ. В среднем каждое задание просматривалось пять раз разными экспертами.
По первым данным, топовые модели вроде GPT-5 и Claude Opus 4.1 уже близки к уровню экспертов. В половине из 220 опубликованных «золотых» задач эксперты оценили работу ИИ как равную или превосходящую результаты человека.
GPT-5 сильно опережает GPT-4o, который вышел весной 2024 года. По разным метрикам, баллы новой модели выросли в два-три раза. Claude Opus 4.1 еще выше: эксперты оценили почти половину заданий для него как “на уровне человека” или лучше. По словам OpenAI, Claude выделяется качеством оформления, а GPT-5 лидирует по точности и экспертности.
OpenAI отмечает значительный прирост эффективности. Модели справляются с задачами примерно в 100 раз быстрее и дешевле экспертов (если считать только инференс и API). Компания рассчитывает, что ИИ может брать на себя первый этап работы, экономя время и средства, но при этом требуется финальный просмотр человеком.
Сейчас в GDPval тестируются только “одноразовые” задания: модели получают по одной попытке, без возможности уточнений и обратной связи. Нет неоднозначности или диалога с коллегами и клиентами — бенчмарк проверяет работы только на изолированных этапах. Верхняя граница — порядка 30 заданий на профессию.
OpenAI подчеркивает: ИИ пока не заменяет целиком профессию — он лучше всего справляется с рутинными и четко структурированными задачами. “Полностью рабочие потоки зависят от взаимодействия, итераций и проверки,” — говорится в документе. В будущих версиях GDPval появится больше динамики, обратной связи и задач, ближе к реальным условиям. Долгосрочная цель проекта — отслеживать экономические эффекты ИИ и его влияние на рынок труда. Подробнее можно узнать в исходной научной работе или принять участие в тестах через специальные формы.
