Результаты исследования GDPval показывают, что оценки ИИ сильно зависят от используемого формата файлов. На заданиях в формате простого текста результаты моделей минимальны: у Claude Opus 4.1 — только 14%, у GPT-5 — 22%.
Ситуация меняется при работе с PDF: у Claude показатель достигает 46%. На Excel-файлах — 45%, на презентациях PowerPoint — 48%. В категории “другое”, включающей разные форматы, результат Claude Opus 4.1 сравнялся с профессионалами — 50%.
GPT-5 показывает ту же тенденцию: на Excel результат 36%, на “других” форматах — 49%, что значительно выше, чем на чистом тексте.
OpenAI не объясняет причины этой разницы. Вероятно, человеческие оценщики обращают внимание на оформление и структуру. Модели получают преимущество за аккуратную верстку и визуальное оформление презентаций, таблиц или PDF, даже если содержание не становится лучше. В текстовых заданиях этого преимущества нет. Здесь ИИ приходится конкурировать напрямую с человеческим стилем письма и логикой.
PDF, Excel и “другие” форматы составляют более 80% всех заданий. Это объясняет, почему у Claude Opus 4.1 общие показатели выигрышей сохраняются высокими, несмотря на слабые результаты на простом тексте.
GDPval стал новым стандартом для тестирования ИИ на реальных профессиональных задачах. В первую версию вошли 1 320 заданий по 44 профессиям, каждое оценивалось экспертами отрасли.
OpenAI подготовила GDPval для анализа реальных навыков ИИ. Включены самые оплачиваемые профессии из крупных секторов экономики — каждая занимает не менее 5% ВВП США. Отбор проводился через базу данных O*NET, разработанную министерством труда США, чтобы больше 60% работы не было связано с физическим трудом. Список основан на данных Бюро статистики труда США за май 2024 года.
В набор заданий вошли сферы ИТ, медицина, юриспруденция, программирование, журналистика и другие. Каждый кейс создавался специалистами с опытом минимум 14 лет, задания основаны на реальных рабочих отчётах, юридических документах, медицинских планах и презентациях.
В отличие от старых тестов ИИ, в GDPval нужно генерировать сложные материалы в разных форматах. Например, инженеру дают задание спроектировать тестовый стенд, сделать 3D-модель и презентацию на основе техзадания.
Все работы оценивают эксперты в слепом тестировании: сравнивают ответы ИИ и человека, выбирая, какой вариант “лучше”, “такой же” или “хуже”.
OpenAI также протестировала экспериментальный инструмент на ИИ, который имитирует экспертную оценку. По информации из статьи, каждое задание перепроверяли примерно пять раз: через независимую оценку коллег, дополнительных экспертов и проверки моделью.
На первых 220 тестах ИИ-помощники уже показали сравнимые с экспертами результаты. В половине случаев специалисты сочли работу ИИ равной или лучше человеческой.
GPT-5 заметно опережает GPT-4o, выпущенную весной 2024 года: некоторые показатели у GPT-5 выросли в 2–3 раза. Claude Opus 4.1 ушёл ещё дальше: результаты сравнялись с людьми почти в половине всех задач. По данным OpenAI, Claude выигрывает благодаря визуальному оформлению и структуре, а GPT-5 лидирует в знаниях и точности.
OpenAI подчёркивает значительный прирост в скорости и стоимости: модели выполняют задания в 100 раз быстрее и дешевле человека (учитывались время работы и API-запросы). Компания отмечает, что первый черновик можно поручить ИИ, чтобы экономить ресурсы, но итоговую работу всё равно должен проверять человек.
На данный момент задания GDPval выполняются “с первой попытки”: ни обратной связи, ни дополнительного контекста модель не получает. В тестах нет неопределённостей и общения между сотрудниками или клиентами — только отдельные цифровые этапы. OpenAI добавляет, что в жизни такой работы намного меньше: многие задачи требуют взаимодействия, доработки и обсуждений.
OpenAI открыто говорит, что текущие ИИ-модели не заменяют полноценные рабочие места. Они подходят для механических задач с чёткой структурой. Сам набор ограничен: только по ~30 заданий на профессию. Подробности есть в публикации OpenAI.
По словам компании, будущие версии GDPval будут ближе к реальным условиям: задачи станут более интерактивными и запутанными, появится обратная связь. Главная цель — отслеживать, как ИИ влияет на экономику и меняет рынок труда.
