Anthropic провела первое системное исследование частоты неудач Claude и выявила простую закономерность: чем сложнее задача, тем ниже вероятность успеха. После этого компания снизила свои прогнозы по производительности примерно вдвое.
В четвертом “Economic Index Report” Anthropic проанализировала миллион разговоров на Claude.ai и миллион API-запросов за ноябрь 2025 года, за короткое время до выхода Opus 4.5.
В центре отчета — пять новых “экономических примитивов”. Эти метрики описывают: сложность задания (сколько времени занял бы аналогичный труд у человека), уровень образования, необходимый для запросов и ответов, сферу использования (работа, учеба, личное), автономность ИИ, успешность выполнения.
Данные показывают явный компромисс: на сложных задачах Claude чаще экономит время, но чаще ошибается. По данным отчета, при заданиях до 1 часа Claude успешно выполняет около 60% API-запросов, а при задачах на 5+ часов успех падает до 45%. Порог в 50% наступает примерно на 3,5 часах работы.
Через веб-интерфейс Claude.ai картина иная: успех снижается гораздо медленнее, даже на длинных задачах. Оценки Anthropic: падение ниже 50% начнётся только с примерно 19-часовых задач. Причина – возможность пользователей корректировать процесс в ходе диалога.
Из-за новых данных по успешности Anthropic пересмотрела свои прогнозы влияния ИИ на экономику. Ранее предполагалось, что массовое внедрение ИИ повысит ежегодный рост производительности труда в США на 1,8 п.п.. Теперь этот рост оценён как 1,0–1,2 п.п. Если учесть “узкие места”, где ИИ ускорить работу не может, эффект снижается до 0,6–0,8 п.п. Тем не менее, компания отмечает: даже такой прирост за 10 лет вернет темпы роста США к уровням конца 1990-х и начала 2000-х. В Anthropic ждут от будущих моделей большего процента успешных задач.
Интересная находка касается влияния ИИ на профессии. По данным отчета, Claude чаще используют для решений задач, требующих повышенного образования — в среднем 14,4 года (то есть уровень колледжа), против 13,2 лет для типичной работы в США. Когда ИИ берёт на себя такие задачи, людям остаётся менее квалифицированная часть (“deskilling”). В отчёте приводят пример: у операторов по туризму ИИ забирает планирование поездок, оставляя только оформление билетов и оплату; у управляющих недвижимостью наоборот: после автоматизации бухучёта их труд становится более квалифицированным — переговоры по контрактам, работа с клиентами.
Исследование показало сильную связь между уровнем запроса пользователя и качеством ответа Claude. Anthropic измеряет, сколько лет формального образования нужно для понимания как запроса, так и ответа. Связь между этими показателями составляет 0,92 (коэффициент корреляции) — как по странам, так и по штатам США. Простые вопросы — простые ответы. Сложные, технические запросы — соответствующий уровень отклика. По словам Anthropic, “страны с более высоким уровнем образования могут получить от ИИ больше пользы, даже если распространение моделей идёт равномерно: сложные запросы раскрывают потенциал ИИ”.
С августа 2025 года на Claude.ai изменились сценарии использования. Снова растёт “дополнение” (augmentation), где человек активно взаимодействует с Claude (итерации, пояснения, обратная связь), этот способ вырос до 52%. Автоматическое выполнение (automation) упало до 45%. Доля “директивных” разговоров без обратной связи снизилась с 39% до 32%. Причиной Anthropic называет новые возможности — работа с файлами, память, настраиваемые “скиллы”, которые делают совместную работу удобнее.
Использование остаётся концентрированным: десять самых популярных задач составляют 24% всех разговоров на Claude.ai. Запросы по коду и математике доминируют (34% на Claude.ai и 46% в API).
В США использование Claude растет быстрее на периферии: штаты с меньшей активностью догоняют лидеров. Anthropic ожидает, что это “выравнивание” может занять 2–5 лет — примерно в 10 раз быстрее распространения других значимых технологий XX века. Глобальной же тенденции к равенству нет: лидируют США, Индия, Япония, Великобритания и Южная Корея. Различия по странам по-прежнему сильно коррелируют с ВВП на душу населения (на 1% выше ВВП — на 0,7% больше использования Claude). В странах с низкими доходами ИИ чаще применяется для учебы, в богатых — для работы.
Anthropic публикует данные на Hugging Face для исследований влияния ИИ на экономику. Источник
