Anthropic исправила сбой качества Claude Code

Пользователи Claude Code в последние недели сообщали о заметном падении качества работы инструмента для программирования. Anthropic опубликовала разбор причин и заявила, что проблема была связана с тремя отдельными изменениями в Claude Code, Claude Agent SDK и Claude Cowork. По данным компании, API это не затронуло. Все три ошибки исправили к 20 апреля в версии 2.1.116.

Первая проблема появилась 4 марта, когда Anthropic снизила стандартный уровень reasoning effort с high до medium. Компания пошла на это из-за очень высокой задержки в режиме high у части пользователей. Внутренние тесты показывали, что режим medium даёт лишь немного худшие результаты в большинстве задач, но заметно сокращает задержку. На практике решение не сработало: пользователи стали писать, что Claude Code работает менее умно. 7 апреля Anthropic полностью отменила это изменение.

Вторая проблема была связана с багом в оптимизации кэша, которую выпустили 26 марта. Изначально система должна была удалять старые блоки рассуждений после часа бездействия, чтобы ускорить возврат к сессии. Однако ошибка в коде приводила к тому, что история рассуждений стиралась на каждом следующем ходе.

Из-за этого Claude постепенно терял контекст собственных решений. Пользователи замечали забывчивость, повторы и странный выбор инструментов. Дополнительно промахи кэша быстрее расходовали лимиты использования. По словам Anthropic, баг не заметили во время проверок и устранили его только 10 апреля.

Третья проблема возникла 16 апреля после добавления инструкции в системный промпт, которая должна была сократить многословность модели Opus 4.7. В ней говорилось: «Length limits: keep text between tool calls to ≤25 words. Keep final responses to ≤100 words unless the task requires more detail.» Позднее более широкий набор тестов показал падение качества на 3%. 20 апреля компания отменила и это изменение.

Anthropic отмечает, что три изменения затрагивали разные группы пользователей и происходили в разное время. Поэтому общий эффект выглядел как постепенное и размытое ухудшение, которое сначала было трудно отделить от обычных колебаний качества.

Компания пообещала ужесточить контроль качества. Больше сотрудников будут использовать ту же публичную сборку Claude Code, что и обычные пользователи, а не внутренние тестовые версии. Все изменения системных промптов теперь должны проходить широкий набор проверок, рассчитанный на конкретную модель.

Для изменений, которые могут влиять на уровень работы модели, Anthropic собирается вводить периоды наблюдения и постепенный запуск. В качестве компенсации компания сбросила лимиты использования для всех подписчиков.

Также Anthropic открыла аккаунт @ClaudeDevs в X, через который обещает прозрачнее сообщать о продуктовых решениях.

Как пишет The Decoder, это не первый случай, когда пользователи жалуются на ухудшение качества ИИ-сервисов. Во второй половине 2023 года OpenAI обвиняли в том, что GPT-4 со временем стал «глупее», хотя компания отрицала серьёзные изменения модели после релиза.

В материале отмечается, что и у Claude раньше были похожие жалобы, причиной которых оказывались ошибки инфраструктуры. Нынешний случай снова показывает: то, что пользователи воспринимают как регресс модели, часто связано не с самой моделью, а с инструментами и инфраструктурой вокруг неё.

По данным The Decoder, такие изменения всё чаще связаны с дефицитом вычислительных ресурсов в отрасли. Недавно доступность API Anthropic составляла 98,95%, что ниже стандартного для облачных сервисов уровня 99,99%. Почасовые цены на GPU на спотовом рынке выросли на 48%, если верить индексу Ornn Compute Price Index, а аналитики Bank of America ожидают, что спрос будет превышать предложение как минимум до 2029 года.

На этом фоне компании меняют продукты и тарифы. OpenAI, как пишет издание, отключает своё приложение для генерации видео Sora, чтобы высвободить ресурсы для инструментов программирования и корпоративных продуктов. GitHub также приостановил новые регистрации на нескольких тарифах Copilot.

Давление отражается и на ценах. Глава роста Anthropic недавно признал, что планы Pro и Max создавались до появления ресурсоёмких агентных инструментов вроде Claude Code и не рассчитаны на такие нагрузки. Компания даже ненадолго тестировала отключение доступа к Claude Code для новых подписчиков Pro, но позже отказалась от этого шага после негативной реакции пользователей.

OpenAI, в свою очередь, удвоила цены API для GPT-5.5 по сравнению с предыдущей моделью: $5 за миллион входных токенов и $30 за миллион выходных. По оценке The Decoder, эпоха дешёвых фиксированных тарифов для самых мощных агентных ИИ-инструментов подходит к концу.

Источник: The Decoder, Anthropic.

Читать новости ИИ и технологий в Telegram.


Оцените статью
Gimal-Ai