Snowflake сравнила модели GLM-5.2 и Claude Opus 4.7 в практическом бенчмарке по генерации кода. По итоговому числу решённых задач китайская модель показала результат, близкий к Opus, хотя уступила по стабильности с первой попытки.
Тест включал 103 задачи, и каждую модель запускали по три раза. Им нужно было писать код, который работает сразу в DuckDB и Snowflake. Если давать по три попытки на задачу, модели пришли почти к одному результату: GLM решила 66% задач, Opus — 67%.
При этом по точности с первой попытки Opus заметно впереди: 53,7% против 47,6% у GLM. Это, как отмечает Snowflake, говорит о меньшей стабильности ответов китайской модели.
GLM также потребовала больше ресурсов. В среднем модель делала 99 запусков на задачу против 80 у Opus и израсходовала 860 млн токенов против 439 млн у конкурента.
По словам генерального директора Snowflake Шридхара Рамасвами, сильная сторона GLM — проверка кода сразу на двух платформах. Он пояснил, что именно поэтому только GLM смогла решить часть задач.
Слабые места модели, по оценке Snowflake, — ранний отказ от попыток и чрезмерная проверка второстепенных параметров. В одном из тестов GLM сделала 411 вызовов инструментов за 24 минуты, проверяя число строк, распределения, пустые значения и типы столбцов, но провалила все три попытки. Opus справилась с той же задачей за 9 минут и 49 вызовов.
Рамасвами также заявил, что тезис о более чистом коде у GLM не подтвердился. По его словам, большее число проверок не приводит к более правильному результату. При этом команда Snowflake положительно оценивает GLM-5.2 и хочет дать клиентам доступ к этой модели.
Важная часть сравнения — цена. По официальному прайс-листу Zhipu, GLM-5.2 стоит $1,40 за миллион входных токенов и $4,40 за миллион выходных. У сторонних провайдеров цена может быть ещё ниже. Для Claude Opus 4.7 указаны $5 за входные и $25 за выходные токены, для GPT-5.5 — $5 и $30 соответственно.
Более высокий расход токенов у GLM частично сокращает разницу в стоимости. Но сам тест показывает, что Anthropic и OpenAI сталкиваются с заметным ценовым давлением именно в программировании — одном из главных сценариев, на который делают ставку западные разработчики ИИ.
Если это давление замедлит рост выручки или приведёт к её снижению, рынок ИИ может столкнуться с серьёзной проверкой. Оценки OpenAI и Anthropic завязаны на ожидании быстрого роста доходов, а также на многомиллиардных вложениях в инфраструктуру, включая дата-центры и заказы на чипы.
Источник: The Decoder.
