GitHub запустила HydraFusion для Copilot CLI

GitHub представила проект HydraFusion — исследовательский режим GitHub Copilot, который выполняет «фронтирный» ИИ через оркестрацию нескольких моделей в рантайме. Система строит план выполнения задачи, выбирая модели разных провайдеров для черновика, критики, доработки или каскадной эскалации к более мощным моделям.

HydraFusion дополняет стратегию GitHub по автоматической семантической маршрутизации между локальными, облачными и составными моделями. Для разработчика всё выглядит как выбор одного варианта модели: Copilot сам подбирает рабочий процесс так, чтобы сбалансировать качество, стоимость и задержку для конкретной задачи.

Режим HydraFusion доступен пользователям всех тарифных планов GitHub Copilot через /experimental в GitHub Copilot CLI. Оплата рассчитывается по количеству токенов, которые фактически потребляют задействованные модели, по их стандартным тарифам.

HydraFusion рассматривает выбор рабочего процесса как задачу оптимизации. Она использует сигналы по ряду способностей — логические рассуждения, генерация кода, отладка, работа с инструментами — и по ним определяет наиболее эффективный шаблон выполнения, достаточный для достижения требуемого уровня качества.

На текущем этапе HydraFusion для каждого запроса выбирает один из трёх вариантов исполнения. Каждый вариант отражает свой компромисс между качеством и затратами: одиночный вызов модели даёт максимальную скорость, каскадный путь сначала использует более дешёвую модель и переходит к более мощной только при провале, а режим с критикой подключает независимый обзор там, где полезнее проверка результата, чем повторная попытка той же модели.

В офлайн-оценках на трёх бенчмарках для агентных кодирующих систем HydraFusion показала качество уровня фронтирных моделей при заметной экономии стоимости. В тесте TerminalBench 2.1 система повысила долю подтверждённых правильных решений на 4,9 процентного пункта при снижении оценочной стоимости на 67% по сравнению с Claude Opus 5.

Разработчики уже привыкли вручную комбинировать модели: выбирать одну для задачи, просить другую проверить результат или передавать сложный случай более сильной системе. HydraFusion переносит эту схему в рантайм: разработчик один раз выбирает HydraFusion, а оркестрация моделей и шагов выполнения происходит фоново, без переключения контекста.

Ключевой механизм — селективность. Одни задачи решаются напрямую, другие выигрывают от ревью, доработки или эскалации. HydraFusion оценивает каждый запрос и применяет наименее сложный процесс, который, по прогнозу, справится с задачей, добавляя новые вызовы моделей только тогда, когда они с высокой вероятностью улучшат результат.

По мере появления новых моделей в GitHub Copilot HydraFusion может включать их в свой пул. Команда GitHub оценивает новинки и подключает их именно к тем типам задач, где их сильные стороны дают наибольший эффект, сохраняя общий уровень качества и предсказуемости.

Чтобы превратить адаптивную работу с несколькими моделями в одну стабильную среду разработки кода, GitHub выстроила контроль исполнения, ревью, стоимости и состояния репозитория вокруг пяти рабочих принципов (в исходном материале они упоминаются, но не раскрываются). Внутри рантайма фиксируются роль, результат, стоимость, задержка и диагностические данные каждого шага, что позволяет восстанавливать логику процесса после выполнения.

Снаружи разработчик получает единый связный ответ и один набор изменений в коде с учётом прав доступа. Это делает использование нескольких моделей и сложных цепочек действий пригодным для задач на уровне целых репозиториев, а не только отдельных файлов или фрагментов.

Фиксированные политики HydraFusion оценивались на трёх бенчмарках — TerminalBench 2.1, DeepSWE и CheckpointBench (внутренний набор GitHub, основанный на реальных сессиях GitHub Copilot) — с использованием Claude Opus 5 и GPT‑5.6 Sol в качестве базовых линий. Все политики получали одинаковые входные данные, инструменты, лимиты, ценовые допущения и условия проверки корректности ответов.

В ходе оценки измерялись два показателя: доля подтверждённо решённых задач и полная оценочная стоимость всего рабочего процесса, включая генерацию черновика, критику, правки, эскалацию, повторы и откаты. Публикуются результаты для лучшей подобранной конфигурации HydraFusion.

Авторы подчёркивают, что эти офлайн-результаты привязаны к конкретным версиям бенчмарков, конфигурациям процессов, составу моделей и ценовым допущениям, а все модели тестировались в одинаковом среднем режиме рассуждений. В рамках исследовательского превью GitHub планирует проверить, как эти данные соотносятся с реальными рабочими нагрузками разработчиков, и на основании этого дополнительно оптимизировать качество, задержки, устойчивость, кэширование, стоимость и безопасность.

TerminalBench 2.1 проверяет кодирующие агенты на сложных многошаговых задачах в терминальной среде. На этом наборе HydraFusion демонстрирует наглядный прирост качества при меньших расходах по сравнению с базовой моделью Opus 5.

DeepSWE тестирует сложные задачи промышленной разработки на уровне репозиториев, где требуется работать с большими кодовыми базами, учитывать зависимости между файлами и предлагать полноценные исправления. На этом наборе HydraFusion отстаёт от Opus 5 всего на 1,5 процентного пункта по качеству при снижении стоимости на 36%, что показывает выгодный баланс для сложных инженерных сценариев.

CheckpointBench — внутренний мультиходовый бенчмарк, составленный из реальных сессий агентного кодинга GitHub Copilot. Каждая сессия привязана к публичному репозиторию и неизменяемому коммиту, что делает воспроизведение задач возможным. Набор уравновешен по языкам, типам задач и уровню сложности и дополнительно отфильтрован по качеству.

На CheckpointBench HydraFusion практически сравнялась с Opus 5: разница в доле успешно решённых задач составила 0,1 процентного пункта при 65% меньших затратах. В материале приводится оценка: «Пока что способность HydraFusion к рассуждению и решению задач находится на уровне или выше Opus».

Маршрутизация HydraFusion формировалась на основе того, как разработчики реально используют GitHub Copilot. Чтобы сделать эти сценарии воспроизводимыми, команда собрала CheckpointBench из реальных траекторий сессий Copilot. Далее HydraFusion многократно дорабатывали на CheckpointBench, DeepSWE и TerminalBench 2.1, оптимизируя решения сразу по трём наборам, а не подгоняя систему под один тест.

Для сравнения кандидатных политик применялись «по-способностным» метрики. Вместо ручной настройки порогов команда использовала поиск по лучшим вариантам (beam search) для построения оптимальной схемы принятия решений. Каждый новый вариант сравнивался с зафиксированной базовой линией по качеству, стоимости и типам отказов.

TerminalBench 2.1 дал самую полную историю прогонов и лучше всего показывает траекторию улучшений. Улучшение было не монотонным: между 11 и 25 августа две операционные ошибки в инфраструктуре оценки привели к некорректным результатам. Эти прогоны исключили, ошибки исправили, после чего конфигурации HydraFusion продолжили улучшаться и к 25 августа достигли своих наиболее сильных рабочих точек в серии.

Эта история разработки отражает рост качества политики за счёт повторных экспериментов. TerminalBench 2.1 был лишь одним из использованных наборов: его насыщенность делает особенно важной более широкую проверку, поэтому итоговый сравнительный анализ дополнен DeepSWE с более тяжёлыми задачами на уровне репозиториев. Исследовательский режим расширяет этот цикл обучения на реальные сценарии применения у клиентов.

На этапе превью разработчикам рекомендуют начинать с одноходовых, хорошо сформулированных задач по коду, передавая их Copilot в «автопилотном» режиме одним промптом. Команда GitHub планирует уделить особое внимание устойчивой работе в более длинных, итеративных сессиях в следующих версиях.

Цель превью — понять, какие именно задачи выигрывают от составных процессов и как оркестрация влияет на задержку и стоимость на практике. Обратную связь о том, где HydraFusion особенно эффективна, где даёт слабый результат и каких возможностей не хватает, предлагают отправлять через /feedback в Copilot CLI или в обсуждениях GitHub Community.

Авторы подчёркивают, что HydraFusion остаётся исследовательским проектом. Могут меняться результаты, состав моделей, процессы, доступность, названия и поведение продукта по мере того, как команда учится на данных превью. По их мнению, следующий заметный шаг в развитии кодирующих агентов связан с сочетанием фронтирных моделей и оркестрации в рантайме, а HydraFusion — первая ставка GitHub на этот подход.

В конце материала команда благодарит исследователей, инженеров, продакт-менеджеров и дизайнеров GitHub и Microsoft, которые подготовили обучающие данные, построили пайплайн обучения, наборы для оценки, клиентский опыт и инфраструктуру развёртывания. Отдельно отмечены команды GitHub Copilot CLI, Copilot API и VS Code, которые преодолели множество технических задач, чтобы сделать этот исследовательский режим доступным для пользователей.

Источник: блог GitHub

Читать новости ИИ и технологий в Telegram.


Оцените статью
Gimal-Ai