GitHub представил серию обновлений в GitHub Copilot для Visual Studio Code и других сред, которые должны снизить расход кредитов и сделать работу ИИ-помощника более эффективной без ручной настройки моделей со стороны разработчиков.
Компания выделяет два ключевых направления: оптимизацию «обвязки» Copilot (harness), чтобы сокращать повторяющийся контекст, и механизм Auto, который автоматически выбирает модель под текущую задачу.
Оптимизация GitHub Copilot в VS Code
В длинных сессиях GitHub Copilot в VS Code модель получает много повторяющейся информации: инструкции, контекст репозитория, историю диалога, доступные инструменты и состояние задачи. Часть этих данных нужна каждый раз, но часть можно кэшировать или подгружать по требованию.
Сейчас основную выгоду дают две функции: кэширование промптов (prompt caching) и поиск инструментов (tool search). Кэширование позволяет повторно использовать состояние модели для одинаковых префиксов запросов, а не пересчитывать его при каждом обращении. Поиск инструментов загружает описания инструментов только тогда, когда они действительно нужны, вместо передачи полных схем всех инструментов на каждом шаге.
Это особенно важно по мере роста числа подключаемых инструментов: MCP-инструменты, команды терминала, операции с файлами, поиск по рабочему пространству, продуктовые действия. Если загружать все их описания заранее, каждый шаг в диалоге получает фиксированные накладные расходы. Благодаря tool search Copilot поддерживает широкий набор инструментов, но отправляет в модель меньше лишних данных.
Для тех, кого интересуют технические детали реализации, GitHub предлагает отдельный технический разбор по VS Code, где описаны кэширование промптов, точки разрыва кэша, поиск инструментов у разных провайдеров и работа этих механизмов в долгих сессиях с агентами.
Auto: автоматический выбор модели под задачу
Механизм Auto отвечает на практический вопрос: какая модель лучше всего подходит под текущую задачу. После первого запроса Copilot оценивает намерение пользователя и текущее состояние моделей, чтобы выбрать вариант с нужным уровнем «рассуждений». Краткие объяснения, точечные правки и сложные изменения сразу в нескольких файлах требуют разной мощности, поэтому нет смысла обрабатывать их одной и той же моделью.
В ходе внутренних оценок GitHub не нашёл модели, которая была бы лучшей для всех типов задач. Во многих случаях более экономичная модель давала такой же результат, а более сильные модели были важны там, где требовалась глубокая проработка. Auto «учится», в каких ситуациях более мощная модель действительно улучшает ответ, а когда достаточно более простой, и тем самым старается не жертвовать качеством ради снижения стоимости, а подбирать оптимальный вариант.
Auto учитывает два основых сигнала: какая модель сейчас доступна и «здоровая», а также какой тип работы выполняет Copilot. Вместе эти сигналы позволяют уйти от единого фиксированного выбора и не слать все задачи ни в самую большую, ни в самую дешёвую модель.
Маршрутизация с учётом кэша
Частая смена модели в диалоге может повредить эффективности: кэш префикса промпта сбрасывается, и экономия на более «лёгкой» модели исчезает из-за потери кэша. Auto решает это через маршрутизацию по естественным границам кэша: первая реплика, когда кэша ещё нет, и момент после «уплотнения» истории, когда Copilot суммирует прошлые шаги и перезапускает префикс. Между этими точками модель не меняется, чтобы кэш продолжал накапливаться.
Поддержка нескольких языков
Copilot используют разработчики по всему миру, поэтому маршрутизация должна корректно работать не только на английском. Модель маршрутизации обучили на диалогах из 16 языковых групп, включая CJK (китайский, японский, корейский) и европейские языки. По результатам оценок точность маршрутизации по языковым группам отличалась от английской базы не более чем на четыре пункта, при этом статистически значимой разницы в качестве замечено не было.
Когда нужна более сильная модель
Вместо простого деления задач на «лёгкие» и «сложные» GitHub обучает маршрутизатор на реальных расхождениях между моделями. Для каждого запроса сравниваются ответы менее способной и более продвинутой модели по нескольким критериям качества. Маршрутизатор учится распознавать, когда сильная модель действительно даёт лучший результат, а когда более экономичная справляется не хуже.
Для сообщений, зависящих от контекста в длинных сессиях с агентами, обучение идёт на полных многошаговых диалогах, включая исходное намерение пользователя, последние ответы ассистента и метаданные беседы.
Где уже работает Auto
Auto с учётом намерения задачи уже доступен в Visual Studio Code, на github.com и в мобильных клиентах. Это даёт Copilot больше сигнала о типе вашей активности — написание кода, отладка, планирование, использование инструментов — и позволяет выбирать более подходящую модель.
GitHub продолжает расширять покрытие Auto в Copilot, планируя вывести эту логику на большее число интерфейсных «поверхностей» и дать командам больше способов установить Auto как поведение по умолчанию.
Как экономить кредиты Copilot
GitHub отмечает, что Copilot становится более эффективным «из коробки», но определённые привычки помогают расходовать кредиты ещё бережнее. Компания подготовила отдельное руководство о том, как получать больше пользы от ИИ-кредитов. Отдельно подчёркивается, что Auto-маршрутизация уже доступна во всех поддерживаемых сценариях Copilot, а подробности приведены в документации по Auto.
GitHub заявляет, что продолжит работу над повышением эффективности Copilot на уровне всей системы, чтобы большая доля кредитов уходила на полезную работу, без необходимости вручную настраивать каждое решение о выборе модели.
Источник: технический блог GitHub о GitHub Copilot и Auto model selection.
