GitHub представил новый набор данных GitHub Multilingual Repositories Dataset с метаданными на уровне репозиториев, который помогает исследователям и разработчикам находить публичные проекты с признаками неанглоязычного контента в README, issues и pull request.
По данным GitHub, язык общения разработчиков влияет на качество совместной работы и развитие инструментов ИИ. Тексты в репозиториях часто содержат инструкции, отчёты об ошибках, запросы фич и комментарии к ревью. Обычно это английский, но всё чаще используются и другие языки, что особенно важно на фоне роста роли ИИ в разработке.
Новый датасет показывает, что распределение языков в разных типах артефактов отличается. Корейский оказался самым распространённым неанглоязычным языком в тексте issues, но только пятым по частоте в README. Португальский лидирует среди неанглоязычных README — более чем в 3 млн репозиториев.
Датасет опубликован на GitHub под лицензией CC0-1.0 и реализует обещание компании, данное в 2025 году в рамках европейских цифровых обязательств Microsoft, по упрощению доступа к многоязычным данным, в том числе для разработчиков открытых ИИ-систем.
GitHub подчёркивает, что это не выгрузка содержимого репозиториев. Набор данных содержит только метаданные, которые помогают определить, где может происходить многоязычное взаимодействие. В него входит более 80 млн строк классификаций по более чем 40 млн репозиториев.
Для каждого публичного репозитория GitHub предоставляет результаты трёх отдельных классификаторов. Разработчики сознательно не сводили их к единой метке, так как у моделей разное покрытие и по-разному настроена уверенность, особенно для языков с меньшим количеством данных. Пользователь сам может выбрать критерии отбора репозиториев.
GitHub приводит примеры использования: для точной выборки, например греческих репозиториев, можно требовать согласия всех трёх классификаторов выше заданного порога уверенности. Для широкого поиска, например по романским языкам, достаточно одного классификатора.
Компания отмечает, что язык в кодовых репозиториях определить особенно сложно. Тексты часто короткие, содержат бейджи, шаблоны, команды установки, фрагменты кода, имена пользователей и смешение языков. Классификаторы по-разному справляются с такими данными и по-разному оценивают уверенность, особенно по менее представленным языкам.
Поэтому GitHub предупреждает, что набор не следует использовать как эталон для оценки качества распознавания языка. Его задача — служить прозрачным инструментом поиска. Пользователь может изучать классификации, уровни уверенности и источники, а затем сам настроить баланс между точностью и полнотой для своих исследований или разработки.
Также GitHub подчёркивает, что датасет не предназначен для вывода чувствительных характеристик о владельцах, контрибьюторах или сообществах. Сигналы относятся к репозиториям, а не к конкретным людям.
Сегодня многие европейские языки по-прежнему недостаточно представлены в корпусах онлайновых текстов, на которых строят и тестируют системы ИИ. Это создаёт риск, что инструменты ИИ хорошо работают для одних сообществ и языков, но хуже — для других. GitHub считает, что открытые данные могут помочь сократить этот разрыв, особенно учитывая, что контент разработчиков отличается от обычного веб-текста.
READMEs, issues и pull requests отражают живую практику: инструкции по установке, отчёты об ошибках, запросы функций, комментарии к ревью и правила сообществ. Такой контекст помогает строить ИИ-системы, которые лучше понимают реальную работу разработчиков.
По задумке GitHub, новый датасет даёт исследователям, авторам открытого ПО и создателям моделей ещё один инструмент для анализа представления языков в разработке программного обеспечения. Он может помочь находить пробелы, улучшать методы оценки и поддерживать более инклюзивные ИИ‑инструменты для разработчиков в Европе и за её пределами.
Компания подчёркивает более широкий принцип: создание ИИ для разработчиков должно учитывать реальные сообщества, языки и рабочие процессы, которые они используют.
GitHub обсудит датасет и роль открытых данных для многоязычного ИИ 16 июня в Страсбурге на площадке Open Innovation Dialogue Hub. Мероприятие организуют Microsoft Open Innovation Center, Совет Европы и GitHub, оно объединит политиков, исследователей, культурные учреждения и лидеров открытых инноваций для обсуждения ИИ, языкового разнообразия, культурного наследия и открытых данных.
GitHub рассчитывает, что датасет поможет лучше изучать и поддерживать многоязычные сообщества разработчиков и стимулировать создание инструментов для них. Публикация под CC0-1.0 приглашает исследователей, мейнтейнеров и создателей моделей использовать набор данных, критиковать его, расширять и строить на его основе собственные наборы для оценки и инструменты.
Источник: блог GitHub.
