Исследователи из Apple, Стэнфорда и Университета Вашингтона показали, что выбор инструмента для извлечения текста из HTML существенно влияет на состав обучающих наборов для больших языковых моделей. По их данным, разные парсеры «видят» разные части интернета, хотя сами модели затем показывают схожие результаты на стандартных бенчмарках.
Большие языковые модели обучаются главным образом на текстах, собранных из интернета. В основе многих наборов данных лежит архив Common Crawl. Прежде чем использовать страницы для обучения, из HTML-кода нужно извлечь текст: удалить навигацию, скрытые элементы и элементы оформления. Этот этап часто воспринимают как техническую деталь, однако новое исследование показывает, что от него сильно зависит качество и полнота данных.
Авторы работы сравнили три широко распространённых инструмента: быстрый Resiliparse, более сбалансированный Trafilatura и основанный на стоп-словах JusText. Обычно крупные проекты по сбору датасетов выбирают один такой инструмент и применяют его ко всем страницам, считая, что раз качество моделей по итогам сравнимо, выбор парсера мало что меняет.
Результаты опровергли это предположение. Исследователи прогнали единый фильтрующий конвейер по результатам всех трёх парсеров и сравнили наборы страниц, прошедших отбор. Только 39 % страниц попали более чем в один результат, оставшиеся 61 % присутствовали только в одном из трёх. Каждый инструмент систематически поднимает разный пласт веб-контента, а использование одного парсера приводит к потере большого объёма доступных данных.
Объединение результатов всех трёх инструментов увеличило количество токенов в наборе данных на 71 % при сохранении уровня качества по бенчмаркам. Даже после дополнительного дедуплицирования прирост составил 58 %. Для моделей на 7 млрд параметров объём данных вырос с 193 до 283 млрд токенов по сравнению с вариантом, где использовался только Resiliparse.
Такой подход также превзошёл простой вариант ослабления фильтров у одного парсера. Строгие пороги качества, применённые сразу к нескольким инструментам, дали более качественные страницы, чем «мягкие» фильтры для одного. Преимущество особенно заметно в сценариях дефицита данных, которые имитируют истощение доступного интернет-контента.
Для общих языковых задач три парсера дают близкий результат. Однако для структурированного контента, например таблиц и кода, различия оказываются резкими. JusText часто полностью удаляет таблицы и блоки кода. Trafilatura пытается переводить таблицы в формат Markdown, но по пути теряет содержимое ячеек. Resiliparse лучше сохраняет контент таблиц и кода.
На бенчмарке WikiTableQuestions модель на 7 млрд параметров, обученная с использованием Resiliparse, набрала 11,9 балла. Trafilatura показала 3,7 балла, а JusText — 1,6. Таким образом, Resiliparse закрыл 73 % разрыва между DCLM-7B-8k и Llama-3-8B по пониманию таблиц, при том что на общих бенчмарках модели демонстрировали сопоставимые результаты.
JusText также уступил на бенчмарке HumanEval по программированию до 3,6 процентного пункта из-за частого удаления кодовых блоков. Trafilatura искажает форматирование пробелов, критичное для ряда языков программирования.
Исследователи подчёркивают, что их цель — не создание новых парсеров, а демонстрация того, что существующие инструменты дают лучший результат, если использовать их параллельно и выбирать по типу контента. Подходы, которые могли бы ещё сильнее расширить объём извлекаемых данных, в работе не изучались. Вместе с тем авторы отмечают риск: более эффективное извлечение увеличивает долю вредного или защищённого авторским правом контента в обучающих наборах.
По мнению авторов исследования, интернет как источник данных для языковых моделей конечен. Тот факт, что один из первых технических шагов — извлечение текста из HTML — определяет, сколько из этого ресурса реально будет использовано, должен заставить команды, собирающие датасеты, пересмотреть свои конвейеры обработки.
Источник: The Decoder
