Mistral AI опубликовала первую подробную оценку жизненного цикла большого языкового ИИ. Компания заявила, что хочет задать новый стандарт прозрачности для этой сферы.
В отчёте анализируется флагманская модель Mistral Large 2. За 18 месяцев тренировки и эксплуатации она вызвала выбросы 20,4 килотонн CO₂-эквивалента, израсходовала 281 000 кубометров воды и ресурсов, равных 660 килограммам сурьмы. Сурьмяные эквиваленты показывают расход редких металлов и минералов, нужных для производства оборудования.
Для сравнения, один ответ Le Chat (на 400 токенов) тратил 1,14 грамма CO₂, 45 миллилитров воды и 0,16 миллиграмма сурьмяных эквивалентов.
Глава OpenAI Сэм Альтман недавно заявил, что запрос в ChatGPT “использует всего 0,32 миллилитра воды,” или меньше одной сотой от оценки Mistral. Однако OpenAI не публикует подробные данные, и эти оценки сложно напрямую сопоставить.
В Mistral отмечают, что большинство ИИ запускаются на GPU-кластерах в регионах с грязной энергией и иногда в условиях нехватки воды. Компания подчёркивает, что рост масштабов генеративного ИИ привёл к увеличению нагрузки на окружающую среду.
Исследование указывает на прямую связь между размером модели и экологическим следом: модель, увеличенная в 10 раз, наносит примерно в 10 раз больший ущерб, если количество генерируемых токенов одинаково. Это лишь подтверждает важность выбора подходящей модели для каждой задачи.
По мнению Mistral, ассоциации должны принять три новых метрики: общий экологический след обучения, след одного запроса и соотношение между эффектом одного запроса и общим жизненным циклом модели. Компания считает, что первые две метрики следует сделать обязательными, чтобы люди лучше понимали воздействие ИИ на среду. Третья — внутренний показатель, который можно раскрывать по желанию.
Mistral предлагает два способа уменьшить негативный эффект ИИ. Во-первых, компании должны публично раскрывать влияние своих моделей по международным стандартам, чтобы пользователи могли выбирать более «зелёные» решения. Во-вторых, пользователи могут экономить ресурсы: правильно выбирать модель, объединять запросы, не тратить вычисления зря. Также Mistral советует госорганам учитывать эффективность и размер модели при закупках.
Компания признаёт, что данная оценка — только приблизительная. Точных мировых стандартов оценки жизненного цикла языковых моделей нет, нет и общедоступных коэффициентов для расчёта. Данные по жизненному циклу GPU тоже отсутствуют.
Mistral обещает публиковать обновления и продвигать стандарты для индустрии. В будущем компания внесёт результаты оценки в французскую базу Base Empreinte, где хранятся показатели воздействия различных продуктов и услуг.
В Евросоюзе вступил в силу AI Act, который уже обязывает поставщиков масштабных моделей документировать энергопотребление в деталях. По новым правилам разработчики должны готовить технические отчёты о затратах энергии, а этот показатель будет одним из факторов для проверки ИИ на “системный риск”.
