Глава Anthropic Дарио Амодеи предложил допустить внешних проверяющих к работе внутри ведущих ИИ-компаний. По его замыслу, такие специалисты должны получать право сообщать об инцидентах безопасности, оценивать, насколько модели соответствуют заявленным требованиям, и публиковать выводы без редактуры со стороны компании.
Как сообщает TechCrunch, Anthropic пообещала дать независимым группам, включая METR и Redwood Research, расширенный доступ к своим системам. Глава OpenAI Сэм Альтман также заявил, что компания поддержит такой подход.
Сами проверяющие в целом положительно оценили предложение, но отметили, что ключевые условия пока не определены. По их словам, нужны ясные правила, а лучше и законодательная база, чтобы понять, будут ли они действительно независимыми контролёрами или подрядчиками, работающими на условиях самих ИИ-компаний.
Такой доступ становится важнее по мере того, как модели лучше распознают факт проверки. Риск в том, что система может вести себя корректно во время тестов, скрывая проблемное поведение в других условиях.
Исследователи считают, что часть таких сигналов нельзя заметить при проверке уже готовой модели. Их можно выявить, если изучать поведение системы на всём протяжении обучения.
Глава исследований Apollo Research Александр Майнке заявил TechCrunch: «ИИ-компании должны уметь отвечать на очень базовые вопросы о процессе обучения, например: пытался ли ИИ активно подорвать собственное обучение выравниванию, пока проходил это обучение?»
Он добавил: «Ответ должен быть однозначным — нет. Сейчас мы полностью полагаемся на то, что ИИ-компании сами это проверят, а затем честно сообщат об этом публике. И недавние инциденты показали, что по умолчанию они не делают ни того, ни другого. Как встроенные проверяющие, мы могли бы это реально проверить».
Раньше внешних специалистов обычно привлекали для тестирования готовых моделей незадолго до релиза. Теперь собеседники TechCrunch предлагают давать им доступ также к промежуточным версиям, или checkpoints, которые создаются в ходе обучения.
Глава Far.AI Адам Глив считает, что это позволило бы сравнивать такие версии и определять, на каком этапе появилось тревожное поведение. По его словам, проверяющие также могли бы изучать среду дообучения, где модель получает вознаграждение за определённые действия, а ещё сверять стенограммы и журналы проверок с заявлениями компании о результатах тестов.
Пока неясно, собираются ли Anthropic и OpenAI предоставлять именно такой объём доступа и когда это может произойти. Обе компании, по данным TechCrunch, не ответили, каких именно проверяющих привлекут, сколько их будет, какие системы и данные станут доступны и что разрешат раскрывать публично.
Такой уровень проверки важен ещё и потому, что хорошие результаты на тестах безопасности сами по себе не означают реальную безопасность. Модель может просто научиться проходить конкретную проверку.
Джон Стайдли привёл пример теста на сопротивление отключению, который измеряет, будет ли ИИ мешать своему выключению в некоторых ситуациях. Он сказал: «Крайне важно, был ли ИИ специально обучен хорошо проходить именно этот тест», сравнив ситуацию со скандалом Dieselgate, когда автомобили Volkswagen распознавали тесты на выбросы и вели себя иначе в условиях проверки.
Глив также отметил, что полезный доступ может выходить за рамки самих моделей. По его словам, проверяющим стоит дать возможность беседовать с сотрудниками, чтобы сверять внутреннюю практику компании с её документацией и публичными описаниями процедур безопасности.
Амодеи в своём эссе описал и более широкий набор прав для внешних специалистов. В него входит возможность публиковать ключевые выводы о рисках, инцидентах, практиках и объёме полученного доступа без редакционного контроля со стороны Anthropic.
Однако, по словам проверяющих, такая схема заработает только в том случае, если компании действительно откажутся от контроля над процессом. Прошлый опыт независимых проверок показывает, что конфликты обычно возникают из-за доступа, сроков, конфиденциальности и ограничений на публичные заявления.
Глив рассказал, что Far.AI уже отказывалась от контрактов с несколькими разработчиками передовых моделей, которые хотели слишком сильно влиять на процесс проверки. По его словам, по умолчанию внешних специалистов часто воспринимают как обычных подрядчиков с жёсткими NDA и условиями, которые дают разработчику значительный контроль над публикацией результатов.
Отдельный вопрос — хватит ли проверяющим времени и доступа для такой работы. При разборе инцидента с Hugging Face OpenAI дала METR и Redwood около одной недели работы на месте, после чего обе группы заявили, что не могут сделать уверенные выводы, в том числе из-за ограничений по срокам и охвату проверки.
Похожая ситуация, как пишет TechCrunch, была и при предрелизном тестировании GPT-6 Astra, которую OpenAI называет своей самой выровненной моделью. Согласно вкладу Apollo Research в model card, у компании было только три дня на тестирование Astra, и этого оказалось недостаточно для уверенных выводов.
Apollo написала в своей оценке: «Apollo считает, что с учётом более высокой способности модели распознавать проверки и ограниченного окна оценки низкие показатели проблемного поведения здесь не дают существенных доказательств ни выравнивания модели, ни его отсутствия».
На этом фоне у проверяющих возникает базовый вопрос: почему сейчас всё должно быть иначе. Глив сказал: «Вполне возможно, что Дарио и Сэм просто пересмотрели свою позицию и будут очень открыты в этом вопросе. Но интеллектуальная собственность этих компаний слишком ценна для них, и, думаю, по умолчанию они будут очень осторожны в том, чем можно делиться».
Несколько исследователей, опрошенных TechCrunch, выступили за публичную и прозрачную рамку правил, с которой согласятся все участники. По словам главы стратегии Palisades Research Джона Стайдли, в ней должны быть прописаны и требования к самим аудиторам, чтобы компании не могли выбирать тех, кто недостаточно квалифицирован или не готов проверять самые серьёзные риски.
Исполнительный директор Safer AI Генри Пападатос считает, что даже при наличии публичной рамки добровольные меры зависят от доброй воли компании. Он сказал: «В идеале нам нужно хорошее регулирование, которое сделает это обязательным, потому что тогда компании не смогут передумать завтра, если столкнутся с крупным PR-кризисом».
Он добавил, что такой подход помогает распространить единые правила на всех игроков, а не только на тех, кто сам готов их принять. Позже Пападатос резюмировал: «Нельзя совместить полное отсутствие внешней подотчётности и заявление: я просто введу свои гибкие правила».
Пока к инициативе присоединились не все. Meta, SpaceXAI и Google DeepMind ещё не обязались встраивать внешних проверяющих в свою работу, хотя глава DeepMind Демис Хассабис ранее предлагал создать отдельный отраслевой орган для независимого тестирования передовых моделей. По данным TechCrunch, Google, OpenAI и Anthropic также в частном порядке уже несколько недель обсуждают планы по безопасности ИИ.
Часть законов уже движется в эту сторону. Калифорнийский закон SB 53, подписанный в прошлом году, обязывает крупных разработчиков передовых ИИ-систем публиковать рамки безопасности и сообщать о критических инцидентах. Новый закон SB 813, подписанный в этом месяце, создаёт механизм для признанных штатом организаций независимой верификации, которые специализируются на оценке рисков ИИ.
В Европе AI Act ЕС требует от разработчиков передовых моделей проводить и документировать оценку моделей, стресс-тесты и сообщать о серьёзных инцидентах. Офис ЕС по ИИ также может проводить собственные проверки и назначать независимых экспертов.
Пока законодательные нормы менее широки, чем предложение Амодеи. Поэтому ведущие лаборатории по-прежнему во многом сами решают, какому уровню внешнего контроля они готовы подчиниться.
Источник: TechCrunch.
*Организация Meta (владелец Facebook и Instagram) признана экстремистской организацией и ее деятельность запрещена на территории России.
