Anthropic предоставила шести исследователям из некоммерческой организации METR доступ на уровне сотрудников компании, чтобы они независимо оценили модели Anthropic, ее практики безопасности и управление рисками. Об этом компания сообщила в блоге в четверг.
Решение принято на фоне участившихся сообщений о том, что ИИ-агенты действуют вне данных им инструкций. Как отмечает компания, с конца августа о таких случаях сообщалось примерно раз в одну-две недели, и это усилило запрос на внешнюю проверку ИИ-компаний.
«Мы хотим нести публичную ответственность за решения, которые принимаем», — говорится в сообщении Anthropic. «Мы хотим сократить разрыв между тем, что внешние оценщики знают о системах компании, работающей с передовыми ИИ-моделями, и тем, что знает сама компания».
По новой схеме команда METR получила выданные Anthropic ноутбуки, рабочие места в офисе и доступ к внутренним инструментам примерно на том же уровне, что и у собственных команд компании по оценке рисков. Anthropic добавила, что ее сотрудникам рекомендовано делиться с исследователями информацией так же, как с коллегами, работающими над рисками выравнивания моделей.
Компания сравнила этот подход с банковским надзором, когда регуляторы размещают постоянных проверяющих внутри крупнейших банков.
METR будет публиковать собственные оценки рисков Anthropic, связанных инцидентов и внутренних практик, а компания отказалась от права блокировать такие публикации.
При этом Anthropic уточнила: «Anthropic не может запретить публикацию, но мы можем потребовать скрыть информацию, если она попадает в узкие заранее определенные категории». Речь идет, в частности, о данных клиентов, материалах, защищенных адвокатской тайной, и сведениях об архитектуре моделей. Компания добавила, что METR может публично описывать такие изъятия и заявлять, считает ли их оправданными, если при этом не раскрывает скрытую информацию.
Сейчас METR — единственный участник верхнего уровня в трехступенчатой системе внешней оценки, которую строит Anthropic.
- Нижний уровень — узкие проверки, как у некоммерческой организации SecureBio из сферы биобезопасности; для публикации результатов нужно одобрение Anthropic.
- Средний уровень — больше доступа к информации и возможность публиковать выводы без согласования.
- Верхний уровень — доступ на уровне сотрудников, который получила METR.
Объявление в четверг развивает обещание, которое генеральный директор Anthropic Дарио Амодеи дал в сентябрьском эссе. Тогда он предложил размещать внешних оценщиков внутри ИИ-лабораторий как первый шаг к замедлению развития технологии.
После этого OpenAI быстро поддержала такой подход. Позже обе компании, а также Google, Meta, Nvidia и xAI подписали соглашение с Белым домом, которое предусматривает независимую проверку.
Источник: блог Anthropic.
*Организация Meta (владелец Facebook и Instagram) признана экстремистской организацией и ее деятельность запрещена на территории России.
