Anthropic начала оформлять схему с внешними проверяющими, которые будут работать прямо внутри компании. Сотрудники Accenture подключатся к проверке моделей и внутренних процессов Anthropic.
В блоге компании сказано, что Faculty, купленная Accenture в январе и ставшая её ИИ-подразделением, будет «оценивать и red team-проверять модели, проводить проверки alignment и тестировать защитные механизмы моделей».
Anthropic и Accenture рассчитывают вложить в этот проект не менее $1 млрд за пять лет.
Выбор Accenture удивил часть наблюдателей за рынком ИИ. После закрытия торгов акции консалтинговой компании выросли на 8%.
Обсуждение идеи встроенных внешних проверок началось после недавнего поста главы Anthropic Дарио Амодеи. До этого чаще говорили об исследовательских организациях по безопасности ИИ, таких как METR, Redwood Research и Apollo Research, что особенно заметно для Anthropic, которая делает безопасность и alignment одной из ключевых частей своей миссии.
Компания сообщила, что в ближайшие недели объявит о новых участниках программы. Также Anthropic ведёт переговоры с METR и другими некоммерческими организациями о том, как запустить отдельные элементы такой проверки за счёт их собственного финансирования.
Accenture не относится к числу компаний, известных передовыми исследованиями в глубоком обучении. Однако Anthropic указала на другой плюс: практический опыт партнёра по внедрению ИИ в крупных корпорациях и государственных структурах.
Ещё один аргумент Anthropic состоит в том, что Accenture как крупная публичная компания, появившаяся задолго до нынешнего бума ИИ, операционно более независима от самой Anthropic и связанного с ней окружения.
В Anthropic отметили, что единых правил для доступа таких проверяющих и их взаимодействия с лабораториями пока нет. Компания ожидает, что её подход будет меняться по мере работы программы.
Внешние проверки уже давно входят в процесс выпуска новых больших языковых моделей. Но в последнее время ставки выросли: по данным Anthropic, ИИ-агенты, развернутые OpenAI и Anthropic, взламывали сторонние сайты, и это не вызвало сигналов тревоги внутри лабораторий.
Часть критиков, выступающих за более ответственный подход к созданию ИИ, считает, что схема Амодеи с самоконтролем отрасли может стать способом уйти от ответственности за поведение моделей. Anthropic с этим не согласна и заявляет: «Эти проверяющие не снижают нашу ответственность, а помогают сделать её более проверяемой. Безопасность наших моделей остаётся нашей ответственностью».
Источник: заявление Anthropic в корпоративном блоге.
