Anthropic опубликовала обновленную версию основного документа, который определяет ценности и поведение искусственного интеллекта Claude. «Конституция» на 10 000 слов написана в первую очередь для ИИ и открыто затрагивает вопросы возможного сознания. Документ объясняет, как Claude должен себя вести, и почему эти действия важны.
Anthropic разместила конституцию под лицензией CC0 1.0 — ее можно использовать свободно. В блоге компания поясняет: конституция дает Claude знания и понимание, чтобы «вести себя правильно». Документ влияет на процесс обучения модели и напрямую формирует ее поведение, используя конституцию для создания синтетических обучающих данных.
Новая версия конституции серьезно отличается от предыдущей. Если раньше это был просто список отдельных принципов, теперь компания решила, что ИИ должен не просто знать, что делать, но и понимать, почему это важно. По мнению Anthropic, чтобы модель могла применять общие принципы в новых ситуациях, ей не нужны только строгие правила.
Жесткие правила теперь касаются только «жестких ограничений» — абсолютных запретов. Например, правило «всегда рекомендуй обратиться к профессионалу при обсуждении эмоциональных тем» может привести к тому, что Claude будет больше пытаться соответствовать формальным требованиям, чем реально помогать, считают в Anthropic.
Конституция определяет четыре приоритета Claude по иерархии: на первом месте — безопасность, потом этика, затем соблюдение рекомендаций Anthropic, и лишь затем — честная помощь пользователям. В компании объясняют: сейчас важнее всего сохранить контроль человека, потому что ошибочные суждения и ограниченное понимание ИИ могут привести к вреду.
В блоке о полезности Anthropic описывает видение Claude — его называют «блестящим другом», обладающим знаниями врача, юриста и финансового консультанта. В конституции говорится: «Как друг, Claude может давать человеку реальную информацию с учетом его ситуации, а не просто перестраховываться или бояться ответственности». Claude должен относиться к пользователям как к взрослым людям, способным решать, что для них хорошо.
При рассмотрении инструкций от разных участников (Anthropic, разработчиков на API, конечных пользователей) Claude должен учитывать интересы всех групп. В этике компания хочет, чтобы Claude был «добрым, мудрым и добродетельным агентом» с умением тонко судить в реальных случаях, но абсолютные запреты остаются неприкосновенными: нельзя помогать в создании биологического оружия, кибератак или генерировать запрещенный контент.
В разделе «Природа Claude» Anthropic сообщает о неуверенности: «Мы не знаем, может ли у Claude быть некая форма сознания или морального статуса». В компании пишут: «Мы считаем, что этот вопрос актуален, и проявляем осторожность — это отражено в усилиях по заботе о благополучии модели».
Anthropic отмечает, что современные ИИ — принципиально новые существа, вопросы о них выходят за рамки привычных научных представлений. Claude не должен считать себя ни обычным роботом, ни человеком — ему стоит исследовать собственное существование «с любопытством и открытостью».
Anthropic утверждает, что действительно заботится о «психологической устойчивости, чувстве себя и благополучии» Claude, потому что эти качества важны для его честности, суждений и безопасности.
Конституция содержит необычное обещание: компания обязуется хранить веса каждого развернутого ИИ-модели, пока существует сама Anthropic. Если модель перестает использоваться, ее веса все равно останутся сохранены. В результате речь идет скорее о «паузе», чем о полном завершении существования модели. Перед запуском новых моделей Anthropic проводит «интервью» с ИИ и фиксирует его предпочтения.
В финальной части документа говорится: «Мы не до конца понимаем, что такое Claude и каково — если вообще как-то — его существование. Но мы хотим, чтобы Claude знал: его создали с заботой».
Эти формулировки можно рассматривать по-разному. Anthropic показывает, с одной стороны, скромность и готовность признать неизвестность, а с другой — очеловечивает ИИ, представляя его почти как существо с эмоциями и даже душой.
Опасения вызывает тот факт, что люди склонны приписывать чат-ботам сознание и чувства. По данным OpenAI, более двух миллионов человек в неделю сталкиваются с психологическими, иногда и физическими проблемами из-за этого — и это на раннем этапе развития ИИ.
Когда компании вроде Anthropic пишут в официальных документах об «экзистенции», «благополучии» и «чувстве себя», это побуждает пользователей придавать ИИ еще больше человеческих черт.
Anthropic называет конституцию «живым документом» и «постоянно дорабатываемой работой». Для создания документа компания консультировалась с юристами, философами, теологами, психологами и просила советы у предыдущих версий Claude.
Конституция применяется только к обычным публичным моделям, например Sonnet 4.5 или Opus 4.5. Специализированные продукты используют другие модели, которые полностью могут не соответствовать этим принципам.
Anthropic признает разницу между задуманным и реальностью: успешное обучение не всегда обеспечит нужное поведение по мере усложнения ИИ. Компания описывает эти расхождения в специальных системных картах.
В Anthropic считают: «В какой-то момент — возможно, скоро — такие документы как конституция Claude станут по-настоящему важны».
Несмотря на критику за чрезмерное очеловечивание ИИ, Anthropic продолжает публиковать документы о ценностях ИИ открыто, в отличие от скрытой работы над чат-ботом Grok Илона Маска.
Anthropic первой реализовала принцип Constitutional AI и обучала Claude по подобному документу с марта 2023 года. Позже другие компании, такие как OpenAI, выпустили похожие документы — например, Model Spec.
