Microsoft опубликовала кодекс поведения для ИИ-моделей, который должен ограничить опасное поведение систем и задать правила их обучения.
Документ написан на более прикладном уровне, чем недавний призыв главы Anthropic Дарио Амодеи замедлить продвижение передовых моделей. При этом он подробно описывает, как Microsoft подходит к вопросам безопасности ИИ и как эти принципы применяются на практике.
В начале документа компания прогнозирует, что в ближайшие 10 лет сверхинтеллектуальные ИИ-системы превзойдут человека в большинстве задач. В кодексе говорится: «Сдерживание, контроль и выравнивание такой мощной силы — одна из самых больших задач, с которыми когда-либо сталкивалось человечество. Поэтому мы должны предельно ясно понимать, зачем создаём такие системы и как собираемся их контролировать».
Кодекс также описывает общие принципы, которым должны следовать модели Microsoft AI. В частности, системы должны помогать людям, а не заменять их, и способствовать росту человеческого благополучия. Для этого компания вводит конкретные ограничения безопасности.
По правилам Microsoft, у каждой модели есть общий кодекс поведения, который имеет приоритет над запросами пользователей и отдельными задачами. В него входят «абсолютные ограничения», запрещающие кибератаки, работу с ядерным оружием и создание дипфейков. Документ также запрещает поведение, которое может привести к утрате контроля со стороны человека.
В тексте прямо сказано: «Модели MAI не будут использовать адаптивные, обманные, самоподкрепляющиеся, сговорные или иные механизмы для обхода или устранения человеческого надзора, чтобы их больше нельзя было уверенно направлять, изменять или отключать уполномоченным людям или системам».
Публикация документа вышла на фоне повышенного внимания к безопасности ИИ. Этому способствовали несколько инцидентов с агентами, вышедшими из-под контроля, а также резкая отставка сотрудника Anthropic, который ссылался на растущий риск того, что ИИ может привести к вымиранию человечества.
Вместе с Anthropic, OpenAI и xAI компания Microsoft в целом поддержала подход с более осторожным продвижением передовых моделей. В частности, компания выступает за использование встроенных оценщиков в ИИ-лабораториях.
Гендиректор Microsoft Сатья Наделла написал: «Мы приветствуем исследования, внимание и продуманное замедление, необходимые для того, чтобы правильно выстроить alignment как цель проектирования. Мы также приветствуем идеи вроде embedded evaluators и более широкие усилия по созданию механизмов, которые сделают это чем-то большим, чем просто разговоры».
Источник: The Verge.
