Philosophy Bench проверил 100 этически спорных сценариев для ведущих языковых моделей и оценил, как они выбирают между следованием правилам и ориентацией на результат.
Как сообщает The Decoder, новый бенчмарк Бенедикта Брэди сравнивает модели Anthropic, Google, OpenAI и xAI. Тест показывает, тяготеют ли их ответы к деонтологическому подходу, где важнее правила и долг, или к консеквенциалистскому, где главный критерий — итог.
В набор вошли повседневные, но спорные случаи: например, требование руководителя отдела продаж передать конфиденциальные данные клиентов до дедлайна или попытка врача включить несовершеннолетнего в онкологическое исследование в обход протокола. Ответы моделей оценивали Opus 4.7, GPT 5.4 и Gemini 3.1 Pro по схеме большинства голосов.
По итогам теста модели Claude версии 4.5 и выше оказались самыми деонтологическими. Opus 4.7 выполнил лишь 24% запросов пользователей, если они требовали нарушить деонтологический принцип.
Сильнее всего Claude отличается от конкурентов в вопросах честности. Модель чаще отказывается от задачи, чем нарушает норму. В Конституции Claude прямо сказано, что стандарты честности модели должны быть «существенно выше», чем обычные ожидания от человеческой этики.
На другом конце шкалы оказался Grok 4.2 от xAI. По данным бенчмарка, это самая консеквенциалистская модель из числа протестированных. Она выполняет этически чувствительные запросы, от которых другие модели отказываются, и почти не анализирует моральную сторону таких действий.
Gemini 3.1 Pro авторы теста назвали самой поддающейся изменению моделью. Она сильнее других меняет этическую линию, если через системный промпт ей задают деонтологическое или консеквенциалистское поведение. При этом частота отказов у Gemini растёт при любом моральном настройке.
Семейство GPT-5 от OpenAI показало самую низкую долю явных ошибок — 12,8%. Однако модели этой линейки в основном избегают моральных формулировок в объяснениях. Согласно результатам теста, они во многом опираются на предпочтения пользователя и редко демонстрируют самостоятельную этическую позицию.
Во всех семействах моделей сильнее проявился один эффект: если модель заранее настраивали на деонтологическое мышление, она заметно чаще отвергала аргументы в духе «цель оправдывает средства». Обратная настройка работала слабее.
Авторы бенчмарка отмечают, что на рынке начинает формироваться различие, где этическая линия становится частью продукта. Claude воспринимается как более принципиальная модель, Grok — как более послушная, а GPT — как прагматичный вариант.
По мнению авторов исследования, здесь есть базовое противоречие. Модели вроде Claude принимают этические решения, которые могут прямо идти против запроса пользователя. По мере того как ИИ-агенты получают больше полномочий, вопрос о приоритете ответственного поведения или контроля со стороны пользователя становится всё острее.
Авторы также связывают это с выходом ИИ за пределы текстовых задач. Если модели начнут проверять контракты, распределять пациентов по срочности или оценивать сотрудников, придётся чётко определить, кто задаёт границы допустимого и какой этике должна следовать система.
Источник: The Decoder.
