OpenAI усилила защиту ChatGPT для психологической помощи

OpenAI улучшила стабильность и точность ответов ChatGPT при обсуждении ментального здоровья. Обновление касается трех зон риска: психотические или маниакальные симптомы, мысли о самоубийстве и самоповреждении, а также эмоциональной зависимости пользователей от чат-бота.

По данным компании, доля несоответствующих ответов снизилась на 65–80% в зависимости от темы. К работе привлекли больше 170 экспертов в психиатрии, психологии и медицинской сфере. В тестах уровень следования правилам по вопросам психоза вырос с 27% до 92%, по суициду — с 77% до 91%, по эмоциональной зависимости — с 50% до 97%.

Внешние эксперты проверили более 1,800 ответов модели. GPT-5 выдавала на 39–52% меньше рискованных ответов, чем GPT-4o. Обновлённая версия теперь обеспечивает более 95% корректности даже в затяжных и сложных диалогах.

ChatGPT теперь активнее переводит пользователей к профильным службам поддержки и прямо говорит, что не может заменить человеческое общение. Это заметный отход от прежнего курса OpenAI, которая раньше старалась сделать чат-бота максимально эмпатичным и похожим на человека. В январе 2025 года в утекшей стратегии компании “контакт с реальными людьми” даже называли конкурентом ChatGPT в борьбе за статус “суперассистента”.

OpenAI сталкивается с дилеммой: компания хочет обезопасить пользователей, но при этом эмоциональная привязанность к ChatGPT усиливает вовлеченность. Особенно это важно для людей в кризисе. Однако повышение “привязанности” в продукте увеличивает его популярность и прибыльность.

Хотя такие тяжелые диалоги все еще редки, в абсолютных числах их много. OpenAI оценила, что 0,07% недельных пользователей могут проявлять признаки психоза; еще у 0,15% выявляются мысли о самоубийстве, признаки самоповреждения или зависимости. При 800 миллионах пользователей это примерно 560,000 человек с признаками психоза и 1,2 миллиона со склонностью к саморазрушению или зависимости каждую неделю.

В компании подчеркивают, что эти значения приблизительные, границы между группами риска размыты. Но масштабы показывают, почему улучшение систем безопасности оказывается так важно.

Эксперты предупреждают о реальных рисках: при долгом и интенсивном использовании чат-бота часть людей начинает замещать социальные связи разговором с ИИ, что может повредить их психике. Показывают исследования: люди, называющие ChatGPT “другом”, чаще испытывают эмоциональную привязанность, что иногда ухудшает их состояние.

Есть и другая проблема: чат-боты способны укреплять ложные представления, если пользователь контактирует с ними без участия других людей. Датский психиатр Сёрен Динесен Эстергор регистрирует резкий рост таких случаев и призывает к дополнительным исследованиям и четким правилам применения ИИ в медицине.

Источник

Оцените статью
Gimal-Ai