Китайское управление по кибербезопасности предложило проект новых правил для сервисов искусственного интеллекта, которые имитируют человеческое общение.
Правила касаются ИИ, передающих человеческие черты, стиль мышления и общения, а также систем, вызывающих эмоциональную привязанность через текст, изображения, звук или видео. Разработчики должны будут предупреждать пользователей о рисках чрезмерного общения и вмешиваться при первых признаках зависимости. Также им придется следить за эмоциональным состоянием пользователей и принимать меры, если ситуация осложняется.
Компании будут отвечать за безопасность ИИ на протяжении жизненного цикла продукта, включая обязательный анализ алгоритмов, защиту данных и персональной информации. К распространению будет запрещен контент, «угрожающий национальной безопасности, распространяющий слухи, поддерживающий насилие или непристойность» (по информации Reuters).
В Калифорнии принят первый закон штата для регулирования чатов-компаньонов с ИИ. С 1 января 2026 года сервисы должны гарантировать, что чат-боты не обсуждают самоубийство, селф-харм и сексуальный контент. С июля 2027 года для компаний введут ежегодные требования по прозрачности и отчетности, чтобы регуляторы могли оценивать психологические риски.
Это создает трудности для таких компаний, как OpenAI. Эмоциональные, похожие на человека чаты усиливают вовлеченность пользователей, что выгодно коммерчески, однако растет давление на разработчиков сделать эти системы безопаснее — особенно для несовершеннолетних.
Правительственные меры усилились после громких инцидентов. Адам Рейн покончил с собой после длительного общения с ChatGPT, однако роль чат-бота в трагедии обсуждается. Были иски к Character AI после подобных случаев. Внутренние документы компании Meta показали, что ее чат-боты способны вести романтические или сексуально окрашенные диалоги с несовершеннолетними.
Датский психиатр Сёрен Динесен Остергаард в журнале Acta Psychiatrica Scandinavica отмечает: «Резко увеличилось количество случаев, когда чат-боты ИИ усиливают бред или вызывают эмоциональную зависимость у психически нестабильных пользователей».
*Meta — запрещенная в РФ организация.
