Discord признал, что сбой в системе ИИ-модерации ошибочно заблокировал более 8 тысяч пользователей за последние два месяца. Под блокировки попали безобидные изображения, включая таблицы, шахматные доски, игровые текстуры, а также белые и серые прозрачные фоны.
Компания сообщила, что проблема затрагивала аккаунты с мая. Ещё около 200 пользователей были заблокированы в выходные, прежде чем команда нашла причину и устранила ошибку. Сейчас Discord восстанавливает все затронутые аккаунты.
Инцидент показывает риск автоматической модерации, когда платформы всё чаще используют такие системы для поиска незаконного или оскорбительного контента в большом объёме.
В подробной публикации в X Discord объяснил, что автоматическая система безопасности сверяет загружаемый контент с базами известных вредоносных материалов. По словам компании, такой метод может давать ложные срабатывания. Обычно после этого материалы проверяет сотрудник команды Trust & Safety, но из-за ошибки система сразу блокировала аккаунты.
«Мы работаем над дополнительными мерами защиты, чтобы это не повторилось», — заявила компания.
Discord также написал: «Наши системы помечают контент, сверяя его с известными вредоносными материалами. Такой поиск сходства может давать ложные срабатывания, поэтому сотрудник нашей команды Trust & Safety всегда проверяет отмеченный контент до того, как будут приняты какие-либо меры».
На X и Reddit пользователи сообщали, что получали постоянную блокировку после загрузки изображений с квадратной сеткой. Некоторые предположили, что инструменты модерации Discord стали жёстче реагировать на такие паттерны, потому что их раньше использовали для маскировки NSFW-контента и материалов с эксплуатацией детей от автоматических систем проверки.
Пользователи активно жаловались в соцсетях. Часть из них отмечала, что постоянная блокировка на основе автоматического решения может иметь серьёзные последствия для тех, кто использует Discord для работы, игровых сообществ или общения на расстоянии.
Один из пользователей X написал: «Потеря аккаунта Discord из-за настолько несправедливой причины может сильно ударить по пользователям, и каждый день миллионы пользователей сталкиваются с ложными блокировками из-за ИИ. Это нужно остановить».
Другой пользователь сообщил, что его аккаунт был ошибочно заблокирован после того, как система приняла игровые текстуры за CSAM. Он отметил, что работает гейм-директором и использует Discord для всей рабочей коммуникации, и попросил вернуть доступ к аккаунту.
Discord не единственная компания, столкнувшаяся с проблемами автоматической модерации. В прошлом году пользователи Instagram и Facebook Groups сообщали о массовых необъяснимых блокировках аккаунтов, которые многие связывали с автоматическими системами. Meta публично не подтверждала, были ли причиной ошибки ИИ, однако её наблюдательный совет теперь требует большей прозрачности.
В прошлом году с похожими жалобами столкнулся и Tumblr: пользователи заявляли о массовых блокировках аккаунтов без понятных объяснений.
Источник: публикации Discord в X, сообщения пользователей в X и Reddit.
*Организация Meta (владелец Facebook и Instagram) признана экстремистской организацией и ее деятельность запрещена на территории России.
