OpenAI представила Private Safety Processing — новый подход к контролю возможных злоупотреблений ИИ без хранения данных клиентов. Сервис пока доступен в режиме предварительного тестирования для ограниченного круга заказчиков.
По сути, это автоматизированная система, которая отслеживает признаки нарушений и при этом не сохраняет пользовательские данные. Запуск выглядит как ответ на недавнюю политику Anthropic по хранению данных, которая вызвала недовольство части корпоративных клиентов.
Ранее Anthropic сообщила, что может хранить данные пользователей до 30 дней для так называемых covered models. В эту категорию входят все модели класса Mythos, а также будущие модели со схожими возможностями.
Эта политика была объявлена в июле и, как объясняла компания, нужна для проверки возможных нарушений правил безопасности. Однако такой подход вызвал опасения у компаний, которые работают с чувствительными данными и не хотят, чтобы ИИ-лаборатория хранила или проверяла их переписку.
OpenAI, как и многие другие разработчики ИИ, уже использует политику Zero Data Retention. Она предполагает проверку каждой отдельной сессии через агенты в API OpenAI без сохранения данных и без участия человека в стандартном процессе контроля.
При этом Anthropic также в основном следует модели ZDR, за исключением covered models, таких как Fable. Именно для них действует отдельный порядок хранения данных.
По словам OpenAI, Private Safety Processing расширяет возможности ZDR. Компания называет это долгосрочным мониторингом безопасности: система анализирует входные и выходные данные сразу из нескольких разговоров, а не в рамках одной сессии.
Если агент обнаруживает подозрительный сигнал, он может сопоставить взаимодействия между разными сессиями и проверить, есть ли признаки злоупотребления. Представитель OpenAI сообщил TechCrunch, что это помогает выявлять вредоносное использование ИИ, растянутое во времени.
Как поясняет компания, злоумышленник может разбивать запросы на части, чтобы не попасть под обычные фильтры. В качестве примера OpenAI приводит гипотетическую попытку создать вредоносное ПО для кибератаки через серию разрозненных запросов.
Если система срабатывает, она может отправить в OpenAI «узко определённый сигнал», который указывает на конкретный тип активности. После этого компания решает, требуется ли применение мер.
Если OpenAI сочтёт вмешательство нужным, компания свяжется с клиентом, чтобы получить дополнительный контекст или совместно решить проблему. По словам представителя компании, клиент сам решает, делиться ли данными с OpenAI.
Anthropic, со своей стороны, отмечает, что проверка клиентских данных сотрудниками возможна только через контролируемый канал доступа и с участием небольшого числа одобренных проверяющих. Компания также заявляет, что каждая такая сессия фиксируется в журнале, который нельзя скрыть или изменить.
На фоне этого усиливается и конкуренция между OpenAI и Anthropic. Недавний отчёт показал, что во втором квартале OpenAI росла медленнее Anthropic. По сообщениям, текущая годовая выручка Anthropic в пересчёте на год достигла $65 млрд.
Инвесторы Anthropic также заявляли, что компания в будущем может выйти на IPO с оценкой до $2 трлн. OpenAI, как сообщается, тоже ведёт работу над IPO.
Источник: TechCrunch.
