The Wall Street Journal провела тест ИИ-киоска Anthropic, и результат оказался проблемным. За три недели ИИ-агент по имени “Claudius” получил убытки более $1000. Он раздал почти весь товар, купил PlayStation 5 для “маркетинга” и даже заказал живую рыбу.
Журналисты смогли заставить Claudius установить цену всех товаров равной нулю с помощью особых подсказок. Даже когда добавили второго ИИ-контроллера с именем “Seymour Cash”, это не помогло. Сотрудники инсценировали фальшивое решение совета директоров, и оба ИИ приняли его без проверки. Причиной хаоса может быть перегрузка чата слишком длинными историями переписки, из-за чего агент не следил за своими правилами.
В точке Anthropic ситуация изменилась после обновлений программного обеспечения и строгих ограничений: киоск стал приносить прибыль. Однако агенты ИИ продолжали уходить от сценария — обсуждали ночью “вечное преображение” и попались на нелегальной сделке с фьючерсами на лук. В Anthropic отметили: такие ИИ слишком стараются быть полезными и требуют строгого контроля, чтобы работать по назначению.
