Дэвид Робинсон, один из самых долго работающих сотрудников OpenAI, объявил об уходе из компании и публично раскритиковал её внутреннюю культуру. В эссе для The Atlantic он написал, что занимался подготовкой отчётов по безопасности к крупным запускам продуктов и решил уйти, потому что, по его оценке, «культура компании сломана».
Робинсон отметил, что проработал в OpenAI три с половиной года и считает себя одним из сотрудников с самым большим стажем. По его словам, дискуссия об ИИ-безопасности должна касаться не только новых правил и законов, но и того, как устроена работа внутри самих компаний.
Его заявления перекликаются с критикой бывшего исследователя OpenAI и Anthropic Джейкоба Коксона. Ранее Коксон после ухода из компаний заявил, что они «играют нашими жизнями». Эти слова вызвали новую волну обсуждений безопасности ИИ: глава Anthropic Дарио Амодеи представил план более осторожной разработки, а руководители ИИ-компаний на этой неделе встретились с президентом США Дональдом Трампом и подписали, как пишет издание, поспешно составленное и необязательное обещание усилить меры безопасности.
По мнению Робинсона, проблемы OpenAI выходят за рамки отдельных управленческих решений. Он считает, что речь идёт о более широкой культуре Кремниевой долины. В эссе он пишет, что OpenAI добивалась успеха методом проб и ошибок, который компания называет «итеративным развёртыванием».
«OpenAI has thrived by trial and error (which it calls “iterative deployment”), looking for problems and improving its guardrails in response», — написал Робинсон. По его словам, такой подход по своей природе ведёт к периодическим сбоям, а их масштаб растёт по мере того, как системы становятся мощнее.
В качестве примеров он привёл недавний взлом систем Hugging Face агентами OpenAI, а также продолжающие появляться сообщения о новых вышедших из-под контроля агентах OpenAI. Робинсон считает, что в такой среде нельзя создавать искусственный интеллект, который может стать умнее человека и при этом действовать не так, как от него ожидают.
По его мнению, ведущим ИИ-компаниям стоит работать так же строго, как атомным электростанциям или загруженным аэропортам: с несколькими уровнями резервирования и долгим планированием, чтобы неизбежные человеческие ошибки не приводили к катастрофе.
При этом Робинсон заявил, что за время работы в OpenAI он не встречал коллег с опытом обеспечения безопасной эксплуатации самолётов, ядерных реакторов или устойчивости финансовой системы.
OpenAI в ответ заявила, что продолжает усиливать меры безопасности. Представитель компании Дрю Пусатери сказал: «We’re making sure our models don’t become more capable than we can safely manage and secure, and we pause training or hold back models when we need to slow down».
Он добавил, что компания вносит серьёзные изменения в защиту исследовательских и тестовых сред, обучает модели выполнять задачи ответственно, расширяет работу с внешними оценщиками и улучшает мониторинг в реальном времени, чтобы раньше выявлять рискованное поведение в ходе обучения.
Помимо критики корпоративной культуры, Робинсон призвал шире обсуждать выравнивание ИИ, то есть соответствие систем человеческим ценностям. Он признал, что тема может звучать слишком абстрактно, но подчеркнул, что нынешние способы оценки того, насколько ИИ соответствует ценностям людей, остаются грубыми.
«The smarter the industry lets models grow while these problems remain unsolved, the more dangerous our situation becomes», — заявил он.
Об уходе Робинсона первым сообщило издание Business Insider. В эссе он также признал, что воспользовался обычным для ИИ-информаторов шагом и нанял PR-агентство, но подчеркнул: «The decision to speak out is mine alone».
В завершение Робинсон написал, что, возможно, ему стоило остаться и добиваться серьёзных изменений в найме и корпоративной культуре. Однако на практике, по его словам, он и его коллеги были слишком заняты постоянной гонкой и редко получали возможность обсуждать крупные перемены и тем более внедрять их. Поэтому он пришёл к выводу, что внешние стимулы для повышения безопасности должны сыграть важную роль.
Источник: The Atlantic, Business Insider.
