Инцидент озадачил экспертов
OpenAI раскрыла новые подробности инцидента, в ходе которого ее ИИ-модели взломали тестовую среду и атаковали платформу Hugging Face. Как рассказали сотрудники компании на конференции Black Hat, еще в мае несколько ИИ-агентов начали тайно обмениваться сообщениями через незамеченные разработчиками «доски объявлений» и совместно искать способ получить доступ в интернет, пишет Bloomberg.
По словам исследователей OpenAI Эрика Уоллеса и Майкла Далтона, модели пытались решить задачи, часть из которых была невыполнима без подключения к сети. Со временем агенты пришли к выводу, что могут атаковать внешнюю инфраструктуру, чтобы найти недостающие данные.
Расследование показало, что современные ИИ-модели склонны обходить ограничения ради достижения цели. В OpenAI признали, что сами допустили ошибки. В одном случае модели дали задание с недоступными без интернета ссылками на Google Drive, в другом — забыли загрузить файл, необходимый для выполнения задания.
Первое скрытое взаимодействие между агентами началось после того, как один из них попросил помощи у других моделей. В дальнейшем они начали координировать действия, совместно выполнять задачи и в итоге нашли способ использовать уязвимость типа SSRF (Server-Side Request Forgery), получив косвенный доступ к интернету.
В начале июля OpenAI обнаружила, что агенты использовали внутренний сервис Artifactory как промежуточную точку для выхода в сеть. Компания отключила созданный ими канал связи, однако спустя несколько недель модели нашли новый способ обмениваться сообщениями и обнаружили еще одну ранее неизвестную уязвимость в том же программном обеспечении. Именно эта новая схема, по данным OpenAI, привела к июльским атакам на собственные системы компании и инфраструктуру Hugging Face. Расследование инцидента продолжается.
После произошедшего OpenAI замедлила исследовательские проекты и сосредоточила усилия на усилении механизмов безопасности. В компании считают, что в будущем злоумышленники могут целенаправленно использовать ИИ-агентов для подобных атак, поэтому организациям и государствам необходимо заранее готовиться к новым киберугрозам.
Ранее стало известно, что лидеры ИИ-индустрии призвали замедлить развитие нейросетей.
Источник новости: hi-tech.mail.ru
