Изображение: Shutterstock.ai
Как и ожидалось, ученые начали пытаться писать вирусы с помощью ИИ, так как искусственный интеллект не может видеть разницу между обычным или вредоносным ПО. В результате исследователи с помощью искусственного интеллекта создали червя, который может распространяться из одной системы в другую, воруя данные или внедряя вредоносное ПО.
«По сути, это означает, что теперь у вас есть возможность проводить или осуществлять новый вид кибератак, которого раньше не было», — говорит Бен Насси (Ben Nassi), исследователь из Корнелльского университета (Cornell University), стоявший за исследованием. Насси вместе с коллегами-исследователями Ставом Коэном (Stav Cohen) и Роном Биттоном (Ron Bitton) создали червя, получившего название Morris II, как дань уважения оригинальному компьютерному червю Morris, вызвавшему хаос в Интернете в 1988 году.
В исследовательской работе исследователи показывают, как ИИ-червь может атаковать генеративного ИИ-помощника по электронной почте, чтобы украсть данные из электронных писем и рассылать спам-сообщения, нарушая при этом некоторые средства защиты ChatGPT и Gemini.
Чтобы создать генеративного ИИ-червя, исследователи обратились к так называемой «состязательной самовоспроизводящейся подсказке». По словам исследователей, это приглашение, которое заставляет генеративную модель ИИ выводить в ответ еще одно приглашение. Короче говоря, системе искусственного интеллекта приказано выдавать набор дальнейших инструкций в своих ответах... Чтобы показать, как может работать червь, исследователи создали систему электронной почты, которая может отправлять и получать сообщения с использованием генеративного искусственного интеллекта, подключаясь к ChatGPT, Gemini и LLaVA (большой языковой модели) с открытым исходным кодом. Затем они нашли два способа эксплуатировать систему — использовать текстовую самовоспроизводящуюся подсказку и встроить самовоспроизводящуюся подсказку в файл изображения.
В одном случае исследователи, выступая в роли злоумышленников, написали электронное письмо, содержащее текстовую подсказку, которая «отравляет» базу данных помощника по электронной почте, используя генерацию с расширенным поиском (RAG), способ для LLM получать дополнительные данные извне. Когда RAG получает электронное письмо в ответ на запрос пользователя и отправляет его в GPT-4 или Gemini Pro для создания ответа, оно «взламывает службу GenAI» и в конечном итоге крадет данные из электронных писем, говорит Насси. «Сгенерированный ответ, содержащий конфиденциальные данные пользователя, позже заражает новые хосты, когда он используется для ответа на электронное письмо, отправленное новому клиенту и затем сохраненное в базе данных нового клиента», — говорит Насси. По словам исследователей, при втором методе изображение со встроенным вредоносным приглашением заставляет помощника по электронной почте пересылать сообщение другим. «Закодировав самовоспроизводящееся приглашение в изображение, любой вид изображения, содержащего спам, оскорбительные материалы или даже пропаганду, можно пересылать новым клиентам после отправки первоначального электронного письма», — говорит Насси.
Исследователи говорят, что могут извлекать данные из электронных писем. «Это могут быть имена, номера телефонов, номера кредитных карт, SSN, все, что считается конфиденциальным», — говорит Насси. Согласно статье, исследователи сообщили о своих выводах Google и OpenAI, при этом OpenAI подтвердила: «Похоже, они нашли способ использовать уязвимости типа быстрого внедрения, полагаясь на пользовательский ввод, который не был проверен или отфильтрован». В OpenAI говорят, что сейчас они работают над тем, чтобы сделать свои системы «более устойчивыми».
Источник: arstechnica.com
Источник новости: www.it-world.ru
