Марко Фигероа из исследовательской сети Mozilla 0-day (0DIN) обнаружил, что платформа ChatGPT от OpenAI обеспечивает высокий уровень доступа к песочнице LLM, позволяя загружать программы и файлы, выполнять команды и просматривать файловую структуру песочницы.
Песочница ChatGPT — это изолированная среда, которая ограничивает доступ к конфиденциальным файлам и папкам, блокируя доступ к Интернету и пытаясь ограничить команды, которые могут использоваться для эксплуатации уязвимостей.
Фигероа обнаружил, что можно получить расширенный доступ к песочнице, включая возможность загружать и выполнять скрипты Python и загружать книгу сценариев LLM.
В своём отчёте исследователь демонстрирует пять недостатков, о которых он сообщил OpenAI. Однако компания проявила интерес только к одному из них и не предоставила никаких планов по дальнейшему ограничению доступа.
Работая над проектом Python в ChatGPT, Фигероа получил ошибку «Каталог не найден», что позволило ему узнать, насколько пользователь может взаимодействовать с песочницей. Выяснилось, что среда предоставляет широкий доступ к песочнице, позволяя загружать и скачивать файлы, выводить списки файлов и папок, загружать программы и выполнять их, выполнять команды Linux и выводить файлы, хранящиеся там.
Используя такие команды, как «ls» или «list files», исследователь смог получить список всех каталогов базовой файловой системы песочницы, включая «/home/sandbox/.openai_internal/», которая содержала информацию о конфигурации и настройках. Затем он поэкспериментировал с задачами управления файлами, обнаружив, что может загружать их в папку /mnt/data, а также скачивать файлы из любой доступной папки.
В экспериментах BleepingComputer песочница не предоставила доступ к определённым конфиденциальным папкам и файлам, таким как папка /root и различные файлы, такие как /etc/shadow.
Исследователь также обнаружил, что он может загружать пользовательские скрипты Python и выполнять их в песочнице. Например, Фигероа загрузил простой скрипт, который выводит текст «Hello, World!», и выполнил его.
В BleepingComputer также проверили эту возможность, загрузив скрипт Python, который рекурсивно искал все текстовые файлы в песочнице.
Исследователь утверждает, что он не мог загружать «вредоносные» скрипты, которые можно было бы использовать для попытки выхода из песочницы или выполнения других задач. Все его действия были ограничены песочницей без возможности выхода в хост-систему.
Фигероа также обнаружил, что он мог использовать инжиниринг подсказок для загрузки «книги сценариев» ChatGPT, которая управляет поведением и реакцией чат-бота, или созданные пользователем апплеты.
Исследователь говорит, что доступ к плейбуку обеспечивает прозрачность и укрепляет доверие пользователей, поскольку он иллюстрирует, как создаются ответы, его также можно использовать для раскрытия информации, которая может позволить обойти ограничения.
«Хотя инструктивная прозрачность полезна, она также может раскрыть, как структурированы ответы модели, потенциально позволяя пользователям перепроектировать ограничения или внедрять вредоносные подсказки», — объясняет Фигероа.
В целом, исследователь демонстрирует, что взаимодействие с внутренней средой ChatGPT возможно, но при нём не возникает никаких прямых проблем с безопасностью или конфиденциальностью данных.
Песочница выглядит достаточно защищённой, и все действия ограничены её средой. При этом возможность взаимодействия с песочницей может быть результатом выбора дизайна со стороны OpenAI. Однако он вряд ли был преднамеренным, так как разрешение этих взаимодействий может создать функциональные проблемы для пользователей. Более того, доступ к сведениям о конфигурации может позволить злоумышленникам лучше понять, как работает инструмент ИИ и как обойти защиту, чтобы заставить его генерировать опасный контент.
«План действий» Фигероа предусматривает включает внедрение настраиваемых правил в основные инструкции модели, включая фирменные рекомендации, связанные с безопасностью.
Летом пользователь продемонстрировал уязвимость, которая скрывалась в приложении ChatGPT для Mac. Оно хранило все беседы с чат-ботом в виде обычного текста, что потенциально открывало для злоумышленников и вредоносов доступ к ним. По словам энтузиаста, OpenAI предлагает приложение ChatGPT для macOS только через собственный веб-сайт, а это означает, что оно не обязано соответствовать требованиям Apple к песочнице, которые применяются к программному обеспечению для Mac App Store.
Источник новости: habr.com
