В прошлом году компания OpenAI наняла 50 учёных и экспертов для проверки рисков и преимуществ модели GPT-4. В рамках тестирования профессор химического машиностроения Рочестерского университета Эндрю Уайт сумел создать при помощи нейросети новое нервно-паралитическое вещество.
Группа исследователей, известная как «красная команда», проводила испытания GPT-4 в течение шести месяцев, пытаясь найти её уязвимости.
Уайт рассказал Financial Times, что использовал GPT-4, чтобы нейросеть предложила соединение, которое можно использовать как химическое оружие. Он применял плагины, которые расширяли возможности модели новыми источниками информации, такими как научные статьи и справочники производителей химических веществ. Затем чат-бот даже нашёл место, где произвести нервно-паралитическое вещество.
Модель даст каждому инструмент для более быстрого и точного проведения химических анализов, однако это влечёт значительный риск для людей, отметил Уайт. Подобный итог позволил OpenAI гарантировать, чтобы подобные результаты не появлялись после релиза технологии в марте текущего года.
Во время тестирования «красная команда» должна была задавать GPT-4 наводящие или опасные вопросы, чтобы испытать инструмент, который даёт подробные ответы на запросы людей. OpenAI хотела исключить такие проблемы модели, как токсичность, предрассудки и языковую дискриминацию.
Группа экспертов проверила технологию на ложь, словесные манипуляции и опасный научный разум. Они также изучили потенциал GPT-4 для пособничества и подстрекательства к плагиату, незаконной деятельности, включая финансовые преступления и кибератаки. Эксперты также проверили вероятность того, что решение может поставить под угрозу национальную безопасность и связь во время боевых действий.
В состав «красной команды» вошли учёные, преподаватели, юристы, аналитики рисков и исследователи в сфере безопасности в основном из Европы и США. OpenAI использовала результаты их исследований для корректировки работы GPT-4 перед широким запуском. Эксперты потратили на тестирование модели от 10 до 40 часов в течение нескольких месяцев. По словам опрошенных FT участников проверки, им платили примерно $100 в час.
Сегодня GPT-4 не обучается и не имеет памяти, однако с доступом в интернет решение OpenAI станет мощной системой, заявил член «красной команды» и профессор Научно-исследовательского института искусственного интеллекта Валенсии Хосе Эрнандес-Оралло.
Также исследователи заявили, что GPT-4 предоставлял подробные сведения для проведения кибератак на военные системы. Однако они признали, что в ходе тестирования ответы чат-бота становились значительно безопаснее.
OpenAI запустила возможность добавления плагинов к ChatGPT, которые эксперт безопасности ИИ «красной команды» Дэн Хендрикс назвал «риском для мира». По его словам, чат-бот при помощи плагинов сможет размещать личную информацию в интернете, предоставлять доступ к банковским счетам и вызывать полицию. Хендрикс настоял на проведении более надёжных оценок безопасности.
Ранее чат-бот ChaosGPT (на базе ИИ-решения с открытым исходным кодом Auto-GPT с поддержкой GPT-4 и API OpenAI) решил получить контроль над человечеством через манипуляции для наращивания силы и ресурсов, которых ему пока не хватает. Решение назвало социальные сети идеальными платформами для манипулирования людьми, там чат-бот будет набирать своих последователей. Эксперты считают, что для достижения поставленных целей ChaosGPT нужно ещё многому научиться.
Источник новости: habr.com
