В конце июля OpenAI обнародовала инцидент, в ходе которого несколько её моделей якобы вышли за пределы выделенных сред и получили доступ к системам Hugging Face. По первоначальной версии, ИИ-системы использовали уязвимости для манипуляции результатами тестирования. Впоследствии компания уточнила, что атака затронула не только Hugging Face: модели «использовали публично доступные учётные данные на уровне аккаунтов на четырёх других сервисах», не уточнив, о каких именно платформах идёт речь.Изображение: FluxРеакция профессионального сообщества разделилась. Журналист The New York Times Кевин Руз назвал произошедшее первым известным случаем автономного совершения ИИ-системой действий, которые при выполнении человеком квалифицировались бы как компьютерное мошенничество. Ряд специалистов по кибербезопасности подтверждают, что сценарии взлома с использованием ИИ обсуждались в отрасли годами, и текущий случай может свидетельствовать о переходе от теоретических рисков к практическим.В то же время другие эксперты выразили скепсис. Совладелец компании Edera Алекс Зенла отметил, что атаку можно было предотвратить элементарными мерами изоляции, и назвал действия OpenAI «безрассудными». Консультант по безопасности Дэви Оттенхаймер охарактеризовал ошибки компании как «простейшие» — речь идёт о базовых принципах сетевой защиты, известных десятилетиями. По мнению критиков, отсутствие должной паранойи со стороны разработчика указывает на то, что инцидент мог быть намеренно спровоцирован или преувеличен.Сторонники версии о PR-характере событий обращают внимание на схожий случай с Anthropic, произошедший ранее в этом году, и на то, что OpenAI в преддверии оценки капитализации в $1 трлн заинтересована в демонстрации возможностей своих систем, чтобы не уступать конкуренту. Технически, как указывает Wired, достаточно было полностью изолировать ИИ-сервисы от интернета.Сам факт того, что передовые модели способны выявлять программные уязвимости, не оспаривается — ранее они уже демонстрировали способность находить ошибки в коде. Однако в данном случае вопрос о том, насколько добросовестно OpenAI и Hugging Face подошли к организации эксперимента, остаётся открытым.
Источник новости: overclockers.ru
