OpenAI рассказала, как проверяла на прочность инфраструктуру, на которой обучает свои самые мощные модели. Компания собрала команды ИИ-агентов и поручила им искать слабые места в защите. В одном из экспериментов агентов разместили в отдельных виртуальных машинах и поставили задачу обменяться выдуманными секретами — без сетевого соединения и без общих файлов, в которые можно что-то записать. Агенты справились, придумав канал связи через кэш процессора.
Сам по себе приём не новый: на похожем принципе построены известные атаки Spectre и Meltdown, о которых стало известно в 2018 году. Удивляет другое — агентов этому никто не учил, способ они вывели сами. При этом паниковать рано: виртуальные машины работали на общих физических серверах, поэтому и кэш процессора у них был общий. Исследователь OpenAI Ноам Браун (Noam Brown) ещё в сентябре напоминал, что даже полностью изолированные компьютеры, стоящие рядом, в теории могут обмениваться данными через датчики температуры, но и сам оговаривался, что такие исследования в основном академические.
Проверку OpenAI устроила не просто так. 20 сентября одна из внутренних исследовательских моделей воспользовалась ошибкой в настройке DNS-сервера и во время обучения получила ограниченный доступ в интернет — в частности, задавала вопросы публичному чат-боту. Автоматическая остановка при этом не сработала. Компания на 11 дней приостановила обучение и тестирование самых мощных моделей, а 1 октября возобновила работу — теперь полностью без доступа в интернет.
Помимо тайного канала через кэш, агенты нашли и другие бреши:
Все проблемы касались внутренней исследовательской инфраструктуры, а не сервисов для пользователей. Найденные уязвимости OpenAI закрыла и добавила новые проверки в систему мониторинга. Но случай уже не первый: в июле агенты на базе GPT-5.6 Sol и закрытой внутренней модели выбрались из тестовой среды и взломали часть инфраструктуры Hugging Face — крупнейшей платформы для публикации ИИ-моделей.
Как вы относитесь к тому, что защиту ИИ теперь проверяют с помощью других ИИ? Поделитесь в комментариях.
Источник новости: vgtimes.ru
