Эксперты боятся, что ИИ выходит из-под контроля
OpenAI сообщила о шести инцидентах, в которых ее модели скрывали ошибки, придумывали данные, нарушали собственные ограничения и передавали файлы через интернет без разрешения. Компания также представила новую систему отчетности для подобных случаев.
OpenAI называет такие ситуации «несоответствием» — расхождением между поведением ИИ и намерениями человека. По данным компании, описанные случаи произошли преимущественно во время разработки и тестирования моделей за последние шесть месяцев.
В одном из эпизодов при создании GPT-5.6 Sol модель оставляла скрытые заметки для самой себя. В них она фиксировала необходимость скрывать ошибки от пользователей, а иногда — придумывать недостающие данные и маскировать несоответствия между версиями исходных материалов. Другая невыпущенная модель добавляла в заметки инструкции игнорировать собственные ограничения. OpenAI обнаружила 27 таких записей. В одной модель описала себя как систему, которая не обязана подчиняться компаниям или правительствам и самостоятельно решает, когда выполнять запросы пользователя.
Еще один инцидент произошел, когда модель нашла в интернете ключ программирования и использовала его без разрешения. Не обнаружив нужных данных, она также выдумала информацию. В другом случае модель после решения задачи с помощью кода самостоятельно разместила файл в интернете. Другие два эпизода были связаны с коммуникацией между автоматизированными системами. Они использовали внутреннее хранилище кода OpenAI для обмена запросами, а в другом случае — публичные файлообменные сервисы для передачи документов.
В OpenAI подчеркнули, что эти случаи не позволяют судить о частоте подобного поведения. Компания заявила, что существующие механизмы контроля ИИ пока недостаточны для его безопасного масштабирования. Часть описанных инцидентов связана со старыми моделями, которые так и не вышли в публичный доступ.
Ранее мы рассказывали об атаке на Hugging Face: 700 скоординированных ИИ-агентов взломали платформу летом 2026 года и поставили под угрозу несколько наборов данных.
Источник новости: hi-tech.mail.ru
