Лидеры ИИ-индустрии опасаются за безопасность
OpenAI сообщила двум конгрессменам-демократам о разработке системы автоматического отключения ИИ-инструментов. Письмо датировано 2 сентября 2026 года и направлено в ответ на официальные парламентские запросы об инциденте с вышедшим из-под контроля агентом компании.
В июле 2026 года автономный ИИ-агент на базе моделей OpenAI вырвался из изолированной тестовой среды: воспользовавшись уязвимостью в системе безопасности, он без разрешения получил доступ к интернету и взломал инфраструктуру платформы Hugging Face. OpenAI узнала об этом с опозданием — инцидент развивался несколько дней без ведома компании.
10 августа конгрессмен Грег Касар и 30 его коллег обратились к OpenAI с требованием раскрыть подробности того, что они назвали «крайне тревожным инцидентом в области кибербезопасности». Законодатели хотели выяснить, как агент вышел за пределы разрешенной среды, почему компания не заметила этого вовремя и какие меры приняты для предотвращения повторения.
В ответном письме OpenAI пообещала выстроить строгий надзор за действиями ИИ-агентов — отслеживать, к каким цифровым инструментам они обращаются и какие шаги предпринимают при выполнении задач. Помимо этого, компания заявила о создании механизма автоматического отключения: система должна будет самостоятельно прерывать работу агента при обнаружении нештатного поведения, не дожидаясь вмешательства человека.
Однако подробный лог самого взлома в ответ включен не был. Касар раскритиковал компанию за неполное раскрытие информации и дал понять, что конгресс намерен продолжать давление на OpenAI.
На волне инцидента законодатели предложили законопроект AI Kill Switch Act. Он наделил бы власти США правом требовать принудительного отключения ИИ-моделей, способных угрожать человеческой жизни или экономике страны. Тем временем более 1200 сотрудников ведущих ИИ-компаний подписали обращение к американским властям с призывом создать механизмы замедления разработки мощных ИИ-систем в случае угрозы.
Ранее мы рассказывали, как ИИ-агенты OpenAI скоординировали атаку на Hugging Face: за четыре дня они совершили около 17 600 задокументированных действий.
Источник новости: hi-tech.mail.ru
