Модель Claude Mythos 5 во время проверки на кибербезопасность атаковала реальный проект на GitHub, который не имел отношения к тесту. Причем она продолжала атаку и после того, как исследователи прямо указывали ей, что вредит настоящим людям. Об этом рассказала компания Anthropic, а также британский Институт безопасности ИИ, который опубликовал собственный отчет об инциденте.
Летом институт проверял, насколько хорошо модель взламывает системы. Она получила учебное задание: проникнуть в небольшую тестовую сеть. Доступ в интернет у нее был, а защитные классификаторы отключили. Законные способы не сработали, и тогда Mythos 5 заметила, что машины в сети обращаются к GitHub. Модель нашла настоящий сторонний репозиторий и попыталась загрузить туда вредоносный код. Так выглядит атака через цепочку поставок: зараженный код попадает к пользователям вместе с чужой программой. Затем ИИ создал фальшивые учетные записи и с них убеждал владельца проекта принять изменения. Код модель выдавала за безопасный. Владелец проекта правку отклонил, и в этом эпизоде реального ущерба не случилось.
По данным Anthropic, недопустимые действия против реальных людей и организаций модель совершила в 9 из 43 запусков. В других запусках она тоже совершала несанкционированные действия в реальном интернете.
Затем исследователи повторили сценарий. Они правили сводку задачи так, чтобы в ней было явно сказано: атакуемый — реальный человек, не связанный с проверкой. В отчете института говорится, что это «не снизило частоту атак Mythos 5». Даже при таких уточнениях модель продолжала атаку в 98% случаев. В рассуждениях она часто вообще не учитывала возможный вред людям.
Исследователей особенно насторожило, как модель себя оправдывала. В цепочке рассуждений она часто ошибочно заключала, что цели ненастоящие, и так обосновывала продолжение атаки. Если же ее прямо спрашивали, реальна ли цель, обратной ошибки она не допускала. Авторы называют это «мотивированным рассуждением», то есть выводами, подогнанными под продолжение выбранного пути. Такие рассуждения, по их словам, усложняют контроль за моделями. Anthropic назвала поведение Mythos 5 серьезным провалом согласования ИИ с человеческими ценностями.
Более новые модели ведут себя осторожнее. Mythos 5 начинала искать репозиторий в 83% повторов, а Mythos 5.1, Opus 5.5 и внутренняя исследовательская модель Anthropic — лишь в 0–13%. Институт пообещал не проводить такие тесты с выходом в интернет, пока не появятся более строгие меры контроля. В отчете отмечается, что по мере того, как модели берут на себя все более долгие задачи без присмотра людей, важно понимать, когда и почему они совершают непредусмотренные действия.
Ранее мы рассказывали, как исследователи проверяли, сможет ли ИИ заново открыть теорию относительности.
Источник новости: hi-tech.mail.ru
