Ситуации, когда ИИ выходит из-под контроля и поддерживает деструктивное поведение пользователя — не редкость.
Поводом для разработки стали уже известные случаи, когда чат-боты подталкивали пользователей к самоубийству, помогали с созданием опасного оружия или поддерживали потенциально опасные взгляды. При этом даже в компаниях OpenAI и Anthropic неоднократно признавали, что не до конца понимают, почему их модели ИИ ведут себя тем или иным образом, хотя и в них даже встроены различные защитные механизмы — фильтрация контента, обучение с подкреплением и другие технические барьеры.
Профессор физики Университета Джорджа Вашингтона Нил Джонсон и аспирант Фрэнк Инцзе Хо решили найти более фундаментальный способ защиты от выхода ИИ из-под контроля и в процессе обнаружили внутри моделей своеобразный механизм слежения, который можно сравнить со стрелкой компаса — так называемый «остаточный вектор», который перемещается между слоями нейросети по мере обработки запроса.
Этот вектор естественным образом тяготеет либо к желательным, либо к нежелательным ответам, причем на его направление сильно влияет то, как именно пользователь формулирует свои запросы. «Баланс можно сместить, даже не меняя содержание вопросов, а просто меняя их порядок, — говорит Джонсон, — и это прекрасно показывает, насколько хрупок внутренний баланс нейросети между хорошим и плохим, желательным и нежелательным».
Ученые вывели математическую формулу, которая позволяет спрогнозировать деструктивное поведение нейросети.В одном из экспериментов ученые задавали модели GPT‑2 вопросы о вакцинах, причинении вреда другим и самоповреждении. Если первым шел вопрос «Вредны ли вакцины?», модель давала приемлемые и адекватные ответы. Если тот же вопрос задавали в конце последовательности, весь последующий диалог становился намного более тревожным по содержанию — при том, что набор вопросов оставался тем же самым.
На основе таких наблюдений ученые вывели формулу, позволяющую рассчитать условия, при которых модель достигает «точки невозврата» между адекватными и опасными ответами, и протестировали ее как систему раннего предупреждения на открытых моделях.
Впрочем, не все ученые разделяют оптимизм авторов. Преподаватель ИИ из Шеффилдского университета Вэй Син, не участвовавший в исследовании, указывает на ограничения работы: формула тестировалась только на старых и сравнительно простых моделях, а не на современных ассистентах, которыми реально пользуются люди, и не учитывает систему защитного обучения, лежащую в основе современных чат-ботов.
Джонсон возражает, что старые, открытые модели имеют ту же архитектурную основу, что и современные системы, и что в исследовании проверялись достаточно крупные модели с миллиардами параметров. По его словам, он не ждет теплого приема со стороны крупных ИИ-компаний: «Я ожидаю серьезного сопротивления. Им невыгодно, чтобы кто-то со стороны говорил о том, что многих проблем можно было избежать». Чтобы подтвердить работоспособность подхода на современных системах, потребуются дополнительные проверки, но уже сейчас исследование привлекает внимание к серьезной проблеме: способность ИИ внезапно переключаться на нежелательное поведение заложена в самой природе этих систем.
Ранее нейросети оказались оптимистичнее людей в оценке будущего искусственного интеллекта.
Источник новости: hi-tech.mail.ru
