OpenAI разрабатывает модель Astra. По данным The Information, она использует новый способ рассуждений «рекуррентную обработку». Он позволяет модели обрабатывать один и тот же запрос несколько раз по кругу, а не двигаться по последовательным шагам. Такой подход вызывает беспокойство у специалистов по безопасности ИИ.
Обычно модели, предназначенные для решения сложных задач, создают запись своих последовательных рассуждений, т.н. «цепочку мыслей». Она не показывает внутренний процесс модели полностью, но помогает исследователям замечать ошибки и «потенциально опасное поведение».
При рекуррентной обработке таких понятных записей может оставаться меньше. Поэтому контролировать действия модели станет сложнее.
Глава Redwood Research Бак Шлегерис заявил, что дальнейшее расширение этой технологии может «значительно снизить возможность наблюдать за рассуждениями ИИ». Главный научный сотрудник организации Райан Гринблатт предупредил, что в будущем большая часть рассуждений может происходить внутри модели, «без видимых человеку следов».
Источник новости: www.ferra.ru
