Руководитель направления исследований OpenAI по безопасному реагированию ИИ-моделей на эмоциональное состояние пользователей Андреа Валлоне (Andrea Vallone) перешла в конкурирующую компанию Anthropic. Как сообщает The Verge, там она начнёт работать в команде Alignment, занимающейся управлением поведения модели в разных ситуациях, под началом Яна Лейке (Jan Leike). Лейк также является бывшим ключевым сотрудником OpenAI, который в мае 2024 года уволился, обвинив компанию в том, что безопасность отошла на второй план ради «эффектных продуктов». За последний год вопрос, как должны вести себя чат-боты, когда пользователь проявляет эмоциональную зависимость или признаки душевного кризиса, стала одной из самых острых в индустрии ИИ. Именно это направление в OpenAI и возглавляла Валлоне. Под её руководством разрабатывались политики поведения для GPT-4, текущих моделей рассуждений и GPT-5, а также тренировочные процессы с использованием различных техник безопасности. Проблема безопасности ИИ все больше выступает на передний план и, по словам одного из руководителей команды Anthropic Сэма Боумана (Sam Bowman), к решению этой задачи необходимо отнестись предельно серьёзно. Сама Валлоне заявила в социальных сетях, что с нетерпением ждёт продолжения своих исследований на новом месте работы.
Источник новости: mobile-review.com
