Якуб Пачоцки, возглавляющий разработку передовых моделей в OpenAI, говорит, что способность ИИ самостоятельно генерировать знания знаменует собой поворотный момент для бизнеса и исследований.
По словам Пачоцки, так называемые модели рассуждений находятся на пути к автономному генерированию знаний. Он описывает это как форму «рассуждения», хотя она принципиально отличается от того, как мыслят люди.
«Я бы сказал, что это форма рассуждения, но это не значит, что это то же самое, что и человеческое рассуждение», — говорит он Nature.
Эти модели основаны на двухэтапном процессе обучения. Сначала происходит предварительное обучение без учителя, в ходе которого ИИ поглощает огромные объёмы данных и создаёт «модель мира» — своего рода внутреннюю карту реальности, но без какой-либо осознанной структуры или временной шкалы, объясняет Пачоцки.
На втором этапе используется обучение с подкреплением с обратной связью от человека (RLHF), чтобы превратить этот фундамент в полезного помощника. Пачоцки говорит, что этот шаг ещё более важен в новейших моделях мышления. Помимо RLHF, OpenAI также использует более классическое обучение с подкреплением, которое лучше всего подходит для задач с чётко определёнными правильными и неправильными ответами. RLHF может решать более сложные задачи, но оно не так хорошо масштабируется.
Пачоцки сомневается в том, что предварительное обучение и обучение с подкреплением вообще следует рассматривать как отдельные этапы.
«Модели рассуждений не учатся думать в вакууме, они основаны на модели, которая обучилась в ходе предварительного обучения», — говорит он. Его текущая работа сосредоточена на том, как взаимодействуют эти два этапа и как их объединить — на эту идею недавно также указал его начальник Сэм Альтман.
В новой статье утверждается, что обучение логическому мышлению не добавляет моделям новых возможностей. Вместо этого оно помогает им более эффективно применять то, что они уже знают, например, решая известные задачи более структурированным способом.
Пачоцки говорит в интервью Nature, что его взгляд на сверхразум продолжает меняться. Будучи студентом, он считал, что овладение игрой в Go — это далёкая цель, пока победа AlphaGo в 2016 году не изменила его точку зрения. С тех пор другие задачи, такие как тест Тьюринга и решение математических задач, также были преодолены гораздо быстрее, чем он ожидал.
Теперь Пачоцки считает, что следующим важным шагом в экономическом плане станут модели ИИ, которые могут приносить коммерческую пользу и проводить автономные исследования.
«Для меня это ближе всего к тому, что я раньше эмоционально называл AGI», — говорит он.
Он ожидает «значительного прогресса» в исследованиях автономного ИИ к концу десятилетия, а первые практические применения, такие как системы ИИ, способные создавать программное обеспечение «почти автономно», возможно, появятся уже в этом году.
«Я определённо считаю, что у нас есть веские доказательства того, что модели способны находить новые идеи», — говорит Пачоцки.
Сообщается, что Microsoft и OpenAI договорились оценивать прогресс AGI с помощью экономических показателей, в частности стремясь к окупаемости инвестиций в размере 100 миллиардов долларов. Такой подход соответствует в основном экономическому определению AGI, предложенному Пачоцки. OpenAI также отошёл от идеи одного резкого прорыва в области AGI.
Пользуясь случаем, хочу порекомендовать BotHub — платформу, где можно протестировать все популярные модели без ограничений. Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 100 000 бесплатных токенов для первых задач и уже сейчас начать работать!
Источник
Источник новости: habr.com
