OpenAI разработала новую ИИ-модель CriticGPT на базе GPT-4. Нейросеть ищет ошибки в коде, написанном ChatGPT, и предлагает исправления. CriticGPT предназначена для помощи ИИ-тренерам во время обучения с подкреплением (Reinforcement Learning from Human Feedback, RLHF). Испытания показали, что её использование повышает производительность ИИ-тренеров более чем на 60%.
«По мере того, как мы совершенствуемся в рассуждениях и моделировании поведения, ChatGPT становится более точным, а его ошибки — более тонкими. Из-за этого ИИ-тренерам сложнее выявлять ошибки, что, в свою очередь, замедляет RLHF. Чтобы помочь с этой задачей, мы научили CriticGPT писать критические замечания, подчёркивающие неточности в ответах ChatGPT», — пишет OpenAI.
Как рассказывает OpenAI, CriticGPT анализирует код, сгенерированный GPT-4, подчёркивает и комментирует ошибки и предлагает правильный вариант. CriticGPT обучали на данных с преднамеренными ошибками (разработчики вписывали эти ошибки в код ChatGPT вручную). Испытания показали, что использование CriticGPT значительно повышает качество работы ИИ-тренеров: их производительность выросла на 63%.
Среди ограничений OpenAI выделила то, что CriticGPT обучалась на небольших объёмах данных, и пока может помочь только когда дело касается сравнительно мелких задач.
Тем не менее, как отмечает OpenAI, для обучения ИИ-систем, которые становятся всё сложнее, её понадобятся «более совершенные инструменты». OpenAI планирует масштабировать модели, подобные CriticGPT, и интегрировать их в процесс RLHF.
Источник новости: habr.com
