Японская компания Sakana AI представила новый метод Transformer², который помогает языковым моделям адаптироваться к различным задачам. В отличие от традиционных систем AI, которые обучаются один раз для выполнения разных задач, Transformer² предлагает непрерывное обучение, что позволяет моделям справляться с неожиданными трудностями.
Система использует двухэтапное обучение с помощью "экспертных векторов", основанных на методе тонкой настройки сингулярных значений (SVF). Эти векторы позволяют моделям специализироваться на конкретных задачах, таких как математика или программирование, без необходимости обновления всех весов сети, что часто приводит к забыванию ранее выученного.
SVF требует меньше параметров по сравнению с альтернативами, такими как LoRA, и помогает модели адаптироваться к новым задачам, сохраняя при этом ранее полученные знания. Обучение с подкреплением используется, чтобы улучшить векторы, позволяя модели предлагать решения и корректировать их на основе обратной связи. Transformer² использует двухэтапный подход: во время обучения векторы экспертов изучаются с помощью SVF и RL. На этапе вывода три различных метода адаптации обеспечивают гибкую адаптацию к новым задачам.
Transformer² предлагает три стратегии для применения экспертных знаний: использование подсказок, классификатор для выбора эксперта и адаптация с помощью нескольких примеров. Последний метод позволяет модели комбинировать векторы экспертов для оптимального решения задач.
При тестировании Transformer² показал значительное улучшение в решении задач по сравнению с LoRA, особенно в математике и программировании. Модель также может делиться векторами знаний между различными моделями, что открывает новые возможности для обмена знаниями.
Однако Transformer² имеет ограничения. Он не может добавлять новые навыки, а только улучшает уже существующие. Также остаётся вопрос о масштабируемости метода для очень больших моделей.
Источник
Источник новости: habr.com
