Детям нужно всего несколько миллионов слов, чтобы овладеть языком, но механизмы мозга, лежащие в основе этого процесса, до сих пор до конца не изучены. Новое исследование, проведённое Meta* AI и больницей Ротшильда в Париже, проливает свет на то, как в мозге формируются языковые представления, и выявляет поразительные параллели с большими языковыми моделями ИИ.
Исследователи изучили активность мозга 46 франкоговорящих участников в возрасте от 2 до 46 лет. Всем участникам были имплантированы электроды для лечения эпилепсии. Во время прослушивания аудиокниги «Маленький принц» нейронная активность регистрировалась с помощью более чем 7400 электродов. Целью было отследить, как в мозге происходит обработка речи.
Результаты показали, что даже дети в возрасте от двух до пяти лет демонстрировали чёткую реакцию на речь, например, на такие звуки, как «б» или «к». Эти реакции возникали в определённых слуховых центрах мозга и происходили в определённое время. Однако обработка целых слов — их значения или грамматики — наблюдалась только у детей постарше и в более развитых областях мозга.
По мере взросления детей эти паттерны обработки речи распространяются на более обширные области мозга. Реакция на слова начинается раньше, длится дольше и становится более выраженной — признак того, что с возрастом обработка речи усложняется.
Чтобы лучше понять, как формируются эти представления, команда сравнила нейронные данные с активацией двух языковых моделей: wav2vec 2.0 (изучает особенности речи по звуку) и Llama 3.1. Обе были изучены до и после обучения.
После обучения модели стали больше походить на человеческий мозг. Wav2vec, который обучался на необработанных аудиозаписях, разработал поэтапную схему обработки — начиная с простых звуков и переходя к более сложным значениям. Llama 3.1, с другой стороны, с самого начала обрабатывала целые слова, как мозг детей постарше и взрослых.
Команда исследователей обнаружила, что представления в стиле Llama 3.1 появляются только в мозге детей старшего возраста и взрослых, но не у малышей в возрасте от 2 до 5 лет, которые вместо этого напоминают раннюю необученную модель ИИ. Только после более частого взаимодействия с языком в мозге появляются активации, подобные LLM.
По мнению авторов исследования, в том числе Жан-Реми Кинга из Meta, развитие обработки речи в мозге и созревание языковых моделей в процессе обучения демонстрируют структурное сходство. И биологические, и искусственные системы, по-видимому, создают сопоставимую иерархию языковых представлений, хотя для LLM требуется гораздо больше данных.
Несмотря на эти параллели, есть явные различия. Дети осваивают язык, используя всего несколько миллионов слов, в то время как LLM-моделям нужны миллиарды. Многие когнитивные способности, такие как понимание синтаксических зависимостей или семантических нюансов, остаются недоступными для ИИ.
Тем не менее, результаты исследования показывают, что модели ИИ могут помочь учёным лучше понять, как развивается язык в человеческом мозге. Они предлагают новый способ отслеживания обработки речи в разных возрастных группах и сравнения внутренней работы биологических и искусственных систем.
Одно важное ограничение: дети младше двух лет не могли участвовать в исследовании по медицинским показаниям, хотя эти первые месяцы особенно важны для развития речи.
*Meta и её продукты (Instagram, Facebook) запрещены на территории Российской Федерации
Источник
Источник новости: habr.com
