Американские исследователи смогли получить «узнаваемую версию» песни Pink Floyd по сигналам активности, проходящим через определённую часть височной доли мозга добровольцев, которые слушали хит Another Brick in the Wall Part 1. Исследование опубликовано в журнале PLOS Biology.
Несмотря на то, что мелодия подверглась первоначальной обработке в виде спектрограммы, чтобы быть более совместимой с технологиями обработки звука мозгом, обратный процесс впечатляет своей точностью.
«Мы реконструировали классическую песню Pink Floyd Another Brick in the Wall по прямым записям с коры головного мозга человека, что позволило нам понять нейронные основы восприятия музыки и создать будущие приложения для декодирования мозга», - говорит нейробиолог Людовик Белье из Калифорнийского университета в Беркли.
Белье и его коллеги хотели выяснить, как мозговые паттерны могут быть связаны с такими музыкальными элементами, как высота тона и гармония, и в итоге обнаружили, что часть слухового комплекса мозга, называемая верхней височной извилиной, связана с ритмом. По-видимому, именно эта область важна для восприятия и понимания музыки.
Для сбора необходимых данных о мозговой активности были привлечены 29 человек, которым уже были имплантированы электроды для лечения эпилепсии. В общей сложности 2 668 электродов отслеживали нейронные паттерны во время прослушивания Pink Floyd.
Затем все эти данные были проанализированы методом машинного обучения с помощью так называемой модели декодирования на основе регрессии. Проще говоря, компьютерные алгоритмы искали корреляции между звучащей музыкой и тем, что происходило в мозге.
Благодаря этому процессу обучения исследователи смогли перевернуть систему и определить Another Brick in the Wall по тому, как мозг реагировал на неё. Восстановленный трек получился немного мутным и искажённым, но понять, что это за песня, несложно.
Это вносит свой вклад в продолжающиеся усилия по расшифровке мозговых паттернов и совершенствованию интерфейсов «мозг-машина». Представьте себе, что можно восстановить музыкальное восприятие у людей с повреждениями мозга, например, или что люди, потерявшие дар речи, смогут думать, какие слова они хотят сказать, а также определять высоту тона, тембр и интонацию этих слов.
«Например, результаты исследования музыкального восприятия могут способствовать разработке общего слухового декодера, включающего просодические элементы речи, на основе относительно небольшого количества удачно расположенных электродов», - пишут исследователи в своей опубликованной работе
Источник новости: habr.com
