Meta* открыла доступ и опубликовала исходный код генератора музыки с искусственным интеллектом AudioCraft. Он включает три модели ИИ, каждая из которых занимается различными областями генерации звука.
Так, MusicGen использует текстовые запросы для создания музыки. Эта модель была обучена на «20 000 часах музыки, принадлежащей Meta или лицензированной специально для этой цели». AudioGen создаёт звук по текстовым подсказкам, имитируя лай собак или шаги, и была обучена работе с разными звуковыми эффектами. Усовершенствованная версия декодера EnCodec позволяет пользователям создавать звуки с меньшим количеством артефактов. AudioCraft генерирует музыку не только на основе текстового запроса, но и может работать с уже существующими мелодиями, а также с записями с микрофона.
Компания представила некоторые образцы музыки, созданные с помощью AudioCraft. Звуки свиста, сирен и гудения звучали естественно, а вот гитарная музыка всё же похожа на синтезированную.
«Мы думаем, что MusicGen может превратиться в инструмент нового типа — точно так же, как синтезаторы, когда они только появились», — говорится в блоге компании.
Meta признала сложность создания моделей ИИ, способных генерировать музыку, поскольку аудио часто содержит миллионы точек по сравнению с текстовыми моделями, такими как Llama 2, у которых этих точек насчитываются тысячи.
Компания открыла код AudioCraft, чтобы разнообразить данные, используемые для его обучения. «Мы понимаем, что наборы данных, используемые для обучения наших моделей, не отличаются разнообразием. В частности, используемый музыкальный набор данных содержит много мелодий в западном стиле и включает только пары аудио-текст с текстом и метаданными, написанными на английском языке», — пояснили в Meta.
Ранее Google разработала MusicLM, большую языковую модель, которая генерирует звуки на основе текстовых подсказок и доступна только исследователям. Нейросеть способна уловить такие нюансы описания, как инструментальные риффы, мелодии и настроение.
Meta Platforms*, а также принадлежащие ей Facebook** и Instagram**:
* признана экстремистской организацией, её деятельность в России запрещена;
** запрещены в России.
Источник новости: habr.com
