Исследователи из Университета Женевы, Университета Эдинбурга и группы Microsoft Research представили обновление нейросети DIAMOND (DIffusion As a Model Of eNvironment Dreams). Модель машинного обучения теперь может в реальном времени генерировать геймплей игры Counter-Strike: Global Offensive.
Первую версию DIAMOND показали в мае 2024 года. Тогда нейросеть научили генерировать геймплей игр для Atari с разрешением 64×64 пикселя. Примечательно, что нейросеть реагировала на команды пользователя и учитывала их при генерации следующего кадра.
В октябре 2024 года исследователи представили следующей шаг своей разработки — нейросеть DIAMOND, которая генерирует геймплей CS:GO. Разработчики вдохновились проектом нейродвижка GameNGen, который создали в Google. Команда проекта научила нейросеть симулировать игровой процесс Doom.
DIAMOND также реагирует на нажатия клавиш и использует эти данные для генерации следующего кадра. При этом для запуска с частотой обновления экрана 10 FPS будет достаточно стандартной видеокарты RTX 3090. В работе модели прослеживаются визуальные баги, например, персонаж иногда может проходить сквозь стены, а оружие в руках — меняться.
Проект опубликован на GitHub и нейросимуляцию CS:GO можно запустить локально. Для этого сперва надо установить зависимости:git clone [email=git@github.com:eloialonso/diamond.git]git@github.com:eloialonso/diamond.git[/email] cd diamond conda create -n diamond python=3.10 conda activate diamond pip install -r requirements.txt
После можно запустить симуляцию Atari:python src/play.py --pretrained
Или Counter-Strike: Global Offensive:git checkout csgo python src/play.py
Источник новости: habr.com
