Студия miHoYo, создавшая Genshin Impact, разработала ИИ-агента Gamer и показала, как он играет в Honkai: Star Rail с помощью клавиатуры и мыши. Об этом сообщает AUTOMATON WEST. Команда miHoYo опубликовала исследование 13 ноября вместе с учеными из Национального университета Сингапура и Университета Цинхуа.
Gamer получает пять снимков экрана в секунду и по ним решает, какие клавиши нажать и куда переместить курсор. Агенту для этого достаточно изображения на экране, доступ к внутренним данным игры и ее программным интерфейсам ему не нужен. Исследователи разрабатывают Gamer для прохождения двухмерных и трехмерных игр.
В демонстрации Honkai: Star Rail агент выполнял задания основного сюжета, вел персонажей к цели, следовал за неигровыми персонажами и самостоятельно справлялся с противниками. Он также прошел пять мини-игр, среди которых были логические головоломки и испытания на точность и реакцию.
Для испытаний команда использовала графические ускорители для дата-центров, в том числе H200. На странице проекта на GitHub разработчики сообщили, что планируют выпустить Streaming-vLLM, движок для запуска Gamer. Среди возможных применений агента команда называет тестирование игр и помощь игрокам, которым трудно пользоваться стандартным управлением. Исследователи отдельно подчеркнули, что выступают против использования Gamer для нечестной игры.
Ранее Google DeepMind представила игрового агента SIMA, которому для выполнения задач нужны изображение с экрана и инструкция пользователя, — это близкий к Gamer подход к взаимодействию ИИ с игровым миром.
Источник новости: hi-tech.mail.ru

