Разработчики представили бенчмарк для оценки возможностей языковых моделей в реальном времени. Для этого используется игра Street Fighter III. Авторы проекта отмечают, что динамичные компьютерные игры отлично подходят для таких задач.
Street Fighter III выбрали для оценки языковых моделей по следующим причинам:
Скорость. Игры в реальном времени позволяют оценить, как быстро языковая модель анализирует данные и принимает решения.
Сообразительность. Для хороших результатов важно тщательно просчитывать ходы.
Нестандартное мышление. Чтобы победить, надо принимать необычные решения.
Адаптивность. Надо учиться на своих ошибках, чтобы противник не мог использовать их.
Языковые модели в реальном времени управляют персонажами в Street Fighter III. Для этого им передают текстовое описание экрана, включая историю ходов и уровень здоровья, как управляемого персонажа, так и противника. Эти данные нейросеть анализирует и принимает решение о следующем шаге.
Разработчики уже провели более 300 боёв между разными языковыми моделями. Для каждой из них собирали результаты и рассчитывали коэффициент Эло. Рейтинг сейчас выглядит следующим образом:
Модель
Рейтинг
🥇OpenAI: gpt-3.5-turbo-0125
1776,11
🥈Mistral: mistral-small-latest
1586,16
🥉OpenAI: gpt-4-1106-preview
1584,78
OpenAI: gpt-4
1517,2
OpenAI: gpt-4-turbo-preview
1509,28
OpenAI: gpt-4-0125-preview
1438,92
Mistral: mistral-medium-latest
1356,19
Mistral: mistral-large-latest
1231,36
Код проекта открыт и опубликован в открытом репозитории. В нём можно найти подробную инструкцию по установке и запуску боёв.
Источник новости: habr.com
