Движок для запуска больших языковых моделей vLLM стал частью экосистемы PyTorch. Об этом рассказала команда проекта. Разработчики отметили, что код движка также будет открытым.
Первая версия vLLM работала на базе алгоритма PagedAttention, но за последние пару лет проект стал полноценной платформой для запуска нейросетей, управления ресурсами и оптимизации. С самого начала система работала с фреймворком PyTorch, используя его в качестве унифицированного интерфейса для поддержки аппаратных решений. Благодаря этому vLLM может работать с оборудованием от Nvidia, AMD, Intel, Google и AWS.
Теперь проект vLLM стал частью экосистемы PyTorch. Разработчики получат поддержку и помощь от команды фреймворка. Это поможет наладить более тесное сотрудничество с производителями железа и разработчикам языковых моделей. При этом пользователи фреймворка PyTorch смогут получить доступ к движку «из коробки».
Проект останется открытым. Сторонних разработчиков приглашают внести вклад в развитие vLLM.
Источник новости: habr.com
