Разработчик под никнеймом rahuldshetty опубликовал на GitHub библиотеку llm.js, предназначенную для запуска больших языковых моделей в браузере. Заявлена поддержка GPT-2, LLaMa 2 и других популярных решений.
Сейчас поддерживаются следующие большие языковые модели:
llama-cpp (GGUF/GGML);
LLaMa 2;
Dolly v2;
GPT2;
GPT J;
GPT NEO X;
MPT;
Replit;
StarCoder.
В ближайшее время ожидается, что автор добавит новые модели и форматы. Библиотеку можно использовать в собственных проектах веб-приложений. На сайте llm.js доступна документация с подробными инструкциями для интеграции библиотеки.
Для тестов пользователям доступна песочница и несколько тестовых проектов (1, 2, 3). Скорость генерации ожидаемо отличается от полноценных больших языковых моделей. Проект написан на javascript, а код опубликован на GitHub.
Источник новости: habr.com
