В апреле 2024 года компания Meta представила Llama 3 - следующее поколение современных моделей больших языков с открытым исходным кодом. Первые две модели - Llama 3 8B и Llama 3 70B установили новые стандарты для LLM своего размера. Однако всего через три месяца после их выпуска несколько других LLM превзошли их по производительности.
Ранее компания Meta уже объявила, что её самая большая модель Llama 3 будет иметь более 400 миллиардов параметров, и она всё ещё находится в процессе обучения.
Сегодня утром на сабреддите LocalLLaMA появились предварительные результаты тестирования будущих моделей Llama 3.1 8B, 70B и 405B.
🦙И вот оно! Llama 3.1 - уже на HuggingFace 🦙
Согласно текущим данным, Meta Llama 3.1 405B превзошла текущего лидера GPT-4o от OpenAI в нескольких ключевых тестах искусственного интеллекта. Это значимое событие для сообщества ИИ с открытым исходным кодом, поскольку впервые модель с открытым исходным кодом может обогнать современную модель LLM с закрытым кодом.
Энтузиасты в техническом сообществе с нетерпением ждали предстоящего запуска, так как он может произвести революцию в отрасли.
Ниже бенчмарки для Llama 3.1 405B. Похоже, что это новая партия моделей Llama 3.
Llama 3.1 8B выглядит очень достойно, а 70B даже достигает уровня производительности GPT-4o. Модель 405B обеспечивает немного лучшую производительность, но не выглядит новаторской.
Meta Llama 3.1 превосходит GPT-4 в нескольких тестах, включая GSM8K, Hellaswag, boolq, MMLU-humanities, MMLU-other, MMLU-stem и winograd, среди прочих. Однако она отстает от HumanEval и MMLU-social sciences. (Организация Meta признана экстремистской на территории РФ)
Что меня еще впечатляет, так это то, насколько хороша Llama 3.1 8B, поскольку она может работать локально на любом мобильном телефоне высокого класса.
И самое главное: качественная опенсорс LLM с агентными способностями.
Еще обновления:
— эффективный длинный контекст 128k
— в лицензии разрешён тренинг на данных, сгенерированных моделями
Помимо чекпоинтов с лучшими метриками, в релиз вошли фреймворки вокруг моделей и инструменты для запуска различных tools.
🦙Llama agentic systems: фреймворк для создания агентов с llamа Ссылка (ждём сегодня)
🦙Llama toolchain: стек для подключения различных API Ссылка
🦙Llama-recipes: Каталог документации и интеграций Ссылка
🦙PurpleLlama: модель для фильтрации и обеспечения safety генераций Ссылка
Круто же?! Подписывайтесь на мой канал в телеграм, чтоб быть в курсе самых горячих и прикладных новостей мира AI - https://t.me/datafeeling
Источник новости: habr.com
