Компания Meta заявила о значительном прорыве в области искусственного интеллекта, представив серию Llama 3. Модель будет доступна в двух версиях: с 8 миллиардами и 70 миллиардами предварительно обученных параметров, что позволит расширить горизонты применения AI.
Llama 3 уже интегрирована в Meta AI, умного ассистента компании. Новые модели способны выполнять задачи в различных областях. Например, благодаря хорошему пониманию нюансов различных языков, Llama 3 может переводить тексты и генерировать диалоги. Судя по информации, опубликованной на сайте Meta, модель может легко справляться с многоэтапными задачами, а процент "лжи" уменьшен по сравнению с предыдущими версиями. Бенчмарки и обучение
Модели Llama 3 продемонстрировали выдающиеся результаты, обучаясь на двух специально созданных кластерах с 24 тысячами GPU на базе более чем в 15 триллионов токенов. ИИ способен поддерживая длину контекста в 8к, что в два раза больше, чем у Llama 2. Более подробно о характеристиках модели можно посмотреть здесь.
С выпуском Llama 3 компания обновила Руководство по ответственному использованию (Responsible Use Guide - RUG), предоставляя всестороннюю информацию о разумной работе с большими языковыми моделями (LLMs). Инструменты безопасности также были улучшены для соответствия новым стандартам безопасности и защиты от киберугроз.
В соответствии с данными Meta, Llama 3 8B превосходит другие модели, такие как Mistral, GPT-3.5 и Claude по крайней мере в девяти бенчмарках. Более мощная модель, Llama 3 70B, также показывает конкурентоспособные результаты по сравнению с такими моделями, как Gemini 1.5 Pro от Google. Все перечисленные модели, кроме llama (пока что) можно найти тут - Bothub.
Llama 3 используют значительно увеличенный набор данных. Откуда Meta взяла эти данные? Компания не дала прямого ответа на этот вопрос, сообщив лишь о том, что модель обучалась на "общедоступных источниках", которые включают в себя в 4 раза больше кода, чем Llama 2, и что 5% из этого набора - неанглоязычные ресурсы. Meta также заявила, что использовала данные, сгенерированные искусственным интеллектом, для создания более длинных документов для обучения моделей Llama 3. Это несколько спорный подход из-за потенциальных недостатков в производительности.
Потестить нейронку самостоятельно можно тут.Подкаст с Марком Цукербергом
Одновременно с публикацией информации о Llama 3, ютубер DwarkeshPatel выложил в сеть подкаст, в котором Марк Цукерберг рассказывает подробности о новой модели. Цукерберг подчеркнул важность развития AI и его потенциал для улучшения жизни людей. Он обсудил роль искусственного интеллекта в жизни человека, а также поделился своими мыслями о том, как новые технологии могут повлиять на нас в будущем.
Уже протестили Llama 3? Как вам модель? Поделитесь в комментариях)
Источник новости: habr.com
