Компания Meta* выпустила новую коллекцию моделей искусственного интеллекта Llama 4 из своего семейства Llama — и это произошло в субботу. Всего есть четыре новых модели: Llama 4 Scout, Llama 4 Maverick и Llama 4 Behemoth. Все они были обучены на «больших объемах немаркированных текстовых, графических и видеоданных», чтобы дать им «широкое визуальное понимание», говорит Meta*.
Сообщается, что успех открытых моделей китайской лаборатории искусственного интеллекта DeepSeek , которые работают на уровне или лучше предыдущих флагманских моделей Llama от Meta, подтолкнул разработку Llama к ускорению. Говорят, что Meta собрала военные комнаты, чтобы разобраться, как DeepSeek снизила стоимость запуска и развертывания таких моделей, как R1 и V3.
Scout и Maverick доступны в открытом доступе на Llama.com и у партнеров Meta, включая платформу разработки ИИ Hugging Face, в то время как Behemoth все еще находится в процессе обучения. Meta сообщает, что Meta AI, ее помощник на базе AI в приложениях, включая WhatsApp, Messenger и Instagram, был обновлен для использования Llama 4 в 40 странах. Мультимодальные функции пока ограничены США на английском языке.
У некоторых разработчиков могут возникнуть проблемы с лицензией Llama 4. Пользователям и компаниям, «проживающим» или имеющим «основное место ведения бизнеса» в ЕС, запрещено использовать или распространять модели , что, вероятно, является результатом требований к управлению, налагаемых региональными законами об AI и конфиденциальности данных. (В прошлом Meta осуждала эти законы как чрезмерно обременительные.) Кроме того, как и в случае с предыдущими выпусками Llama, компании с более чем 700 миллионами активных пользователей в месяц должны запросить у Meta специальную лицензию, которую Meta может предоставить или отклонить по своему усмотрению.
«Эти модели Llama 4 знаменуют начало новой эры для экосистемы Llama», — написала Meta в своем блоге. «Это только начало для коллекции Llama 4».
Meta утверждает, что Llama 4 — это первая когорта моделей, использующая архитектуру смешанных экспертов (MoE), которая более эффективна с точки зрения вычислений для обучения и ответа на запросы. Архитектуры MoE в основном разбивают задачи обработки данных на подзадачи, а затем делегируют их более мелким специализированным «экспертным» моделям.
Например, у Maverick всего 400 миллиардов параметров, но только 17 миллиардов активных параметров среди 128 «экспертов». (Параметры примерно соответствуют навыкам решения проблем модели.) У Scout 17 миллиардов активных параметров, 16 экспертов и 109 миллиардов общих параметров.
Согласно внутреннему тестированию Meta, Maverick, который, по словам компании, лучше всего подходит для «общего помощника и чата», например, для творческого письма, превосходит такие модели, как OpenAI GPT-4o и Google Gemini 2.0, по некоторым показателям кодирования, рассуждения, многоязычности, длинного контекста и изображений. Однако Maverick не дотягивает до более эффективных последних моделей, таких как Google Gemini 2.5 Pro , Anthropic Claude 3.7 Sonnet и OpenAI GPT-4.5.
Сильные стороны Scout заключаются в таких задачах, как резюмирование документов и рассуждения по большим кодовым базам. Уникально то, что у него очень большое контекстное окно: 10 миллионов токенов. («Токены» представляют собой фрагменты сырого текста — например, слово «fantastic» разделено на «fan», «tas» и «tic».) Говоря простым языком, Scout может воспринимать изображения и до миллионов слов, что позволяет ему обрабатывать и работать с чрезвычайно длинными документами.
По расчетам Meta, Scout может работать на одном графическом процессоре Nvidia H100, тогда как Maverick требует систему Nvidia H100 DGX или эквивалентную.
Невыпущенному Behemoth от Meta понадобится еще более мощное оборудование. По данным компании, Behemoth имеет 288 миллиардов активных параметров, 16 экспертов и почти два триллиона общих параметров. Внутренний бенчмаркинг Meta показал, что Behemoth превосходит GPT-4.5, Claude 3.7 Sonnet и Gemini 2.0 Pro (но не 2.5 Pro) по нескольким оценкам, измеряющим навыки STEM, такие как решение математических задач.
Следует отметить, что ни одна из моделей Llama 4 не является полноценной моделью «рассуждения» по типу o1 и o3-mini от OpenAI . Модели рассуждения проверяют факты в своих ответах и, как правило, отвечают на вопросы более надежно, но, как следствие, им требуется больше времени, чем традиционным моделям «без рассуждения», чтобы предоставить ответы.
Интересно, что Meta говорит, что настроила все свои модели Llama 4 так, чтобы они реже отказывались отвечать на «спорные» вопросы. По словам компании, Llama 4 отвечает на «обсуждаемые» политические и социальные темы, на которые предыдущие модели Llama не реагировали. Кроме того, компания говорит, что Llama 4 «значительно более сбалансирована», и с подсказками она явно не будет развлекаться.
«Вы можете рассчитывать на Lllama 4, чтобы получить полезные, фактические ответы без осуждения», — сказал представитель Meta TechCrunch. «Мы продолжаем делать Llama более отзывчивой, чтобы она отвечала на большее количество вопросов, могла реагировать на различные точки зрения и не отдавала предпочтение одним точкам зрения перед другими».
Эти изменения появились на фоне обвинений некоторых союзников Белого дома в том, что чат-боты на основе искусственного интеллекта слишком «пробуждены» в политическом плане.
Многие из приближенных президента Дональда Трампа, включая миллиардера Илона Маска и «царя криптовалют» и AI Дэвида Сакса, утверждали, что популярные чат-боты AI цензурируют консервативные взгляды. Сакс исторически выделял ChatGPT от OpenAI как «запрограммированный на пробуждение» и лживый в политических вопросах.
На самом деле предвзятость в AI — это неразрешимая техническая проблема. Собственная компания Маска по AI, xAI, изо всех сил пыталась создать чат-бота, который не поддерживал бы одни политические взгляды в ущерб другим. Это не помешало компаниям, включая OpenAI, скорректировать свои модели AI, чтобы ответить на большее количество вопросов, чем раньше, в частности на вопросы, касающиеся спорных тем.
Meta* и ее продукты (Facebook, Instagram) запрещены на территории Российской Федерации
Источник
Источник новости: habr.com
