Meta* планирует в начале 2024 года запустить обучение новой системы генеративного искусственного интеллекта с открытым кодом должна, которая будет такой же мощной, как и GPT-4.
Предполагается, что система будет в несколько раз мощнее Llama 2, выпущенной в июле.
Группа для ускорения разработки генеративных инструментов ИИ появилась в компании в начале 2023 года. По словам источников WSJ, Марк Цукерберг считает, что модель должна быть с открытым исходным кодом и бесплатно предоставляться компаниям для создания инструментов на базе ИИ.
Пока же Meta строит центры обработки данных для работы новой модели и закупает чипы H100 у Nvidia, чтобы использовать их для обучения ИИ.
По словам источников, ранее Meta объединилась с Microsoft, чтобы сделать Llama 2 доступной на платформе облачных вычислений Microsoft Azure, но новую модель компания планирует обучать на собственной инфраструктуре.
Meta может представить новую модель после выпуска Gemini от Google. Это продвинутая большая языковая модель, которая может быть представлена до конца 2023 года.
Llama 2 обучали работе с 70 млрд параметров, при этом размер GPT-4, по оценкам экспертов, примерно в 20 раз больше (1,5 трлн параметров). Они отмечают, что достичь мощности GPT-4 можно, не приближаясь к её размерам.
Цукерберг продвигает идею моделей искусственного интеллекта с открытым исходным кодом из-за их адаптивности и более низкой стоимости. Однако юристы отмечают, что такие модели несут риски, связанные с авторским правом, а также позволяют генерировать дезинформацию.
«Некоторые системы искусственного интеллекта с открытым исходным кодом предлагают ограниченную степень прозрачности, возможности повторного использования и расширяемости», — сказала Сара Уэст, бывший советник Федеральной торговой комиссии. Она является управляющий директором исследовательского Института AI Now, который выразил обеспокоенность по поводу контроля крупных компаний над ИИ.
Между тем Цукерберг 13 сентября примет участие в саммите по поводу регулирования ИИ. Там же будет присутствовать главы и других технологических компаний, в том числе генеральный директор OpenAI Сэм Альтман и генеральный директор Google Сундар Пичаи.
В феврале Meta представила первое поколение LLaMA. Тогда компания заявила, что модель может превзойти конкурентов, которые исследуют больше параметров. В публикации по результатам тестов утверждалось, что вторая по размеру версия модели LLaMA, LLaMA-13B, проявила себя лучше, чем популярная модель OpenAI GPT-3, «в большинстве тестов».
В июле вышла LLaMA 2. Тогда Цукерберг раскрыл дополнительную информацию о ней. По его словам, новая модель была предварительно обучена и использованием на 40% большего объёма данных, чем первая версия, а также получила улучшенную архитектуру.
Вскоре после этого Meta представила ИИ-генератор программного кода Code Llama на базе Llama 2. Инструментом можно пользоваться бесплатно в коммерческих и исследовательских целях.
Meta Platforms*, а также принадлежащие ей социальные сети Facebook** и Instagram**:
* — признана экстремистской организацией, её деятельность в России запрещена
** — запрещены в России
Источник новости: habr.com
