Вышла последняя версия поисковой модели Perplexity AI Sonar, работающей на базе Llama 3.3 70B от Meta* и некоторого специализированного оборудования.
По словам компании, в ходе внутренних тестов Sonar показал более высокие результаты, чем такие модели, как GPT-4o mini и Claude 3.5 Haiku, когда речь идёт об удовлетворённости пользователей. Он даже соответствует или иногда превосходит возможности премиальных моделей, таких как GPT-4o и Claude 3.5 Sonnet, особенно в задачах, связанных с поиском.
Команда создала Sonar на основе модели Meta Llama 3.3 70B, доработав её с помощью дополнительного обучения для улучшения поисковых возможностей. Это дополнительное обучение было направлено на то, чтобы сделать ответы более точными с точки зрения фактов и более понятными, сообщает Perplexity. Ранее компания использовала модифицированную версию Llama 3.1 под тем же названием Sonar.
Чтобы ускорить Sonar, Perplexity заключила партнёрское соглашение с компанией Cerebras Systems, которая использует необычный подход к проектированию микросхем. Вместо того, чтобы создавать несколько небольших процессоров, Cerebras превращает целые кремниевые пластины в единые массивные микросхемы, называемые «машинами пластинчатого масштаба» (WSE).
Работая на этом оборудовании, Sonar может обрабатывать 1200 токенов в секунду, что позволяет ему генерировать ответы практически мгновенно. Хотя французский стартап Mistral, который специализируется на искусственном интеллекте, недавно продемонстрировал сопоставимую скорость работы благодаря своей функции «Flash Answers», эта функция не была разработана специально для поисковых систем.
В настоящее время доступ к Sonar имеют только те пользователи, которые используют Pro-версию. Однако в дальнейшем компания Perplexity планирует сделать доступ к Sonar более открытым.
Подробности о том, как именно будет происходить сотрудничество с Cerebras и какие финансовые условия будут предложены, пока не разглашаются.
*Meta и её продукты (Instagram, Facebook) запрещены на территории Российской Федерации
Источник
Источник новости: habr.com
