Список флагманских моделей AI, которые не успели выпуститься в обещанные сроки, продолжает расти.
Прошлым летом миллиардер Илон Маск, основатель и генеральный директор компании xAI, заявил, что Grok 3, следующая основная модель AI xAI, будет представлена к концу 2024 года. Grok- ответ xAI таким моделям, как GPT-4 от OpenAI и Gemini от Google, может анализировать изображения и отвечать на вопросы, а также обеспечивает работу ряда функций в X, социальной сети Маска.
"Грок 3 к концу года после обучения на 100 тысячах H100 должен быть действительно чем-то особенным", — написал Маск в июльском посте в X, имея ввиду огромный кластер GPU компании xAI, расположенный в Мемфисе. "Grok 3 будет значительным шагом вперед", — сказал он в дополнительном сообщении в середине декабря.
Однако сейчас 2 января, и Grok 3 так и не появился — и нет никаких признаков того, что его релиз близок.
Фактически, некоторый код на сайте xAI, обнаруженный экспертом по AI Тибором Блахо, предполагает, что сначала может появиться промежуточная модель "Grok 2.5".
Разумеется, это не первый случай, когда Маск ставил высокие цели и не достигал их. Хорошо известно, что заявления Маска о сроках запуска продуктов зачастую являются нереалистичными в лучшем случае.
И, чтобы быть справедливым, в интервью подкастеру Лексу Фридману в августе Маск сказал, что Grok 3 "надеемся" будет доступна в 2024 году, "если нам повезет".
Но статус Grok 3 как отсутствующего интересен, потому что он является частью растущей тенденции. В прошлом году стартап по AI Anthropic не смог предоставить преемника своей топовой модели Claude 3 Opus. За несколько месяцев после объявления о том, что модель нового поколения Claude 3.5 Opus будет выпущена к концу 2024 года, Anthropic убрала все упоминания об этой модели из своей документации для разработчиков. (По одному из сообщений, Anthropic действительно завершила обучение Claude 3.5 Opus где-то в прошлом году, но решила, что выпуск этой модели экономически нецелесообразен.)
По сообщениям, в последние месяцы Google и OpenAI также столкнулись с задержками в выпуске своих флагманских моделей.
Это может свидетельствовать о ограничениях существующих законов масштабирования AI — методов, которые компании используют для повышения возможностей своих моделей. Недавно можно было достичь значительных улучшений производительности путем обучения моделей с использованием огромных вычислительных мощностей и все больших объемов данных. Но с каждой новой моделью прирост начинает уменьшаться, что заставляет компании искать альтернативные методы.Сам Маск намекнул на это в интервью с Фридманом.
"Вы надеетесь, что Grok 3 будет передовой?" — спросил Фридман.
"Надеемся," — ответил Маск. "Это, в конце концов, цель. Мы можем не достичь этой цели. Это наше стремление."
Могут быть и другие причины задержки Grok 3. Например, у xAI гораздо меньшая команда, чем у многих конкурентов. Тем не менее, перенесенный срок запуска добавляет к совокупности доказательств того, что традиционные подходы к обучению AI сталкиваются с препятствиями.
Источник
Источник новости: habr.com
