Генеральный директор Anthropic Дарио Амодеи хочет развеять некоторые заблуждения о Claude 3.5 Sonnet. Разработка модели AI обошлась гораздо дешевле, чем предполагают недавние слухи, и она не была создана с использованием более продвинутых секретных моделей, как утверждают некоторые.
По словам Амодеи, обучение Claude 3.5 Sonnet — в настоящее время считающегося самой способной языковой моделью AI — обошлось примерно в несколько десятков миллионов долларов, а не в миллиарды, как предполагалось в недавних отчетах. Он также опровергает предположения о том, что Sonnet был разработан с использованием синтетических данных, сгенерированных более сложными, невыпущенными моделями, такими как Opus 3.5 .
«Несмотря на то, что обучение проводилось девять-двенадцать месяцев назад, Sonnet по-прежнему заметно опережает по многим внутренним и внешним оценкам», — говорит Амодей, отмечая, что это особенно очевидно, когда модель фактически используется в практических задачах, таких как программирование и взаимодействие с людьми.
Реальное техническое достижение Deepseek — это не широко обсуждаемая модель R1 , говорит Амодеи, а скорее их модель Deepseek-V3, выпущенная в конце декабря , которая представила ключевые усовершенствования, такие как продвинутый подход «смешанных экспертов». Модель R1 , выпущенная позже, в основном основана на существующих подходах, говорит Амодеи.
Экономия затрат Deepseek не является чем-то необычным для отрасли, отмечает Амодеи. Стоимость обучения моделей AI обычно снижается примерно «примерно в 4 раза в год».
«Я думаю, справедливо будет сказать: «DeepSeek создала модель, близкую по производительности к американским моделям, выпущенным на 7–10 месяцев раньше, за гораздо меньшую стоимость (но далеко не такую, как предполагали люди)», — пишет Амодеи в своем личном блоге .
Даже при такой эффективности компании AI все еще сталкиваются со значительными расходами. По сообщениям, DeepSeek инвестировала в около 50 000 чипов поколения Hopper на сумму около 1 миллиарда долларов. Это ставит резервы GPU китайской компании в 2-3 раза ниже, чем у крупных американских компаний AI, оценивает Амодеи.
Как и другие лаборатории AI, Amodei видит, что обучение с подкреплением (RL) становится центральным для масштабирования моделей ИИ . Этот новый подход, который лежит в основе Deepseek R1 и последних моделей OpenAI , только начинает показывать свой потенциал, говорит Amodei, предполагая, что потенциальный следующий релиз Anthropic также не будет вашим стандартным LLM.
Как и другие западные лидеры ИИ, Амодеи поддерживает расширение вычислительной инфраструктуры . В то время как стоимость достижения «определенного уровня модельного интеллекта» снижается, общие расходы на обучение AI продолжают расти, говорит он, оценивая, что разработка систем AI, более способных, чем большинство людей, потребует миллионов чипов, «и, скорее всего, произойдет в 2026-2027 годах».
Что касается контроля за экспортом чипов в Китай, Амодей говорит, что прогресс Deepseek делает эти ограничения более важными, а не менее. Тот факт, что технология AI становится более эффективной, не является причиной для отмены контроля, утверждает он. Эти ограничения помогают предотвратить покупку Китаем миллионов чипов, соответствие возможностям AI США и получение того, что он называет «военным доминированием».
«Лучшие китайские чипы искусственного интеллекта серии Huawei Ascend существенно уступают по возможностям флагманскому чипу, производимому американской компанией Nvidia», — пишет Амодеи.
Источник
Источник новости: habr.com
