По мере развития рынка ИИ-агентов и активного внедрения ИИ-моделей с триллионами параметров производительность сопутствующей ИИ-инфраструктуры требует не только роста вычислительных мощностей, но и эффективного проектирования в рамках единой системы вычислений, памяти, сети и ПО. Для помощи гиперскейлерам и другим клиентам, использующим NVLink Fusion, компания предложила память NVHBM.
В традиционной архитектуре HBM-контроллер размещается на кристалле XPU, занимая некоторую площадь, которую можно было бы использовать для вычислений. NVHBM построена по той же технологии, что NVIDIA будет использовать в своих будущих GPU — кастомный контроллер памяти интегрируется в основной кристалл HBM, благодаря чему NVHBM обеспечит до 30 % роста пропускной способности памяти и до 15 % снижения энергопотребления, а также высвободит до 25 % больше площади основного кристалла XPU в сравнении со стандартной памятью HBM4E.
Источник изображения: NVIDIA
Стандартный вариант реализации NVHBM будет доступен у нескольких поставщиков памяти. Это должно снизить объём инженерных работ, необходимых для интеграции и сертификации памяти разных производителей. Заказчики NVLink Fusion смогут быстрее выводить на рынок специализированные ИИ-ускорители. Подразделение Annapurna Labs компании Amazon первым получит возможность поработать над NVHBM в рамках более широкого сотрудничества с NVIDIA по развитию NVLink Fusion, которое предполагает интеграцию NVLink Fusion в ИИ-ускорители Trainium4.
NVLink Fusion уже позволяет подключать XPU и CPU к стоечной платформе NVIDIA, партнёры компании могут получить доступ к чиплетам NVLink-C2C, сетевым коммутаторам NVLink и стойкам NVIDIA MGX. Также возможно использование широкой номенклатуры CPU различных партнёров, разработчиков ASIC и др.
Источник новости: servernews.ru
