Корпорация Microsoft сообщила о том, что на базе облачной платформы Azure станут доступны высокопроизводительные масштабируемые инстансы ND H100 v5 для нагрузок, связанных со сложными ИИ-моделями, в частности, с генеративными приложениями на основе нейросетей. ND H100 v5 могут использоваться при реализации таких проектов, как чат-бот ChatGPT на базе нейросети. Этот бот использует языковую модель OpenAI GPT-3, насчитывающую 175 млрд параметров.
Источник изображения: pixabay.com
Система предусматривает использование ускорителей NVIDIA H100. Восемь таких GPU объединены посредством NVSwitch и NVLink 4.0. Возможно масштабирование до тысяч ускорителей при помощи сети на базе NVIDIA Quantum-2 InfiniBand, которая обеспечивает пропускную способность до 400 Гбит/с в расчёте на GPU (до 3,2 Тбит/с на виртуальную машину). В составе ND H100 v5 применяются процессоры Intel Xeon Sapphire Rapids, обеспечивающие интерфейс PCIe 5.0 и 16 каналов DDR5-4800. Прямо про это не говорится, но описанные системы похожи на DGX H100, которые NVIDIA планировала разворачивать в облаках.
Источник новости: servernews.ru
