Nvidia представила свежую версию платформы для работы с ИИ-приложениями Nvidia AI Enterprise 5.0, которая включает микросервисы на базе загружаемых программных контейнеров для быстрого развёртывания приложений генеративного ИИ. Nvidia отметила, что уже микросервисы адаптируются ведущими поставщиками ПО и платформ кибербезопасности, а все функции AI Enterprise 5.0 вскоре будут доступны в облачных маркетплейсах AWS, Google Cloud, Microsoft Azure и Oracle Cloud.
Микросервисы позиционируются компанией как эффективный инструмент для создания разработчиками современных корпоративных приложений в глобальном масштабе. Работая прямо в браузере, разработчики могут используют для создания приложений облачные API. Nvidia AI Enterprise 5.0 теперь включает предназначенные для развёртывания моделей ИИ микросервисы NIM и микросервисы CUDA-X. Сюда входит и Nvidia cuOpt, ИИ-микросервис для задачи логистики, который позволяет значительно ускорить оптимизации маршрута и расширить возможности динамического принятие решений, снижая затраты, экономя время и позволяя сократить выбросы CO2.
Источник изображения: Nvidia
NIM оптимизирует инференс-нагрузки для различных популярных моделей ИИ от Nvidia и партнёров. Используя ПО Nvidia для инференса, включая Triton Inference Server, TensorRT и TensorRT-LLM, NIM позволяет сократить развёртывание моделей с недель до минут и вместе с тем обеспечивает безопасность и управляемость в соответствии с отраслевыми стандартами, а также совместимость с инструментами управления корпоративного уровня. В настоящее время компания работает над расширением возможностей AI Enterprise.
С выходом версии Nvidia AI Enterprise 5.0 платформа получила ряд дополнений. В частности, она теперь включает Nvidia AI Workbench, набор инструментов для разработчиков, обеспечивающих быструю загрузку, настройку и запуск проектов генеративного ИИ. ПО теперь общедоступно и поддерживается Nvidia. Nvidia AI Enterprise 5.0 также теперь поддерживает платформу Red Hat OpenStack. Кроме того, в Nvidia AI Enterprise 5.0 расширена поддержка широкого спектра новейших ускорителей Nvidia, сетевого оборудования и ПО для виртуализации.
Источник новости: servernews.ru
