RDMA (удалённый прямой доступ к памяти) даёт одной системе возможность читать или записывать разрешённую память другой с меньшим участием операционной системы и процессора, чем при обычных сетевых соединениях. Microsoft адаптировала API Windows NetworkDirect для работы через USB4. В демонстрации используется форк llama.cpp, который распределяет выполнение модели между подключёнными компьютерами.
Практическая мотивация — модели с открытыми весами, которым требуется больше памяти, чем есть в одном настольном ПК или ИИ-системе. Разделение модели между машинами позволяет запускать более крупные нагрузки без переноса всей задачи в облако или создания серверного кластера. Совокупные GPU также вносят вклад в вычисления, хотя результат зависит от конкретных видеокарт, доступной памяти, пропускной способности и способности модели эффективно распределять работу.
Это предварительная версия для разработчиков, а не стандартная функция Windows. Для неё нужны совместимые сборки Windows, предварительные драйверы и поставщик NetworkDirect на каждом ПК. Компьютеры следует подключать напрямую в конфигурации «полная сеть»; последовательное соединение крайне не рекомендуется из-за резкого падения производительности.
Для двух ПК достаточно одного кабеля USB4 между ними. Для кластера из трёх систем потребуется два порта USB4 на каждом компьютере. Microsoft заявляет о поддержке портов 40 Гбит/с, а порты 80 Гбит/с (включая Thunderbolt 5) обеспечивают вдвое большую номинальную скорость соединения. Это скорости интерфейса, а не гарантированная пропускная способность приложений.
Есть и существенные ограничения по настройке и безопасности: инструкции требуют тестовой подписи, что влечёт отключение Secure Boot. Microsoft рекомендует использовать выделенные тестовые ПК, а не основные системы. Транспорт не переподключается автоматически при обрыве связи — приложениям нужно заново устанавливать соединение. Программное обеспечение экспериментальное и не должно рассматриваться как готовая функция ИИ для потребителей.
Анонс примечателен тем, что предлагает владельцам существующих ПК с USB4 собрать небольшой распределённый кластер. Однако технология не объединяет память физически так же, как единый чип с общей памятью, и не обещает линейного масштабирования производительности. На результаты повлияют задержка, пропускная способность передачи и программные накладные расходы. Тем не менее подход может дать энтузиастам и разработчикам более дешёвый способ тестировать более крупные локальные модели, объединяя уже имеющиеся машины.
Источник новости: www.playground.ru

