AMD попытаться разработать такую связку, чтобы значительно повысить эффективность передачи данных между памятью и вычислениями, разместив ОЗУ как можно ближе к процессору, при этом понизив расходы на энергопотребление.
Директор AMD, Лиза Су недавно выступила с презентацией на Международной конференции по проводникам ISSCC 2023, подробно рассказав о необходимости сокращения количества энергии - джоулей, на вычислительные операции - ФЛОПЫ.
Как она выразилась, без этого к следующему созданному суперкомпьютеру с поддержкой Zettaflop потребуется атомная электростанция для запуска, а это не выглядит чем-то реалистично работоспособным.
По мнению Лизы, наибольшее улучшение производительности к ваттам будет достигнуто за счет сокращения физического расстояния между памятью и местом, где выполняются вычисления (либо на CPU, либо на GPU). Она привела пример ускорителя MI300, в котором используется APU следующего поколения AMD Instinct с унифицированной памятью High bandwidth memory (HBM) для обеспечения значительной экономии энергии.
Одновременно AMD уже интегрировала процессинг в памяти, чтобы снизить энергопотребление, необходимое для доступа к данным.
Встроенная память уже внедрена в AMD Ryzen 9 7950X3D, а до этого - в Ryzen 7 5800X3D и эта память быстрее и дороже SRAM, а не DRAM. HBM присутствует в ускорителях AMD Instinct MI и в популярном ускорителе A100 от Nvidia, мозге ChatGPT. В M-series от Apple используется HBM, в связке с процессором, но в корпусе, а не на кристалле.
В итоге HPC перейдет к полномасштабному использованию памяти на чипе, поскольку это самый простой вариант, поскольку рабочие нагрузки, требующие чрезвычайно больших объемов высокой пропускной способности, выдвигают требования к энергопотреблению и связанные с этим расходы на первое место в списке приоритетов.
Например процессор Fujitsu A64FX, выпущенный в 2019 году, является настоящим первопроходцем, объединяющим десятки ядер Arm с 32 ГБ оперативной памяти HBM2 и предлагающим колоссальную пропускную способность 1 Тбит/с, а с HBM3, уже доступным на GPU Nvidia Hopper H100 enterprise. Rambus планирует выйти за рамки спецификаций HBM3 и в апреле прошлого года намекнул на пропускную способность до 1,05 Тбит/с.
Повышенный интерес к HBM, проявляет Apple, и бесконечное стремление к пропускной способности без использования экзотического источника питания и не менее экзотической системы охлаждения, соответственно HBM - в долгосрочной перспективе вытеснит DIMM и GDDR в качестве основного формата памяти, в чем можно винить Apple.
Лиза Су ожидает, что первый суперкомпьютер Zettascale будет представлен до 2035 года, до это осталось 12 лет, и вероятно найдется идеального решение, если ИИ не доберется туда раньше.
Источник новости: www.playground.ru
