Nvidia объявила о новом «законе Хуанга», который гласит, что ускорение в «производительности вывода одного чипа» будет расти. Исследователи Nvidia утверждают, что за последнее десятилетие возможности графических процессоров компании в области искусственного интеллекта выросли в 1000 раз.
Главный научный сотрудник Nvidia Билл Далли заявил о «тектоническом сдвиге в том, как достигается производительность компьютеров в эпоху, когда не действует закон Мура». На конференции Hot Chips 2023 он представил диаграмму, которая показывает 1000-кратное увеличение выводов искусственного интеллекта с помощью графического процессора.
В отличие от закона Мура сокращение техпроцесса мало повлияло на развитие «закона Хуанга», сказал главный научный сотрудник Nvidia. Далли вспоминает, как 16-кратный рост был достигнут за счёт изменения базовой обработки чисел графическим процессором Nvidia. Ещё один большой импульс был получен с появлением архитектуры Nvidia Hopper, использующей движок Transformer Engine. Как утверждается, Hopper использует динамическое сочетание восьми- и 16-битных операций с плавающей запятой и целочисленных вычислений, что обеспечивает прирост производительности в 12,5 раз, а также экономию энергии. По словам учёного, ранее Nvidia Ampere ввела структурную разреженность для двукратного увеличения производительности. Такие достижения, как сетевые технологии NVLink и Nvidia, еще больше укрепили эти достижения.
Самым примечательным стало заявление Далли о том, что вышеупомянутый 1000-кратный совокупный прирост производительности вывода ИИ резко контрастирует с приростом, приписываемым улучшениям процессов. За последнее десятилетие, когда графические процессоры Nvidia перешли с 28-нм на 5-нм техпроцесс, усовершенствования полупроводниковых процессов «принесли лишь 2,5-кратный общий прирост», утверждает он. Далли отмечает, что он и его команда всё ещё видят «несколько возможностей» для ускорения обработки выводов ИИ. Они включают «дальнейшее упрощение представления чисел, создание большей разреженности моделей ИИ и разработку более совершенных схем памяти и связи».
Впервые о «законе Хуанга» заговорили несколько лет назад. Он представляет собой наблюдение в области компьютерных наук и инженерии, согласно которому прогресс в области графических процессоров растёт гораздо быстрее по сравнению с центральными процессорами, что противоречит закону Мура. Наблюдение было сделано самим генеральным директором Nvidia Дженсеном Хуангом на конференции по технологиям графических процессоров 2018 года. Он тогда заметил, что графические процессоры Nvidia были «в 25 раз быстрее, чем пять лет назад», тогда как закон Мура ожидал только десятикратного увеличения.
Год назад Дженсен Хуанг заявил, что «закон Мура мёртв». По его мнению, чипы в перспективе будут только дорожать. Также Хуанг заявлял о том, что полупроводниковая промышленность близка к пределу своих возможностей, а способ вычислений нужно менять.
Источник новости: habr.com
