AI春晚GTC,你看了吗?英伟达发布新核弹B200
[复制链接]
放个直播回放的链接,还没看又感兴趣的可以看看:
https://www.youtube.com/watch?v=Y2F8yisiS6E
AI春晚GTC,皮衣老黄燃炸全场!英伟达官宣新一代Blackwell架构,定位直指“新工业革命的引擎” ,“把AI扩展到万亿参数”。
老黄本次演讲主题《见证AI的变革时刻》。
他在演讲中提到加速计算到达了临界点,通用计算已经过时了。而我们需要更大的GPU,如果不能更大,就把更多GPU组合在一起,变成更大的虚拟GPU。
so
英伟达通过芯片,与芯片间的连接技术,一步步构建出大型AI超算集群。
4nm制程达到瓶颈,就把两个芯片合在一起,以10TB每秒的满血带宽互联,组成B200 GPU,总计包含2080亿晶体管。B100型号被跳过了,直接发布的首个GPU就是B200。
两个B200 GPU与Grace CPU结合就成为GB200超级芯片,通过900GB/s的超低功耗NVLink芯片间互连技术连接在一起。
两个超级芯片装到主板上,成为一个Blackwell计算节点。
18个这样的计算节点共有36CPU+72GPU,组成更大的“虚拟GPU”。
它们之间由今天宣布的NVIDIA Quantum-X800 InfiniBand和Spectrum™-X800以太网平台连接,可提供速度高达800Gb/s的网络。
在NVLink Switch支持下,最终成为“新一代计算单元”GB200 NVL72。
一个像这样的“计算单元”机柜,FP8精度的训练算力就高达720PFlops,直逼H100时代一个DGX SuperPod超级计算机集群(1000 PFlops)。
与相同数量的72个H100相比,GB200 NVL72对于大模型推理性能提升高达30倍,成本和能耗降低高达25倍。
把GB200 NVL72当做单个GPU使用,具有1.4EFlops的AI推理算力和30TB高速内存。
再用Quantum InfiniBand交换机连接,配合散热系统组成新一代DGX SuperPod集群。
DGX GB200 SuperPod采用新型高效液冷机架规模架构,标准配置可在FP4精度下提供11.5 Exaflops算力和240TB高速内存。
此外还支持增加额外的机架扩展性能。
最终成为包含32000 GPU的分布式超算集群。
老黄直言,“英伟达DGX AI超级计算机,就是AI工业革命的工厂”。
将提供无与伦比的规模、可靠性,具有智能管理和全栈弹性,以确保不断的使用。
|