软硬件的结合--《大模型时代的基础架构-第2章》

superleon123

软硬件的结合--《大模型时代的基础架构-第2章》 [复制链接]

 

    设计GPU进行并行计算，这个技术早已经不是秘密，好些厂商都能做到。但是，难就难在软件生态上。英伟达公司研发了CUDA这个并行运算库，能够将传统计算转移到GPU上进行，能够调用GPU中海量计算单元进行计算。这个创新，加速了人工智能（机器学习），特别是深度学习神经网络的计算速度，有力地推动了人工智能的发展。CUDA采用C语言进行设计，许多人都学过C语言，所以容易上手。还有，如OpenCL并行计算，采用C语言，在市场上也闯出了一片天地。

    掌握人工智能，就必须要掌握算法。不断改进算法，把计算任务转移到GPU上进行，意味着CPU可以解除负担了。GPU就相当于CPU的一个非常给力的助手。在机器学习的训练场景中，需要大量的样本，GPU能够从计算机内存中高效地读取数据，避免CPU及其他硬件的介入导致延时。此外，多个GPU之间还可以交换数据，或者采用分布式的计算任务，将任务切割成小部分，分发给多个GPU去完成，这种也叫做分布式AI训练。

freebsder

OpenCL 还是没有太普及，很多年前刚出来的时候理念还是很牛逼，要把所有的计算部件统一起来。。。

superleon123

freebsder 发表于 2024-9-19 13:56 OpenCL 还是没有太普及，很多年前刚出来的时候理念还是很牛逼，要把所有的计算部件统一起来。。。

是的，当时并行计算的理念还是很前卫的，随着多核cpu，多核GPU的不断发展，估计OpenCL还会进一步应用到更多的应用场景中。

freebsder

superleon123 发表于 2024-9-19 14:38 是的，当时并行计算的理念还是很前卫的，随着多核cpu，多核GPU的不断发展，估计OpenCL还会进一步应用到更 ...

应该还是有利益冲突吧，比如英伟达应该不太希望opencl去分cuda的市场，intel自己有cpu，gpu，dsp，它可能更希望opencl能自己把握