《大模型时代的基础架构》软件程序与专用硬件的结合

ltaodream

《大模型时代的基础架构》软件程序与专用硬件的结合 [复制链接]

 

邀请：@tagetage   @littleshrimp   @nmg   @okhxyyo   参与回复

GPU并行计算库

第二章比较了C语言和GPU实现向量加法代码的区别，来体现在GPU上运行的CUDA是一个原生为并行计算设计的框架。

CUDA向开发者屏蔽了内存数据传输到方式，在libcudart.so等动态链接库中调用了GPU的KMD来让GPU执行计算。

• KMD：Kernel Mode Driver，内核模式驱动

分布式AI训练

• 模型并行策略：将模型部署到很多设备上，由于显存限制，当模型很大的时候，单个模型难以跑在单个GPU。
• 数据并行策略：多个GPU上放置相同模型，各个GPU采用不同的数据进行训练。

总结

希望可以对大家去学习CUDA和TensorFlow的原理起到抛砖引玉的效果。深入AI，学习原理必不可少。