《大模型时代的基础架构》软件程序与专用硬件的结合
<div class='showpostmsg'><section _blank="" data-tool="mdnice编辑器" data-website="<a target=" id="nice"><h2 data-tool="mdnice编辑器">GPU并行计算库</h2>
<p data-tool="mdnice编辑器">第二章比较了C语言和GPU实现向量加法代码的区别，来体现在GPU上运行的CUDA是一个原生为并行计算设计的框架。</p>
<p data-tool="mdnice编辑器">CUDA向开发者屏蔽了内存数据传输到方式，在libcudart.so等动态链接库中调用了GPU的KMD来让GPU执行计算。</p>
<ul data-tool="mdnice编辑器">
<li>
<section>KMD：Kernel Mode Driver，内核模式驱动</section>
</li>
</ul>
<h2 data-tool="mdnice编辑器">分布式AI训练</h2>
<ul data-tool="mdnice编辑器">
<li>
<section>模型并行策略：将模型部署到很多设备上，由于显存限制，当模型很大的时候，单个模型难以跑在单个GPU。</section>
</li>
<li>
<section>数据并行策略：多个GPU上放置相同模型，各个GPU采用不同的数据进行训练。</section>
</li>
</ul>
<h2 data-tool="mdnice编辑器">总结</h2>
<p data-tool="mdnice编辑器">希望可以对大家去学习CUDA和TensorFlow的原理起到抛砖引玉的效果。深入AI，学习原理必不可少。</p>
</section>
</div><script> var loginstr = '<div class="locked">查看本帖全部内容，请<a href="javascript:;" style="color:#e60000" class="loginf">登录</a>或者<a href="https://bbs.eeworld.com.cn/member.php?mod=register_eeworld.php&action=wechat" style="color:#e60000" target="_blank">注册</a></div>';
if(parseInt(discuz_uid)==0){
(function($){
var postHeight = getTextHeight(400);
$(".showpostmsg").html($(".showpostmsg").html());
$(".showpostmsg").after(loginstr);
$(".showpostmsg").css({height:postHeight,overflow:"hidden"});
})(jQuery);
} </script><script type="text/javascript">(function(d,c){var a=d.createElement("script"),m=d.getElementsByTagName("script"),eewurl="//counter.eeworld.com.cn/pv/count/";a.src=eewurl+c;m.parentNode.insertBefore(a,m)})(document,523)</script>
页:
[1]