《大模型时代的基础架构》一文了解GPU云原生虚拟化调度方案

ltaodream

《大模型时代的基础架构》一文了解GPU云原生虚拟化调度方案 [复制链接]

<div class='showpostmsg'>## 背景 大模型时代，当前单 GPU 算力调度技术主要有 - 基于虚拟机的 PCI-E 设备直通 - 基于 Kubernetes 的 Device Plugin 这两种方式都对GPU调度的颗粒度都是单卡（整颗GPU芯片），会独占整个 GPU 。但在当前 GPU 寸土寸金的时代，这种调用方式在一些任务场景下会浪费大量 GPU 资源。 - AI推理：通常一次只处理一个或一小批输入样本（流量波动） - 高性能计算：一些 HPC 应用会因 CPU 的瓶颈而对 GPU 的利用率不高 - 开发环境：研发人员使用 Jupyter Notebook 进行交互式的模型开发，大多数情况只需较低规格的机器 - 测试环境：测试人员对大模型应用进行测试 - CI/CD ：流水线往往只需要在触发的时候有限的GPU资源运行测试用例 ## 需求 GPU虚拟化应当实现对需求： - 硬件复用 - 时分复用（类比单核时间片轮转） - 空分复用（多个进程可以同时运行在一个 GPU 上） - 隔离性（互不影响） - 可运营（保证租户实际可用的资源量） ## 层级 GPU虚拟化方案从硬件层到应用层： - 硬件级：Nvidia MIG、AMD SRIOV技术、百度昆仑 SRIOV技术 - 虚拟机/虚拟硬件级：Nvidia vGPU技术、Intel GVT-G技术 - CUDA内核劫持/驱动劫持：阿里闭源cGPU、腾讯闭源qGPU、百度内核态虚拟化、火山引擎闭源mGPU - CUDA聚合：Nvidia MPS技术（多进程服务解决方案） - CUDA运行时劫持：腾讯开源vCUDA、rCUDA - 机器学习框架：AntMan项目 分类： - 当前常见的虚拟化方式，包括内核态虚拟化、NVIDIA vGPU虚拟化，在底层实际都是基于时间片轮转的时分复用方案。在某一时间片内，如果该进程无法很好的利用计算资源，这些计算资源就是浪费掉的。 - 而MPS，真正实现了并行（parallel），该方案可以做到空分复用，是目前看到同时兼顾效率与性能的方案。 延迟敏感型的在线推理任务，建议选择基于进程融合的空分方案。要求严格隔离的场景建议选择时分方案。其它场景选择两者没有区别。 ## 对于Kubernete中GPU调度的理解 **k8s的GPU共享是要服务于GPU调度，但GPU调度并不需要GPU共享。** 理解GPU调度与GPU共享的关系 - **GPU共享服务于GPU调度**： - 在GPU资源有限或成本敏感的情况下，GPU共享技术可以帮助提高资源利用率，使得更多的Pods可以在同一物理GPU上运行。 - GPU共享技术可以将一个物理GPU分割成多个虚拟GPU实例，每个实例可以分配给不同的Pods。这样，即使资源有限，也能支持更多的任务运行。 通过GPU共享，调度器可以在有限的GPU资源上调度更多的Pods，从而提高集群的整体效率。 - **GPU调度不一定需要GPU共享**： - 如果集群中有足够的GPU资源，并且每个Pod需要完整的GPU资源，那么不需要使用GPU共享技术。 - 在这种情况下，GPU调度只是简单地将每个GPU分配给一个Pod，以确保资源的独占使用。 - 当GPU资源充足时，每个Pod都可以拥有一个完整的GPU，调度器只需确保没有资源冲突即可。 GPU调度的要点在于：**GPU要尽可能响应任务、任务完成时间尽可能短、资源利用率尽可能高、不要卡在IO上。** 由于CPU与GPU有异步等待关系，存储、网络IO是最影响GPU利用率的问题。 **由于当前GPU的稀缺性，CPU、存储、网络等一切其他资源都要让步给GPU。** </div><script> var loginstr = '<div class="locked">查看本帖全部内容，请<a href="javascript:;" style="color:#e60000" class="loginf">登录</a>或者<a href="https://bbs.eeworld.com.cn/member.php?mod=register_eeworld.php&action=wechat" style="color:#e60000" target="_blank">注册</a></div>'; if(parseInt(discuz_uid)==0){ } </script><script type="text/javascript">(function(d,c){var a=d.createElement("script"),m=d.getElementsByTagName("script")[0],eewurl="//counter.eeworld.com.cn/pv/count/";a.src=eewurl+c;m.parentNode.insertBefore(a,m)})(document,523)</script>

HEU-liukai

小白前来学习一下

ltaodream

一起学习大模型基础架构