《大模型时代的基础架构》阅读心得2—学习GPU

乐悠刘

《大模型时代的基础架构》阅读心得2—学习GPU [复制链接]

 

第五章，机器学习所依托的I/O框架体系，主要介绍了机器学习所依托的I/O框架体系，其中出现了许多我以前没有接触过的词语。首先是Magnum IO的引入。Magnum IO是NVIDIA发布的适用于现代GPU加速型数据中心的IO子系统。在分布式训练中，会遇到诸如GPU与其他GPU、与本地存储设备、与远端存储设备的交互等问题。Nvidia使用GPU Direct去解决该类问题，该技术可以实现GPU与其他设备之间的通信与数据传输，使其可以不涉及CPU。GPU Direct技术是Magnum IO架构中的一个重要组成部分。Magnum IO还需要的技术有DPDK（数据平面开发套件）、DPU（数据处理器）和MPI Tag Matching等技术。GPU Direct技术包括多个子技术，如GPUDirect Storage、GPUDirect RDMA、GPUDirect P2P（Peer-to-Peer，点对点）、GPU Direct Shared Memory等。其中GPU Direct P2P是一种优化的GPU通信技术，允许直接在不同GPU之间进行数据传输，避免了通过主机内存的额外开销。

此外，还有NVLink，它是NVIDIA开发的一种高速、高带宽的互连技术，用于连接多个GPU之间或GPU与其他设备如内存之间的通信。GPUDirect技术旨在优化GPU之间或GPU与第三方设备之间的数据传输，而NVLink则提供了一种更高速、更低延迟的连接方式。NVLink Switch是NVIDIA设计的一种交换芯片，它能够通过连接多个NVLink，实现GPU之间的全速通信。在深度学习领域，NVLink Switch能够支持多个GPU之间的快速数据传输和共享，从而加速模型的训练和推理过程。从书中的介绍可以看出，NVLink Switch是NVIDIA在GPU通信领域的一项重要技术，为高性能计算和大规模并行处理提供了强有力的支持。

然而对于跨服务器节点的GPU通信，无法采用NVLink。对此，书中介绍了RDMA，它是一种网络传输技术，基于IB网络，IB网络提供了包括RDMA在内的多种数据传输服务，是RDMA技术的一种重要实现方式，可用来进行高性能计算。目前RDMA有两种路线：IB和RoCE。RoCE基于以太网的RDMA实现，利用现有的以太网基础设施进行部署，降低成本，是Magnum IO的基石。

 

第六章，GPU集群的网络设计与实现，通过上一章的介绍，为这一章的学习打下了基础。GPU集群是一个由多台配备GPU的计算机（或服务器）通过高速网络连接而成的计算系统。为了充分发挥GPU集群的性能，需要实现三种网络：RoCE计算网络、存储网络和业务网络。在GPU集群中，RoCE计算网络主要用于支持GPU之间的高效通信和数据传输。业务网络重要负责GPU集群中各个节点之间的数据通信和交互，以支持各种计算任务和业务需求。存储网络主要负责GPU集群中数据的存储和访问，确保数据能够高效地传输到各个计算节点。第六章介绍了三张网络的不同需求和解决方案。书中介绍了两种实现思路：一种是使用第五章中介绍的IB网络实现RoCE计算网络，使用以太网实现存储网络和业务网络。另一种是三张网络均使用以太网来实现，并合并存储网络和业务网络，比较倾向于这种方法。在设计实现存储与业务网络时，则涉及根据以太网接口去考虑将存储与业务网络合并还是分离设计。此外，第六章还介绍了GPU集群中带外管理监控网络的设计实现，该部分有助于提高系统的可靠性和安全性，提高工作效率。还应设计网络边界，保证安全因素。

 

第七章，GPU板卡级算例调度技术，由于GPU卡的价格比较昂贵，故需要构建算力分配调度系统，将GPU资源分配给不同的任务使用。第七章中分别讲述了基于虚拟化技术和基于容器技术的GPU调度。在虚拟化技术部分介绍了KVM技术，其中提到了在第三章介绍的PCI-E，PCI-E是一种串行总线，具有很高的数据传输速率。KVM是支持PCI-E设备直通的，可以把一个PCI-E设备分配给一台虚拟机使用，实现GPU的调度。书中提到一些PCI-E设备直通的实现步骤以及硬件虚拟化技术。其中涉及了许多以前未曾接触的知识，读起来有些吃力。在基于容器技术的GPU调度中，书中提到云原生这个词，这个词语也是第一次接触，经查阅了解到其是一种软件开发和部署的方法，可以充分利用云计算的优势。书中也提到，云原生将应用拆分为微服务，将各微服务的可执行文件构建为容器镜像，再以容器化方式运行，再进行调度。越读越让人感受到科技的神奇力量和复杂程度。

 

第八章，GPU虚拟化调度方案，在这一章中阐述了GPU虚拟化实现的需求，此技术可以将GPU分享给其他应用。需求主要有三种。硬件复用需求、隔离性需求和可运营需求。可以用过时分复用和码分复用两种方式满足硬件复用需求。隔离性需求来保证虚拟化的各自独立运行。可运营需求则考虑到了租户的一种实际需求。随后书中介绍了一些厂商的虚拟化调度方案。首先讲的就是Nvidia的方案，Nvidia作为行业领头羊，其提出的多种方案如vCUDA、GRID vGPU以及MIG，引领了技术的发展方向。首先，Nvidia的vCUDA技术于2010年左右推出，通过在虚拟机中创建物理GPU的逻辑映像——虚拟GPU（vGPU），并在用户态拦截和重定向CUDA API调用，为GPU虚拟化提供了早期的基础框架。随后，Nvidia在2014年前后推出了GRID vGPU方案，作为vCUDA的进阶版。GRID vGPU采用了一种半虚拟化策略，通过虚拟化敏感资源和关键资源（如PCI-E配置空间和MMIO CSR），同时保留GPU显存的直通能力，从而在保证兼容性的同时，提升了调度的灵活性和性能。进入2020年，Nvidia又推出了MIG（Multi-Instance GPU）技术。

除了Nvidia之外，其他GPU生产商如AMD和Intel也在积极推动GPU调度方案的发展。这些技术的不断创新和发展，将为各种应用场景提供更加高效、灵活和安全的GPU资源利用方案。

 

通过阅读此书，让我了解到许多新的知识，受益匪浅。

 

Jacktang

这本《大模型时代的基础架构》还是值得读读的，谢谢分享