#没读懂#《大模型时代的基础架构》关于GPU跨节点异号卡数据交换路径

ltaodream · 发表于 2024-11-24 20:44

#没读懂#《大模型时代的基础架构》关于GPU跨节点异号卡数据交换路径 [复制链接]

问题来源：第六章 GPU集群的网络设计与实现

在阅读这个章节中注意到书中所说的GPU跨节点异号卡数据交换是通过接入层经过汇聚层交换机，才会抵达另一个节点的异号卡GPU，但是之前有听说过另一种说法

如果节点1的GPU0需要与节点2的GPU1进行通信，数据可能首先通过Roce交换机传输到节点2的GPU0，然后由节点2的GPU0通过NVlink Switch转发到GPU1

不知道两种说法哪种对，希望大家来讨论一下，希望老师解答一下

Jacktang

只能说，数据直接通过 NVLink 或 InfiniBand 等高速网络传输到节点2的GPU1。
这种路径适用于节点之间有直接的NVLink或InfiniBD连接和软件优化

ltaodream

Jacktang 发表于 2024-9-12 07:31 只能说，数据直接通过 NVLink 或 InfiniBand 等高速网络传输到节点2的GPU1。这种路径适用于节点之间有直 ...

模型训练是会碰到这样的情况的，而且节点之间不可能有nvlink

richiefang

不同编号的GPU卡，跨GPU服务器节点的通信，只能通过上一层交换机（一般称为spine, 或核心层）转发，这是因为GPU卡本身是不具备GPU Direct Memory的路由功能的。GPU Direct Memory也不支持跨卡的路由，只能两张卡直通。

ltaodream

richiefang 发表于 2024-9-22 10:49 不同编号的GPU卡，跨GPU服务器节点的通信，只能通过上一层交换机（一般称为spine, 或核心层）转发，这是因 ...

感谢大佬解答

ltaodream · 发表于 2024-11-24 20:44

richiefang 发表于 2024-9-22 10:49 不同编号的GPU卡，跨GPU服务器节点的通信，只能通过上一层交换机（一般称为spine, 或核心层）转发，这是因 ...

既然GPU层面不支持，那是否可以在代码层面实现这种数据传输控制呢，比如使用一些gpu通信库，或者进行通信数据链路优化啥的
然后老师，我还想问现在业界是否可以做到单个node故障以后，不重启整个训练任务，而使训练任务恢复呢，我们现在是重启整个训练任务，代价太大了

richiefang · 发表于2024-11-24 20:44

ltaodream 发表于 2024-9-24 16:23 既然GPU层面不支持，那是否可以在代码层面实现这种数据传输控制呢，比如使用一些gpu通信库，或者进行通信 ...

GPU内部不具备数据路由功能，所以不能通过通信库实现NVLink的多跳转发