《大模型时代的基础架构》GPU集群的存储设计与实现

ltaodream

《大模型时代的基础架构》GPU集群的存储设计与实现 [复制链接]

 

分布式块存储

块存储的业务需求

本地盘，把宿主机的物理硬盘分配给虚拟机

• 创建新虚拟机，需完整复制一份系统盘镜像数据到本地盘，导致创建时间长
• 热迁移需要完整复制系统盘，热迁移性能低下
• 系统盘无法制作快照，本地硬盘

将位于网络远端的快存储作为虚拟机的系统盘

• 操作系统引导：启动就可发现块存储设备
• 正常挂载：识别块存储设备，并将文件系统落盘的读/写命令字从网卡发送到块存储设备
• 数据冗余备份：快照

集中式块存储

FC-SAN：

• HBA卡
• SAN Switch
• 基于FC-SAN存储控制器的集中式存储设备

问题在于性能和终端数量的扩展性

分布式块存储

使用大容量磁盘的工业标准服务器组成集群，通过多副本或EC方式实现存储的数据冗余备份

• Ceph：CRUSH算法（随机）会浪费空间
• 各家自研块存储：Raft算法，节点/磁盘/磁盘偏移量三元数组

分布式对象存储

• 用来高效存储检索非结构化数据（文档、图片、视频、声音）
• 采用基于HTTP的开放接口存取
• 定义存储桶（Bucket），桶内每个文件都有全局唯一标识符
• 为对象添加键值标签，方便检索

Ceph

• 统一了三种接口的统一存储平台，上层应用支持Object、Block、File
• 数据强一致性算法，数据的所有副本都写入并返回才算写事务的完成，写的效率会差一些，所以更适合写少读多的场景。

Swift

• OpenStack的一个组件
• 只保障数据的最终一致性，写完2个副本后即可Commit，这就导致读操作需要进行副本的对比校验，读的效率相对较低。
• 采用一致性哈希算法完成数据分布计算，通过首次计算对象针对逻辑对象（Zone）的映射实现数据副本的故障隔离分布，然后通过哈希一致性算法完成对象在Bucket当中的分布计算，采用Ring环结构组织Bucket节点组织，数据分布不如Ceph均匀。
• 需借助Proxy节点完成对数据的访问，不同于通过客户端直接访问数据节点，相对数据的访问效率来讲，比Ceph要差一些。

商业化对象存储

• 一致性哈希算法
• 冷热数据分层管理
• 一般分为HTTP服务层、存储节点层、键值数据库层
• 通过云负载均衡服务示例对云外提供VIP，并通过VPCGW对VPC内的虚拟机提供服务发现和服务路由，实现无限横向扩展

MinIO

• 基于Go的高性能分布式开源存储项目
• 提供了与k8s、etcd、docker等主流容器化技术深度集成方案
• 不同MinIO集群可以组成联邦，并形成一个全局的命名空间，并且支持跨越多个数据中心。
• Amazon S3兼容
• 使用纠删码和Checksum机制来防止硬件错误和静默数据污染。在最高冗余度配置下，即使丢失1/2的磁盘也能恢复数据。

分布式文件存储

JuiceFS

• 采用「数据」与「元数据」分离存储的架构。
• 支持多种访问接口，包括兼容 POSIX 文件系统的接口、Hadoop Java SDK、FUSE 和 Kubernetes 等。
• 提供了本地多级缓存机制，以提高数据访问速度和吞吐量。
• JuiceFS 具有良好的兼容性，支持 POSIX、HDFS 和 S3 API 等多种文件系统接口。

Jacktang

系统盘无法制作快照，本地硬盘，这个怎么理解

huwuren1a

占个楼刷积分，感谢啊啊啊啊啊啊啊啊啊！

ltaodream

Jacktang 发表于 2024-9-26 07:21 系统盘无法制作快照，本地硬盘，这个怎么理解

它的意思应该是从基础软件层面来说没支持，只是简单的把硬盘分给虚拟机用，其他各种周边都很难做，这样搞的话