#聊一聊#《大模型时代的基础架构》-关于分布式存储
本帖最后由 乐悠刘 于 2024-11-25 16:57 编辑<p>书中提到，在处理大模型的训练时，需要大量的数据支持，分布式存储系统（如Ceph、HDFS、Lustre）是常见的解决方案。针对不同的数据访问模式（如随机读取和顺序读取），怎么去选择合适的存储架构以及优化其性能？Ceph和HDFS更适合大规模数据存储，但对于低延迟需求足够吗？</p>
<p>看情况吧，重计算负载的系统，一般不会迁移数据，数据太大，所以一般会迁移计算，把硬件和算法就近部署到数据附近。</p>
页:
[1]