阅 264|回 1

5 帖子	0 TA的资源

发表于2024-11-25 16:55 只看该作者

#聊一聊#《大模型时代的基础架构》-关于分布式存储 [复制链接]

本帖最后由乐悠刘于 2024-11-25 16:57 编辑

书中提到，在处理大模型的训练时，需要大量的数据支持，分布式存储系统（如Ceph、HDFS、Lustre）是常见的解决方案。针对不同的数据访问模式（如随机读取和顺序读取），怎么去选择合适的存储架构以及优化其性能？Ceph和HDFS更适合大规模数据存储，但对于低延迟需求足够吗？

看情况吧，重计算负载的系统，一般不会迁移数据，数据太大，所以一般会迁移计算，把硬件和算法就近部署到数据附近。详情回复发表于 2024-11-25 17:23

点赞关注

7608 帖子	2 TA的资源

发表于2024-11-25 17:23 只看该作者

看情况吧，重计算负载的系统，一般不会迁移数据，数据太大，所以一般会迁移计算，把硬件和算法就近部署到数据附近。

个人签名

默认摸鱼，再摸鱼。2022、9、28

开源项目更多>>

随便看看

RV1106开箱
#RV1106开箱报告前几天，我终于收到了期待已久的LuckfoxRV1106G3开发板。由于最近一直忙于Yocto开发，因此没能及时进行评测。不过，今天我想先分享一下开箱的初体验。##包装及外观开箱时，RV1106G3的包装非常结实，外部印刷清晰，给人一种专业的感觉。打开盒 ...
【MCXN947开发板测评】点阵板显示驱动
【Follow me第二季第4期】汇总提交帖：全部任务_视频提交补充·
51上跑的俄罗斯方块！
关于C51中断程序指定寄存器组的问题
新手上路，求指教
testbench调用，出现问题Top-level design entity is undefined？
红外对管程序问题

查找数据手册?

EEWorld Datasheet 技术支持

热门标签

相关文章更多>>

苹果M4 Mac mini曝出USB-C接口问题！随机间歇性断开连接
1月17日消息，苹果M4 Mac mini自2024年底发布以来，收获了不少好评，然而近期一些用户在使用过程中发现，该设备的USB-C接口似乎存在连接性问题，给使用带来了不便。有用户反映M4 Ma
消息称 SK 海力士有望 2 月启动业界最先进 1c nm 制程 DRAM 内存量产
1 月 17 日消息，韩媒 MT（IT之家注：全称 MoneyToday）当地时间今日报道称，SK 海力士近日已成功完成内存业界最先进 1c 纳米制程 DRAM 的批量产品认证，连续多个以 25 块
未经同意出售用户数据，通用汽车遭美国 FTC 处罚
1 月 17 日消息，当地时间周四，美国联邦贸易委员会（FTC）宣布通用汽车及其子公司 OnStar 因未经用户同意出售用户位置和驾驶行为数据，因此将对其进行处罚，包括在五年内禁止向消费者报告机构披
日本三井住友银行推出半导体设备抵押贷款，铠侠已率先获益
联想宣布收购Infinidat，扩充高端企业存储业务
台积电董事长：我们不是美积电最先进制程不会搬到美国
曝台积电拒绝代工三星Exynos处理器：理由是怕泄密
SK 海力士被曝上半年削减 10% NAND 闪存产量
苹果加入UALink联盟成员含AMD、英特尔、谷歌等公司
英特尔宣布将逐渐停产第 12 代 Alder Lake 移动处理器，覆盖酷睿、奔腾及赛扬

新帖速递

站长推荐

1/9

EEWorld订阅号

EEWorld服务号

汽车开发圈

用户热搜：

北京市海淀区中关村大街18号B座15层1530室电话:(010)82350740 邮编：100190