社区首页
技术讨论创新帖
全部新帖
资料区
社区活动
联系管理员
★ 社区积分制度
★ 新手必读
★ 申请版主★
首页
|
电子技术
|
嵌入式
模拟电子
单片机
电源管理
传感器
半导体
电子应用
|
工业控制
物联网
汽车电子
网络通信
医疗电子
手机便携
测试测量
安防电子
家用电子
机器人
新能源
电子头条
|
社区
|
论坛
测评
博客
大学堂
|
下载
|
下载中心
电路图
精品文集
电路图
|
参考设计
|
Datasheet
|
活动
|
直播
datasheet
datasheet
文章
搜索
登录
注册
论坛
切换旧版
电子工程世界-论坛
»
论坛
›
电子技术交流
›
测评中心专版
›
《大模型时代的基础架构》一文了解GPU云原生虚拟化调度 ...
返回列表
发新帖
回复
阅
339
|
回
2
ltaodream
当前离线
一粒金砂(中级)
最后登录
2024-9-19
在线时间
5 小时
威望
115分
芯积分
153分
(兑换)
E金币
0枚
(兑换)
(兑换)
好友
0
ltaodream
55
帖子
0
TA的资源
一粒金砂(中级)
+ 好友
私信
发表于2024-8-5 12:00
显示全部楼层
《大模型时代的基础架构》一文了解GPU云原生虚拟化调度方案
[复制链接]
## 背景 大模型时代,当前单 GPU 算力调度技术主要有 - 基于虚拟机的 PCI-E 设备直通 - 基于 Kubernetes 的 Device Plugin 这两种方式都对GPU调度的颗粒度都是单卡(整颗GPU芯片),会独占整个 GPU 。但在当前 GPU 寸土寸金的时代,这种调用方式在一些任务场景下会浪费大量 GPU 资源。 - AI推理:通常一次只处理一个或一小批输入样本(流量波动) - 高性能计算:一些 HPC 应用会因 CPU 的瓶颈而对 GPU 的利用率不高 - 开发环境:研发人员使用 Jupyter Notebook 进行交互式的模型开发,大多数情况只需较低规格的机器 - 测试环境:测试人员对大模型应用进行测试 - CI/CD :流水线往往只需要在触发的时候有限的GPU资源运行测试用例 ## 需求 GPU虚拟化应当实现对需求: - 硬件复用 - 时分复用(类比单核时间片轮转) - 空分复用(多个进程可以同时运行在一个 GPU 上) - 隔离性(互不影响) - 可运营(保证租户实际可用的资源量) ## 层级 GPU虚拟化方案从硬件层到应用层: - 硬件级:Nvidia MIG、AMD SRIOV技术、百度昆仑 SRIOV技术 - 虚拟机/虚拟硬件级:Nvidia vGPU技术、Intel GVT-G技术 - CUDA内核劫持/驱动劫持:阿里闭源cGPU、腾讯闭源qGPU、百度内核态虚拟化、火山引擎闭源mGPU - CUDA聚合:Nvidia MPS技术(多进程服务解决方案) - CUDA运行时劫持:腾讯开源vCUDA、rCUDA - 机器学习框架:AntMan项目 分类: - 当前常见的虚拟化方式,包括内核态虚拟化、NVIDIA vGPU虚拟化,在底层实际都是基于时间片轮转的时分复用方案。在某一时间片内,如果该进程无法很好的利用计算资源,这些计算资源就是浪费掉的。 - 而MPS,真正实现了并行(parallel),该方案可以做到空分复用,是目前看到同时兼顾效率与性能的方案。 延迟敏感型的在线推理任务,建议选择基于进程融合的空分方案。要求严格隔离的场景建议选择时分方案。其它场景选择两者没有区别。 ## 对于Kubernete中GPU调度的理解 **k8s的GPU共享是要服务于GPU调度,但GPU调度并不需要GPU共享。** 理解GPU调度与GPU共享的关系 - **GPU共享服务于GPU调度**: - 在GPU资源有限或成本敏感的情况下,GPU共享技术可以帮助提高资源利用率,使得更多的Pods可以在同一物理GPU上运行。 - GPU共享技术可以将一个物理GPU分割成多个虚拟GPU实例,每个实例可以分配给不同的Pods。这样,即使资源有限,也能支持更多的任务运行。 通过GPU共享,调度器可以在有限的GPU资源上调度更多的Pods,从而提高集群的整体效率。 - **GPU调度不一定需要GPU共享**: - 如果集群中有足够的GPU资源,并且每个Pod需要完整的GPU资源,那么不需要使用GPU共享技术。 - 在这种情况下,GPU调度只是简单地将每个GPU分配给一个Pod,以确保资源的独占使用。 - 当GPU资源充足时,每个Pod都可以拥有一个完整的GPU,调度器只需确保没有资源冲突即可。 GPU调度的要点在于:**GPU要尽可能响应任务、任务完成时间尽可能短、资源利用率尽可能高、不要卡在IO上。** 由于CPU与GPU有异步等待关系,存储、网络IO是最影响GPU利用率的问题。 **由于当前GPU的稀缺性,CPU、存储、网络等一切其他资源都要让步给GPU。**
此帖出自
测评中心专版论坛
最新回复
HEU-liukai
小白前来学习一下
详情
回复
发表于 2024-8-5 16:18
回复
分享
扫一扫,分享给好友
复制链接分享
链接复制成功,分享给好友
举报
提升卡
变色卡
千斤顶
HEU-liukai
HEU-liukai
当前离线
一粒金砂(中级)
最后登录
2024-9-18
在线时间
2 小时
威望
26分
芯积分
49分
(兑换)
E金币
0枚
(兑换)
(兑换)
好友
0
10
帖子
0
TA的资源
一粒金砂(中级)
+ 好友
私信
发表于2024-8-5 16:18
显示全部楼层
小白前来学习一下
此帖出自
测评中心专版论坛
回复
举报
ltaodream
ltaodream
当前离线
一粒金砂(中级)
最后登录
2024-9-19
在线时间
5 小时
威望
115分
芯积分
153分
(兑换)
E金币
0枚
(兑换)
(兑换)
好友
0
55
帖子
0
TA的资源
一粒金砂(中级)
+ 好友
私信
楼主
|
发表于2024-8-5 12:02
显示全部楼层
一起学习大模型基础架构
此帖出自
测评中心专版论坛
回复
举报
返回列表
发新帖
回复
您需要登录后才可以回帖
登录
|
注册
发表回复
回帖后跳转到最后一页
猜你喜欢
【帖子】《大模型时代的基础架构》一文了解GPU云原生虚拟化调度方案
【帖子】AI时代的给力推手:GPU架构简介--《大模型时代的基础架构》第3章
【帖子】《大模型时代的基础架构》GPU硬件架构剖析
【帖子】#没读懂#《大模型时代的基础架构》关于GPU跨节点异号卡数据交换路径
【帖子】《大模型时代的基础架构》阅读心得2—学习GPU
活动
更多>>
有奖问答 | 无线MCU该如何选?英飞凌这里有一份参考答案
Arrow&allegro有奖直播:下一代磁感应解决方案:XtremeSense™ TMR 技术如何促进高效应用
瑞萨电子边缘AI 技术研讨会——深圳站, 火热报名中,参会有好礼!
报名有好礼!50元京东卡等您拿!
罗姆有奖直播 | 高输出功率激光二极管—助力激光雷达性能提升
2024 DigiKey 应用说:树莓派 5 在视频直播中的应用
相约秋色~相约北京~恩智浦工业和物联网技术峰会 约起来!
泰科电子工业事业部邀您云逛展 ——打破时间、空间的限制,TE Connectivity 线上工博会为您带来沉浸式VR观展体验
开源项目
更多>>
辉光管升压模块
低通滤波器
使用具有 B 类 EMI 过滤功能的 RP10-123.3SA DC/DC 转换器(单输出)的典型应用
DC1703A-C,用于 LTC2655CUF-L12 四路 I2C 12 位电压输出 DAC 的演示板,具有 1.25V 基准
使用 Analog Devices 的 RREF02 的参考设计
稳压模块
无线串口_主机
#第七届立创电赛#usb电流表
NES游戏卡带_UNROM512
ST-LINK V2-1
随便看看
#聊一聊#《大模型时代的基础架构》关于GPU共享相关
看了书上第七八章的虚拟化调度方案,又想起之前发现的一个有趣的开源项目,阿里云开源的gpushareDevicePlugin、gpushare-scheduler-extender两个配合使用,所能达到的效果属于哪一层呢,好像并没有隔离,只是按照显存划分调度,那假如多个任务绑了相同节点的G ...
《大模型时代的基础架构》阅读心得——第四章:GPU服务器的设计与实现
[i=s]本帖最后由HEU-liukai于2024-8-615:15编辑[/i]本章主要以NvidiaDGXA100产品为例,介绍了其总体设计及CPU与内存子系统的设计,NvidiaDGXA100整机(包含了2台AMDEPYCRome7742处理器(每颗64核心,共128核)、8个NvidiaA100SXMGPU和8张MellanoxCX6IB200GHDR ...
耐压绝缘测试仪的技术原理和应用场景
耐压绝缘测试仪,又称高压测试仪,是一种用于检测电力设备绝缘性能的重要仪器。其技术原理和应用场景详细如下:[attach]844981[/attach]技术原理耐压绝缘测试仪的工作原理主要基于高压电场对绝缘材料的击穿效应。具体而言,它通过高压发生器产生高电压,并将 ...
三相四线自耦变压器能否按照单相变压器使用?
EEWORLD大学堂----直播回放:英飞凌全新Wi-Fi6单芯片SoC助力物联网产品的快速开发
怎样判断stm32芯片被烧坏了
#include
? EVC
IBM39MPEGCS24DEPFA16C
关于开关电源疑惑
NRF24L01
查找数据手册?
搜索
EEWorld Datasheet 技术支持
热门标签
源代码
单片机
放大器
TI
ST
电源
分立器件
传感器
测试测量
模拟
可调稳压恒流开关电源
无线串口模块
物联网的应用
电源线磁环
电化学防护
干涉滤波器
电子膨胀阀
触控笔
斩波器
CC-link
相关文章
更多>>
美国半导体设计公司 Marvell 美满电子联合创始人周秀文去世,享年 63 岁
9 月 20 日消息,美国芯片厂商 Marvell 美满电子官网发布讣告,称其联合创始人周秀文(Sehat Sutardja)于 2024 年 9 月 18 日在美国硅谷去世,享年 63 岁。 Ma
消息称台积电2nm制程工艺已在7月份开始风险试产 早于预期
7月上旬曾有外媒在报道中提到,晶圆代工商台积电的2nm制程工艺,将于当月中旬开始在新竹科学园区的宝山晶圆厂风险试产,较市场普遍预期的四季度提前了一个季度。 而在最新的报道中,有外媒称台积电这一制程工
苹果发布 Swift 6 编程语言:引入新测试框架、增强 C++ 互操作性,扩展支持平台等
科技媒体 devclass 昨日(9 月 19 日)报道,苹果公司在发布 iOS / iPadOS 18 和 macOS 15 Sequoia 系统之外,还发布了 Swift 6.0 编程语言更新。
消息称苹果首款自研 5G 芯片将有“短板”:不支持毫米波
成立25年的安森美,是如何成为《财富》500强的?
马斯克脑机接口公司盲视项目获医疗器械认证:帮助盲人重见光明
英特尔确认将为亚马逊 AWS 推出定制版至强 6 处理器
北航团队研发出直升机驾驶机器人,可独立控制飞行
反超台积电重回工艺世界第一!Intel最先进18A芯片即将落地
英国科学家研制出超薄二维表面材料,有望增强 6G 卫星通信能力
新帖速递
STM32和无源蜂鸣器播放声音的问题
车规级AECQ200介绍,混合铝电解电容器的选择
嵌入式教程_DSP技术_DSP实验箱操作教程:2-28 搭建轻量级WEB服务器实验
OPA847IDBVR运放器国产替代
AG32VF407测试UART
【得捷电子Follow Me第二期】第一章 收到货物的分享
请问这个红外接收头是什么型号?能用哪个型号代替?谢谢
出售全新未拆封ZYNQ 7Z020 FPGA核心板
用在锂电池供电的水表设置上的LORA模块,当有100块水表集中安装在一个楼道内时,节能
请问一下,当某个端口被设置为 RX0后,这个端口的输入输出方向还有必要设置吗
今年怎么这么难,比疫情时还难,三十了面临失业好迷茫
请教稳压管测试问题
【小华HC32F448测评】关于小华半导体的UART中断发送和PRINTF构造和重定向
【BIGTREETECH PI开发板】 HDMI输出测试
【BIGTREETECH PI开发板】+08.音频测试(zmj)
精选推荐
自动驾驶相关的软硬件资料求分享
何谓BMS(Battery Management System)控制器?
拥抱《AIGC》实战
电池主动平衡的工作原理及其优势
SiRiderS1芯擎工业开发板测评2防止黑客入侵盗用操控劫持篡改摄像头&OpenSSL加密解密
激光雷达不香了?继特斯拉之后,为何小鹏也舍弃它?
【ST NUCLEO-WB09KE测评】-5-RTC测试
《大语言模型——原理与工程实践》第一章 什么是大语言模型(一)
《智能驾驶之激光雷达算法详解》4、LiDAR-Camera 的外参标定
SiRiderS1芯擎工业开发板测评2防止黑客入侵盗用操控劫持篡改摄像头&OpenSSL加密解密
最后1周免费领取:TE暖通空调 & 热泵解决方案资料包!
活动时间:即日起-9月26日
填表即可下载所有技术干货
查看 »
本月精选下载推荐:
Vishay——选型-汽车级表面贴装和通孔超快整流器
查看 »
免费申请 | MPS MIE 系列隔离式稳压 DCDC 模块!
诚邀您按实际情况填写申请!MPS 对申请信息进行审核,为通过申请的网友发送样品。(每人最多5片)
拿到样片的网友可参加第三期评测活动哦!奖品多多~快来申请免费模块吧!
查看 »
相约秋色~相约北京~恩智浦工业和物联网技术峰会 约起来!
2024年10月11日(周五),恩智浦诚邀您相聚北京,来参与“恩智浦工业和物联网技术峰会”,洞见技术发展趋势,共促未来市场发展!
预报从速,好礼等您拿~
查看 »
泰科电子工业事业部邀您云逛展
打破时间、空间的限制,TE Connectivity 线上工博会为您带来沉浸式VR观展体验
查看 »
有奖直播 | 基于数字孪生的软件工具,助力射频子系统验证
直播时间:9月27日(周五)下午14:00
参与福利:电动牙刷、蓝牙耳机、双肩包、《微波器件测量手册》、《ADS信号完整性仿真与实战》
查看 »
Microchip 有奖直播报名中
直播主题:Microchip mSiC™ 产品及其在电动出行中的典型应用方案
直播时间:2024年9月24日(星期二)上午10:30-11:30
查看 »
英飞凌有奖直播报名中!
直播时间:9月25日(周三)下午14:00
直播主题:基于英飞凌AIROC™ CYW20829低功耗蓝牙芯片的无线组网解决方案
查看 »
有奖直播:英飞凌新型SSI系列固态隔离器的创新技术与应用设计
直播时间:9月26日(周四)上午10:00
直播福利:露营车、双肩包、保温杯
查看 »
本周精选下载推荐:电源管理基础Dummies
本周小编给大家带来一本超简单、超干货的电子书——《电源管理基础Dummies》!内容深入浅出,排版舒服简洁,分分钟能get到电源管理最核心的知识内容。
查看 »
关闭
站长推荐
1
/10
电子工程世界版权所有
京B2-20211791
京ICP备10001474号-1
电信业务审批[2006]字第258号函
京公网安备 11010802033920号
Copyright © 2005-2024 EEWORLD.com.cn, Inc. All rights reserved
快速回复
返回顶部
返回列表
论坛首页
版块列表
专业技术中心
TI技术论坛
ST传感器与低功耗无线技术论坛
ADI参考电路
DigiKey得捷技术专区
平头哥RISC-V活动专区
ADI · 世健工业技术
电子技术交流
嵌入式系统
单片机
国产芯片交流
电机驱动控制
FPGA/CPLD
模拟电子
电源技术
PCB技术
RF/无线
传感器
综合技术交流
下载中心专版
大学堂专版
测评中心专版
创意与实践
电子竞赛
DIY/开源硬件专区
淘e淘
创意市集
行业应用
汽车电子
移动便携
医疗电子
工控电子
安防电子
休息一下
聊聊、笑笑、闹闹
工作这点儿事
为我们提意见&公告
EEWorld颁奖专区
信息发布
最新帖子
最新帖子
最新回复
精华
消灭零回复
测评中心
活动中心
积分兑换
E金币兑换
芯积分
厂商专区
TI技术论坛
ST传感器与低功耗无线技术论坛