本地运行ChatGPT需要什么显卡？

wangerxian

本地运行ChatGPT需要什么显卡？ [复制链接]

 

现在大多数ChatGPT都是云服务器的，那如果想在本地跑ChatGPT，需要什么配置的显卡？

通过查询【推荐使用兼容CUDA的NVIDIA GPU，如GTX 1080 Ti或更高型号】，大家的显卡 能满足这个要求吗？我准备配一个能跑ChatGPT的主机，大家有何推荐？

 

   

tagetage

你问这问题应该是没有做前期工作，硬件配置的钱得7位数，你能接受吗？？？？？ 你说的哪是几年前勉强运行的配置，现在参数多了。硬件配置需求也大幅提升。

wangerxian

tagetage 发表于 2024-5-13 11:12 你问这问题应该是没有做前期工作，硬件配置的钱得7位数，你能接受吗？？？？？ 你说的哪是几年前勉强运行的 ...

我自己跑ChatGPT，不用七位数吧，公司想买个ChatGPT服务器，最多也就六位数。

nmg

为何非要本地跑

hellokitty_bean

wangerxian 发表于 2024-5-13 11:21 我自己跑ChatGPT，不用七位数吧，公司想买个ChatGPT服务器，最多也就六位数。

哦？看英伟达的GPU是哪一款的吧？也有7位数RMB的（10万刀的话，就快7位数了）

tagetage

wangerxian 发表于 2024-5-13 11:21 我自己跑ChatGPT，不用七位数吧，公司想买个ChatGPT服务器，最多也就六位数。

勉强能用很慢 和 比较流畅运行 的区别。

damiaa

hellokitty_bean 发表于 2024-5-13 12:31 哦？看英伟达的GPU是哪一款的吧？也有7位数RMB的（10万刀的话，就快7位数了）

英伟达的A100 不是不准卖给咱们吗？

wangerxian

nmg 发表于 2024-5-13 11:46 为何非要本地跑

想体验体验，搭建一个自己的ChatGPT呀。

wangerxian

tagetage 发表于 2024-5-13 13:12 勉强能用很慢 和 比较流畅运行 的区别。

这倒是，本地的估计慢，用CPU其实也能跑，只是超级无敌慢。

chunyang

本地跑ChatGPT？如果不进行大模型训练，拿现成开源代码和数据库跑，根本无需多少资源，普通桌面平台都可以，高档显卡并非必须，新平台的整合显卡都足够。

至于说要训练，那还是洗洗睡吧，梦里要啥有啥……

wangerxian

chunyang 发表于 2024-5-13 14:32 本地跑ChatGPT？如果不进行大模型训练，拿现成开源代码和数据库跑，根本无需多少资源，普通桌面平台都可以 ...

就跑数据大模型数据。训练模型的话，也只能训练那种小AI模型。

秦天qintian0303

GTX 1080 Ti或更高型号，感觉下线有点低啊，3060应该能跑

wangerxian

秦天qintian0303 发表于 2024-5-14 09:41 GTX 1080 Ti或更高型号，感觉下线有点低啊，3060应该能跑

好像还得看模型，跑ChatGPT大模型，3060应该够，可能会慢一些生成结果。

hellokitty_bean

chunyang 发表于 2024-5-13 14:32 本地跑ChatGPT？如果不进行大模型训练，拿现成开源代码和数据库跑，根本无需多少资源，普通桌面平台都可以 ...

兄台说的对呀。。。。。。

梦里花落知多少，梦中啥都有，做梦做梦。。。

chunyang

wangerxian 发表于 2024-5-14 09:11 就跑数据大模型数据。训练模型的话，也只能训练那种小AI模型。

那根本无需什么高端显卡。很少用到GPU全部的性能，那根本不必买显卡，用AMD的ZEN平台，整合GPU的性能都已达到中端显卡的性能了。

wangerxian

chunyang 发表于 2024-5-20 18:13 那根本无需什么高端显卡。很少用到GPU全部的性能，那根本不必买显卡，用AMD的ZEN平台，整合GPU的性能都已 ...

我整了一个4070S，感觉应该够用，我还想跑本地语言识别模型呢~