想高性价比的配一个主机进行大模型的学习，预算不超过 2 万，能够进行大模型的训练和推理，自己研究了一下，有两套方案，请大家帮拿拿注意。
方案一：一张 5070Ti ，显存 16G ，估计只能训练一些 3B 、4B 的小参数模型
方案二：两张 5060Ti 的显卡，显存可以达到 32G ，可以训练一些 7B 、8B 的模型，但是单张计算性能只有 5070Ti 的一半。
之前在公司用 A800 和 3090 做过训练，感觉性能还行，5070Ti 能更接近 3090 ，不知道到有没有用 5060Ti 做过训练的朋友，5060Ti 的性能是不是太低了，如果性能太低，光显存大是不是也没多少用。或者大家有没有更好的方案。
方案一：一张 5070Ti ，显存 16G ，估计只能训练一些 3B 、4B 的小参数模型
方案二：两张 5060Ti 的显卡，显存可以达到 32G ，可以训练一些 7B 、8B 的模型，但是单张计算性能只有 5070Ti 的一半。
之前在公司用 A800 和 3090 做过训练，感觉性能还行，5070Ti 能更接近 3090 ，不知道到有没有用 5060Ti 做过训练的朋友，5060Ti 的性能是不是太低了，如果性能太低，光显存大是不是也没多少用。或者大家有没有更好的方案。
 |
1
cpstar 4 天前
就 16G 显存还训练？？一张 3090 的 24G 完全秒杀，省 xing 省 xing 吧。
就 5060 还双卡？？没有 nvlink ，就靠 pcie 那点带宽，省 xing 省 xing 吧。 |
 |
3
nomagick 4 天前
16G 3B 4B 你也训不了，不过学习嘛，0.5B 还是可以的；
话说回来，LLM 这种应用，主要吃带宽，还不如买 mac 了，内存即显存 |
 |
4
crackidz 4 天前
租卡可好？
|
 |
5
lovestudykid 4 天前
@nomagick "主要吃带宽"，"还不如买 mac"，你是怎么把这两句话连在一起的
|
 |
6
testcgd 4 天前 via Android
训练直接租 autodl 吧，本地优先考虑推理和 debug ，5060x2 会好一点
|
 |
7
cuteshell OP @nomagick 之前用 24G 的训练过 Qwen 7B ，不过输入的 token 不能太多，16B 训练 4B 模型，按比例算可能是可以的，不过确实没有试过。
|
 |
10
2ruowqe9r 4 天前
模型训练，我感觉数据整理好麻烦，OP 是怎么解决的？
|
 |
11
coefuqin 4 天前
4*2080ti 22g.
|
|
13
nomagick 4 天前
@lovestudykid 嗯？
20s PCIE3.0 x16 ~32GB/s 30s 40s PCIE4.0 x16 ~64GB/s 50s PCIE5.0 x16 ~128GB/s Mac Mini M4 120GB/s Mac Mini M4 Pro 273GB/s Mac Studio M4 Max 410GB/s Mac Studio M3 Ultra 819GB/s |
 |
15
mumbler 4 天前
2080ti 22G 最好，支持 nvlink ，5000 元实现 44G 显存，英伟达坑比较少
建议研究 agent ，别在大模型微调上浪费一分钱 |
|
16
lovestudykid 4 天前
@nomagick #13 你主要看带宽，难道不应该看单卡，要容量才看多卡。RTX 5090 1792 GB/s
|
 |
18
Rendex 4 天前
或者 V10016G 闲鱼现在有双卡或者 4 卡的 nvlink 底板卖，这玩意因为配置麻烦，是现有显卡唯一在降价的
|
 |
20
davidqw 3 天前 via iPhone
再加点钱把 4090 魔改 48G 版本拿下
|
 |
21
murmur 3 天前
本地大模型也就玩玩 stable diffusion 了，学习角度一定是租用 API 最好，量化模型跟玩具一样，现在都在搞提示词工程师，你的模型就是阉割版，给再好的提示词出东西也没别人好
就别说本地 deepseek 了，claude3.5 到 3.7 到 4 ，这几个版本写码能力肉眼可见的进步 |
 |
22
joynvda 3 天前
我只做推理，AMD MI50 32G ，二手 1k 搞下来； AMD MI100 32G ， 二手 6-7k 左右（限于贫穷还不敢赌这个方案）
rocm6.3+, Pytorch 2.7 或者考虑 AMD MI50 、MI100 二手训练的可行性。 |
 |
25
charslee013 3 天前
2080ti 反而不好，不支持 bfloat16,目前大语言模型都是 bfloat16 权重，建议 30 系尤其是 40 系往上
消费级别最好的推理和训练的显卡是 4090 48GB ，不过显然超预支就是了... |
 |
26
lyt001 3 天前
云平台租卡，当然你要想买来打游戏当我没说
|
Select Language