16 条回复 • 2025-06-05 20:13:53 +08:00
 |
1
ihainan 1 天前
多大的模型。
|
 |
2
atom42 1 天前
mac mini ?
|
 |
3
lemonTreeTop OP @ihainan 效果比较好的
|
|
4
lemonTreeTop OP @ihainan 比如可以跑 gemma3 27b
|
 |
5
coefuqin 1 天前
在线 api 。
|
 |
6
Greendays 1 天前  1
不考虑改装显卡的话，4060ti 16G ？或者 3060 12G ？不过这些都跑不了 32B 模型，撑死了 14B 。Mac mini 用 36G 统一内存能跑 32B 模型，但是速度据说很慢的。
|
 |
7
xziar 1 天前
来两张 16G 的卡开 TP 跑呗，4bit 能开很长的上下文了
|
 |
8
chen1210 1 天前 1
gemma3 27b 啊。M4Pro 吧
|
 |
9
defaqman 1 天前
4080 我感觉挺不错的，显存以及性能都不错
|
 |
10
murmur 1 天前
本地大模型纯玩具啊，量化模型效果差的 1b ，不如去买 api ，还是画画涩图，处理下音乐提取个伴奏靠谱点
但是人家也是 NV+win 就是一键包，什么环境不需要双击就用，mac 对不起自己折腾代码去吧 |
|
11
lemonTreeTop OP 好家伙🤭，标签给推荐了 3090 ，查了下是 24G 显存，能跑 gemma3 27b 量化版本
|
 |
12
woojanelook 1 天前 1
魔改的 2080ti 22g 2000 多，应该是最便宜的单张显存，刚好够跑 flux 模型
|
 |
13
YsHaNg 1 天前 via iPhone
@murmur 公司禁止使用 public provider 并且个人文档经常需要召回护照号之类的还是算了 ollama run 一下也没啥难的 发现中美真的非常喜欢调 api
|
 |
14
irrigate2554 1 天前 1
@lemonTreeTop 2080ti 22G 不仅可以跑，还快，上下文还多
|
 |
15
mumbler 1 天前
2080 ti 22G 没有之一，2500 元左右，支持 nvlink 两块并联 44G
|
Select Language