V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  yanyuechuixue  ›  全部回复第 2 页 / 共 27 页
回复总数  536
1  2  3  4  5  6  7  8  9  10 ... 27  
@kennylam777 非常感谢!

我还得多加学习。
那我用 exl2 就好了,我也正是有一个 4090 和 4060ti , 也只是用来做对话,足够了。

感谢大哥!
@kennylam777 不好意思,我是个新手,能否请教您一下,不同的量化有什么不同呀?

例如 exl2 量化,W4A16 量化 , GPTQ 量化,他们的性能会有比较大的不同么?

我现在简单起见,直接用了 ollama 给出的 Int4 ,想去挑一个好的
@yanyuechuixue ok 找到了,谢谢!
@kennylam777
能给一个 coder 的链接不?
我只找到了 instruct 的链接
173 天前
回复了 ClA0ClA0 创建的主题 Apple 京东耍猴, mac mini 压根抢不到
你才知道啊哈哈哈哈哈
@F1Justin 纯 CPU 么?
@liulicaixiao cursor 怎么白嫖呀?
看了一下,如果用 INT4 的模型,4090 没问题了。精度损失也很少。
但问题是不可能将一块 4090 用在这上面。成本太高了,不考虑保护隐私的情况下,还不如订阅 ChatGPT.

4060Ti 16G 的价格比较低,我买了一块,这个可以用来“全职”部署 LLM, 但目前即便是 INT4 也无法跑在 16G 上。

也许 Windows 的共享显存会有用,但不知道速度会降低到多少。
179 天前
回复了 caojunjie2024 创建的主题 iPhone iPhone 时间旁边的火箭是什么意思哦
@cat 而且是 OP ??
179 天前
回复了 imzcc 创建的主题 Apple Mac mini m4 疑似发货了
天猫的还没发货,还是显示 12.2 之前发货。
180 天前
回复了 yanyuechuixue 创建的主题 Apple 求救 iPhone 救砖
@wangpao 谢谢!好用!非常感谢!
182 天前
回复了 kepan 创建的主题 Apple M4 Mac mini 购买选择
我买了丐版,只花了 3500 。
具体看使用场景,我自己是放到家里作为娱乐和应急办公。
估计跑个 emby server ,socat 端口转发,tailscale 内网穿透,qbitorrent 下载。
最多最多再加一个迅雷下载。
这几个哪怕全都放后台,16G 也够用了。

哪怕应急开 safari 看个视频啥的也够了。

如果是很重的办公,那就不如一步到位买最好的,我多年的经验告诉我,买一次贵的,比买多次便宜的要好的多。
今早晨试过了,北京已经不行了,所以最后天猫买的,天猫教育优惠比京东国家补贴都便宜,还能省出一个国补资格
@dcdlove 我是直接天猫买了
194 天前
回复了 Inuyashaaa 创建的主题 Apple M3 air 比 M1 air 使用体验有多大提升?
同问同问,我只能 16+256 = ~7240 . 大佬指条明路!
我这边似乎延迟比较高,即便是用 mjpg 延迟也在 1s 左右。没有虚拟屏幕,就是直接 stream 的 macbook m1 pro 显示器。用的已经是 5G wifi 了,请问大概是怎么回事儿呢?
感谢! 支持!
@iwdmb 大佬,能说说怎么做的吗?

我用 ollama, 在 openai base url 改成了 localhost, 密钥也已经改了。显示:
(status code 0)
TypeError: Failed to fetch

但下面的 curl 我执行没啥问题,所以不知道怎么整了。
谢谢大佬!
1  2  3  4  5  6  7  8  9  10 ... 27  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5613 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 30ms · UTC 03:38 · PVG 11:38 · LAX 20:38 · JFK 23:38
Developed with CodeLauncher
♥ Do have faith in what you're doing.