100 多号人的企业,想自己部署 deepseek,硬件要哪些?

93 天前
 libasten
硬件配置起步就要百万级 ?
听说华为给的一揽子方案是 500 ,然后 nvidia 报价 200 。
这个这么吃硬件?
805 次点击
所在节点    Local LLM
5 条回复
sivacohan
93 天前
单机功率 20kw ,电费也是大头。
gether1ner
93 天前
不考虑云端部署吗?
HojiOShi
91 天前
不是,华为哪来的脸,报价比英伟达还贵。
coefuqin
89 天前
电费都够你们成本喝一壶了。
tamshy
88 天前
成本大几十万差不多了吧,


4. 本地部署方案
硬件配置(单节点):
中端配置:
GPU:2×RTX 4090 ( 24G 显存)
CPU:AMD Ryzen Threadripper 3970X ( 32 核)
内存:128GB DDR4
存储:2TB NVMe SSD + 10Gbps 网卡 910 。
高端配置:
GPU:4×NVIDIA H100 ( 80G 显存)
CPU:双路 Intel Xeon Platinum 8480+( 112 核)
内存:512GB DDR5
存储:RAID 0 阵列( 4×4TB NVMe SSD ) 268

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://yangjunhui.monster/t/1116693

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX