咨询 GPU 服务器方案

94 天前
 Legman

公司要搞一套环境，私有化部署各类模型，用来产品开发测试、demo 演示等场景，想和各位请教一下服务器的方案，一体机，还是工作站？参考 deepseek-r1 32b 或 70b 的配置。

1213 次点击
所在节点    Local LLM
11 条回复
wyntalgeer
94 天前
ds 就一个 671 希望你明白
FabricPath
94 天前
B200 、H100 、A100 ，8*GPU+4 或 8*400G 网卡机型，能买到哪个买哪个，其他歪路子浪费时间。
mythabc
94 天前
8 卡 4090 48G 性价比之选
dzdh
94 天前
大量现货。欢迎联系。 微信：cevinc
dzdh
94 天前
32b 以下，就跟个傻子一样
32b ，回答的开始有那个样子
70b ，勉强够用
671b 。 嗯。好用。
Legman
94 天前
@wyntalgeer 明白，但满血版本搞不起


@dzdh 公司用 32 以下没什么意义？
Legman
94 天前
@mythabc 目前确实规划的 8 卡 4090

@FabricPath 预算估计包不住
njmaojing
94 天前
@Legman #6 你用 32b 和 chatgpt 跑一个 10PB 开源分布式存储建设方案就知道差距了，不过 671b 我还没时间测，回头在 8*A100 上试试
dzdh
94 天前
@Legman #6 32b 及以下（极端情况下甚至是 70b ）没有任何商用意义。
wintersun
94 天前
同意，租了阿里云 GPU 服务器跑了一遍，32b 顶多高中生，70b 大专生，满血 671b 才是真博士
tool2dx
94 天前
@dzdh 纯粹 671b 聊天也没啥商用价值，很多企业也不是仅仅是客服系统，要喂大量数据的。私有数据和工具才值钱。

官方 API 已经开放充值了，上下文大的离谱，而且还能上传文档引用。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://yangjunhui.monster/t/1116027

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX