公司要搭建本地大模型，推荐配置。

51 天前
 Woolaman

中型公司，大概 100 人，实际使用的大概 20 人左右。 第一步是搭建 DeepSeek 70B 的模型。 第二步是在它的基础上，将公司内部的相关文档、知识库喂给它，进而训练出我们公司自己的模型。

请问，20 人使用的情况下跑 70B 的模型，需要什么配置？ 训练它又需要什么样的配置？

1260 次点击
所在节点    Local LLM
10 条回复
MrLonely
51 天前
顶配 Mac Studio 是它所在的那个价位的最佳 LLM 性能。我只知道训练普遍是比推理要高一个数量级的硬件的。
tool2dx
51 天前
70B 的模型，只需要买两块 A6000 GPU 就能跑了吧。

知识库不用训练，用一个本地嵌入模型，把文件向量化就够了。

如果训练，第一你源数据一定要整整齐齐，第二听说很容易训练后降低智商。
calmlyman
51 天前
按阿里云文档里，给的最低配置是 2 卡 GU120 （ 2 * 96GB 显存）
wxm1997
51 天前
70b 模型 BF16 精度 2 张 a100/a800 ，int4 要 1 张，买不到可以换成 4 张 4090
wxw752
51 天前
训练?部署 dify ，文档塞到知识库里，直接就可以配合大模型问答了。
terranboy
51 天前
啥叫知识库喂给他 目前很多企业这 2 个搞不清楚， 企业私有知识 RAG 难点在于资料整理， 多模态的资料如何识别
frayesshi1
50 天前
喂给它是不是 OP 想训练模型，训练大模型一般万卡以上。很多训练和部署推理没有搞清楚，机器学习或者深度学习本质就是一个方程，训练是根据样本求方程的参数，而推理是把 x 值带入方程求出结论，用 DS 的模型就是用别人的参数，把问题带入模型得到结论。
mumbler
50 天前
deepseek 70B 并不好用，推荐 qwq 32B 或者 gemma3 27B ，可以直接跟 deepseek 671B 满血打的

本地部署大模型+知识库的一键安装包：
qwq.flashai.com.cn
gemma3.flashai.com.cn
coefuqin
50 天前
2.2 你们没有那个实力做到，搞个 rag 顶天。不要想太多。
coefuqin
50 天前
@frayesshi1 他可能以为，训练 70B 的模型就像使用 elasticsearch 那么容易。就算微调 70B 的模型都够呛。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://yangjunhui.monster/t/1126176

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX