如果我想搞一个本地部署的 AI ，喂给它公司产品的所有资料，比如说明书之类的 PDF,PPT ，达到一个知识库的作用，有什么推荐吗？能详细一点最好，谢谢。
最好也有硬件的大概需求。
大概有 1-200 个产品。
最好也有硬件的大概需求。
大概有 1-200 个产品。
 |
1
iv8d 8 天前  1
ollama
|
 |
2
murmur 8 天前
200 个产品本地部署你得几套 deepseek 才够用哦
|
 |
3
coefuqin 8 天前
很拉，没效果的。
|
 |
4
dualist 8 天前 2
你要做的是把知识库的每个文件元数据提取出来，然后存到 db 或者非关系数据库，暴露个接口参数让 AI 调用搜索结果，解析结果返回数据就行而不是全部喂给 AI
|
 |
5
zxcvbnm001 8 天前 via iPhone 1
可以选择 rag ，目前看微调还是不如 rag 稳定
|
 |
6
luny 8 天前 1
ollama+dify
|
 |
7
444571840 7 天前
本地 AI 不是特别推荐，当玩具玩玩可以，生产力就算了
|
 |
10
YsHaNg 6 天前 via iPhone 1
@murmur pcie 槽够多就行 200 也不是很大 多插点卡完事 这里也没什么并发需求 重要的是权重+上下文能塞进显存里 r1 模型卡 128k 属实不适合干这种事 实际召回率更低
|
 |
11
happybabys 5 天前 1
模型没有最强的，只有最适合的，本地部署是正确的选择
|
Select Language