A30 显卡-24G 显存，推荐部署什么大模型呢

87 天前
 ZimaBlueee

想部署一个不带推理的大模型，推理耗时太长了。

现在部署的是智谱清言的 chatglm4-9b-chat ，请问有更合适的模型推荐嘛？

符合下面条件：

  1. 国产
  2. 上下文 2k 的情况下，并发数能有 5
  3. 当然，越聪明越好

求哥哥们推荐！！

顺便求一个相对权威的大模型排行榜

934 次点击
所在节点    Local LLM
8 条回复
jackerbauer
87 天前
deepseek-r1 14B
ZimaBlueee
87 天前
@jackerbauer 不需要推理哈，推理的时间太长了
linauror
87 天前
你的意思应该是不需要思考过程吧，大模型都是要推理的 O(∩_∩)O
liu731
87 天前
https://huggingface.co/Qwen/QwQ-32B
cat9life
87 天前
那必须是 QwQ-32B ，当红炸子鸡
ZimaBlueee
87 天前
@linauror 这个名词我找 ai 问过，ai 说思考过程是拟人化的表达，表述成显示化推理会更准确。。我也分不清了 QAQ
ijk0
81 天前
livebench.ai
hefish
72 天前
别指望聪明， 我感觉越聪明的模型，也越会胡说八道。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://yangjunhui.monster/t/1117920

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX