搭建大模型推理服务有感

72 天前
 joyhub2140

自己在 x86 + nVidia 平台上面，搭建一个 deepseek ，真是怎么快怎么来，舒服一个字。

在公司华为的昇腾 arm + npu 平台搭建一个 mindie 推理框架，居然让我有种想转行的挫败感，搞死我了（哭。

1989 次点击
所在节点    分享发现
7 条回复
zqqian
72 天前
学会克服在别的地方不存在的困难
cyp0633
72 天前
恐怕昇腾在一众信创方案里已经算简单的了，华为还是真想拿来卖钱的
frankies
72 天前
搞信创就这样，平白无故增加毫无意义的工作量，不过习惯就好啦，又不是不给工资😂
mumbler
72 天前
你会在昇腾上搭建 deepseek ，你知道这个技能值多少钱吗？帮一个公司搭一套收 10 万一点都不多
zhaoxj58
72 天前
老哥，真有这么值钱？
darkingwalker
70 天前
我在海光平台上跑起来了 ollama+deepseek ，但是跑起来之后的问题也很多，现在做这块儿内容的感觉就是资料很少、问题很多、还没啥人能交流
mmdsun
70 天前
华为不是有个超融合一体机么 最近适配了 Deepseek 模型 试试那个

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://yangjunhui.monster/t/1113427

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX