M3 Ultra 的 Mac studio 或许是本地部署大模型的最佳利器？

93 天前
 unboy
144 总核心，512G 统一内存，819G/s 带宽，超越 M1 Ultra16.9 倍的 LLM 令牌生成速度，看起来是本地部署 LLM 的最佳利器？双机 EXO 或单机 INT4 即可部署 Deepseek 671B 全量模型？
1677 次点击
所在节点    Mac Studio
8 条回复
Donaldo
93 天前
exo 会让速度变慢很多。
mumbler
93 天前
只是为了能跑的话，阿里云租一台 512G 内存 ECS ，一个小时几元钱而已，但慢得完全不可用

其实不用追求 671B ，按目前发展速度，明年 70B 或者 32B 就能达到现在 671B 的水平
ajaxfunction
93 天前
@mumbler 阿里云的 512g 内存，和 mac 的 512g 内存不是一回事吧。
mac 是内存=显存，
mayli
93 天前
最佳指的是体积最小？
whileFalse
93 天前
我来发表暴论：需要自己研究怎么部署 671B 的人，99%不需要本地 671B 。
mandex
92 天前
怎么不是 M4 Ultra 啊？
idblife
92 天前
@Donaldo
实际测试过？
Donaldo
92 天前
@idblife #7 是啊，它传输靠的是网络。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://yangjunhui.monster/t/1116201

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX