盲猜 M4 芯片 CPU/GPU 挤牙膏， NPU 性能大增

@ShadowPower 不好意思直接发出去了…我在官网下单的配置是 翻新 Mac Studio Apple M1 Ultra 芯片 (配备 20 核中央处理器和 48 核图形处理器) 64GB 统一内存，我在 Sakura 的 GitHub 上看到有多种不同的量化模型，我应该使用什么模型能在我的这台机器上获得最快的速度呢？ 我询问了 ChatGPT ，他告诉我直接使用 fp16 的速度可以最快，但是这个模型应该是最大的那个，为什么反而最快呢？还是说 ChatGPT 回答错了呢？希望能得到您的指导，非常感谢

@s7964926 然而，64G 跑大模型还是不够用，34B 以上都需要量化才能运行，70B 级别的只能跑 q4 量化版本的，q5 级别的量化上下文稍微大一点儿就跑不起来了。

如果只是打算跑 13b 以下的， 个人娱乐一下的话，32g 都够了， 买 Ultra 是不是太浪费了？

@beginor 确实很浪费，属于心血来潮了。感谢建议，我会再评估一下自己的需求的。今天刚到，跑了一天，速度还是可以的，主要是没有什么噪声，发热量也还好。

m4 来不了这么快的，消息太假了

@s7964926 其实 13B 这种规模建议用 N 卡跑，N 卡的显存能装得下时，就比 Mac 快。
买 Mac 都是奔着双 3090 （或者单 3090 ）跑不动的那种模型去的……
用 llama.cpp q5_k_m 量化可以取得质量和性能之间的最佳平衡。

@ShadowPower 谢谢您的回复，目前我的显卡是 3060 ，显存不够跑不起来…先暂时用 ultra 跑吧，因为还有其他剪辑的工作。
再麻烦问您一句，目前我的是 M1 Ultra ，内存带宽是 400 ，换成 M2 Ultra 800 的带宽是否可以获得较大的提升呢？

@s7964926 M1 Ultra 的内存带宽和 M2 Ultra 其实差不多，换 M2U 有一点提升，但不明显

@ShadowPower 好的，非常感谢！但是看纸面数据确实是提升了一倍，是什么造成了它们差距不明显的呢？还是说 gpu 没有办法分配到这么多的带宽呢？

@s7964926 苹果给出的是 SoC 带宽。如果只看 SoC 上某个单元的最大内存带宽，实际上都达不到这个数值……

@ShadowPower 原来如此，非常感谢解答疑问，五一快乐！

@dilidilid 苹果也不是第一次干这个事情了 apple watcgh 的 ecg 硬件比软件早了 8 个月 iphone 13 pro max 的 4100 万像素也是发售后 4 个月才拿出来的 甚至 homepod mini 的温湿度传感器发售了 2 年才给软件更新上

@NewMoorj 我认为这个靠谱，Gruber 也给 M4 iPad 泼了冷水

不知道 oled 版 ipad 会不会价格大涨

真的是 M4 芯片

真出 M4 了，我成小丑了，🤡

Apple 你真行啊，2 个月能换个芯

@NewMoorj 哈哈哈、还不能删除，😄

@addenvex 3 月看到的物料还是 M3 呢，推迟俩月变成 M4 了，🤡

@NewMoorj 我惊讶的是性能竟然提升还不小，M3 芯片成小丑了，才出来多久就被刺了

m3 pro 可以不下定了，等等 M4