苹果刚刚推出了新款 Mac Studio

好家伙，512G 内存。800G/s 内存带宽

@bytesfold 所有苹果芯片的机器都不支持，那么大内存没 ECC 半个月就会出点问题

@ShadowPower #1 本来还感觉不到到底有多贵，你那么一说我就发现是真的贵了，毕竟一个月的 cursor 我都不舍得开

@bytesfold 只支持所有 DDR5 都支持的片上 ECC ，不过那是因为 DDR5 没有这玩意无法稳定使用……
像 Intel 、AMD 那种 CPU 和内存之间的 ECC 确实没有。

@gxt92 流言是晚些时候出新的 Mac Pro

@srwxyz studio 应该是 Max 起步吧.

M5 系列芯片将采用台积电的 SoIC （系统级集成芯片）封装技术。这种高密度 3D 芯片堆叠技术允许多个芯片直接垂直堆叠，从而实现更高的集成度和性能。特别是，苹果计划在 M5 Pro 、M5 Max 和 M5 Ultra 等高端型号中采用 SoIC-MH （水平成型） 2.5D 封装方式，以优化散热性能和生产良率。

@loveshuyuan 国补限额 2000 ，只能相当于一张优惠券。

@shuimugan 有人测 192GB 的 M2 Ultra 1.5bit 量化后的 671b R1 速度是 14t/s

@shuimugan 在内存带宽基本上没怎么变的情况下，我个人猜测目前即使是 512GB 的统一内存，速度也不会超过 20t/s

@noahhhh 这确实很让人担心，这还怎么生产力呢。。

@ShadowPower 长时间使用感觉还是用得上，最大 512G 结果没 ECC 。。话说 Nvidia 专业卡和非专业卡主要区别就是 ECC ，显存了

@auta 2000 也不少了，在想要等国补还是首发买

@icyalala 算了下，都 q6 量化的话，只考虑权重访存，70b dense 模型（如 qwen ）的理论极限是 20+ token/s ，R1 671B 的 moe 模型，每次激活 37B 参数，理论极限 40+ token/s ，实际考虑计算和 context 大概折半，用 q6 等量化还要打折

不算不能用，但也不算快，100b+的模型只能推 moe 的，但 moe 模型恰恰就是大规模场景才能把成本降下来（冗余专家并行）。所以除非有涉密需求，不如与其 7w+买个这，还是租 API 比较划算

@WuSiYu 打错了，前面是 q4

@billytom R1 qwen 70b 不是 moe 模型

@WuSiYu 其实如果单纯考虑 LLM 调用性价比的话，无论如何本地部署都比不上在线 API ，毕竟本地部署用户量上不来，也用不上 batch ，总的吞吐量肯定不那么经济。。。

但是单纯说 Mac 的话，它不一定只用于 LLM ，所以性价比没法直接比较

@shuimugan 跑 R1 就未必是 45token/s 的输出了

@bytesfold 4090 也可以开 ecc ，只是有 1.5G 显存用于校验，性能也会损失

@shuimugan 现在 qwen 新出的 32B 跟 R1 接近，那么用新的 Mac Studio 是否更具可用性？

@dongfanga 可行啊，我玩了一天了，6bit 量化下回答质量和 grok3 差不多