M5 Ultra 256G 本地大模型选择

为什么 256G 是个分水岭

本地跑大模型，第一道门槛从来不是算力，是内存。参数量摆在那里，装不下就是装不下。

256GB 统一内存的意义在于：它让"80B 级模型 + 长上下文"第一次在单机上成为常态。

三档选择

入门档：32B ~ 70B（Q4/Q5） —— 约 40GB。问答、写作、代码补全都够，剩下的内存还能同时开 IDE 和浏览器，是"全天常驻"最舒服的一档。

主力档：120B 级 MoE（IQ3_S / Q4） —— 这是甜点位。MoE 每次只激活一小部分专家，解码速度受内存带宽约束而非参数量，所以 120B MoE 常常比 30B 稠密还快。代价是 IQ3_S 约 67GB、Q4 约 103GB。

长上下文档：把上下文撑到 128K+ —— 权重之外，KV Cache 会随上下文线性增长。32K 时只占几 GB，128K 可能吃掉 10GB 以上。

三个容易踩的坑

① macOS 默认只给单个进程约 70~75% 的内存。 256G 机器实际只能用 190GB 左右，超出会被系统直接杀掉 —— 而且没有异常，是 zsh: killed，很迷惑。

② 稠密和 MoE 的瓶颈不同。 稠密模型的解码速度几乎只由内存带宽决定；MoE 激活参数少，算力占比更高。选型前先判断瓶颈在哪一侧。

③ 长对话的体感取决于前缀缓存命中率。 上下文累积到几万字时，前缀能复用就几乎不用重算；命不中则每轮都在重读全部历史。这比"上下文长度"本身更影响体验。

小结

256G 不是"什么都能跑"，而是让你有余量同时装下模型、KV Cache 和日常开发环境。

真正的标准不是"最大能跑多少 B"，而是：在能接受的延迟下，我想让哪个模型全天常驻。