在 Mac Studio 上使用 MLX 和 RDMA 进行本地与分布式大语言模型推理
内容提要
苹果介绍在 Mac Studio 上通过 MLX 本地运行大模型。M5 Ultra 的 GPU 神经加速器使首字延迟较 M3 Ultra 快 4.6 倍，生成速度提升 1.6 倍，功耗约 300 瓦。借助 Thunderbolt 5 上的 RDMA，多台 Mac 可进行流水线或张量并行，四台集群运行近万亿参数的 Muse Spark Open 可达每秒 36 个 token，并支持本地智能体应用。
延伸解读
M5 Ultra 的硬件优势：神经加速器与内存带宽
M5 Ultra 的 GPU 神经加速器专为矩阵乘法优化，显著提升计算密集型的首字延迟，较 M3 Ultra 快 4.6 倍。同时，其 1.2 TB/s 的统一内存带宽（M3 Ultra 为 819 GB/s）直接转化为生成速度，提升 1.6 倍。这表明对于大上下文任务，M5 Ultra 是更合适的选择，但功耗也从 200W 升至 300W，需权衡能效。
分布式推理：流水线与张量并行的适用场景
对于无法单机容纳的模型（如 Muse Spark Open），流水线并行按层切分，实现简单，解码速度与单机相近，但在大上下文预填充时因分块流水线可提速约 1.8 倍。张量并行按宽度切分，计算并行度更高，但通信开销大，需 Thunderbolt RDMA 低延迟支持；在四机集群上扩展性更好，尤其适合密集架构。
本地智能体应用：从基准测试到实际部署
MLX 不仅提供基准测试工具，还支持通过 mlx_lm.server 启动本地 LLM 服务器，并可结合 mlx.launch 实现多机并行。开发者可轻松配置 OpenCode 等智能体工具连接本地服务器，在私有环境中运行编码助手等应用。这降低了在 Mac 上部署前沿大模型的门槛，但需注意模型量化（如 NVFP4）对内存和精度的权衡。
Q&A
在 Mac Studio 上本地运行大语言模型需要什么软件框架？
使用苹果开源的 MLX 数组框架，它利用 Apple 芯片的统一内存架构，让用户能在本地硬件上运行推理和微调。
M5 Ultra 相比 M3 Ultra 在 LLM 推理性能上有哪些提升？
M5 Ultra 的 GPU 神经加速器使首字延迟（TTFT）最高快 4.6 倍，生成速度提升 1.6 倍，峰值功耗约 300W（M3 Ultra 约 200W）。
如何在多台 Mac Studio 上分布式运行超大模型？
通过 Thunderbolt 5 上的 RDMA 驱动和 MLX 的 jaccl 通信集合，使用 mlx.launch 命令启动流水线或张量并行，将模型分布到多台机器。
流水线并行和张量并行有什么区别？
流水线并行按模型深度切分，每台机器执行部分层，实现简单；张量并行按宽度切分，每台机器持有每层的一部分，计算并行度高但实现复杂，需要低延迟通信。
四台 Mac Studio 集群运行 Muse Spark Open 的生成速度是多少？
四台 Mac Studio 集群运行近万亿参数的 Muse Spark Open 可达每秒 36 个 token，远高于人类平均阅读速度。
如何在 Mac 上本地部署智能体编码工具？
使用 mlx_lm.server 启动本地 LLM 服务器（可结合 mlx.launch 多机并行），然后配置 OpenCode 等工具通过 baseURL 连接该服务器即可。
