爱范儿
·
仅需 40 万，4 台顶配 Mac Studio 串联，同时跑两个 DeepSeek 是什么体验？
内容提要
Exo Labs将四台M3 Ultra Mac Studio串联成AI集群，通过Exo V2平台实现模型自动拆分与并行推理，提升本地推理能力，降低成本与功耗。苹果的统一内存架构为中小团队提供了新的AI应用定位。
关键要点
-
Exo Labs将四台M3 Ultra Mac Studio串联成AI集群，提升本地推理能力。
-
苹果的统一内存架构为中小团队提供了新的AI应用定位。
-
Exo Labs创始人曾在牛津大学，意识到AI基础设施的集中化使小型团队被边缘化。
-
首次实验用两台MacBook Pro成功运行LLaMA模型，验证了Apple Silicon架构的可行性。
-
M3 Ultra Mac Studio的发布使得本地AI集群成为现实，具备强大硬件配置。
-
Exo V2平台能够自动拆分模型并进行并行推理，提升效率。
-
Exo V2支持大模型加载、并行推理、文档私有问答和轻量微调。
-
整套系统功耗控制在400W以内，远低于传统服务器方案。
-
M3 Ultra Mac Studio的统一内存架构在AI应用中展现出革命性优势。
-
Exo Labs的方案旨在解决实际应用问题，而非与高端GPU直接竞争。
延伸解读
AI基础设施的集中化问题
Exo Labs的创始人曾在牛津大学深感AI基础设施的集中化使小型团队和个人研究者面临挑战。即使在顶尖高校，获取GPU资源也需排队，效率低下。这一背景促使他们探索更灵活的本地AI集群解决方案，旨在打破这种集中化的局限。
M3 Ultra的革命性优势
M3 Ultra Mac Studio的统一内存架构为AI应用提供了显著优势。与传统GPU相比，苹果的设计允许CPU和GPU共享高带宽内存，减少数据传输延迟。这种架构不仅提升了推理效率，也为中小团队提供了更具成本效益的AI解决方案。
Exo V2平台的核心能力
Exo V2平台通过自动拆分模型和并行推理，显著提升了AI模型的运行效率。它能够在多台设备间分配任务，实现大模型的快速加载和处理。这种能力使得企业能够在本地完成复杂的AI任务，保护数据隐私，同时降低对云服务的依赖。
延伸问答
Exo Labs是如何提升本地推理能力的？
Exo Labs通过将四台M3 Ultra Mac Studio串联成AI集群，并利用Exo V2平台实现模型自动拆分与并行推理，提升了本地推理能力。
M3 Ultra Mac Studio的统一内存架构有什么优势？
M3 Ultra的统一内存架构允许CPU和GPU共享高带宽内存，减少数据搬运，提高大模型推理效率。
Exo V2平台的核心功能是什么？
Exo V2平台的核心功能包括大模型加载、并行推理、文档私有问答和轻量微调，能够根据内存与带宽状态自动拆分模型。
使用四台Mac Studio的AI集群的功耗如何？
整套系统的功耗控制在400W以内，远低于传统服务器方案的数千瓦功耗。
Exo Labs的方案与传统GPU方案相比有什么成本差异？
Exo Labs的方案成本显著低于传统服务器方案，后者需要部署20张A100显卡，成本超200万人民币。
Exo Labs的创始人有什么背景？
Exo Labs的创始人Alex和Seth毕业于牛津大学，曾在该校进行研究，意识到AI基础设施的集中化问题。
