Mac Studio M3 Ultra使用体验

💡 原文中文,约6400字,阅读约需16分钟。
📝

内容提要

作者分享了使用512GiB内存的Mac Studio M3 Ultra进行远程操作和运行LLM模型的体验。尽管配置简单,但遇到内存压力和程序卡死的问题。最终选择了LM Studio,发现其功能更强大。虽然性能优秀,但作者认为除了LLM外,其他用途较少,感到有些浪费。

🎯

关键要点

  • 作者使用512GiB内存的Mac Studio M3 Ultra进行远程操作和运行LLM模型的体验。
  • 配置远程使用Mac Studio相对简单,但需要注意设置共享和SSH。
  • 远程桌面支持高性能模式,提供更好的使用体验,但对网络要求高。
  • 作者最初选择Xinference运行LLM,但遇到内存压力和程序卡死的问题。
  • 最终选择LM Studio,发现其功能更强大,支持KV Cache量化和更长的上下文。
  • 在测试中,Qwen3模型的表现优于DeepSeek-R1,但仍有改进空间。
  • UTM虚拟机测试失败,显示ARM处理器与x86处理器的差异。
  • Asahi Linux在M3 Ultra芯片上无法安装,未来可能无法在新芯片上运行Linux。
  • 虽然Mac Studio性能强大,但作者认为除了LLM外,其他用途较少,感到有些浪费。

延伸问答

Mac Studio M3 Ultra的远程使用配置步骤是什么?

在设置中打开远程管理和SSH,确保允许远程用户对磁盘进行完全访问。

作者在使用Mac Studio M3 Ultra时遇到了哪些问题?

作者遇到了内存压力和程序卡死的问题,尤其是在使用Xinference时。

为什么作者最终选择了LM Studio而不是Xinference?

因为LM Studio功能更强大,支持KV Cache量化和更长的上下文,且社区活跃。

Mac Studio M3 Ultra在运行LLM模型时的性能表现如何?

在本地运行LLM模型时速度非常快,达到20T/s,风扇声音很小。

作者对Mac Studio M3 Ultra的总体看法是什么?

虽然性能强大,但除了LLM外,其他用途较少,感到有些浪费。

在测试中,Qwen3模型与DeepSeek-R1模型的表现如何?

Qwen3模型的表现优于DeepSeek-R1,但仍有改进空间。

➡️

继续阅读