蓝点网
·
AI对话模型已经可以在手机上本地运行？考验手机内存的时候到了...
💡
原文中文，约900字，阅读约需3分钟。
📝
内容提要
MLC团队推出了WebLLM的手机版本，支持离线运行大型语言模型，但需要较大内存和GPU加速。除了iOS版外，还有Windows/Linux/Mac的CLI版。中文支持良好，iOS Demo程序限额9000人。
🎯
关键要点
- MLC团队推出了WebLLM的手机版本，支持离线运行大型语言模型。
- WebLLM使用本机GPU提供算力支持，数据完全离线，保护用户隐私。
- iOS Demo应用在iPhone 14 Pro Max上正常运行，但内存较小的手机可能会崩溃。
- 运行大型语言模型需要至少6GB内存，安卓手机可能更具优势。
- 除了iOS版，MLC团队还推出了Windows/Linux/Mac的CLI版，适合在PC上使用。
- 所有平台都需要支持GPU加速，PC用户可能需要更新驱动程序。
- iOS Demo程序限额9000人，开发者可以自行编译安装。
➡️
