Llama 3已能在iPhone或安卓手机上运行
原文中文,约2000字,阅读约需5分钟。发表于: 。得益于 MLX Swift,Llama 3 已在 iPhone 上本地运行: Llama 3 在 iPhone 上运行的速度约为 8.5t/s, 它可以在 Android 上运行吗?回答是肯定的,可以为此使用executorch :供参考: 使用 4 位分组量化 7B LLama2, 他们在 Samsung s24 上实现了 11 tok/s, 在 Samsung s22 上实现了 8...
Llama 3现在可在iPhone和安卓手机上运行,iPhone上的速度约为8.5t/s,安卓上的速度较慢。苹果公司一直在优化硬件以支持此使用情况,并发布了包含Llama 3的iOS应用程序。在最新的安卓设备上,性能相当不错。