使用搭载骁龙 8 Gen 3 的安卓手机运行 AI 大模型
内容提要
本文介绍了在Android手机上运行AI大模型的方法，包括英文和中文语言模型。文章提供了两种不需要解锁手机和获取Root权限的方案，并介绍了模型应用程序和运行设备的准备工作。作者推荐使用骁龙8 Gen 2和8 Gen 3芯片的手机来运行模型。此外，还介绍了安卓调试工具（ADB）的安装和使用方法。文章还提供了英文和中文语言模型的使用示例，并介绍了图片模型的下载和初始化方法。下一篇文章将介绍在手机原生环境中直接运行模型的方法。
延伸解读
国内手机运行大模型的现实限制
文章指出，国内购买的大多数手机在解锁Bootloader和获取Root权限方面限制较多，因此作者提供了两种无需解锁和Root的方案。这反映了当前国内用户本地运行大模型的主要障碍，也解释了为何需要借助ADB等工具进行侧载和调试。
芯片选择：为何推荐骁龙8 Gen 2及之后
作者建议使用骁龙8 Gen 1之后的芯片，如8 Gen 2和8 Gen 3，并明确不推荐8 Gen 1，因其发热严重且性能提升有限。8 Gen 3的纸面性能比8 Gen 1高出一倍，能提供更好的模型运行体验。这表明芯片算力直接影响本地大模型的可用性。
模型运行效果与量化差异
文章测试了多个模型：Mistral 7B约7 token/s，Gemma 2B约11 token/s，MiniCPM约8-13 token/s。作者提到PHI 2B回复质量差异较大，且量化并转换为ONNX的Stable Diffusion模型即使参数相同，输出也有明显劣化。这提示读者量化虽降低资源需求，但可能牺牲生成质量。
ADB工具在模型部署中的实用性
文章详细介绍了ADB的安装和使用，包括通过adb install安装应用、adb push上传模型文件到指定目录。对于不熟悉命令行的用户，作者也提供了替代方案。ADB能显著提升安装和调试效率，尤其是在规避网络问题手动部署模型时非常有用。
Q&A
如何在安卓手机上运行AI大模型而不需要解锁或Root？
文章介绍了两种不需要解锁BL锁和获取Root权限的方案，通过安装开源应用如MLC Chat、MiniCPM和SDAI来运行模型。
哪些骁龙芯片适合在安卓手机上运行AI大模型？
推荐使用骁龙8 Gen 2和8 Gen 3芯片的手机，如一加12和红米K70 Pro。不推荐8 Gen 1，因为发热和性能问题。
如何安装和使用ADB工具来辅助在安卓手机上运行AI模型？
ADB（Android Debug Bridge）可以用于安装应用、上传模型等。安装方法因操作系统而异，macOS用户可通过HomeBrew安装：brew install android-platform-tools。使用前需打开手机的USB调试和USB安装，连接后执行adb devices验证。
在安卓手机上运行英文语言模型如Mistral 7B和Gemma 2B的效果如何？
Mistral 7B运行效率为7 token/s，回答质量不错；Gemma 2B达到11 token/s，但PHI 2B回复质量差异较大。
中文语言模型MiniCPM在安卓手机上的表现怎么样？
MiniCPM运行速度约8～13 token/s，知识能力有待加强，但适合搭配外部知识库进行内容生成。
如何在安卓手机上初始化和使用图片模型如Stable Diffusion？
图片模型的下载和初始化类似语言模型，可通过ADB传输模型文件。SDAI应用相对全自动，另一款需手动指定模型文件和配置文件。生成图片时间较短，最慢一两分钟。
