iPhone断网跑35B多模态！国产开源新模型，只占3G内存
内容提要
面壁智能开源MiniCPM-V 4.7，包含35B-A3B与1.3B版本，是首个端侧流畅运行且不牺牲性能的开源MoE模型。35B-A3B仅占约3G内存，在iPhone 17 Pro Max上解码超每秒13 token，断网也能处理图表、论文转Markdown等任务。其采用前瞻专家调度、混合精度量化与自回放微调，兼顾速度与能力，支持iOS、安卓、鸿蒙及多种推理框架。
延伸解读
端侧MoE的工程突破
MiniCPM-V 4.7的35B-A3B版本通过前瞻专家调度、混合精度量化和自回放微调，在仅占约3G内存的情况下，于iPhone 17 Pro Max上实现每秒13 token以上的解码速度。这解决了传统MoE模型在端侧因专家权重需从闪存加载而导致的延迟问题，使大模型在断网环境下也能流畅处理图表、论文转Markdown等任务。
性能与效率的平衡
该模型在多项基准测试中表现突出，如MMBench 91.72、OmniDocBench v1.6 94.24，领先其他模型12分以上。视觉压缩开到16倍后，MMBench仅从91.72降至90.87，OCRBench从91.20降至90.40，表明在节省算力的同时精度损失极小。这为端侧设备在有限资源下运行高性能多模态模型提供了可行方案。
对手机行业的影响
随着2026年端侧AI大规模装机，IDC预计中国新一代AI手机出货量达1.47亿台，渗透率超53%。内存成本上涨使12GB成为AI手机及格线，而35B-A3B仅需约3G内存，剩余空间可留给其他应用。这降低了手机厂商部署大模型的门槛，可能推动端侧AI从旗舰机型向中端机型普及。
生态与开发者支持
MiniCPM-V 4.7支持iOS、安卓和鸿蒙，发布当天即完成瑞芯微、后摩、Intel、AMD和Arm等芯片平台适配。推理框架支持SGLang、vLLM、llama.cpp和Ollama，微调可用SWIFT和LLaMA-Factory，量化版本提供GGUF、AWQ、GPTQ、FP8等。这为开发者提供了灵活的部署和定制选项，有助于加速端侧AI应用落地。
Q&A
MiniCPM-V 4.7 是什么？它有哪些版本？
MiniCPM-V 4.7 是面壁智能和 OpenBMB 开源的多模态大模型，包含 35B-A3B 和 1.3B 两个版本，是首个能在端侧流畅运行且不牺牲性能的开源 MoE 模型。
35B 模型在手机上运行需要多少内存？速度如何？
35B-A3B 模型仅需约 3G 内存，在 iPhone 17 Pro Max 上解码速度超过每秒 13 个 token，断网也能流畅运行。
MiniCPM-V 4.7 在哪些基准测试中表现突出？
在 MMBench 上得分 91.72，MMStar 80.67，MMMU 80.22，MathVista 88.00，Video-MME 76.40，LongVideoBench 68.90，OmniDocBench v1.6 上以 94.24 分领先其他模型 12 分以上。
MiniCPM-V 4.7 如何实现端侧高速运行？
采用前瞻专家调度（LES）提前预取专家权重，混合精度量化压缩权重，自回放微调保持通用能力，并配合 DSpark 草稿模型和视觉 token 压缩技术，共同提升解码速度。
自回放微调（Self-Replay Fine-Tuning）有什么作用？
在微调前让模型回答原有能力的问题，筛选高质量回答混入新任务训练数据，减少对已有能力的遗忘，且无需修改模型结构或损失函数，回放数据可重复使用。
MiniCPM-V 4.7 支持哪些平台和推理框架？
支持 iOS、安卓和鸿蒙系统，发布当天完成瑞芯微、后摩、Intel、AMD 和 Arm 等芯片平台适配，推理框架支持 SGLang、vLLM、llama.cpp 和 Ollama，微调支持 SWIFT 和 LLaMA-Factory，量化版本包括 GGUF、AWQ、GPTQ、FP8 等。
端侧 AI 在手机行业的发展趋势如何？
2026 年端侧 AI 走向大规模装机，IDC 预计中国新一代 AI 手机出货量达 1.47 亿台，同比增长 31.6%，渗透率突破 53%。内存成本上涨，用更少内存跑更大模型成为趋势，竞争重点转向模型与硬件配合。
