手机上能跑的 GPT-4V！面壁发布端侧最强多模态小钢炮 2.6，实时视频理解首次上端
内容提要
面壁智能发布了MiniCPM-V 2.6模型，提升了端侧多模态能力，超越了GPT-4V。该模型具有实时视频理解、多图联合、ICL视觉学习、OCR等功能，编码像素密度是GPT-4o的两倍，视觉token数量比同类模型低75%，内存占用量小，推理速度快。MiniCPM-V 2.6在多个评测平台上取得了优秀成绩，采用了统一高清视觉架构，实现了一通百通的功能。面壁智能将继续推出更多优质的端侧AI模型。
延伸解读
端侧多模态的突破：实时视频理解首次上端
MiniCPM-V 2.6 首次在端侧实现实时视频理解，这意味着智能设备能在本地实时处理视频流，无需云端支持。演示中，开启飞行模式后，模型仍能精准识别室内场景和物品，展示了其离线能力。这为移动设备带来更快的响应和更好的隐私保护，但实际性能可能受设备算力影响。
高效架构：高像素密度与低视觉token的平衡
该模型采用统一高清视觉架构，编码像素密度是 GPT-4o 的两倍，视觉 token 数量比同类模型低 75%。这种设计提升了运行效率，降低了内存占用和推理延迟。量化后内存仅 6 GB，推理速度达 18 tokens/s，适合端侧部署，但可能在某些复杂任务中牺牲部分精度。
性能表现：多项评测超越GPT-4V，但需理性看待
在 OpenCompass、Mantis-Eval 和 Video-MME 等评测中，MiniCPM-V 2.6 在单图、多图和视频理解上超越 GPT-4V，OCR 性能也达到 SOTA。然而，这些结果基于特定基准，实际应用中的泛化能力仍需验证。此外，8.2% 的幻觉率虽优于部分商用模型，但并非完美。
应用场景：从记账到复杂推理的实用功能
模型支持 OCR、多图联合和 ICL 视觉学习，能识别小票金额并计算总和，简化记账报销。还能通过多轮对话指导调整自行车车座，或解释梗图。这些功能展示了端侧多模态的潜力，但依赖模型对上下文的理解，复杂场景下可能需人工干预。
Q&A
MiniCPM-V 2.6模型有哪些主要功能？
MiniCPM-V 2.6模型具有实时视频理解、多图联合、ICL视觉学习和OCR等功能。
MiniCPM-V 2.6与GPT-4V相比有什么优势？
MiniCPM-V 2.6在多模态能力上全面超越GPT-4V，且编码像素密度是GPT-4o的两倍。
MiniCPM-V 2.6的推理速度和内存占用情况如何？
MiniCPM-V 2.6的推理速度高达18 tokens/s，内存占用仅为6 GB。
MiniCPM-V 2.6如何简化记账和报销流程？
用户只需拍照上传小票，MiniCPM-V 2.6能够识别金额并计算总和，简化流程。
MiniCPM-V 2.6在评测平台上的表现如何？
MiniCPM-V 2.6在OpenCompass、Mantis-Eval和Video-MME等评测平台上均取得了优秀成绩。
面壁智能未来有什么计划？
面壁智能计划继续推出更多优质的端侧AI模型，推动端侧AI的发展。
