Q-VLM：大型视觉-语言模型的后训练量化

BriefGPT - AI 论文速递 ·

本研究提出了一种新方法，通过挖掘层间依赖性优化大型视觉-语言模型的量化策略，解决多模态推理中的效率问题。实验显示，该方法在13B LLaVA模型上实现了2.78倍的内存压缩和1.44倍的生成速度提升，同时保持性能。此外，还探讨了量化感知规模学习和稀疏化技术的应用。

vlm 内存压缩多模态推理生成速度稀疏化技术语言模型量化策略

原文中文，约2200字，阅读约需6分钟。