TokenPacker: 多模态 LLM 的高效视觉投影器
内容提要
本研究探讨了视觉与语言对齐中的投影模块有效性，提出了“DeCo”方法，通过减少视觉标记数量提升多模态大语言模型（MLLM）的性能和效率。同时，介绍了新框架PerceptionGPT，利用LLMs的token嵌入增强视觉感知能力，显著提高训练效率和性能。此外，动态语义等价视觉标记器SeTok有效保持语义完整性，提升多模态任务表现。
延伸解读
视觉标记压缩：效率与性能的平衡
文章介绍了多种减少视觉标记数量的方法，如DeCo、PruMerge和Visual Context Compressor。这些方法旨在提升多模态大语言模型的训练和推理效率，同时尽量保持模型性能。DeCo通过解耦压缩与抽象，让LLM处理视觉语义抽象；PruMerge自适应合并相关标记；Visual Context Compressor则压缩视觉标记以提高训练效率。这些工作表明，视觉标记压缩是提升MLLM效率的重要方向。
视觉感知与LLM的融合：PerceptionGPT的启示
PerceptionGPT框架利用LLM的token嵌入作为空间信息载体，通过轻量级编码器和解码器执行视觉感知任务，如检测和分割。这种方法避免了将视觉输出离散化为token的训练困难，在更少可训练参数、数据和时间内实现更优性能。推理时仅需一个token嵌入即可解码视觉输出，大幅减少序列长度。这为赋予LLM视觉感知能力提供了高效灵活的途径。
动态语义标记器SeTok：保持语义完整性
SeTok通过动态聚类算法将视觉特征分组为语义单元，灵活确定标记数目，从而有效保持语义完整性并捕捉低频和高频视觉特征。基于SeTok的多模态大语言模型Setokim在多种任务中表现出卓越性能。这表明，动态语义等价的视觉标记化有助于提升多模态任务的表现，为视觉标记器的设计提供了新思路。
Q&A
DeCo方法的主要优势是什么？
DeCo方法通过减少视觉标记数量，提升了多模态大语言模型的性能和效率。
什么是PerceptionGPT框架，它的功能是什么？
PerceptionGPT是一个新型端到端框架，利用LLMs的token嵌入增强视觉感知能力，提高训练效率和性能。
PruMerge方法如何影响视觉标记的数量？
PruMerge方法通过自适应压缩视觉标记数量，同时保持模型性能。
SeTok视觉标记器的创新之处是什么？
SeTok通过动态聚类算法将视觉特征分组为语义单元，有效保持语义完整性。
GVT在视觉理解任务中的表现如何？
GVT在不引入额外参数和任务特定微调的情况下，展现出强大的视觉理解能力，尤其在细粒度视觉理解任务上表现优异。
多模态大语言模型的训练效率如何提高？
通过压缩视觉标记和优化视觉任务编码器，显著提高了多模态大语言模型的训练效率。
