Stop Looking for Important Tokens in Multimodal Language Models: Duplication Matters More

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种新的视角,针对多模态大语言模型中视觉标记的计算开销问题。通过DART修剪方法,能够在信息损失较少的情况下显著加快处理速度,实验表明DART可修剪88.9%的视觉标记并提升速度。

🏷️

标签

➡️

继续阅读