停止寻找多模态语言模型中的重要标记:重复性更重要
💡
原文英文,约100词,阅读约需1分钟。
📝
内容提要
本研究提出DART修剪方法,解决多模态大语言模型中视觉标记的计算开销问题。实验结果表明,DART在信息损失较小的情况下,能够修剪88.9%的视觉标记,并显著提高处理速度。
🎯
关键要点
- 本研究提出DART修剪方法,解决多模态大语言模型中视觉标记的计算开销问题。
- 传统的重要性标准不适合决定标记的修剪。
- DART方法基于标记重复性进行修剪,能够在较少信息损失的情况下显著加快处理速度。
- 实验结果表明,DART能够修剪88.9%的视觉标记,并显著提高处理速度。
➡️