💡
原文日文，约3700字，阅读约需9分钟。
📝
内容提要
AIxiv专栏促进学术交流，Adobe与罗切斯特大学研究多模态大模型的计算冗余，提出YOPO剪枝方案。实验表明，LLaVA-1.5仅需12%的计算量即可保持性能，有效解决视觉token的计算开销问题。
🎯
关键要点
- AIxiv专栏促进学术交流，机器之心已报道2000多篇内容。
- 论文核心作者包括罗切斯特大学的博士生和Adobe的研究员。
- Adobe与罗切斯特大学研究多模态大模型的计算冗余，提出YOPO剪枝方案。
- LLaVA-1.5仅需12%的计算量即可保持性能，有效解决视觉token的计算开销问题。
- 多模态大模型的计算成本随着输入token数量的平方增加，限制了其可扩展性。
- 提出的剪枝方法包括邻域感知视觉注意力、非活跃注意力头剪枝、选择性层丢弃和稀疏视觉投影。
- 实验结果显示，剪枝方法在多个基准测试中表现优异，性能损失仅为0.5%。
- 研究表明视觉计算冗余在多模态大模型中普遍存在，提出的方法具有良好的可扩展性。
❓
延伸问答
YOPO剪枝方案的主要贡献是什么？
YOPO剪枝方案通过减少计算冗余，使LLaVA-1.5仅需12%的计算量即可保持与原始模型相同的性能。
YOPO剪枝方案是如何解决计算冗余问题的？
该方案通过邻域感知视觉注意力、非活跃注意力头剪枝、选择性层丢弃和稀疏视觉投影等方法，优化了模型的计算模式。
YOPO剪枝方案在实验中表现如何？
实验结果显示，YOPO剪枝方法在多个基准测试中表现优异，性能损失仅为0.5%。
多模态大模型的计算成本为何会增加？
多模态大模型的计算成本随着输入token数量的平方增加，导致计算负担显著加重。
YOPO剪枝方案的可扩展性如何？
YOPO剪枝方案在处理视觉计算冗余方面具有良好的可扩展性，适用于不同规模的模型。
YOPO剪枝方案与其他剪枝方法相比有什么优势？
与其他方法相比，YOPO剪枝方案在不直接剪枝token的情况下，针对计算模式层面的冗余进行优化，性能下降更小。
➡️
