PRISM: A Training-Free Intrinsic Selection Method for Unsupervised Multimodal Data Selection

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出PRISM方法,旨在解决多模态大型语言模型在视觉指令调优中的数据冗余和高计算成本问题。通过皮尔逊相关分析,PRISM能够有效选择高价值实例,将数据选择时间缩短至传统方法的30%。实验证明其在多个基准测试中优于传统方法。

🎯

关键要点

  • PRISM方法旨在解决多模态大型语言模型在视觉指令调优中的数据冗余和高计算成本问题。

  • 通过皮尔逊相关分析,PRISM能够量化多模态大语言模型的内在视觉编码特性。

  • PRISM采用任务特定的相关性评分选择高价值实例,从而实现高效的数据选择。

  • 实验证明PRISM在多个基准测试中优于传统方法,数据选择时间缩短至传统方法的30%。

➡️

继续阅读