ICLR 2025 Oral | IDEA联合清华北大提出ChartMoE：探究下游任务中多样化对齐MoE的表征和知识
内容提要
在ICLR 2025会议上，ChartMoE论文被录取为口头报告。该模型通过多阶段对齐任务增强图表理解能力，采用MoE结构，显著提升视觉表征和性能。研究表明，ChartMoE在通用和图表领域均表现优异，减少了对通用知识的遗忘。
关键要点
-
ChartMoE论文在ICLR 2025会议上被录取为口头报告，展示了其在图表理解能力上的创新。
-
ChartMoE采用MoE结构，通过多阶段对齐任务增强模型对图表的理解，同时保持通用任务的性能。
-
该模型通过多样的对齐任务进行专家初始化，提升了专家间的异质性，学习到更全面的视觉表征。
-
ChartMoE设计了多阶段的图文对齐方式，能够处理图表的多种结构化文本格式。
-
训练分为三个阶段，包括多阶段对齐、广泛学习高质量知识和Chart领域的SFT。
-
ChartMoE在通用领域和图表领域的性能均表现优异，减少了对通用知识的遗忘。
-
模型的专家选择分布显示，背景tokens倾向于选择通用专家，而数据点和图像元素则倾向于选择代码专家。
-
ChartMoE的设计和训练方法为后续研究提供了新的思路，探索Sparse结构在下游任务中的表现。
延伸解读
ChartMoE的创新设计
ChartMoE通过多阶段对齐任务和MoE结构，显著提升了图表理解能力。这种设计不仅增强了模型的视觉表征，还在不依赖通用数据的情况下，减少了对通用知识的遗忘。这为后续研究提供了新的思路，尤其是在多模态学习领域。
多样化对齐任务的优势
ChartMoE采用多样化的对齐任务进行专家初始化，提升了专家间的异质性。这种方法使得模型能够学习到更全面的视觉表征，展现出更好的解释性和性能。这一策略在处理复杂的图表数据时尤为重要，能够有效应对不同结构化文本格式的挑战。
通用与图表领域的性能对比
ChartMoE在通用领域和图表领域均表现优异，尤其是在不使用通用数据的情况下，模型的性能几乎没有下降。这表明，ChartMoE的设计能够有效地保持通用能力，为多任务学习提供了新的可能性，值得关注其在实际应用中的表现。
延伸问答
ChartMoE模型的主要创新点是什么？
ChartMoE通过多阶段对齐任务增强图表理解能力，采用MoE结构，显著提升视觉表征和性能。
ChartMoE的训练过程是怎样的？
ChartMoE的训练分为三个阶段：多阶段对齐、广泛学习高质量知识和Chart领域的SFT。
ChartMoE在通用领域的表现如何？
ChartMoE在通用领域表现优异，减少了对通用知识的遗忘，且在某些细分领域上还有增点。
ChartMoE如何处理图表的多种结构化文本格式？
ChartMoE设计了多阶段的图文对齐方式，将图表转译成Table、JSON和Python Code等格式。
ChartMoE的专家选择分布有什么特点？
背景tokens倾向于选择通用专家，而数据点和图像元素则倾向于选择代码专家。
ChartMoE的研究对后续工作有什么启示？
ChartMoE的设计和训练方法为后续研究提供了新的思路，探索Sparse结构在下游任务中的表现。
