本研究介绍了ChartReader和UniChart等多模态模型，旨在提升图表理解能力。通过强化学习和高质量数据集，这些模型在图表问答和总结任务中表现优异。研究还提出了ChartX评估集和CharXiv，揭示了现有模型在图表理解中的局限性，强调了未来研究的必要性。

本文介绍了mPLUG-DocOwl模型，该模型基于mPLUG-Owl，通过联合训练语言、视觉和文档指令数据，提升了OCR-free文档理解能力，并构建了评估集LLMDoc。实验结果表明，该模型在多项任务中优于现有模型，展现出良好的泛化能力。