本文介绍了TAT-DQA数据集，包含来自财务报告的半结构化表格和非结构化文本，以及16558个问答对。作者提出的MHST模型能够有效处理多模态信息，回答不同问题。尽管该模型优于基线方法，但仍未达到专家水平，旨在推动视觉与语言融合的研究。

TAT-DQA是一个包含16558个财务报告问答对的新数据集。作者提出了一种名为MHST的文档VQA模型，可以智能地处理多模态信息，并使用离散推理进行训练。结果显示，该模型优于基线方法，但仍落后于专家人类。作者希望通过提供新的数据集促进对融合视觉和语言的文档理解的研究。