DocGenome：用于训练和测试多模态大型语言模型的开放式大规模科学文档基准
内容提要
本文介绍了多个大型数据集和模型在科学文本生成和文档布局分析中的应用，包括 Multi-XScience、DocBank 和 SciXGen。研究表明，基于 Transformer 的模型在文献综述生成和文档理解方面表现优异，但仍面临信息缺失和推理能力不足的挑战。
延伸解读
科学文档数据集的多维度发展
文章列举了多个科学文档数据集，涵盖多文档摘要（Multi-XScience）、文档布局分析（DocBank、M^{6} Doc）、文献综述生成（SciReviewGen）和科学文本生成（SciXGen）等任务。这些数据集在规模、标注粒度和任务定义上各有侧重，共同推动了多模态模型在科学文档理解与生成方面的研究。
模型性能提升与现存挑战
基于Transformer的模型在文档布局分析和文献综述生成等任务上表现优异，例如TransDLANet在M^{6} Doc上达到64.5% mAP，自动生成的综述可与人工撰写媲美。然而，模型仍面临幻觉、缺乏详细信息以及推理能力不足等问题，SciGen数据集的实验也表明当前模型在复杂输入结构下的推理能力有限。
多模态文档理解的技术进展
DocPedia等新型多模态模型通过频域处理高分辨率图像，利用有限视觉标记捕捉更多信息，增强了OCR-free文档理解能力。这类技术进展表明，联合学习感知与理解任务可以相互促进，为处理科学文档中的复杂布局和内容提供了新思路。
数据集质量与可发现性的改进
文章提出利用大型语言模型和提示策略自动提取文档关键维度，以丰富数据集描述，创建机器可读的文档。这种方法有助于改善数据集的可发现性，评估其符合AI法规的情况，并提升基于这些数据集训练的机器学习模型的整体质量。
Q&A
Multi-XScience 数据集的主要用途是什么？
Multi-XScience 数据集主要用于创建大规模多文档摘要，适用于抽象模型的训练和测试。
DocBank 数据集的特点是什么？
DocBank 数据集包含 500K 篇文档页面，具有细粒度的令牌级别注释，能够准确识别文档布局信息。
SciReviewGen 数据集在文献综述生成中发现了哪些挑战？
SciReviewGen 数据集揭示了文献综述自动生成中的挑战，如幻觉和缺乏详细信息。
DocPedia 模型的创新之处是什么？
DocPedia 模型通过在频域处理高分辨率图像，增强了文档理解能力，并采用双阶段训练策略。
SciXGen 数据集的规模和内容是什么？
SciXGen 数据集包含 205,304 篇完全注释的论文，促进科学文本生成研究。
当前生成模型在推理能力方面存在哪些限制？
当前生成模型在复杂输入结构下的推理能力受限，缺乏适当的自动评估度量。
