TIP: 针对不完整数据的多模态分类的表格图像预训练
内容提要
该研究提出了一种结合自监督对比学习的框架，利用心脏MR图像和临床特征来预测冠状动脉疾病风险。同时，探讨了多模态学习在表格数据处理中的应用，提出了新模型和数据集，显著提升了表格理解和识别的性能。
延伸解读
多模态表格理解的新基准
文章介绍了多模态表格理解任务，即模型需根据表格图像生成正确响应。为此构建了大规模数据集MMTab，涵盖多样表格图像、指令和任务，并研发了Table-LLaVA模型。在23个基准测试中，该模型在保留内部和保留外部设置下均显著优于近期开源多模态大模型基线，为表格图像理解提供了新的评估标准和强基线。
表格预训练中的自监督策略对比
文章对比了多种表格预训练方法：TABBIE通过损坏单元格检测目标，仅从表格数据学习，在预测任务上达到最先进水平，且提供单元格、行、列嵌入，计算时间更少；CT-BERT结合对比学习和表格建模，在监督和自监督设置下优于先前方法。这些工作表明，针对表格结构的自监督目标能有效提升模型对表格语义的理解。
视觉表示对LLM表格理解的影响
研究调查了不同提示策略和数据格式对LLM解释表格数据的有效性，涵盖六个表格相关任务。首次评估了LLM在基于图像的表格表示上的性能，比较了五种文本和三种图像表示。结果表明，表示方式和提示策略显著影响LLM性能，为实际应用中如何选择表格输入形式提供了实证参考。
Q&A
该研究提出了什么样的框架来预测冠状动脉疾病风险？
该研究提出了一种结合 SimCLR 和 SCARF 的自监督对比学习框架，利用心脏 MR 图像和 120 项临床特征进行预测。
PTab框架的主要功能是什么？
PTab框架用于建模表格数据，并在分类效果上优于现有技术。
CT-BERT框架的创新点是什么？
CT-BERT框架结合了对比学习和表格建模的目标，显著优于之前的方法。
Visual Table方法的优势是什么？
Visual Table提供层次化的视觉场景文本描述，在多个基准测试中优于现有多模态大型语言模型。
MMTab数据集的目的是什么？
MMTab数据集旨在促进多模态表格理解模型的训练和评估，涵盖广泛的表格图像、指令和任务。
该研究如何解决传统方法在红外图像上的挑战？
研究通过对象敏感的随机RoI裁剪和面向纹理缺失的图像预处理方法来解决传统方法的挑战。
