促进跨模态表示以提升生理信号的多模态基础模型

许多医疗应用本质上是多模态的，涉及多种生理信号。

改进多模态医疗数据的机器学习方法至关重要，预训练基础模型是一条有前景的成功途径。

在医疗领域开发基础模型的方法仍处于早期探索阶段，尚不清楚哪些预训练策略最有效。

多模态健康数据面临挑战，包括获取数据的困难和成本、个体间的变异性以及模态在下游任务中的信息异质性。

本文探讨了PhysioNet 2018数据集中的这些挑战，使用掩码自编码目标对多模态模型进行预训练。

模型学习到的表示可以用于多种下游任务的线性探测。

跨模态重建目标对成功的多模态训练至关重要，鼓励模型整合跨模态信息。

输入空间中的模态丢弃能提升下游任务的性能。

使用对比学习目标预训练的晚融合模型在多个任务中的效果较差。

分析模型的表示显示，注意力权重在预训练策略下变得更加跨模态和时间对齐。

学习到的嵌入在每个单元编码的模态方面变得更加分布式。

我们的研究展示了多模态基础模型在健康数据中的有效性，尽管数据源多样。

明确的跨模态诱导方法可能增强多模态预训练策略。