面向多模态开放领域泛化和自适应的自监督方法
原文中文，约400字，阅读约需1分钟。发表于：。本研究提出了一种利用自我监督方法解决多模态开放领域泛化（MM-OSDG）问题的新途径，引入了两个创新的多模态自我监督预训练任务：遮蔽跨模态翻译和多模态拼图。这些任务有助于学习多模态代表性特征，提高泛化和开放类别检测能力，并提出一种新颖的熵权重机制来平衡不同模态的损失。此外，我们还扩展了该方法以解决多模态开放领域自适应（MM-OSDA）问题。实验证明了该方法在多个数据集上的有效性和多样性。
单源开放域泛化 (SS-ODG) 是解决有监督挑战的方法，通过提供带标签的源域和没有标签的新颖目标域来训练和测试。SODG-Net 是一种新框架，使用基于学习的目标合成新颖域和生成伪开放样本，以提高泛化能力和训练多类分类器。实验结果表明，SODG-Net 在多个基准测试中表现出卓越性能。
