本研究提出RCMed,一个全方位的医疗AI助手,利用层次化的视觉-语言对齐技术,提高多模态输入和输出的准确性,改善细胞分割和解剖特征定位,推动以人为本的AI医疗进步。
本研究提出了LG-Gaze框架,将视线估计视为视觉-语言对齐问题,利用视觉-语言模型的先验知识,显著提升了视线估计的准确性和效率。
本研究通过ZALM3零样本策略解决多轮多模态医学对话中因图像质量差导致的视觉语言对齐问题。该方法利用文本对话信息识别图像兴趣区域,显著提升对齐效果,并在不同临床科室中表现出有效性和潜在影响。
本文介绍了一种名为三维对象领域适应的语言基础(DA4LG)的新方法,通过视觉适配器模块实现视觉-语言对齐。实验结果表明,DA4LG 在视觉和非视觉语言描述方面具有竞争力的性能,并在语言基础基准 SNARE 中达到了最先进的性能。
该论文介绍了一种名为multi-grained vision language pre-training的视觉语言联合预训练方法,以及一个名为X$^2$-VLM的预训练模型。该方法在多个粒度上学习视觉语言对齐,实现了图像文本任务和视频文本任务之间的良好平衡。该模型具有高可转移性,适用于任何语言或领域。
本研究提出了一种名为PEVL的显式目标位置建模方法,用于提高VLP模型在特定视觉-语言任务上的性能。该方法将离散化目标位置与语言内容整合到一个语言建模框架中,实现显式的视觉-语言对齐,并为各种下游任务提供了灵活的提示微调方式。实验结果显示,PEVL在无检测器的VLP模型上能够取得最先进的性能,并提高在具有定位敏感输入的任务上的性能。
完成下面两步后,将自动完成登录并继续当前操作。