成本效益的病理视觉与语言分析指导学习

CONCH 是一个视觉语言基础模型，能够在组织病理学图像和文本的各种下游任务中实现最先进的性能。

CPLIP 是一种无监督技术，通过对齐图像和文本来增强组织病理学中的分类和分割任务。

CPLIP 利用大量数据而不需要地面真实注释，构建特定于病理学的词典，并通过多对多对比学习方法进行微调。

PathChat 是一种通用的视觉-语言人工智能助理，结合了视觉编码器和大规模语言模型，用于病理学的教育和临床决策。

研究构建了包含 50,470 个属性的病理知识树，涵盖 32 种人体组织下的 4,718 种疾病。

基于知识增强的视觉-语言预训练方法显著提高了病理图像分析能力，并在多个下游任务中取得了显著性能提升。

AFLoc 是一种适用于医学图像的通用视觉语言预训练模型，能够对医学报告中的多粒度医学概念进行对齐。

LLaVA-Med 是一个大型语言与视觉助手，能够回答生物医学图像的开放性研究问题，表现出优异的多模态会话能力。

GPT-4V 模型在癌症图像处理中的应用显示出其在特定任务中的性能可与针对特定任务训练的神经网络相媲美。

新的疾病原型学习框架通过引入疾病相关的上下文提示，提升了视觉-语言模型对新疾病概念的理解和性能。