多模态大型语言模型(MLLM)在医疗领域的3D医学图像自动放射学报告生成(RRG)中展现出变革性应用。台北荣民总医院等机构开发的BrainGPT模型,针对3D脑CT数据集进行了临床视觉指令调整(CVIT),并提出了面向特征的放射学任务评估(FORTE)。研究表明,BrainGPT生成的报告与人类报告相似,且在评估中表现优异,推动了医学AI的发展。
本文介绍了一种新的注视引导图神经网络(GazeGNN),用于医学扫描的疾病分类,实验结果表明其在胸部X光数据集上表现优异。此外,研究提出了医学图像编码器和可视化知识引导解码器,解决了自动放射学报告生成中的多视角推理问题,提高了报告生成的准确性。
完成下面两步后,将自动完成登录并继续当前操作。