用于减轻医学图像中的捷径学习的注视导向视觉 GNN
内容提要
本文介绍了一种新的注视引导图神经网络（GazeGNN），用于医学扫描的疾病分类，实验结果表明其在胸部X光数据集上表现优异。此外，研究提出了医学图像编码器和可视化知识引导解码器，解决了自动放射学报告生成中的多视角推理问题，提高了报告生成的准确性。
延伸解读
GazeGNN 的核心创新
GazeGNN 直接利用放射科医师的注视信息构建图结构，无需转换为视觉注意力图，避免了转换过程中的信息损失。在公共胸部 X 光数据集上，该方法取得了最佳分类性能，表明注视数据本身已包含足够的诊断线索，为医学图像分析提供了新思路。
自动报告生成的多视角推理
研究提出的医学图像编码器结合全局密集注意力模块，以及可视化知识引导解码器，旨在解决自动放射学报告生成中的多视角推理和多模态信息处理问题。在 IU X-Ray 和 MIMIC-CXR 数据集上，该方法优于其他最先进方法，显示出在临床报告生成中的潜力。
捷径学习与视觉基准
深度神经网络在预测形状、颜色或纹理等基本视觉因素时也会受到捷径学习影响，即依赖数据中的虚假相关性。为此，研究引入 DiagViB-6 基准套件，测试多种流行视觉架构，发现它们仅能有限利用视觉数据中的独立性，提示需设计更鲁棒的模型。
注视引导的对比学习
通过眼动追踪被动收集放射科医师的视觉关注和临床推理，McGIP 作为对比学习框架的即插即用模块，利用注视指导预训练。实验表明其能改善医学图像对比预训练的有效性，在各种临床场景中具有高潜力，为自监督学习提供了新方向。
Q&A
GazeGNN是什么？
GazeGNN是一种注视引导的图神经网络，用于医学扫描的疾病分类，表现优异。
GazeGNN在医学图像分类中的表现如何？
GazeGNN在胸部X光数据集上取得了最佳分类性能，优于其他现有方法。
研究中提出了哪些新技术来提高报告生成的准确性？
研究提出了具有全局密集注意力模块的医学图像编码器和可视化知识引导解码器，解决了多视角推理问题。
如何克服深度神经网络中的捷径学习问题？
研究引入了诊断视觉基准套件DiagViB-6，以利用视觉数据中的独立性来克服捷径学习问题。
FocusContrast方法的主要优势是什么？
FocusContrast通过模仿医学专家的视觉注意力生成对比视图，提高了膝关节X射线数据集的分类准确性。
研究中使用了哪些数据集进行实验？
实验使用了IU X-Ray和MIMIC-CXR两个常用数据集。
