ViT3D对LLaMA3的对齐：3D医学图像报告生成

本研究旨在解决自动医学报告生成（MRG）中存在的效率低下问题。通过采用多模态大型语言模型，结合3D视觉变换器（ViT3D）处理3D扫描，提出了一种新的自动化报告生成方法。实验结果显示，该模型在MRG任务验证集上取得了0.3的平均Green分数，并在视觉问答任务验证集上达到了0.61的准确率，超越了基线模型，验证了ViT3D对LLaMA3的有效对齐在MRG和VQA任务中的潜力。