FMT:基于堆叠MOE框架的多模态肺炎检测模型

📝

内容提要

本研究解决了传统多模态肺炎诊断方法在面对不完整数据和模态丢失时的局限性。提出的灵活多模态变换器(FMT)通过联合表示学习和动态遮罩注意策略增强了模型的鲁棒性,最终采用顺序混合专家架构实现多层次决策优化。FMT在小型多模态肺炎数据集上的评估显示出94%的准确率和95%的召回率,优于单模态基线和医学基准,为资源有限的医疗环境提供了可扩展的多模态诊断解决方案。

➡️

继续阅读