TNF: 三支神经融合用于多模态医学数据分类
内容提要
本文综述多模态融合在医学与情感分析中的应用，涉及病理图像与基因表达、文本与视觉、语音与手势等模态，提出TTMFN、Tensor Fusion Network、HEALNet等框架，采用早期、特征级或决策级融合，以提升生存预测、疾病分类和情感检测性能，并关注缺失模态与多任务学习。
延伸解读
多模态融合的层次与策略
文章综述了多模态医学数据分类中的融合策略，包括早期融合、特征级融合和决策级融合。例如，在软组织肉瘤检测中，特征级融合表现最佳，但当任一图像模态存在大误差时鲁棒性降低。决策级融合则用于产品分类，通过训练深度神经网络选择输入类型。这些案例表明，融合层次的选择需权衡性能与鲁棒性，并考虑模态误差的影响。
缺失模态处理的进展
医学多模态数据常面临模态缺失问题。HEALNet作为一种灵活的多模态融合架构，能够有效处理训练和推断中缺失的模态，并在存在缺失模态的场景中获得卓越性能。这提示读者，在实际应用中，选择能够处理缺失模态的框架（如HEALNet）可能比传统融合方法更可靠，尤其当数据收集不完整时。
多任务学习的协同效应
多任务学习在多模态融合中展现出潜力。例如，MultiCoFusion结合多模态多任务相关学习，用于肿瘤生存分析和癌症等级分类，在TCGA数据集上优于传统特征提取方法。另一项研究通过多损失训练探索了多模态融合网络中子网络的性能影响，发现基于数据集注释模式设计融合方法可以增强模型性能。这表明任务间的相互支持能提升整体性能。
性能提升与模态互补
多项研究表明，增加模态数量能有效改善分类性能。例如，在情感检测中，结合文本和视觉特征的多模态模型显著优于单模态模型，且不同模态能互补缺点。在胸部X射线疾病分类中，多层多模态融合模型达到了高达97.21%和99.60%的准确率。这些结果说明，合理融合多模态数据可以带来显著的性能提升，但需注意模态间的互补性和融合方法的设计。
Q&A
TTMFN是什么？它用于什么任务？
TTMFN是一种基于双流Transformer的多模态融合网络，用于生存预测。它综合病理图像和基因表达数据，通过多模态共同关注转换器模块和多头注意力池化方法，实现了对患者总体生存预测的最佳性能或竞争结果。
多模态融合在医学图像分析中有哪些融合方案？哪种性能最好？
在监督医学图像分析中，有基于卷积神经网络的三种图像融合方案，可结合成单个框架同时分析多模式图像，用于检测软组织肉瘤。研究发现特征级别融合的性能最好，但当任何图像模式存在大误差时，其鲁棒性会降低。
Tensor Fusion Network是什么？它有什么优势？
Tensor Fusion Network是一种新型模型，通过学习语音、手势等多种动态因素，实现对在线视频中语言、手势等多种情感信息的判断，并且优于现有的多模态和单一模态情感分析方法。
HEALNet如何处理缺失模态问题？
HEALNet是一种灵活的多模态融合架构——混合早期融合注意力学习网络，能够有效处理训练和推断中缺失的模态，提供了最新的多模态基准，并在存在缺失模态的场景中获得卓越性能。
多模态融合在情感检测中有什么效果？
通过多模态特征的最优选择和融合，并结合神经网络以提高情感检测，最佳模型在CMU-MOSI、CMU-MOSEI和CH-SIMS三个数据集上达到最先进性能，并在大多数指标上优于其他方法。研究发现，在多模态特征上进行训练可以提高单模态测试的性能，并且基于数据集注释模式设计融合方法可以增强模型性能。
MultiCoFusion框架用于什么？效果如何？
MultiCoFusion是一种基于ResNet-152和SGCN的多模态多任务相关学习融合框架，可用于肿瘤的生存分析和癌症等级分类。基于The Cancer Genome Atlas (TCGA)的实验结果表明，MultiCoFusion的表现优于传统的特征提取方法。
