构建通用的多模态信号感知模型是研究目标。研究表明，早融合架构在低参数下具有更强的性能和更高的训练效率，引入专家混合（MoEs）进一步提升了效果。

研究表明，原生多模态模型（NMM）在早融合和后融合架构中性能相当，早融合在低参数下表现更佳且训练效率高。结合混合专家（MoE）可显著提升性能。随着计算预算增加，两者性能趋近，稀疏性有利于早融合。建议在统一架构内进行多模态特化，以更好地处理异构数据。