DF-DM：人工智能时代的多模态数据融合的基础过程模型

在大数据时代，将多样化的数据模态融合在一起对于像医疗保健等复杂领域来说是一项巨大的挑战。本文介绍了一种新的多模态数据融合数据挖掘过程模型，将嵌入和跨行业标准数据挖掘流程与现有的数据融合信息团组合模型相结合。我们的模型旨在降低计算成本、复杂性和偏差，同时提高效率和可靠性。我们还提出了一种名为 “分离的密集融合” 的新型嵌入融合方法，旨在优化互信息和促进稠密的跨模态特征交互，从而最小化冗余信息。我们通过三个案例展示了该模型的有效性：使用视网膜图像和患者元数据预测糖尿病性视网膜病变、使用卫星图像、互联网和人口普查数据预测家庭暴力，以及从放射影像和临床笔记中识别临床和人口统计特征。该模型在糖尿病性视网膜病变预测中的宏 F1 分数为 0.92，在家庭暴力预测中的 R 方为 0.854，sMAPE 为 24.868，在放射学分析中的宏 AUC 分别为 0.92 和 0.99，这些结果凸显了数据挖掘模型在多模态数据处理中的潜力，推动其在不同的资源受限环境中的应用。