该文综述电子健康记录的多模态建模研究，涵盖：采用分离机制与时间注意力处理不规则时间序列并实现多模态融合；提出MEDHMP预训练框架、H-BERT编码表示、MedM-PLM多模态语言模型及AutoFM神经架构搜索；结合临床记录提升预测，用FHIR格式与Transformer/BERT统一表示病历；并以HeteroMed和sEHR-CE改进疾病诊断与表型分析。