基于医疗码为中心的多模态对比电子健康记录建模的层次正则化下次就诊诊断预测
内容提要
该文综述电子健康记录的多模态建模研究，涵盖：采用分离机制与时间注意力处理不规则时间序列并实现多模态融合；提出MEDHMP预训练框架、H-BERT编码表示、MedM-PLM多模态语言模型及AutoFM神经架构搜索；结合临床记录提升预测，用FHIR格式与Transformer/BERT统一表示病历；并以HeteroMed和sEHR-CE改进疾病诊断与表型分析。
延伸解读
多模态融合与不规则时间序列建模的进展
文章指出，通过分离机制和时间注意力处理不规则时间序列，并采用交织注意力进行多模态融合，能有效整合临床记录中的多模态表示。实验表明，该方法在单模态和多模态场景下均优于现有方法，说明模拟不规则性对提升预测性能具有价值。这提示读者，在电子健康记录建模中，针对数据的不规则性和多模态特性设计专门机制是值得关注的方向。
预训练框架与语言模型在EHR中的多样化应用
文章介绍了多个预训练框架和语言模型，如MEDHMP、H-BERT、MedM-PLM和AutoFM，它们分别针对层次多模态数据、医疗编码图树扩展、结构化与非结构化数据交互以及神经架构搜索。这些模型在药物推荐、再入院预测、ICD编码等任务上表现出优于基线方法的性能，并提供了更全面的解释能力。读者可从中了解EHR预训练技术的不同侧重点和适用场景。
临床记录融合与标准化表示的价值
文章提到，从医疗电子健康系统中提取临床记录并融合到预测模型中，能提升医疗任务预测效果，融合模型优于不包含临床记录的最新方法。此外，使用FHIR格式表示原始病历记录，并结合Transformer/BERT将多模态数据编入统一矢量表示，在MIMIC-III数据集上展现出出色性能和可泛化性。这表明临床文本信息和标准化数据格式对提高模型实用性具有重要作用。
异构数据与表型分析的改进方法
针对电子健康记录中的缺失值和异构数据，文章介绍了HeteroMed方法，通过异构信息网络捕获关键诊断路径和联合嵌入，在诊断编码和疾病群预测上优于基准模型。sEHR-CE框架则无需映射即可对异构临床数据集进行集成表型分析，利用预训练语言模型预测疾病表型准确性高于非文本方法。这些方法为处理真实世界EHR数据的复杂性和提升表型分析精度提供了参考。
Q&A
这篇论文主要研究什么？
该论文综述了基于医疗码为中心的多模态对比电子健康记录建模的层次正则化下次就诊诊断预测，涵盖多模态融合、预训练框架、语言模型和神经架构搜索等方法。
论文中如何处理不规则的时间序列数据？
论文采用分离机制建模不规则的时间序列，并使用时间注意力机制将临床记录表示为多元不规则时间序列，再通过交织注意机制跨时间步骤进行多模态融合。
MEDHMP框架是什么？
MEDHMP是一种适用于层次多模式电子健康记录数据的新型通用预训练框架，通过在八个涵盖三个级别的下游任务上的实验以及与18个基线的比较，证明了其有效性。
H-BERT模型有什么特点？
H-BERT采用完整的图树扩展表示EHR中的医疗编码，提高了病患归属感的预测，并创建了相关但临床不同表型的患者的不同表示。
MedM-PLM模型能用于哪些临床任务？
MedM-PLM是一种医学多模态预训练语言模型，能够增强电子健康记录的表示能力，用于药物推荐、30天再入院预测和ICD编码等三项临床任务，显示出更好的性能和更全面的解释能力。
AutoFM框架的作用是什么？
AutoFM是一个神经架构搜索（NAS）框架，用于自动搜索对多样输入模态和融合策略进行编码的最佳模型架构，在真实世界的多模式EHR数据和预测任务上实现了显著的性能改进，并发现了有意义的网络架构。
