本文介绍了多模态不良药物事件（MMADE）检测数据集及其框架，结合文本和视觉工具提升不良药物事件（ADE）检测能力，促进患者安全。同时，提出了基于临床试验结果的CT-ADE数据集，用于多标签ADE分类，展示了其在ADE预测中的潜力。此外，利用自然语言处理技术和Transformer模型，研究了社交媒体等非正式文本中的ADE监控，提供了有效的检测和分类方法。