本文介绍了多模态不良药物事件（MMADE）检测数据集及其框架，结合文本和视觉工具提升不良药物事件（ADE）检测能力，促进患者安全。同时，提出了基于临床试验结果的CT-ADE数据集，用于多标签ADE分类，展示了其在ADE预测中的潜力。此外，利用自然语言处理技术和Transformer模型，研究了社交媒体等非正式文本中的ADE监控，提供了有效的检测和分类方法。

通过融合关键词和同义词集合以及聚焦损失函数训练模型，我们提出了知识增强的转换器模型，用于检测不良药物反应。实验结果表明，我们的模型在三个公共数据集上的F1值优于现有技术水平，相对改进幅度分别为4.87%、47.83%和5.73%，证明了模型的有效性。