通过深度学习和精调的大型语言模型构建集成模型以提升实体识别性能：多源不良事件抽取案例研究
原文中文，约500字，阅读约需2分钟。发表于：。本篇研究旨在评估 LLMs 和传统深度学习模型在提取 AE 信息方面的有效性，并评估这些模型集成对性能的影响。研究发现，利用优化后的传统深度学习模型和 LLMs 进行集成，能够在提取疫苗、注射和不良事件方面实现最高性能，同时对整体性能的评估也得到了显著提高。这项研究对生物医学自然语言处理的发展做出了贡献，并为从文本数据中提取 AE 相关信息的药物监测和公共卫生监测提供了宝贵的见解。
本文介绍了解决SemEval 2023 Task 2的体系结构和系统，包括传统的条件随机场模型和经过自定义头部微调的大型语言模型。还探索了新的想法，如衰减辅助损失、三元标记混合和任务最优头部。通过多个LLM和超参数设置，模型在开发数据上达到了0.85/0.84的微观和宏观F1值，并在测试数据上达到了0.67/0.61。通过增强额外特征/损失/模型工程技术，可以显著提高宏观F1分数。
