PaDeLLM-NER:大型语言模型中的并行解码用于命名实体识别
原文中文,约500字,阅读约需2分钟。发表于: 。该研究旨在通过大型语言模型(LLM)减少命名实体识别(NER)的生成延迟。通过并行解码技术,该方法在不需要额外模块或架构修改的情况下实现了对 NER 中所有提及的同时解码,从而提高了推理速度,同时保持了与最先进方法相当的预测质量。
本文介绍了解决SemEval 2023 Task 2的体系结构和系统,评估了传统的条件随机场模型和经过自定义头部微调的大型语言模型(LLM)。通过新的想法提高了模型性能,包括衰减辅助损失、三元标记混合和任务最优头部。最终模型在开发数据上达到了0.85/0.84的微观和宏观F1值,并在测试数据上达到了0.67/0.61。证明了预训练的LLM和额外特征/损失/模型工程技术的结合可以显著提高宏观F1分数。