PaDeLLM-NER：大型语言模型中的并行解码用于命名实体识别
内容提要
该文综述基于生成式大模型的命名实体识别研究，涵盖GPT-NER、iNERD等方法，将序列标注转为生成任务并引入自我验证以缓解幻觉，同时涉及并行自回归解码、语音文本融合、多语言复杂NER及微软跨语言实践，显示生成式方法在低资源场景下表现优异，部分任务达最先进水平。
延伸解读
生成式NER的演进脉络
文章梳理了从GPT-NER到iNERD等生成式命名实体识别方法的发展。这些方法将序列标注转化为生成任务，并引入自我验证机制来缓解大语言模型的幻觉问题。实验表明，它们在低资源场景下显著优于有监督模型，部分任务达到最先进水平，显示出生成式范式在数据稀缺条件下的潜力。
并行解码与效率提升
文章提及并行自回归生成和浅层解码器等技术，可显著提高大语言模型的生成速度。例如，SPEED方法能并行预测多个未来令牌，在保持准确性的同时减少延迟；另一方法在实体消歧和链接任务上比之前方法快70倍以上。这些进展表明，解码策略的优化是提升NER效率的关键方向。
多模态与多语言扩展
文章探讨了将语音模态整合到解码器型大语言模型中，通过中文ASR和NER任务比较Whisper编码器与ChatGLM3，发现编码器-解码器架构在短上下文下更优，而仅解码器架构在长上下文下能充分利用模型层。在多语言复杂NER方面，结合辅助损失和三元标记混合等技术，在MultiCoNER II任务上取得了有竞争力的F1值。
跨语言与工业实践
文章介绍了微软在跨语言命名实体识别中的实践，利用源语言标注数据和目标语言无标注数据，通过半监督学习和强化学习提取弱监督信号，实现了新的最先进性能。这显示了生成式方法在工业级跨语言场景中的适应性和有效性，为低资源语言NER提供了可行路径。
Q&A
GPT-NER 是如何解决大语言模型在命名实体识别中的幻觉问题的？
GPT-NER 通过将序列标注任务转化为生成任务，并引入自我验证策略来缓解大语言模型的幻觉问题。
iNERD 方法在命名实体识别中有什么优势？
iNERD 将命名实体识别视为生成过程，利用生成模型的语言理解能力，采用基于信息提取的有限文本生成解码方案，以提高性能并消除幻觉风险，在未知实体类别集环境中表现出适应性。
并行自回归生成如何提升大型语言模型的生成速度和性能？
通过并行自回归生成与推理解码相结合，可以显著提高大型语言模型的生成速度和性能。
在语音和文本融合的命名实体识别中，编码器-解码器架构与仅解码器架构有何性能差异？
对于短上下文，编码器-解码器架构性能优于仅解码器架构；对于长上下文，仅解码器架构能充分利用 LLM 的所有层，从而获益。
微软在跨语言命名实体识别中采用了什么方法？
微软使用源语种的标注数据和目标语种的无标注数据，采用半监督学习和强化学习的方法提取弱监督信号，实现了新的最先进性能。
在 MultiCoNER II 任务中，哪些技术被用来提升大型语言模型的 NER 性能？
采用了衰减辅助损失（带剩余项）、三元标记混合和任务最优头部等技术，并尝试了多种 LLM 和超参数设置，显著提高了宏观 F1 分数。
