[狮子: 1] 和 [老虎: 2] 和 [熊: 3]，哇喔！配备 LLM 的文学共指注释
内容提要
本文综述指代消解研究进展：seq2seq模型在CoNLL-2012上达到83.3 F1；GPT-2等大模型零样本提示可泛化，但受提示敏感性限制；新文学数据集含2.9万指代注释，文档更长；机器翻译学习共指能力弱于专用模型；CRAC 2022多语任务获胜系统超基线12个百分点；微调阶段加入指代信息效果更佳；新评估方法更可解释；seq2seq微调无需专用模型。
延伸解读
文学共指消解的新挑战
文章提到一个新数据集包含100部英文小说的29,103个指代注释，文档平均长度2,105.3词，是OntoNotes的四倍，并包含文学中常见的难度指代问题。这表明文学文本的长距离指代和复杂共指链对模型提出了更高要求，现有基准可能无法充分评估跨领域性能。
大语言模型的零样本能力与局限
研究显示GPT-2和GPT-Neo能返回有效答案，但识别共指提及受提示敏感性限制，结果不一致。后续工作证明零样本提示优于当前无监督共指系统，并展现领域适应、跨语言和跨时期的泛化能力，但高质量提及检测系统仍至关重要。
微调策略与模型选择
文章指出在微调阶段明确加入指代信息比在预训练中加入表现更好。同时，通过微调预训练seq2seq transformer，无需专用模型即可在多个数据集上优于或接近最佳系统。模型大小、监督数量和序列表示选择是性能关键因素。
评估方法的演进
针对传统共指评估度量的限制，文章提出一种考虑上下文的新方法，特别关注小说分析中的长共指链、短共指链和独立元素，以获得更可解释和信息量更丰富的结果。这有助于更细致地衡量模型在文学等复杂场景下的表现。
Q&A
基于seq2seq的指代消解系统在CoNLL-2012上取得了什么成绩？
使用多语言T5作为底层语言模型，在CoNLL-2012数据集上获得了83.3的F1-score，远高于之前的最优结果。
GPT-2等大模型在共指消解任务上表现如何？
GPT-2和GPT-Neo可以返回有效的答案，但其识别共指提及的能力受到提示敏感性的限制，导致结果不一致。
新提出的文学数据集有什么特点？
包含100部英文小说的29,103个指代注释，涵盖210,532个标记，文档平均长度为2,105.3个单词，是其他基准数据集的四倍长，并包含文学中常见的难度指代问题示例。
机器翻译模型学习共指消解的能力如何？
单语共指消解模型的性能远远优于机器翻译模型。
在预训练语言模型中，如何利用指代信息提升性能？
在微调阶段明确加入指代信息的方法比在预训练中加入指代信息的方法表现更好，例如在预训练模型后添加额外的编码器层以关注实体的指代提及或构建关系图卷积网络来建模实体间的关系。
零样本提示在无监督共指消解中表现如何？
零样本提示优于当前的无监督共指系统，并展示了指令调整语言模型在领域适应、跨语言和跨时期方面的强大零样本泛化能力，以及高质量提及检测系统的重要性。
