ParaFusion：添加高质量词汇和句法多样性的基于大规模 LLM 驱动的英语改写数据集
内容提要
本文介绍了ParaAMR和ParaBank等同义句数据集的创建及其在自然语言处理中的应用潜力。通过神经机器翻译生成多样化句子，实验表明这些方法在保持语义和语法正确性方面表现优异，尤其在多语言环境中。此外，新提出的多语言词汇简化方法和Para-Ref评估方法显著提高了翻译质量和评估相关性。
延伸解读
从ParaAMR到ParaBank：同义句数据集的演进
文章梳理了同义句数据集的发展脉络：ParaAMR通过抽象意义表示生成句法多样的同义句，ParaBank则利用神经机器翻译和词汇约束生成高质量英语释义。两者都旨在为NLP任务提供丰富的语义知识，但ParaAMR强调句法多样性，ParaBank侧重词汇多样性。这种演进反映了同义句生成从单一目标向多维度发展的趋势。
多语言词汇简化：零样本翻译的新思路
文章提出一种多语言词汇简化方法，将释义任务视为多语言神经机器翻译中的零样本翻译，通过集中于复杂词词汇变体的解码策略生成替代词。实验表明，该方法在英语、西班牙语和葡萄牙语上优于基于BERT的方法和零样本GPT3方法，且无需针对每种语言单独训练模型，为多语言环境下的词汇简化提供了高效解决方案。
Para-Ref：提升自动评估与人工评估的相关性
Para-Ref利用大型语言模型对现有自然语言生成评估基准进行重新创作，生成多个高质量参考文本。在机器翻译、文本摘要和图像标题等任务中，该方法使人工评估结果与16种自动评估指标之间的相关度提高了7.82%。这表明通过LLM增强参考文本的多样性，可以有效缩小自动评估与人类判断之间的差距。
PARANMT-50M：大规模同义句资源的应用价值
PARANMT-50M通过神经机器翻译将大型平行语料库的非英语部分翻译为英语，生成超过五千万个英语同义句。该数据集不仅可用于同义句生成，还能提供丰富的语义知识以改善下游自然语言理解任务。文章提到，使用PARANMT-50M训练的同义句嵌入在SemEval语义相似度比赛中胜过所有监督系统，展示了大规模同义句资源在语义表示学习中的潜力。
Q&A
ParaAMR是什么，它的主要用途是什么？
ParaAMR是通过抽象意义表示创建的大规模同义句数据集，主要用于自然语言处理应用。
ParaBank与ParaAMR有什么区别？
ParaBank是一个大规模的英语释义数据集，主要用于句子改写任务，而ParaAMR则侧重于通过抽象意义表示生成同义句。
新提出的多语言词汇简化方法有什么优势？
这种方法在保持句子意义的同时，提供了词语选择的多样性，显著提高了翻译质量。
Para-Ref方法如何提高自然语言生成评估的相关性？
Para-Ref通过利用大型语言模型生成多个高质量参考文本，使人工评估与自动评估指标之间的相关度提高了7.82%。
PARANMT-50M数据集的特点是什么？
PARANMT-50M是一个大规模同义句数据集，提供丰富的语义知识，能够改善下游自然语言理解任务。
如何通过神经机器翻译生成多样化句子？
通过使用beam search生成多个候选翻译样本，选择词汇最多样化的一对生成句式相似的句子。
