大型语言模型中将翻译特定理解、一般理解对齐
内容提要
该文综述多项研究：通过跨语言语义对齐与指令微调提升大模型非英语能力，在六种语言上显著超越英语模型；提出ALMA翻译器、Instruct-Align框架及X-InSTA提示策略；系统评估大模型在多语言机器翻译中的优势与挑战，并探索歧义消解与术语翻译改进。
延伸解读
跨语言语义对齐是提升非英语能力的核心
文章多次强调，通过建立语言间的语义对齐，可以显著增强大模型在非英语语言上的表现。例如，使用非英语训练数据，并在六种语言上超过英语模型42.50%，在汉语人文任务上超过8.2%。这表明，单纯增加英语数据并非最优路径，促进跨语言语义空间的一致性，是释放多语言潜力的关键。
翻译指令与数据规模共同强化对齐效果
研究发现，将非英语文本作为翻译数据的目标端特别有效，且随着翻译任务数据规模的扩大，模型内部的语义对齐会进一步加强。这意味着，翻译任务不仅是应用场景，更是训练手段。通过翻译指令微调，模型能更好地理解语言间的对应关系，从而提升多语言问答等下游任务的表现。
多语言机器翻译的优势与挑战并存
文章系统评估了大型语言模型在102种语言上的机器翻译性能，发现其具有一些新的工作方式，但也面临挑战。同时，在歧义消解任务中，通过上下文学习和微调，模型在五种语言方向中的四种能够匹敌或胜过DeepL和NLLB等先进系统。这提示我们，大模型在翻译特定难点上已有竞争力，但需针对性地设计提示或微调策略。
低资源语言与灾难性遗忘的应对思路
Instruct-Align框架通过对称对齐的跨语言指令调整，使大模型能有效学习新语言，并通过经验重现防止灾难性遗忘，从而将低资源语言纳入现有模型。这为扩展模型的语言覆盖范围提供了可操作的方法，尤其对于资源稀缺的语言，避免了对模型原有能力的破坏，具有实际部署价值。
Q&A
如何提升大语言模型在非英语语言上的指令遵循能力？
可以通过在语言模型中建立跨语言语义对齐，并结合交叉语言指导和翻译指导演示来增强指令调整型大语言模型（It-LLMs）的非英语能力。该方法在六种不同语言的多语言问答基准测试中验证了有效性。
ALMA翻译器是什么？它在机器翻译上表现如何？
ALMA是一种面向翻译任务的先进语言模型翻译器，通过新的微调方法设计。在WMT'21和WMT'22测试数据集上，相比之前的工作和具有7B或13B参数的模型，ALMA有显著性能提升，为机器翻译领域的新训练范式奠定了基础。
Instruct-Align框架如何让大语言模型学习新语言并避免灾难性遗忘？
Instruct-Align框架通过对称对齐方法的跨语言指导调整，使大语言模型能有效学习新语言，同时通过经验重现防止灾难性遗忘，并能将低资源语言纳入现有的大语言模型中。
大型语言模型在多语言机器翻译中有哪些优势和挑战？
该研究系统评估了XGLM、OPT、BLOOMZ和ChatGPT四种模型在102种语言上的性能，发现大型语言模型在多语言机器翻译中具有一些新的工作方式，同时也面临挑战。
X-InSTA提示策略是什么？它在跨语言文本分类中效果如何？
X-InSTA（Cross-lingual In-context Source-Target Alignment）是一种用于跨语言文本分类的prompt构建策略，通过in-context learning解决跨语言问题，在44个不同的跨语言数据集上表现出了很好的性能。
如何利用大语言模型解决机器翻译中的语义歧义？
研究提出了两种改进方法：通过上下文学习和在精心策划的歧义数据集上微调。在五种语言方向中有四种能够匹敌或胜过DeepL和NLLB等最先进的系统，为将大语言模型有效用于歧义消解的机器翻译提供了有价值的见解。
在WMT 2023术语共享任务中，如何提高机器翻译的术语使用率？
通过使用大型语言模型生成二语合成数据，并将预批准术语整合入机器翻译中，在德英、英捷和中英语言对上成功提高了术语的使用率。
