大型语言模型 “ad referendum”: 在法律领域的机器翻译水平如何？
内容提要
本文综述大语言模型在多语言机器翻译中的优势与挑战，评估XGLM、OPT、BLOOMZ、ChatGPT等模型在102种语言上的性能，并探讨上下文学习、低秩适配微调、文档级翻译及语义歧义消解等改进方法。研究还发现，通用大模型在法律领域表现不及专用小模型，凸显领域专业知识的重要性。
延伸解读
通用大模型在法律领域的表现局限
文章指出，通用大语言模型在法律文本处理上表现不及领域专用小模型。例如，在LexGLUE基准测试中，ChatGPT-20b、LLaMA-2-70b和Falcon-180b的零样本性能比微调过的较小模型低19.2/26.8%。这表明，尽管大模型具备丰富的语言知识，但在需要专业法律知识的任务中，缺乏领域微调会导致性能显著下降。
文档级翻译的进展与挑战
文章探讨了大型语言模型在文档级机器翻译中的应用。ChatGPT在人类评估中表现优异，但话语建模仍面临挑战。部分专用模型甚至超过GPT-4，但存在偏离翻译问题。研究还分析了翻译错误、平行文件规模关系、领域外泛化和零翻译跨语言转移等，为未来研究提供了基础。
语义歧义消解的新方法
文章研究了利用大语言模型解决机器翻译中的语义歧义问题，提出了两种改进方法：上下文学习和在精心策划的歧义数据集上微调。在五种语言方向中，有四种方法能匹敌或胜过DeepL和NLLB等最先进系统，为有效利用大语言模型进行歧义消解提供了有价值的见解。
Q&A
大型语言模型在机器翻译中主要有哪些优势和挑战？
优势包括丰富的语言知识和强大的推理能力，能处理多语言翻译、文档级翻译和语义歧义消解。挑战包括在专业领域（如法律）表现不佳、存在关键性翻译错误、话语建模困难等。
哪些大型语言模型被评估用于多语言机器翻译？评估了多少种语言？
评估了XGLM、OPT、BLOOMZ和ChatGPT四种模型，覆盖102种语言。
如何利用上下文学习提高机器翻译质量？
通过上下文学习进行实时自适应机器翻译，并结合强编码器-解码器模型和模糊匹配来进一步提高翻译质量，已在五个不同语言对上实验。
大型语言模型在文档级机器翻译中的表现如何？
ChatGPT在文档级机器翻译中人类评估表现优异，但话语建模仍面临挑战。部分专用模型性能甚至超过GPT-4，但存在偏离翻译问题。
大型语言模型在法律领域的表现如何？与专用小模型相比有何差距？
通用LLM（如ChatGPT-20b、LLaMA-2-70b、Falcon-180b）在LexGLUE基准上零样本性能比法律领域微调的较小模型低19.2/26.8%（微F1/宏F1），凸显需要更强大的法律领域LLM。
什么是GenTranslate？它有什么优势？
GenTranslate是一种新的生成式翻译范式，利用LLM的丰富语言知识和推理能力，从N个候选译文中生成更高质量的翻译结果，在语音和机器翻译基准测试中明显优于现有模型。
