POMP: 低资源无监督神经机器翻译中基于概率的元图提示器
内容提要
该文综述大语言模型在机器翻译中的提示方法研究：DiPMT利用双语词典提示解决低资源与领域迁移中的生僻词翻译；翻译记忆提示显著提升翻译效果；无监督提示改善低资源语言摘要；系统评估多语言模型优劣；MAPS框架以关键词、主题和示例提示减少幻觉；Eval4NLP共享任务显示提示方法可媲美先进指标；上下文学习与微调可消解语义歧义；示例质量是翻译提示的关键。
延伸解读
提示方法在低资源翻译中的针对性改进
文章指出，DiPMT利用双语词典先验知识提供提示，专门解决大语言模型在低资源机器翻译和领域迁移中难以翻译生僻词的问题。这表明，在数据稀缺场景下，引入外部词典知识作为提示，能有效弥补模型自身知识的不足，提升翻译性能。
翻译记忆提示的潜力与条件
文章提到，使用翻译记忆作为提示是一种有前途的上下文学习方法。实验证明，高质量的翻译记忆提示能大幅改善预训练大语言模型的翻译结果，甚至可与使用大规模领域内双语数据并针对下游任务调整的NMT系统相媲美。但效果高度依赖翻译记忆的质量。
多语言评估揭示模型差异与工作方式
文章系统评估了XGLM、OPT、BLOOMZ和ChatGPT在102种语言上的翻译性能，发现大语言模型在多语言机器翻译中具有一些新的工作方式。这提示读者，不同模型在多语言场景下表现各异，需根据具体语言对和任务特点选择合适模型。
示例质量是提示翻译的关键因素
文章在探究PaLM的翻译能力时，研究了选择翻译示例的各种策略，并得出结论：示例的质量是最重要的因素。通过优化提示，PaLM的翻译性能虽令人印象深刻，但仍落后于最先进的监督系统。这说明提示设计需优先保证示例质量。
Q&A
DiPMT 方法如何解决低资源机器翻译中生僻词翻译困难的问题？
DiPMT 利用双语词典的先验知识提供提示，从而有效解决 LLM 在低资源机器翻译和领域转移情况下难以翻译生僻词的问题，实验表明能提高 LLM 的翻译性能。
使用翻译记忆作为提示对机器翻译效果有什么影响？
利用翻译记忆作为提示是一种有前途的上下文学习方法，LLM 的‘理解’提示能力有助于更好地利用翻译记忆，高质量的翻译记忆提示可以大大改善预训练 LLM 翻译器的结果，甚至能与使用大规模领域内双语数据并针对下游任务调整的 NMT 系统相媲美。
MAPS 框架是如何减少机器翻译中的幻觉错误的？
MAPS 框架通过多方面提示和选择，使用 LLM 分析源文本获取三个翻译相关的知识方面：关键词、主题和相关演示，并通过质量估计机制过滤噪音和无用知识来指导翻译过程，从而减少幻觉错误。
大型语言模型在多语言机器翻译中的表现如何？
研究系统评估了 XGLM、OPT、BLOOMZ 和 ChatGPT 在 102 种语言上的性能，发现 LLM 在多语言机器翻译中具有一些新的工作方式，既有优势也面临挑战。
在机器翻译提示中，示例的质量有多重要？
示例的质量是最重要的因素。研究发现，考虑到示例的质量是选择翻译示例策略中的关键，通过优化提示，PaLM 的翻译性能虽然令人印象深刻，但仍落后于最先进的监督系统。
如何利用大型语言模型解决机器翻译中的语义歧义问题？
通过上下文学习和在精心策划的歧义数据集上微调两种改进方法，在五种语言方向中有四种能够匹敌或胜过 DeepL 和 NLLB 等最先进的系统，为有效利用 LLM 进行歧义消解提供了见解。
