GPT 模型中上下文学习翻译的解剖
原文中文,约300字,阅读约需1分钟。发表于: 。通过高质量、领域内示范的扰动,我们发现源端的扰动对翻译质量影响较小,而目标端的扰动可以极大地降低翻译质量,这表明输出文本分布在上下文学习翻译中提供了最重要的学习信号。我们提出了一个名为 Zero-Shot-Context 的方法,可以自动地在零样本提示中添加此信号,我们证明它提高了 GPT-3 的零样本翻译性能,甚至使其与少样本提示的翻译性能有竞争力。
研究发现,目标端扰动对翻译质量影响大,上下文学习提供重要信号。Zero-Shot-Context方法可自动添加信号,提高GPT-3零样本翻译性能,与少样本提示有竞争力。