BriefGPT - AI 论文速递
·
解决文档级神经机器翻译中的长度偏差问题
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
研究了标签平滑对神经机器翻译中波束搜索解码的影响，发现翻译长度受到上限约束。通过修正函数恢复了标签平滑模型的无偏分布，实验证明该方法在多个任务中都有质量改进。
🎯
关键要点
- 标签平滑在神经机器翻译中提供正则化效果，但对波束搜索解码产生长度偏差。
- 翻译长度受到独立于输入的固定常量的隐含上限约束。
- 通过应用修正函数恢复标签平滑模型的无偏分布，验证了理论。
- 该校正方法在多个任务中产生一致的质量改进，波束大小为4时最高可达+0.3 BLEU，波束大小为200时可达+2.8 BLEU。
➡️
