mbrs：最小贝叶斯风险解码库
内容提要
本文探讨了神经机器翻译中的偏差问题及其在域偏移和样本干扰下的脆弱性，提出最小贝叶斯风险解码（MBR）作为解决方案。研究表明，尽管存在长度和频率偏差，MBR能够提高模型的鲁棒性，适应样本干扰和域偏移。此外，提出了一种基于模型的MBR方法（MBMBR），在多个文本生成任务中表现优于传统MBR，并通过新算法提升了解码速度和翻译质量。
延伸解读
MBR 的核心思想与优势
最小贝叶斯风险解码（MBR）不选择概率最高的输出，而是选择预期风险最低的候选。这种方法在神经机器翻译中能提升模型对域偏移和样本干扰的鲁棒性，尽管仍存在长度和频率偏差。MBR 为多种现有方法提供了统一的理论框架，并推动了后续改进。
MBMBR：基于模型的改进
基于模型的 MBR（MBMBR）使用模型自身的概率分布作为估计，替代传统的蒙特卡洛估计。理论和实验表明，模型估计优于蒙特卡洛估计，在编码-解码模型和大型语言模型等多种文本生成任务中，MBMBR 的表现均优于传统 MBR。
效率与多样性的平衡
后续研究通过置信度剪枝、顺序减半和矩阵完成等技术，在保持翻译质量的同时减少计算开销。此外，DMBR 和 KMBR 等多样化 MBR 算法通过引入多样性目标，在多个文本生成任务中更好地平衡了输出质量和多样性。
Q&A
最小贝叶斯风险解码（MBR）是什么？
最小贝叶斯风险解码（MBR）是一种选择机器学习系统输出的方法，基于多个候选项中具有最低风险（预期误差）的输出，而不是基于最高概率的输出。
MBR如何提高模型的鲁棒性？
MBR通过对抗长度和频率偏差，增强了模型对样本干扰和域偏移的适应能力，从而提高了模型的鲁棒性。
什么是基于模型的MBR方法（MBMBR）？
基于模型的MBR方法（MBMBR）使用模型概率作为概率分布的估计值，在多个文本生成任务中表现优于传统MBR。
DMBR和KMBR算法的目的是什么？
DMBR和KMBR算法旨在通过引入多样性目标，生成高质量和多样化的句子集合，以解决生成文本系统中的多样性挑战。
如何提高MBR解码的速度？
采用基于质心的MBR方法可以提高解码速度，并在翻译质量上超过标准MBR解码方法。
矩阵完成技术在MBR解码中有什么应用？
矩阵完成技术被用于将MBR解码视为矩阵完成问题，提出了一种新的逼近MBR解码的方法，实验证明其在机器翻译任务中具有较高的效率。
