线性时间最小贝叶斯风险解码与参考汇聚
内容提要
最小贝叶斯风险（MBR）解码不选最高概率输出，而选预期误差最低的候选。研究提出MBMBR、AMBR、多样化DMBR/KMBR等改进，用GPU加速、置信度剪枝降低成本，在机器翻译、摘要、图像字幕中提升质量、鲁棒性与多样性，并增强对域偏移和样本干扰的适应。
延伸解读
MBR 解码的核心思想
最小贝叶斯风险（MBR）解码不选择概率最高的输出，而是选择预期误差最低的候选。这种方法在机器翻译、摘要和图像字幕等任务中，能够提升生成质量、鲁棒性和多样性。文章指出，MBR 可以统一一些近期方法，为它们提供理论依据。
效率优化与近似方法
为降低 MBR 的计算成本，研究提出了多种改进：MBMBR 使用模型概率替代蒙特卡洛估计，AMBR 通过相关顺序减半算法避免超参数调整，还有工作利用 GPU 批量计算和置信度剪枝来加速解码。这些方法在保持效果的同时减少了样本需求和效用函数调用次数。
鲁棒性与多样性增强
MBR 解码还能提升模型对域偏移和样本干扰的适应能力，尽管仍存在长度和频率偏差。此外，DMBR 和 KMBR 等多样化 MBR 算法通过引入多样性目标，在多个文本生成任务中更好地平衡了输出质量与多样性。
Q&A
什么是最小贝叶斯风险（MBR）解码？
最小贝叶斯风险（MBR）解码是一种选择机器学习系统输出的方法，它不选最高概率的输出，而是选多个候选项中具有最低风险（预期误差）的输出。
MBR解码在机器翻译中有什么优势？
MBR解码在机器翻译中能提高翻译质量，消除基于beam search算法的模型自信度导致的输出错误，并且对样本干扰和域偏移具有更好的适应能力，增加模型的鲁棒性。
有哪些改进的MBR解码方法？
改进的MBR解码方法包括：基于模型的MBR（MBMBR）、无需超参数调整的AMBR、多样化的DMBR和KMBR、以及Regularized MBR reranking framework（RMBR）等。
如何加速MBR解码？
可以通过使用GPU批量计算贝叶斯风险值来加速解码，还可以通过逐渐增加样本数来估计效用，并使用基于自助法的抽样获得的置信度估计来剪除不太可能具有最高效用的假设，从而减少样本和效用函数调用次数。
MBR解码如何提高生成文本的多样性？
通过提出多样化的最小贝叶斯风险解码算法（DMBR和KMBR），在贝叶斯风险解码中引入多样性目标，从而生成高质量和多样化的句子集合，更好地平衡质量和多样性。
MBR解码在哪些文本生成任务中表现良好？
MBR解码在机器翻译、文本摘要和图像字幕等文本生成任务中表现良好，能提升质量、鲁棒性与多样性。
