大语言模型的准随机多样本推断

本研究针对大语言模型在多样本解码策略中的效率问题，提出了一种新颖的算术采样方法。通过与传统的祖先采样进行对比，发现算术采样能够生成更具多样性的样本，从而在推理和翻译任务中显著提高表现，尤其是在GSM8K和WMT19任务上，准确率和COMET评分均有明显提升。