通过分析代码标记的丢失分布,发现代码标记可分为难以预测的具有挑战性的标记和容易推测的自信标记。提出了一种简单而有效的方法:自适应温度采样(AdapT sampling),通过在解码不同的标记时动态调整温度系数。在不同规模的LLMs上应用AdapT采样,并在两个常用数据集上进行评估,结果表明AdapT采样优于最先进的解码策略。
完成下面两步后,将自动完成登录并继续当前操作。