基于密度的令牌级不确定性量化方法以引导大型语言模型的真实性

本研究解决了传统的不确定性量化方法在大型语言模型生成文本时的不足，提出了一种新的监督不确定性量化方法，以马哈拉诺比斯距离为基础，创新性地适应于文本生成。通过在多个数据集上的广泛实验，结果表明，该方法在序列级选择生成和逐条事实核查任务中显著提高了不确定性评分的准确性和计算效率，并展现出强大的领域外数据泛化能力。