MIT News - Artificial intelligence
·
识别过度自信的大型语言模型的更好方法
💡
原文英文，约1000词，阅读约需4分钟。
📝
内容提要
MIT研究人员提出了一种新方法，通过比较目标模型与类似模型的回答，识别自信但错误的响应。他们的总不确定性度量（TU）结合自我一致性和模型间不一致性，能更有效地识别不可靠的预测，尤其在唯一正确答案的任务中表现突出。
🎯
关键要点
- MIT研究人员提出了一种新方法，通过比较目标模型与类似模型的回答，识别自信但错误的响应。
- 传统的不确定性量化方法主要依赖于模型自我一致性，但可能导致过度自信的错误。
- 研究表明，使用类似模型之间的不一致性来估计知识不确定性更为有效。
- 新方法结合了自我一致性和模型间不一致性，形成了总不确定性度量（TU），在多个任务中表现优于其他方法。
- TU能够更有效地识别模型的幻觉输出，并在训练中强化正确答案。
- 研究发现，TU在处理唯一正确答案的任务时效果最佳，但在开放性任务中可能表现不佳。
- 未来研究可能会调整该技术以提高开放性查询的性能，并探索其他形式的随机不确定性。
➡️
