CONTESTS:语言模型跨度概率一致性测试的框架
原文中文,约300字,阅读约需1分钟。发表于: 。本研究解决了语言模型在概率估计中的一致性问题,提出了一种新颖的框架ConTestS,通过统计测试评估多个完成功能和条件顺序下的分数一致性。实验结果显示,Masked Language Models和自回归模型在预测一致性上存在显著差异,尤其自回归模型的预测不一致性更为明显,这为未来的研究提供了重要的指导。
本研究提出ConTestS框架,解决语言模型概率估计中的一致性问题。通过统计测试评估,发现Masked Language Models和自回归模型在预测一致性上有显著差异,尤其自回归模型不一致性更明显。