本研究探讨了语言模型中标记粒度对惊讶度预测的影响,提出了一种新方法。结果表明,标记粒度显著影响预测能力,尤其是8,000词汇量的标记最具预测性,对认知建模应用具有重要意义。
完成下面两步后,将自动完成登录并继续当前操作。