本研究探讨了语言模型中标记粒度对惊讶度预测的影响，提出了一种新方法。结果表明，标记粒度显著影响预测能力，尤其是8,000词汇量的标记最具预测性，对认知建模应用具有重要意义。

本文提出了一种利用BERT模型在多步问题回答中维护推理过程的方法。研究表明，LLMs在多跳问答中具备推理能力，但推理思路的准确性与答案的准确性存在差异。通过新算法优化多跳推理的时间效率，展示了其在知识图谱查询中的优越性能，并探讨了LLMs的推理策略及其认知建模的意义。