通过多跳问答数据集和伪指导调整实现大型语言模型的鲁棒性时序推理

BriefGPT - AI 论文速递 · 2023-11-16T00:00:00Z

本论文通过构建MenatQA来评估大型语言模型在时间理解和推理能力方面的表现，并测试了不同参数大小的主流LLMs。结果表明，大多数LLMs在处理时间因素时不如更小的时间推理模型，并且对时间偏差的敏感度较高，且严重依赖于问题中提供的时间信息。本文还探索了通过具体提示和外部工具来改进LLMs的潜在策略，为未来的研究提供了有价值的基准或参考。