在训练的哪个阶段，代码数据对 LLMs 的推理有帮助？

使用代码数据在预训练和指令调整阶段可以显著增强大型语言模型的推理能力，同时动态混合代码和文本数据有助于逐步学习推理能力。

本研究测试了几种大型语言模型在解决认知科学文献中的演绎推理问题方面的能力，发现它们的传统形式上的解决能力有限。实验探究了更改展示格式和内容是否能改善模型性能，但总体性能并未提高。研究还发现LLMs具有独特的推理偏见，只能部分预测人类的推理表现。

大型语言模型 性能 推理偏见 演绎推理问题 预测
原文中文，约300字，阅读约需1分钟。发表于：。
阅读原文
分享给好友