从词语到世界：认知架构的组合性
原文中文，约1300字，阅读约需3分钟。
📝
内容提要
大型语言模型在认知研究中表现出复杂的认知行为，但在数学推理和组合性处理上仍存在挑战。研究表明，尽管模型具备相关知识，但无法自发组合以解决新问题。通过改进方法，如自然语言提示和微调，可以部分缓解这一缺陷。未来研究应关注模型的功能组合性和零样本泛化能力。
🔎
延伸解读
组合性缺陷的实证证据
文章通过MathTrap数据集和1,500个测试案例等研究，具体展示了大型语言模型在组合性处理上的不足。例如，模型虽具备解决新问题所需的知识组件，却无法自发组合运用，这揭示了当前模型在数学推理和系统组合性方面的根本局限。
缓解策略与效果
针对组合性缺陷，文章提到自然语言提示、少示范演示和微调等方法可以部分减轻问题。此外，人工引导的工具操作框架（HTM）在复合泛化基准测试中取得了最先进性能，并在最具挑战性测试中优于现有方法70%，表明外部引导能有效提升组合能力。
功能组合性与泛化挑战
文章指出，当前预训练语言模型（如GPT-2和T5）尚未具备功能组合性，远未达到人类级别的泛化能力。零样本功能组合是未来研究方向，而神经机器翻译的组合性评估也需重新思考，这强调了模型在真实数据中泛化的困难。
❓
Q&A
大型语言模型在数学推理方面存在哪些挑战？
大型语言模型在数学推理方面无法自发组合知识来解决新问题，尽管它们具备相关知识的组成部分。
如何改善大型语言模型的组合性处理能力？
可以通过自然语言提示、少示范演示和微调等方法来部分缓解大型语言模型的组合性缺陷。
未来的研究方向应该关注哪些方面？
未来研究应关注模型的功能组合性和零样本泛化能力。
大型语言模型的功能组合性是什么？
功能组合性指的是模型能够将不同知识和技能组合起来以解决新问题的能力，目前的预训练语言模型尚未具备这一能力。
大型语言模型在处理不同语言环境下的组合关系推理表现如何？
大型语言模型在处理不同语言环境下的组合关系推理的鲁棒性和适应性仍需进一步评估。
当前的预训练语言模型与人类的泛化能力相比如何？
当前的预训练语言模型远未达到人类级别的泛化能力，仍存在显著差距。
🏷️
