本研究提出Hephaestus-Forge，这是首个旨在提升大型语言模型（LLM）智能体基本能力的大规模预训练语料库。通过持续预训练，Hephaestus-Forge在API调用、推理和规划等任务上表现优于小中型开源LLM，并与商业LLM相当，显示出其在提升智能体能力和系统泛化方面的有效性。

该文综述多项研究，探讨Transformer在符号推理与泛化上的能力。实验显示，扰动会严重降低性能，F1可低于17%，表明推理多依赖表层模式而非深层数学理解。研究还分析嵌入与自注意力编码语义结构、逻辑推理的系统泛化，并提出改进方法以减少数据需求。