本文探讨了transformers在整数算术和长序列泛化中的挑战，提出了训练集引导方法以改善乘法性能。研究表明，修改位置编码和数字格式化能提升模型在加法和乘法中的表现，且无需大量数据。大型语言模型在算术任务中表现出色，但在常识推理上仍有局限，需专门训练以应对符号复杂度。