本文研究大型预训练语言模型在符号操作任务中的能力，发现其在简单符号操作（如加法）上存在局限。提出基于位置标记和细粒度计算的方法，结果显示仍无法完全解决加法问题。同时，研究探讨了不同数字系统对模型性能的影响，发现十进制系统在数据效率上优于其他系统，为提升语言模型的数字处理能力提供新视角。

将人类专业知识提炼成规则和事实困难，神经网络擅长发现模式和接受歧义。符号操作是创建类人AI的必要特征，但与神经网络不兼容。符号操作能力是常识的基础，但也有观点认为它是后天获得的。两种观点之间存在差异，符号操作是否需要硬编码还是可以学习。