ShiftAddAug是一种使用ShiftAdd小型神经网络作为大型乘法模型的子模型进行训练的方法，通过增强操作符之间的权重差异问题，提供了更好的增强效果。在图像分类和语义分割实验中，ShiftAddAug相较于直接训练的对照组，精度提高了4.95%。

本文介绍了一种基于神经切向核函数（NTKs）的理论方法，用于研究神经网络在捕捉精确知识方面的潜在机制。研究发现激活函数的选择会影响特征提取，乘法模型在学习n元语法方面表现出色。这项研究对大型语言模型的角色和能力提供了深入理解。