Thinking Machines公司发布了关于“模块化流形”的论文，旨在提升神经网络训练的稳定性和效率。研究通过对权重矩阵施加流形约束，解决训练不稳定问题，优化算法表现优于传统方法，预计将提高大型模型的训练效率。

本研究提出了一种对称的BoRA方法，解决了低秩适应中权重矩阵维度不对称的问题，从而优化了模型的适应性。实验结果表明，BoRA在多个基准测试中优于现有的微调方法。

我们提供了一种针对大类特征映射的紧密渐近特征错误的表征，其中输入维度、隐藏层宽度和训练样本数在高维极限下成比例增加。我们的工作部分是受到了学习具有高斯彩虹神经网络的问题的启发，即具有随机但结构化权重的深层非线性全连接网络，它们的行协方差进一步允许依赖于前层的权重。对于这样的网络，我们还推导了一种以权重矩阵为基础的特征协方差的闭合形式公式。我们进一步发现，在某些情况下，我们的结果能够捕捉到通过梯度下降训练的深度有限宽度神经网络学得的特征映射。

该研究探讨了深度神经网络训练及其与网络参数之间的复杂动力学关系。研究发现训练网络往往呈现漂移模式，沿着单一方向进行训练，并提出了指数级缓慢衰减的潜在值。通过分解权重矩阵和识别 Hessian 特征向量，揭示了网络内的参数方向。基于这些发现，提出了一种有效的策略来缓解神经网络在学习新任务时遗忘之前任务知识的挑战。