Thinking Machines公司发布了关于“模块化流形”的论文，旨在提升神经网络训练的稳定性和效率。研究通过对权重矩阵施加流形约束，解决训练不稳定问题，优化算法表现优于传统方法，预计将提高大型模型的训练效率。

本研究提出了一种对称的BoRA方法，解决了低秩适应中权重矩阵维度不对称的问题，从而优化了模型的适应性。实验结果表明，BoRA在多个基准测试中优于现有的微调方法。

本文研究了一种新的无训练压缩方法，称为激活感知奇异值分解（ASVD），旨在提高大型语言模型（LLMs）的压缩效率。ASVD通过调整权重矩阵管理激活异常值，能够在不损失推理能力的情况下压缩网络10%-20%。该方法与其他压缩技术兼容，展示了其灵活性。