麻省理工学院等研究团队开发的CompreSSM方法在训练过程中压缩人工智能模型，避免了传统方法的性能损失。该方法通过控制理论识别模型的重要部分，提前剔除无用组件，使模型训练更小更快。研究显示，压缩模型在图像分类任务中保持了接近原始模型的准确性，训练速度提高了1.5倍。CompreSSM为现代状态空间模型的压缩提供了理论基础，未来有望成为标准方法。

研究表明，AI Agent驱动的合成数据生成技术能够高效构建高质量训练数据集，降低成本并提升训练速度，解决极端场景问题，标志着合成数据进入2.0时代。

研究人员开发了一种新方法，通过训练较小模型预测大型语言模型（LLMs）的输出，显著加速训练速度，节省计算资源。测试结果显示，训练速度提高了70%至210%，同时保持准确性。这项研究有望降低高级LLMs的开发成本和能耗。

本文探讨了超参数转移在大型模型训练中的重要性，提出了一种完整参数化方法，统一了宽度、深度、批量大小和训练时长的缩放。研究表明，适当的参数化可以显著提高大型语言模型的训练速度。

modded-nanogpt 是一个优化 NanoGPT 模型训练速度的项目，利用 8 块 NVIDIA H100 GPU 将训练时间从 45 分钟缩短至 3 分钟，数据量减少至 0.73B tokens。该项目采用现代架构和多种加速技术，并提供 Docker 支持以简化环境配置。

CAR-Flow是一种条件感知重参数化方法，旨在通过调整源和目标分布来优化流匹配，从而缩短模型学习的概率路径，加快训练速度。在低维合成数据和高维自然图像数据（如ImageNet-256）上，CAR-Flow显著提高了性能，减少了FID值，同时仅增加了不到0.6%的参数。

MoMoE（内存优化的专家混合模型）通过结合Triton内核和优化内存布局，显著提高了混合专家模型的训练和推理速度及内存效率。与现有开源实现相比，MoMoE在前向和反向传递中具有更高的吞吐量和更低的内存消耗，适合大规模训练和推理。该实现允许用户灵活选择内存与计算的权衡，推动了专家混合模型的高效应用。

深度学习训练速度主要受内存瓶颈和计算瓶颈的限制，前者是内存访问时间，后者是计算时间。

何恺明与Yann LeCun合作提出了一种新型Transformer架构Dynamic Tanh（DyT），可替代传统归一化层。DyT通过可学习参数实现输入的非线性压缩，实验结果显示其在多项任务中表现优于或等同于传统方法，且无需调整超参数，具有提升训练和推理速度的潜力。

研究表明，扩大词汇量能提升语言模型性能。采用“过度分词”策略优于传统方法，且随着模型规模增大，词汇扩展的好处也随之增加。该方法提高了20%的训练速度，且质量保持不变，适用于多种语言和任务。

FastBiEncoder是一种新型双向变换模型，训练和推理速度比BERT快4倍，内存使用减少75%，支持最长8K标记的上下文窗口，且准确性与传统模型相当。