清华大学的研究人员在Nature杂志上发表了一篇关于使用光学系统进行神经网络训练的论文。他们提出了一种全前向模式（FFM）的训练方法，通过光学系统直接执行训练过程，克服了传统基于数字计算机模拟的限制。研究人员通过实验证明，FFM方法具有高准确率、高分辨率的聚焦能力，并且可以在散射介质中实现并行成像视线之外的物体。此外，FFM方法还可以自动搜索非厄米特系统中的异常点。

本文探讨了随机放缩和动量方法在非光滑非凸优化中的应用，特别是在神经网络训练中的影响。研究表明，使用指数分布的随机缩放更新可以优化复杂的损失函数，提高收敛性。同时，随机动量算法能够更快地逃离鞍点，理论分析验证了其有效性。

ASIC是专门用于执行特定任务的芯片，具有低功耗和高性能。谷歌的TPU是用于神经网络训练的ASIC芯片。英特尔、IBM和三星等公司也在研究和投资ASIC芯片。FPGA是可重构的芯片，适合产品原型开发和设计迭代。ASIC和FPGA的区别在于功能灵活性。从性能、功耗和时延来看，ASIC和FPGA优于CPU和GPU。然而，由于成本和开发周期的原因，GPU在AI计算中仍占主导地位。

研究人员引入了一种方差控制的自适应采样（VCAS）方法，通过使用细粒度的分层重要性采样和杠杆得分采样，在神经网络训练中加快了训练过程并降低了计算量。在多个任务中评估后发现，VCAS可以减少最高达73.87%的BP计算量和49.58%的整个训练过程计算量，同时保持准确性。

该研究发现神经网络训练中的权重奇异值分解存在一个稳定的正交基。基于此，提出了一种新的训练方法OIALR，可以无缝集成到现有的训练工作流中，准确度损失最小，超越传统训练设置。

非可微性对神经网络训练的影响有三个方面：连续可微的网络收敛速度更快，深度学习求解器对$L_{1}$正则化问题的解是错误的，凸性非光滑的Lipschitz连续函数显示不稳定的收敛。研究结果表明，在训练过程中考虑神经网络的非线性是关键。

该文章介绍了一种新的神经网络训练方法，使用APTS和可并行化的加法域分解方法。该方法在TR框架上构建，全局收敛到最小化器，无需超参数调优。通过实验证明了APTS训练方法的能力、优势和局限性，并与其他方法进行了比较。

研究发现，神经网络训练中的设计选择会影响隐藏表示中的聚类。预训练模型在聚类时表现更好，尤其是预先训练于子类标签的模型。视觉变换器的子类聚类能力比 ResNet 低。

该文介绍了一种新颖的自我推测解码推理方案，用于加速大型语言模型，无需辅助模型。该方法通过草稿和验证两个阶段的过程来实现，不需要额外的神经网络训练和内存占用，加速比最高可达1.73倍。

该研究使用隐马尔可夫模型和GPU加速的前向后向算法进行神经网络训练，结果表明转移模型训练对识别性能没有提高，但对齐质量有积极影响，生成的对齐可用于维特比训练。