清华大学的研究人员在Nature杂志上发表了一篇关于使用光学系统进行神经网络训练的论文。他们提出了一种全前向模式（FFM）的训练方法，通过光学系统直接执行训练过程，克服了传统基于数字计算机模拟的限制。研究人员通过实验证明，FFM方法具有高准确率、高分辨率的聚焦能力，并且可以在散射介质中实现并行成像视线之外的物体。此外，FFM方法还可以自动搜索非厄米特系统中的异常点。

该论文介绍了一种新的分布式深度学习方法，利用Geoffrey Hinton的Forward-Forward（FF）算法增强神经网络训练。该方法采用双向传递策略进行前向传递，提供更有效和符合生物学原理的神经网络训练方法。研究重点关注FF算法在分布式环境中的实现，以减少训练时间和资源消耗。该方法有潜力成为分布式深度学习系统中的变革性工具，提高训练效率。

ASIC是专门用于执行特定任务的芯片，具有低功耗和高性能。谷歌的TPU是用于神经网络训练的ASIC芯片。英特尔、IBM和三星等公司也在研究和投资ASIC芯片。FPGA是可重构的芯片，适合产品原型开发和设计迭代。ASIC和FPGA的区别在于功能灵活性。从性能、功耗和时延来看，ASIC和FPGA优于CPU和GPU。然而，由于成本和开发周期的原因，GPU在AI计算中仍占主导地位。

本文调查了大规模神经网络训练的实际能耗，并介绍了BUTTER-E数据集。研究分析了数据集大小、网络结构和能量消耗之间的复杂关系，并提出了一个能量模型。文章挑战了参数或FLOP减少是实现更高能效的最佳方法的假设，并建议在网络、算法和硬件设计上采用综合方法来实现能量效率。

研究人员引入了一种方差控制的自适应采样（VCAS）方法，通过使用细粒度的分层重要性采样和杠杆得分采样，在神经网络训练中加快了训练过程并降低了计算量。在多个任务中评估后发现，VCAS可以减少最高达73.87%的BP计算量和49.58%的整个训练过程计算量，同时保持准确性。

该研究发现神经网络训练中的权重奇异值分解存在一个稳定的正交基。基于此，提出了一种新的训练方法OIALR，可以无缝集成到现有的训练工作流中，准确度损失最小，超越传统训练设置。

非可微性对神经网络训练的影响有三个方面：连续可微的网络收敛速度更快，深度学习求解器对$L_{1}$正则化问题的解是错误的，凸性非光滑的Lipschitz连续函数显示不稳定的收敛。研究结果表明，在训练过程中考虑神经网络的非线性是关键。

该文章介绍了一种新的神经网络训练方法，使用APTS和可并行化的加法域分解方法。该方法在TR框架上构建，全局收敛到最小化器，无需超参数调优。通过实验证明了APTS训练方法的能力、优势和局限性，并与其他方法进行了比较。

研究发现，神经网络训练中的设计选择会影响隐藏表示中的聚类。预训练模型在聚类时表现更好，尤其是预先训练于子类标签的模型。视觉变换器的子类聚类能力比 ResNet 低。

该文介绍了一种新颖的自我推测解码推理方案，用于加速大型语言模型，无需辅助模型。该方法通过草稿和验证两个阶段的过程来实现，不需要额外的神经网络训练和内存占用，加速比最高可达1.73倍。

该研究使用隐马尔可夫模型和GPU加速的前向后向算法进行神经网络训练，结果表明转移模型训练对识别性能没有提高，但对齐质量有积极影响，生成的对齐可用于维特比训练。