神经网络作为自旋模型：通过训练从玻璃到隐藏序的转变

AnnealSGD算法是一种正则化随机梯度下降算法，通过分析深度网络的能量景观来优化损失函数。

小批量训练对两层神经网络的学习有显著影响，小批量大小小于阈值时，学生无法学习；大于阈值时，学生可以很好地泛化。

改变小批量大小可以引起相变，并提出了超参数的重要性。

研究发现，具有热噪声的模型中，学生之间的耦合可以使学习效率提高，减少所需数据量。

Dense Hopfield网络在特征学习和对抗性鲁棒性方面表现出色，揭示了教师-学生设置中的相图特征。

在Nishimori线上，训练集的临界大小对于高效模式检索至关重要，且学生的p比教师更大时，学生对噪声的容忍性更强。

通过对能量驱动的生成模型RBM的研究，揭示了特征编码过程中的一系列相变现象，模型学习模式的质心后逐步解决所有模式。

提出了一种近似对称的神经网络家族，优于现有无对称神经网络架构，能够处理量子自旋液体问题。

大型语言模型在上下文学习方面的能力与任务多样性相关，提供了理解其成功的新视角。