利用统计物理方法研究了生成性扩散模型的动力学阶段，分化和坍塌转变揭示了数据结构和动力学轨迹被吸引到记忆的数据点。通过谱分析和额外熵估计可以找到分化和坍塌时间，高斯混合模型的解析解验证了这些结果。

本文介绍了一种采用可计算的信息理论模型的深度学习模型，通过统计物理方法导出熵和互信息，设计了实验框架用于训练和验证该模型，并研究了其学习过程中的行为。压缩和泛化之间的关系仍不明确。