本研究解决了大模型生成文本的自相关性与人类写作文本之间的定量差异问题。通过将自相关性衰减与物质状态相联系，提出了一个新的框架，说明大模型在不同温度参数下生成的文本可以分别归类为固态、临界态或气态。研究结果对理解大模型生成的文本特性具有重要影响。

本研究针对大型语言模型（LLMs）在训练过程中出现的突发性相变现象进行了分析，尤其是在新能力的出现上。通过探讨LLMs与人脑的相似性、内部状态及下游任务表现，提出了对LLMs学习动态的新解释，揭示出训练过程中常见的三次相变现象。这些发现为理解LLMs的学习机制提供了新视角，并为人工智能与神经科学的跨学科研究开辟了新方向。

本研究探讨了大型语言模型在扩展行为中的相变现象，重新表述了Transformer架构，发现与文本生成温度和模型参数大小相关的两个显著相变。这些发现有助于估计模型内部维度，并揭示新能力的出现。

提出了一种具有可微温度的变分建模方法，通过深度生成模型在连续温度范围内估计和最小化自由能，应用于研究 Ising 模型和 XY 模型中的相变，显示出相对于 MCMC 模拟更高效准确的直接采样模拟。这种方法能够以温度的可微函数给出热力学量，与精确解的自由能二阶导数非常接近，使得原来有偏差的变分模型能够捕捉到相变中的微妙热效应。这些发现为使用深度生成模型直接模拟物理系统提供了新的思路。

通过研究能量驱动的生成模型RBM中的特征编码过程，我们发现了与经验概率分布的主要模式的渐进学习相关的相变现象。在高维极限下，学习导致了尖锐相变。

基于分数的逆扩散算法生成高质量样本，证明深度神经网络能学习高维密度。降噪DNN在非重叠的数据集子集上训练，学习相同评分函数和密度，仅需少量训练图像。去噪器在适应底层图像的基础上执行收缩操作，生成几何自适应谐波表示。经过训练的去噪器在训练于低维流形等图像类别时也能生成此表示。网络在已知最优基础为几何自适应谐波的常规图像类别上训练时，去噪性能接近最优。

通过实验证明了一个简单的架构能够学习实现解决方案，使用定位机制或语义机制，同时研究了可训练的相同结构和低秩的非线性自注意层的学习情况，并在高维数据和大量训练样本的极限情况下提供了对于全局最小非凸经验损失函数的闭合描述，揭示了随着样本复杂度的增加，从定位机制到语义机制的出现性阶段转变，并通过与线性定位基准的比较证明了点乘注意层使用语义机制在具备足够数据的情况下的优越性。

本文研究了稀疏极限下估计被高斯噪声污染的排名为一的矩阵的统计和计算限制，证明了渐近互信息的显式低维变分公式，并分析了稀疏状态下的近似消息传递算法。在伯努利和伯努利-拉德马赫分布向量中，当稀疏度和信号强度满足适当比例关系时，发现渐近最小和算法均方误差的全有或全无相变。

UIUC的Prashant Jain在arxiv上上传了一篇新论文，研究了硫化铜对LK-99超导性的影响。LK-99是一种改性铅磷灰石材料，声称具有环境温度和压力超导性。然而，合成的多晶材料中含有大量硫化铜(I)，而硫化铜(I)已知在104摄氏度时发生相变。这种相变导致硫化铜(I)的电阻率和热容急剧变化，与LK-99报告的温度变化一致。因此，为了明确验证LK-99的超导特性，合成LK-99的材料必须不含硫化铜。

今天把两年老古董笔记本打理了一下，清灰、换硅脂，并加了块固态。