本研究解决了大模型生成文本的自相关性与人类写作文本之间的定量差异问题。通过将自相关性衰减与物质状态相联系，提出了一个新的框架，说明大模型在不同温度参数下生成的文本可以分别归类为固态、临界态或气态。研究结果对理解大模型生成的文本特性具有重要影响。

本研究针对大型语言模型（LLMs）在训练过程中出现的突发性相变现象进行了分析，尤其是在新能力的出现上。通过探讨LLMs与人脑的相似性、内部状态及下游任务表现，提出了对LLMs学习动态的新解释，揭示出训练过程中常见的三次相变现象。这些发现为理解LLMs的学习机制提供了新视角，并为人工智能与神经科学的跨学科研究开辟了新方向。

本研究探讨了大型语言模型在扩展行为中的相变现象，重新表述了Transformer架构，发现与文本生成温度和模型参数大小相关的两个显著相变。这些发现有助于估计模型内部维度，并揭示新能力的出现。

通过研究能量驱动的生成模型RBM中的特征编码过程，我们发现了与经验概率分布的主要模式的渐进学习相关的相变现象。在高维极限下，学习导致了尖锐相变。

本文介绍了一种等变规范神经网络量子态的方法，旨在模拟具有局部规范不变性的多体量子系统。结合变分量子蒙特卡罗方法，获得Z2理论的基态波函数，并探讨相变。研究表明，神经网络能够有效表征量子态，揭示拓扑相变及强相互作用的影响，展示了机器学习在量子物理中的应用潜力。

本文探讨了物理知识神经网络（PINNs）的训练机制，提出了一种无需梯度加权的加速收敛方法，并研究了损失函数的作用。通过引入新的优化器MultiAdam和二阶优化器NysNewton-CG，显著提升了预测精度。研究表明，结合一阶和二阶优化方法有助于改善PINNs在解决偏微分方程中的表现。

通过实验证明了一个简单的架构能够学习实现解决方案，使用定位机制或语义机制，同时研究了可训练的相同结构和低秩的非线性自注意层的学习情况，并在高维数据和大量训练样本的极限情况下提供了对于全局最小非凸经验损失函数的闭合描述，揭示了随着样本复杂度的增加，从定位机制到语义机制的出现性阶段转变，并通过与线性定位基准的比较证明了点乘注意层使用语义机制在具备足够数据的情况下的优越性。

本文研究了稀疏极限下估计被高斯噪声污染的排名为一的矩阵的统计和计算限制，证明了渐近互信息的显式低维变分公式，并分析了稀疏状态下的近似消息传递算法。在伯努利和伯努利-拉德马赫分布向量中，当稀疏度和信号强度满足适当比例关系时，发现渐近最小和算法均方误差的全有或全无相变。

UIUC的Prashant Jain在arxiv上上传了一篇新论文，研究了硫化铜对LK-99超导性的影响。LK-99是一种改性铅磷灰石材料，声称具有环境温度和压力超导性。然而，合成的多晶材料中含有大量硫化铜(I)，而硫化铜(I)已知在104摄氏度时发生相变。这种相变导致硫化铜(I)的电阻率和热容急剧变化，与LK-99报告的温度变化一致。因此，为了明确验证LK-99的超导特性，合成LK-99的材料必须不含硫化铜。

今天把两年老古董笔记本打理了一下，清灰、换硅脂，并加了块固态。