本研究实证检验了自然语言中的层级结构与幂律的关系，发现现有观点缺乏支持，尤其在句法结构上不成立，结果表明需重新思考幂律与层级结构的相关性。

本研究提出LingGen方法，解决受限控制文本生成中的属性控制精度不足问题。LingGen通过动态P-MASKING策略，提高多属性生成任务的准确性和流畅性，展示了在多语言属性控制中的应用潜力。

LLMA是一种加速大型语言模型推理的技术，通过选择参考文本和复制标记实现计算并行性，速度提升超过2倍。研究还提出了混合方法和LLM-Streamline，通过剪枝和轻量化训练提高效率，减少性能损失。此外，LLM2Vec方法将解码器模型转化为强大文本编码器，展示了在多项任务中的优越性能。文章综述了大规模语言模型的优化方法，并探讨了未来研究方向。

本文研究了神经缩放规律，解决了理论理解不足的问题。通过应用统计力学的方法，分析了双层神经网络中的泛化误差与具有幂律谱的数据协方差矩阵之间的关系。研究发现，当数据协方差矩阵呈幂律谱时，收敛行为从指数型转变为幂律型，优化学习性能具有重要的实际意义。

通过高斯过程和统计物理学的理论方法，研究者们得出了关于内核回归广义性能的分析表达式，适用于具有广泛神经网络的情况。他们发现随着训练集大小的增长，核机和神经网络逐渐适应目标功能的更高频谱模式。通过模拟合成数据和MNIST数据集，他们验证了这一理论。

前几天读了《复杂》。对复杂学的研究，在人工智能重获热度的今天，似乎获得了新的意义——当然，我们还是不知道炼金术的大锅里面发生了什么。 幂律分布/Zipf定律/帕累托法则/80-20定律/whatever，本质上是同一种东西。这种分布模式和正态分布类似，广泛存在于大自然和人造物的各个角落。一般来说，对于具有： 优先连接性（Preferential...