这篇文章探讨了牛顿的万有引力定律与乔姆斯基的普遍语法理论的对比，强调普通人天生的语言能力。尽管科学家们研究语言，普通小孩却能轻松生成新句子，显示出人类大脑的神奇。语言能力被视为内在的超能力，值得重视和赞美。

本研究提出了一种新方法，通过AI-牛顿系统在无监督条件下从原始数据中推导物理定律，成功重新发现牛顿第二定律、能量守恒定律和万有引力定律，标志着AI驱动的自主科学发现的重要进展。

三位普林斯顿数学家改进了经典牛顿法，提升了收敛速度和适用范围。新算法通过调整泰勒展开，更有效地处理复杂函数，尤其在初始点远离最小值时表现更佳。参与者包括华人学者Jeffrey Zhang，研究方向涵盖数据科学和优化。

斯坦福华人博士生Anqi Li在研究牛顿的亲吻数问题时，成功提高了17维空间的亲吻数下界。她采用奇数个负号的创新方法，突破了传统计算方式。此研究与通信编码纠错密切相关，推动了数学与工程的交叉发展。

本文探讨了高斯-牛顿动力学在平滑激活函数神经网络训练中的收敛性，证明了在欠参数化情况下，黎曼梯度流以指数速率收敛到最优预测器，展示了其在神经网络优化中的潜力。

本研究针对在大维设计空间中非凸和可能不光滑的目标函数进行优化的挑战，提出了一种新的随机优化算法。该方法FINDER利用非线性随机过滤方程，通过无导数更新借鉴牛顿搜索，显著提高了大维优化问题的收敛速度，其在多个实例中的表现超过了传统算法如Adam，展示了其在实际应用中的潜力。

本研究探讨了差分隐私的统计估计，提出了一种结合随机噪声的准确估计方法，并分析了隐私保护与学习性能之间的权衡。此外，研究了在拜占庭攻击下的分布式学习框架，提出了鲁棒聚合规则和基于Huber损失的均值估计方法，以确保用户隐私和模型的准确性。

本文提出了多种新型联邦学习框架，利用随机稀疏化、梯度扰动和Renyi差分隐私等技术，增强隐私保护并提高通信效率。实验结果表明，这些方法在隐私保护和模型准确性方面优于现有技术，同时降低了通信和能源成本。

本文提出了一种基于子采样的立方正则化牛顿方法，旨在降低计算复杂度并确保全局收敛性。研究表明，该方法在非凸优化问题中表现优越，尤其在高维情况下收敛速度快。通过随机变体和自适应方差调整，优化了算法的效率，并成功应用于机器学习问题。

本文探讨了机器遗忘技术，提出多种高效删除训练数据影响的方法，以确保数据隐私。采用牛顿迭代和随机梯度下降等技术，实验结果表明这些方法在时间和内存成本上优于传统重训练，同时保持模型的准确性。

该研究提出了一种新的低秩矩阵恢复方法，采用非平滑惩罚形式，克服了传统方法的病态问题，具有自适应性和鲁棒性。数值实验表明，该方法在相位恢复、盲卷积和矩阵补全等任务中表现优越。此外，介绍了结合坐标下降和半光滑牛顿算法的SNCD算法，解决高维回归问题，展示了其高效性和可扩展性。

本文提出了一种加速的拟牛顿近端外推算法（A-QPNE），用于解决无约束光滑凸优化问题，并证明其收敛速度优于NAG算法。此外，研究还探讨了随机近端梯度算法的收敛性质，避免了常见的有界性假设，并分析了多种优化方法的收敛性和效率。

本文介绍了一种新型框架OL-PINN，将DeepONet与PINN结合，成功解决非线性扩散反应方程等问题，提升了准确性和鲁棒性。同时，研究探讨了PINNs在求解障碍相关偏微分方程中的应用，并提出了分布式PINN（DPINN）以增强表达能力。

本文探讨了生成式对抗网络（GAN）的优化问题，提出将其转化为广义变分不等式的方法，并引入新的目标函数以解决模式塌陷和生成多样化问题。研究展示了基于ADAM和RMSprop的二阶梯度方法及ZO-Min-Max框架在黑盒环境下的应用，证明了这些方法在GAN训练中的优势和收敛性。

本文提出了一种快速的随机拟牛顿方法，针对平滑性不均匀的情况，通过梯度剪切和方差减小，实现了最优的 O (ε^(-3)) 样本复杂度，并通过简单的超参数调节实现了收敛加速，数值实验证明了该算法优于现有方法。

本文探讨了变压器在上下文学习中的应用，分析其在不同数据条件下的收敛性和预测能力。研究发现，变压器能够有效学习多种实值函数的基于梯度的学习算法，在简单任务中表现优异，但在复杂任务上性能有所下降。此外，变压器能够自适应选择更高效的算法，其表现与无注意力模型相似。研究还讨论了大语言模型在预测任务中的能力和竞争力。

该研究提出了一种算法，结合了随机梯度下降和拟牛顿法，通过维护和操作每个贡献函数的独立 Hessian 近似值实现不同方法的统一。该算法适用于高维度优化问题，通过存储和操作在一个共享的、时变的、低维度子空间中的二次近似值，保持了计算可行性和限制了内存需求。算法已发布为开源软件包。