微软发布了带外更新KB5085516，修复Windows 11中OneDrive和Edge无法登录账户的问题。近期累积更新质量下降，导致新问题频发。用户可通过系统更新安装此更新。

本文研究了链式思维（CoT）提示在大语言模型中的应用，尤其是在从线性回归的上下文权重预测任务中。研究表明，使用CoT提示的变压器能够自回归地学习执行多步梯度下降，显著提高了模型在新数据上的泛化能力，并且与未使用循环的变压器相比，应用循环的变压器在线性回归的上下文学习中表现出更好的最终性能。

本研究针对大语言模型在微调过程中出现的“双重下降”现象，提出了LoRA-GGPO方法，通过梯度和权重范数生成有针对性的扰动，以优化损失景观的平滑度。这一新方法显著提高了模型的泛化能力，相较于传统的LoRA及其先进变体，LoRA-GGPO在自然语言理解和生成任务中表现更佳，提供了一种高效的微调方案，广泛适用于实际应用。

英伟达计划将数据中心的多余GPU产能转向RTX 5090，以缓解游戏显卡短缺。由于数据中心需求下降，英伟达将整合多余的GB100芯片，优先提升RTX 5090的供应，解决RTX 5080的缺货问题。

本文提出了一种新方法Multi-step Preference Optimization (MPO)，旨在解决人类反馈下强化学习在多轮对话中的应用限制。通过将对齐问题建模为双人常数和马尔可夫游戏，OMPO算法能够有效收敛到近似纳什均衡，实验结果验证了其有效性。

本文提出Grams优化算法，解决了传统深度学习算法中更新方向与幅度相互依赖的问题。Grams通过分离更新方向和动量，专注于自适应幅度缩放，展现出比Adam和Lion等优化器更快的收敛速度和更强的泛化能力，显示出在大规模机器学习中的高效优化潜力。

本研究探讨了再生核Banach空间中的学习问题，提出了一种基于镜面下降法的算法，分析了其收敛性，并确定了实现线性收敛速率的条件，同时引入了新型$p$-范数的RKBS。

本研究探讨了过参数化对离群检测的影响，提出了一种新的离群风险度量。结果显示，当参数数量等于样本数量时，离群风险会出现无限峰值，且过参数化不一定提升离群检测效果。

该研究提出了一种新的在线镜面下降算法OMD-TCH，旨在解决多目标优化中线性标量化方法无法有效捕捉Pareto前沿非凸区域的问题。OMD-TCH的收敛速率为$O( ext{sqrt}( ext{log} m/T))$，并在联邦学习任务中表现出色。

本研究解决了梯度下降算法在迭代过程中的停机点选择问题，提出了一种新的效率指标Ek，用于量化每次迭代的有效性。通过考虑误差的相对变化和损失函数的稳定性，Ek为梯度下降的收敛行为提供了重要的洞见，具有指导机器学习优化算法选择和调优的潜力。

本研究针对物理信息神经网络（PINNs）在解决偏微分方程（PDEs）时表现出的路径性问题进行了深入探讨，特别是当损失函数的梯度大小不平衡时可能导致的训练不稳定。我们提出了一种新颖的优化框架，双锥梯度下降法（DCGD），确保更新的梯度方向处于双锥区域，从而显著提高了PINNs的预测准确性和训练稳定性，尤其是在复杂PDEs的故障模式下，相比传统模型表现更优。

本研究论文探讨了随机梯度下降（SGD）方法及其变种在训练非光滑激活函数构建的神经网络中的收敛性质。提出了一种新的框架，分别为更新动量项和变量分配不同的时间尺度。证明了该框架在单一和双时间尺度情况下的全局收敛性。实验证明了该框架包含了许多著名的SGD类型方法，并且在目标函数采用有限和形式时具有收敛性质。初步的数值实验表明了该框架的高效性。