本研究提出一种新方法，通过可变时间步长和预测时间范围，优化多旋翼无人机拦截动态目标的计算需求，提高轨迹生成质量，支持长时间飞行计划。

本研究针对现有直接偏好优化方法在长链数学推理中的不足，提出了一种新颖的全步长DPO框架，能够利用整个推理链中的逐步奖励进行优化。通过训练自监督过程奖励模型，自动为每一步评分并避免对外部信号的依赖，研究结果显示全步长DPO在数学推理基准测试中表现优于现有的最佳方法，显著提升了语言模型的推理能力。

该论文提出了一种新的方法，通过引入基于1/√t的修改衰减步长来提高随机梯度下降（SGD）算法的性能。实验结果显示，与传统的1/√t步长相比，准确率明显提高，分别观察到0.5%和1.4%的增益。

传统强化学习方法中，固定控制频率通常会导致高计算需求和降低的探索效率。多目标软弹性演员 - 评论家 (MOSEAC) 方法通过使用自适应奖励方案来解决这些问题，并验证了其在牛顿运动学环境中的高任务和训练性能，从而降低能源消耗，并简化了 RL 算法的部署过程。

本文介绍了一种自适应的近端梯度方法，不受传统的Lipschitzian假设的限制。通过利用Hölder不等式，该方法在纯粹的局部Hölder梯度连续性下收敛，并且无需线搜索。实验证明该方法在机器学习任务中表现良好。

AdaGossip是一种通过自适应调整共识步长来提高分布式学习测试准确率的新技术。

该论文提出了一种新的方法，通过引入基于 1/√t 的修改衰减步长来提高随机梯度下降算法的性能。实验结果显示，相比传统的 1/√t 步长，准确率明显提高，分别观察到 0.5% 和 1.4% 的增益。

我们介绍了一种在线可信预测的方法，该方法使用衰减的步长。与之前的方法相同，我们的方法对于任意序列具有回顾性保证。然而，与之前的方法不同的是，当存在时，我们可以同时估计一个总体分位数。我们的理论和实验证明了显著改进的实际属性：特别是在分布稳定时，覆盖率接近所期望的水平的每个时间点，而不仅仅是观察序列的平均值。

通过研究对抗性攻击，提出了增强对抗性传递性的技巧，包括动量初始化、计划的步长、双重示例、基于频谱的输入变换和集成策略。实验证明这些技巧可以进一步增强对抗性传递性。提供了实用的见解和技术，以提高对现实世界应用的攻击性能。

实验发现链式思维（CoT）对大型语言模型（LLMs）的推理能力有重要作用，增加推理步骤长度能提高LLMs在多个数据集上的推理能力，即使推理方法有误，只要保持必要的推理步骤长度，仍能取得良好结果。推理步骤的增加对任务优势取决于任务复杂性，这些发现为更好地利用LLMs的潜力提供了实际指导。

该方法使用阈值相关批归一化和空间时间反向传播，直接训练深度脉冲神经网络，并在神经形态硬件上实现推理。在CIFAR-10、DVS-CIFAR10和ImageNet上的准确率分别达到93.15%、67.8%和67.05%，是首次在ImageNet上实现高性能的直接训练深度脉冲神经网络。

该研究提出了一种新颖的自适应步长方法来解决随机梯度下降（SGD）中的问题。通过利用可追踪的量，该方法提供了无需调参的算法，并在二次问题和图像分类任务中展现出自适应行为。该框架还可以包含预处理器，实现对随机二阶优化方法的自适应步长。

本文研究了神经常微分方程（Neural Ordinary Differential Equations）的训练，探讨了数值积分技术、稳定区域、步长和初始化技术之间的相互作用。文章展示了积分技术的选择如何隐式地对学习模型进行正则化，并且求解器的相应稳定区域如何影响训练和预测性能。在此分析的基础上，引入了一种基于稳定性的参数初始化技术。该初始化方法在多个学习基准和工业应用中显示出效果。

本文将深度卷积神经网络前向传播视为时变非线性微分方程，训练过程视为参数控制，并提出两种多尺度方法优化CNN：一种利用参数伸缩连接不同分辨率数据，另一种连接浅深网络，逐步增深并复用参数。

该文介绍了一种基于自适应步长的 SGD 变体 $ exttt {SPS}_+$，并展示了其在 Lipschitz 非平滑中实现了已知的最优收敛速率。同时，该文还提出了 $ exttt {FUVAL}$ 的变体，逐渐学习最优情况下的损失值，并以三个视角介绍了其作为一种基于投影的方法、近似线性方法的变体以及特定的在线 SGD 方法。然而，该方法的收敛性分析没有比 SGD 更具优势，且目前只有全批次版本在步长敏感性方面相对于 GD 有轻微优势，随机版本相对于 SGD 没有明显优势。作者猜测需要较大的小批量数据才能使该方法具有竞争力。

本文介绍了Adam算法的连续时间版本及新的步长递减Adam算法，证明了它们在稳定性条件下能够收敛于目标函数的临界点，并具有收敛性。

Adam是一种用于基于梯度的随机目标函数优化的算法，具有易于实现、计算效率高、占用内存少等优点。它适用于数据和参数较大、非平稳目标、存在噪声和稀疏梯度的问题。实证结果表明Adam在实践中效果良好，并且与其他随机优化方法相比具有优势。此外，还讨论了一种基于无穷范数的Adam变体AdaMax，并分析了该算法的理论收敛性质。

梯度下降是一种优化方法，通过计算斜率来寻找最低点。最近的研究表明，采取大步骤可能更快，但这并不改变当前梯度下降的使用方式。实际应用中的优化程序更加复杂，常规梯度下降仍然是首选。目前还没有人能够解释最佳解决方案的基本结构。

本文介绍了对SGD的变体和自适应步长的开发，重点解决有限项求和问题。详细介绍了自适应方法SPS+，展示了其在Lipschitz非平滑中实现的最优收敛速率。开发了逐渐学习最优情况下损失值的FUVAL的变体，并从三个视角介绍了FUVAL的特点。提出了FUVAL的收敛性分析和实验结果。缺点是收敛性分析没有比SGD更具优势，目前只有全批次版本在步长敏感性方面相对于GD有轻微优势，随机版本相对于SGD没有明显优势。猜测需要较大的小批量数据才能使FUVAL具有竞争力。目前，新的FUVAL方法没有提供清晰的理论或实践优势，但选择将这个草稿在线上提供。

池化层是一种先验的下采样方式，步长为2的卷积层的参数是通过学习得到的，采样规则不确定。