本文探讨了流形上的最速下降问题,提出了对偶梯度下降法。通过分析核范数梯度,作者将约束优化问题转化为最小化目标函数,从而计算流形上的优化方向。
本文探讨了约束优化中“最速下降方向”与梯度的关系,强调不同范数对最速下降方向的影响。通过分析SGD在超球面上的应用,提出了“最小作用量原理”,并讨论了在约束条件下的参数更新优化方法。
本研究提出了一种新方法——Frank-Wolfe合并(FW-Merging),旨在解决多任务学习中模型合并的适应性和扩展性问题。FW-Merging通过约束优化显著提高了合并的准确性和稳定性,实验结果表明其在多个模型合并中表现优异,且内存开销保持恒定,具有潜在应用价值。
本研究探讨了自动提示工程的优化,解决了手动提示工程的局限性。通过将提示优化形式化为最大化问题,建立了基础框架,系统性组织了优化方法,揭示了约束优化和面向代理的提示设计的潜力。
本研究提出了一种新方法,将可解释机器学习中的预测解释任务视为约束优化问题,从而生成模型无关的解释。实证结果表明,该方法在多个数据集上优于现有的启发式方法Anchors。
本研究分析了视频多模态大语言模型在视觉上下文表示上的不足。通过将任务转化为约束优化问题,研究了帧和标记选择对性能的影响。结果显示,提出的方法与实验结果一致,具有应用潜力。
本研究提出了FlipGuard,一种约束优化方法,旨在解决大语言模型在偏好一致性方面的更新回退问题。实验结果表明,FlipGuard有效减轻了更新回归,同时保持了知识保留和整体表现。
本文探讨了机器学习在约束优化问题中的应用,介绍了结合神经网络的优化加速、Branch & Learn框架和Primal-Dual Learning等新方法。这些方法显著提高了求解效率和精度,展示了在大规模优化问题中的潜力。
本文探讨了机器学习在符号计算和约束优化中的应用,特别是支持向量机在变量排序和问题实例识别中的优势。研究表明,机器学习超越了传统启发式算法,有效提高了求解效率和准确性。结合深度学习和可解释AI技术,机器学习为符号计算提供了新的视角,推动了该领域的发展。
本研究提出了一种基于悲观值迭代的离线强化学习方法,结合数据自举和约束优化,解决样本复杂度和次优性问题。同时,探讨了鲁棒离线强化学习中的函数逼近困难,并提出利用人类反馈的算法,以优化查询复杂度和样本效率。
本文提出了一种新颖的框架,将约束优化与深度学习结合,设计了神经辅助算法以最大化网络切片的资源利用率。该算法在不同场景下表现出优越的服务质量和泛化性能,显著提高了资源利用率并降低了延迟。
该文综述了多种强化学习安全与效率方法:利用专家演示约束智能体行为以确保安全探索;通过群体引导、引导网络和离线学习提升稀疏奖励下的表现;引入人类在环、守护者干预及约束优化,兼顾探索与安全,并在离散、连续及机器人任务中验证有效性。
本文综述在线凸优化(OCO)的研究进展,涵盖分散式D-OCO算法(降低遗憾界并证明下界)、随机约束算法在数据中心调度中的应用、基于历史损失建模的记忆容量量化、相对Lipschitz与强凸性研究、拟阵约束下的子模最大化、约束OCO向凸-凹优化的转化、对抗时变约束算法、任意延迟非平稳OCO、连续次模函数的Frank-Wolfe变体,以及带切换成本的有限信息OCO竞争比分析。
该文综述贝叶斯优化研究进展,涵盖噪声约束优化、未知约束通用框架、成本约束建模为CMDP、深度学习框架、自动调整搜索空间、因果贝叶斯优化及高斯过程约束熵搜索等方法,应用于超参数调优、神经网络训练和过程系统设计等领域。
本文综述在线线性规划与资源分配研究,提出基于学习的在线算法,在近似预言机下改进复杂度并获得常数遗憾界;利用鲁棒估计为强化学习提供遗憾上界;针对未知分布与敌对分布设计统一算法;研究线性动态系统的在线控制与二次控制,实现O(√T)遗憾;并给出长期约束优化的次线性遗憾算法。
该文综述安全强化学习方法,涵盖风险预防训练、概率安全约束、Lyapunov稳定性、模型预测控制与迁移学习,旨在引导智能体安全探索并规避不安全状态,在机器人仿真和连续控制任务中兼顾安全性、学习效率与控制性能。
本文综述了利用拉格朗日对偶与原始-对偶学习求解约束优化的多项研究。PDL通过自监督模仿增广拉格朗日轨迹,约束违规极小;DIPL与DSL学习对偶可行解并提供质量证明;DeepLDE保证可行性与收敛。这些方法还应用于SLAM、最优潮流、持续学习和背包问题,兼顾效率与可行性。
该文综述了机器学习与优化结合的多项研究,包括:用对数障碍项替代二次惩罚训练神经网络求解优化问题;提出自监督原始-对偶学习PDL逼近约束优化最优解;针对交流最优潮流采用凸松弛与对偶架构;提出内点策略优化IPO处理累积约束强化学习;结合混合整数规划的Neural Diving与Neural Branching;加速半定规划内点法;用凸优化与双层优化实现神经符号端到端学习;零阶内点法求解约束马尔可夫决策;以及双层规划的半无限多项式转化与半定松弛求解。
本文综述约束条件下上下文赌博机的研究进展,涵盖预算与时间限制、资源消耗、背包约束、公平性约束及半参数非线性混淆等问题;OPLB、UCB-ALP等算法实现近最优或对数级后悔界,部分工作给出下界与模拟结果,并将相关技术推广至拍卖等战略场景。
本文综述了拉格朗日方法在多领域的扩展应用:将欧几里得情形推广到黎曼流形约束优化;提出新乘数更新法以解决安全强化学习中的超调振荡;用于图像恢复约束问题;提出“代理拉格朗日”处理非凸非可微分类约束;用笛卡尔坐标加乘子提升精度与数据效率百倍;以随机增广拉格朗日正则化深度网络;用图神经网络预测乘子加速分支定界;提出无模型学习框架处理未知目标与约束;用增广拉格朗日结合小批量训练提升效率;借对偶框架改进背包问题的约束满足。
完成下面两步后,将自动完成登录并继续当前操作。