本研究探讨了扩散概率模型在生成任务中的分布不匹配问题,并提出通过分布鲁棒优化(DRO)来解决。结果显示,对抗训练(AT)显著提高了模型的鲁棒性和生成性能。
本研究提出了DRPruning方法,利用分布鲁棒优化技术应对大型语言模型在规模和计算成本上的挑战。实验结果显示,该方法在单语和多语言环境中表现优越,具有广泛的应用潜力。
本文提出了一种基于神经生成模型的分布鲁棒优化方法,旨在增强模型在不确定分布下的表现。通过KL约束的松弛优化和大规模生成模型的梯度优化,解决了实现和优化的挑战。实验结果表明,该方法在鲁棒性上优于现有基线模型。
本文探讨了高维凸函数的随机零阶查询优化,提出了两种算法,并证明其收敛性优于经典方法。此外,研究还涉及分布鲁棒优化中的新算法,展示了在非凸损失下的有效性和收敛速度。
本文提出了一种基于图神经网络的节点分类不确定性感知学习框架,通过分布鲁棒优化提升节点嵌入学习的鲁棒性。研究表明,该框架在噪声条件下的预测性能优于现有方法。同时介绍了DEGNN、Feature Propagation和GREET等新模型和方法,在图机器学习中表现出显著的性能提升。
本文探讨了基于Wasserstein度量的分布鲁棒优化方法,应用于投资组合优化和不确定性量化。研究提出了数据驱动的决策方法,解决有限样本和参数不确定性问题,展示了良好的计算效果和实用性,并强调了在不确定性下的优化策略构建。
本研究提出了多种改进的直接偏好优化(DPO)方法,以增强对噪声数据的鲁棒性和生成文本的质量。结合分布鲁棒优化(DRO)及新方法如Dr. DPO、Mallows-DPO、fDPO等,研究表明这些方法在强化学习与人类反馈的对齐中表现优越,尤其在处理有限偏好对时,显著提升了模型的性能和稳定性。
本文提出了一种基于神经生成模型的分布鲁棒优化(DRO)方法,通过建模不确定集合中的分布,提升模型在不确定环境中的表现。研究开发了FlowDRO框架,利用Wasserstein距离解决DRO问题,增强模型的泛化能力。实验结果表明,该方法在多个领域的应用中优于现有正则化方法。
本文探讨了基于Wasserstein度量的分布鲁棒优化方法,应用于投资组合优化和不确定性量化。研究提出了多种模型和技术,包括最小均方误差估计和条件风险价值估计,旨在提高有限样本和参数不确定情况下的决策效果。实证结果表明,这些方法在策略评估和随机优化中优于传统方法。
本文探讨了分布鲁棒优化(DRO)在机器学习中的应用,提出多种算法以提升模型的鲁棒性和泛化能力。研究显示,这些算法在处理不平衡数据和超大数据集时表现优异,有效克服了传统风险最小化方法的局限性,实验结果验证了其有效性。
本文探讨了一种基于随机算法的分布鲁棒优化(DRO)方法,适用于非凸和凸损失函数,结合条件风险价值(CVaR)算法,解决分布变化和离群点问题,提升机器学习性能。实验结果表明,该方法在大规模应用中效率显著高于传统方法。
该文综述领域泛化研究,涵盖形式框架、核方法、多领域判别分析、因果特征匹配、多视角元学习、对比解缠、开放域增强及分布鲁棒认证,并在多个基准数据集上验证,泛化性能最高提升25.14%。
统计学习理论为机器学习提供风险界限,但数据分布变化会引发领域适应问题。本文用概率凸集建模分布可变性,建立“credal”学习理论,推导有限假设空间和无限模型空间的界限,扩展传统结果,并涉及认知随机模糊集、贝叶斯推断、可能性学习、分布鲁棒优化及不确定性估计等。
该文综述基于CVaR和分布鲁棒优化的风险敏感学习研究,涵盖DRO算法、谱风险不确定性集、Prospect算法及DORO框架,证明这些方法在收敛速度、泛化能力和抗离群点方面优于传统方法,实验效率显著提升。
本文综述了不确定性量化与鲁棒优化研究,涵盖:基于CVaR和卡方分布的鲁棒优化算法(效率较全样本法高9~36倍)、结合判别与生成方法的PQ互信息估计、多分布学习自适应采样、SVM-GSU最大间隔分类器、深度学习多变量不确定性量化用于卡尔曼滤波、经验似然分布鲁棒统计推断、高斯过程模型动力学学习、贝叶斯不确定性处理类别不平衡、分布鲁棒马尔可夫决策过程以及神经网络互信息估计。
本文综述随机优化与强化学习的结合研究,涵盖概率序、端到端学习、分布鲁棒优化及决策焦点学习,以处理不确定性并提升算法效率与安全性,在库存、电力调度等任务中验证了有效性。
该文综述协变量偏移下的鲁棒机器学习研究,涵盖稳定对抗学习(SAL)算法(利用异构数据源构建不确定性集并差异化优化,具有随机梯度优化下的性能保证)、最小二乘回归对协变量偏移的敏感性分析及预训练回归模型末层适应、解相关加权回归、基于最小充分统计量的鲁棒表征以及分布鲁棒优化分类器,实验验证了这些方法在分布偏移下的有效性。
该文综述分布偏移下机器学习模型的性能估计与适应问题,主要内容包括:提出基于领域不变性的预测模型以准确估计目标误差,用于模型选择与早期停机;提出全测试时间适应方法,利用替代熵与批次熵最大化正则化提升鲁棒性;给出基于表示学习与样本重加权的误差界;利用无标签测试数据推导误差上界并提出不一致损失;提出GradNorm梯度空间异常检测与基于梯度的不确定性度量;引入距离检查改进性能估计;通过分布鲁棒优化一次训练获得对多种标签偏移稳健的分类器;基于保形推断建立鲁棒预测集;并提出轻量级事后方法,通过验证集约束优化实现分布鲁棒分类。
介绍了一种培训机器学习模型的方法,以保持在输入扰动下的公平性,并使用分布鲁棒优化方法进行训练。该方法在两个容易受到性别和种族偏见影响的机器学习任务上表现良好。
该文介绍了FlowDRO框架,用于基于流的分布鲁棒优化问题。该框架利用Wasserstein不确定性集,提高算法计算效率和泛化能力。
完成下面两步后,将自动完成登录并继续当前操作。