一种具有解释性参数调整的鲁棒分位数 Huber 损失在分布式强化学习中的应用
内容提要
本文综述了分位数回归与Huber损失在机器学习中的多类应用，包括：Huber损失的概率解释及超参数确定方法；基于参数化分位函数估计回报分布的分布式强化学习算法，在Atari游戏中表现优异；Cramér距离投影与1-Wasserstein投影的等价性证明及低复杂度算法；重尾噪声下高维线性回归的分布式估计与支持恢复；用于房价预测的Huber分位数回归网络；连续参数化稳健损失函数；以及基于排名最小化和Huber损失的量化矩阵补全方法。
延伸解读
Huber损失超参数的概率解释
文章提出Huber损失的一种新概率解释，将其与Laplace分布间KL散度的上界最小化关联，并通过模拟噪声分布来确定最适超参数。这为Huber损失中关键超参数的选择提供了理论依据和实用方法，有助于在实际应用中更合理地设置该参数。
分布式强化学习中的分位回归联系
研究证明Cramér距离投影与1-Wasserstein投影等价，并提出低复杂度算法计算Cramér距离。在非交叉限制下，squared Cramér损失与分位回归损失具有共线性，揭示了分布式强化学习中分位回归、距离度量与损失函数之间的内在联系，为算法设计提供理论支撑。
重尾噪声下的分布式估计
针对重尾噪声的高维线性回归，文章采用分位数回归损失函数，提出计算和通信高效的分布式估计器。理论表明该方法在少数迭代后达到近乎理想的收敛速度，并为支持恢复提供保证。这为分布式环境下稳健统计学习提供了可行方案。
Huber分位数回归网络的应用
DHQRN算法采用Huber分位数回归网络，能更全面预测概率分布的数量级和不确定性，并通过澳大利亚房价数据验证。这展示了Huber分位数回归在回归任务中处理不确定性的潜力，为实际预测问题提供了一种可解释的深度学习方法。
Q&A
Huber损失的超参数怎么确定？有新的概率解释吗？
有。本文提出Huber损失的一种新概率解释，它与Laplace分布间Kullback-Leibler散度的上界最小化相关，并通过模拟噪声分布来确定Huber损失的最适超参数值。
分布式强化学习中如何用分位函数估计回报分布？
本文提出一种新的分布式强化学习算法，采用完全参数化分位函数，通过分位数量轴和值轴来更好地估计连续分布，并在Atari游戏环境中表现优异。
Cramér距离投影和1-Wasserstein投影在分布强化学习中有什么关系？
本文证明在分布强化学习中，Cramér距离得到的投影与1-Wasserstein距离的投影相同，并提出一种低复杂度算法计算Cramér距离；在非交叉限制下，squared Cramér和分位回归损失具有共线性。
重尾噪声下高维线性回归的分布式估计如何实现？
本文采用分位数回归损失函数处理重尾噪声，提出一种计算和通信效率高的分布式估计器，理论表明该方法在少数迭代后即能达到近乎理想的收敛速度，并为支持恢复提供理论保证。
DHQRN是什么？它如何用于房价预测？
DHQRN是一种采用Huber分位数回归网络的深度学习算法，能够更全面地预测概率分布的数量级和不确定性，论文通过澳大利亚房价数据进行了验证。
分布强化学习如何显式建模回报分布并提升Atari游戏表现？
本文介绍一种分布强化学习方法，不仅估计价值函数的平均值，而是显式建模返回的分布，通过理论和算法结果，在Atari 2600游戏中表现显著优于许多DQN改进方案，包括C51。
