停止回归：通过分类训练值函数用于可扩展深度强化学习
原文中文，约1100字，阅读约需3分钟。
📝
内容提要
本文探讨了强化学习算法在非结构化观测和尺度递增中的应用，提出了多种新方法以提高学习效果和性能，包括交叉熵损失和延迟评论者策略梯度算法。研究表明，增加熵和自适应标准化目标值能显著改善回归任务和观察泛化性能。
🔎
延伸解读
分类方法在回归任务中的优势
文章指出，使用交叉熵损失的分类方法在回归任务中表现优于均方误差损失，增加熵对回归任务有显著好处。这提示读者，在处理连续值预测时，将回归问题转化为分类问题可能带来性能提升，尤其是在需要高熵特征空间的场景中。
延迟评论者策略梯度（DCPG）的泛化提升
DCPG算法使用单一统一网络架构，在Procgen基准测试中显著提高了样本效率和观测泛化性能。对于需要跨多个视觉环境训练代理的研究者，这一方法提供了可借鉴的思路，即通过延迟评论者来平衡策略与价值估计的学习。
自适应标准化目标值解决尺度不变性
文章提到，自适应标准化目标值方法解决了学习算法对函数尺度缩放的不变性问题，在价值反馈学习和Atari游戏中能消除领域特定的启发式方法。这意味着在实际应用中，无需手动调整奖励尺度，算法能自动适应不同尺度的目标值，提升整体表现。
❓
Q&A
强化学习算法如何在非结构化观测中表现良好？
强化学习算法能够有效利用外部知识构建预测结构，从而在非结构化观测中表现良好。
交叉熵损失在回归任务中有什么优势？
交叉熵损失的分类方法在回归任务中表现优于均方误差损失，增加熵对回归任务的重要性显著。
延迟评论者策略梯度算法（DCPG）有什么特点？
DCPG算法提高了样本效率和观察泛化性能，能够使用单一统一的网络架构实现。
Cross-Entropy Guided Policies (CGP) 方法的主要优势是什么？
CGP方法结合了Q-learning和交叉熵方法，提高了连续值动作域中的运行速度和稳定性。
自适应标准化目标值方法的作用是什么？
该方法解决了学习算法对函数尺度缩放的不变性问题，提升了整体表现。
如何通过优化特征代价来提高分类性能？
通过应用神经网络的顺序决策方法，优化特征代价可以提高分类性能，表现与专为此问题开发的算法相当。
🏷️
