基于策略梯度的生成流网络训练
内容提要
本文介绍了一种新型GFlowNet学习算法Quantile Matching，旨在提高样本效率和匹配目标分布。通过优先回放和新策略参数化等方法，解决了激励波动性和结构学分配问题。此外，提出了无监督预训练的GFlowNets方法，增强了在下游任务中的适应性。研究表明，结合强化学习原理可提升生成流网络的效率，开辟了未来研究的新方向。
延伸解读
GFlowNet训练效率的演进脉络
文章按时间顺序梳理了GFlowNet训练方法的多个进展：2023年2月提出Quantile Matching处理激励波动性；5月提出优先回放、相对边流策略参数化等方法提升样本效率；9月提出OP-GFN无需预定义标量奖励；10月提出无监督预训练OC-GFN增强下游适应性。这些工作共同指向样本效率和目标分布匹配两大核心挑战。
强化学习与GFlowNet的融合趋势
文章指出，近期研究将GFlowNet训练重新定义为熵正则化强化学习问题，并证明标准软强化学习算法能与已有GFlowNet训练方法竞争。QGFN方法结合策略与行为价值估计，在多个任务中生成更多高回报样本且不损失多样性。这为两个领域的交叉提供了直接路径。
稀疏奖励与规划能力的改进
针对稀疏奖励问题，文章介绍了回顾性逆向合成（RBS）方法，用于训练目标条件下的GFlowNet，在标准基准上显著提高样本效率并优于强基准。此外，运用蒙特卡罗树搜索（MCTS）提升规划能力，实验证明能提高训练样本效率和预训练模型的生成真实性。
策略评估的新联系与未来方向
文章建立了GFlowNet与均匀策略的策略评估之间的新联系，并提出修正型策略评估（RPE）算法，比较了RPE、MaxEnt RL和GFlowNets在多个基准下的性能。这为（非MaxEnt）强化学习与GFlowNet之间未曾探索的联系提供了新启示，可能开辟未来研究方向。
Q&A
Quantile Matching算法的主要目标是什么？
Quantile Matching算法旨在提高样本效率和匹配目标分布。
如何解决GFlowNet中的激励波动性问题？
通过优先回放和相对边流策略参数化等方法，解决激励波动性问题。
无监督预训练的GFlowNets方法有什么优势？
无监督预训练的GFlowNets方法增强了在下游任务中的适应性。
QGFN方法如何提高样本生成的多样性？
QGFN方法结合了GFN策略与行为价值估计Q，能够在多个任务中生成更多高回报样本而不损失多样性。
回顾性逆向合成方法的作用是什么？
回顾性逆向合成方法用于应对稀疏奖励问题，显著提高了生成流网络的样本效率。
GFlowNet与均匀策略的策略评估有什么新联系？
建立了GFlowNet与均匀策略的策略评估之间的新联系，并提出了修正型策略评估算法。
