NotionNext BLOG
·
GUI Agent 中使用 RL 提升模型泛化能力
💡
原文中文，约3300字，阅读约需8分钟。
📝
内容提要
Digi-Q 是 DigiRL 的后续项目，旨在通过离线数据训练值函数和策略网络，以降低与 GUI 环境交互的成本。采用 TD 学习和微调 VLM，Digi-Q 在 AITW 上表现出稳定性和高效性，通过离线训练实现策略优化，避免了在线数据收集的方差问题。
🎯
关键要点
- Digi-Q 是 DigiRL 的后续项目，旨在降低与 GUI 环境交互的成本。
- Digi-Q 通过离线数据训练值函数和策略网络，避免在线数据收集的方差问题。
- 使用 TD 学习和微调 VLM，Digi-Q 在 AITW 上表现出稳定性和高效性。
- 值函数的训练使用 TD 算法，避免训练不稳定的问题。
- Digi-Q 在训练 Q 函数前对 VLM 的向量表示进行微调，以提高可操作性。
- 微调目标是判断在当前状态下执行动作是否会导致状态显著变化。
- 利用 Best-of-N 方法训练策略网络，以提升策略概率值的稳定性和高效性。
- 实验结果显示 Digi-Q 在 AITW 上效果良好，具有较好的稳定性和较小的方差。
- Digi-Q 的思路与其他 RL 算法相似，先训练值函数再训练策略模型。
- Critic Model 通过生成二元标签来评估任务进展，模拟类人化的任务评估。
- Policy Model 通过 PPO 算法最大化目标函数，实现稳定的动作评估。
- 整个训练过程完全可以离线进行，降低计算成本并提高学习稳定性。
❓
延伸问答
Digi-Q 的主要目标是什么？
Digi-Q 的主要目标是通过离线数据训练值函数和策略网络，以降低与 GUI 环境交互的成本。
Digi-Q 如何避免在线数据收集的方差问题？
Digi-Q 通过离线数据训练值函数和策略网络，避免了在线数据收集的方差问题。
Digi-Q 在 AITW 上的表现如何？
实验结果显示 Digi-Q 在 AITW 上表现出稳定性和高效性，具有较好的稳定性和较小的方差。
Digi-Q 使用了哪些算法来训练值函数？
Digi-Q 使用了 TD 学习算法来训练值函数，避免训练不稳定的问题。
Digi-Q 的策略网络是如何训练的？
Digi-Q 利用 Best-of-N 方法训练策略网络，以提升策略概率值的稳定性和高效性。
Digi-Q 中的 VLM 微调有什么目的？
VLM 微调的目的是判断在当前状态下执行动作是否会导致状态显著变化，从而提高可操作性。
➡️
