ScaleTrack: Automated GUI Agents for Scaling and Backtracking

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了ScaleTrack框架,旨在解决自动化图形用户界面(GUI)代理在训练中面临的数据不足和历史行为回溯问题。通过整合不同来源的GUI样本和新的训练策略,ScaleTrack显著提升了代理的性能。

🎯

关键要点

  • 本研究提出了ScaleTrack框架,旨在解决自动化图形用户界面(GUI)代理在训练中面临的数据不足和历史行为回溯问题。
  • ScaleTrack通过整合不同来源的GUI样本和设计新颖的训练策略,提升了代理的性能。
  • 该框架同时考虑当前GUI图像的下一步动作预测和历史动作回溯,增强了动作与GUI环境演变规则之间的关联性。
  • 实验结果表明,ScaleTrack显著提高了自动化GUI代理的性能。
➡️

继续阅读