本研究提出了ScaleTrack框架，旨在解决自动化图形用户界面（GUI）代理在训练中面临的数据不足和历史行为回溯问题。通过整合不同来源的GUI样本和新的训练策略，ScaleTrack显著提升了代理的性能。

本研究提出了一种新方法，通过结合轨迹草图和代理性能设计连续控制机器人的奖励函数，有效解决了奖励不匹配和黑客问题。实验结果显示，该方法在多项任务中的成功率达到70-80%，比传统方法提高了20-30%。

本研究提出了名为STEVE的步骤验证管道，利用GPT-4o验证代理操作的正确性，从而优化代理行为学习。实验结果表明，该方法在复杂实时桌面环境中显著提升了代理的性能和训练效率。