本文探讨了大型语言模型（LLMs）在用户界面自动化中的应用，提出了Auto-UI和AssistGUI等新框架，并评估了代理在复杂任务中的表现。研究表明，尽管现有方法有所提升，但在跨应用程序协作和用户约束方面仍面临挑战。通过新基准AndroidArena和AgentEval，为未来多模态代理的开发提供了方向和见解。