使用 GPT4V+AI Agent 做自动 UI 测试的探索 | 京东云技术团队

本文介绍了使用GPT自动进行UI测试的可能性，解决了UI测试自动化率高维护成本高的问题。作者尝试了两种方案，其中第二种方案结合了Playwright、SoM视觉标记、GPT4Vison和AutoGen来实现。通过Playwright进行浏览器操作，通过SoM视觉数据标记辅助GPT4V识别，通过GPT4+AutoGen协调控制。文章还提到了一些问题和未来的想法。