使用 GPT4V+AI Agent 做自动 UI 测试的探索
原文中文，约8000字，阅读约需20分钟。
📝
内容提要
本文探讨了使用GPT进行UI测试的可能性，介绍了目前UI测试存在的问题和两种解决方案。一种是使用GPT生成Webdriver驱动脚本，效果一般；另一种是结合Playwright、SoM视觉标记、GPT4Vison和AutoGen实现GPT像人一样思考和测试。文章还提到了一些问题和未来的想法。
❓
Q&A
使用GPT进行UI测试的主要问题是什么？
当前UI测试的主要问题包括元素识别效率低和图像工具复用性差。
GPT在UI测试中有哪些应用方案？
使用GPT进行UI测试的两种方案是生成Webdriver驱动脚本和模拟人类思考进行测试。
第二种方案如何实现更高效的UI测试？
第二种方案结合Playwright、SoM视觉标记、GPT4Vison和AutoGen，通过模拟人类思维和操作来实现更高效的测试。
Playwright在UI测试中扮演什么角色？
Playwright用于浏览器操作，包括页面图像的获取和各种浏览器操作。
使用GPT进行中文环境下的UI测试存在哪些问题？
实验中发现GPT在中文环境下的识别效果不佳，需要优化提示语。
未来在UI测试中对GPT的想法是什么？
未来的想法包括本地化处理图像识别和增强GPT的系统识别能力。
🏷️
