KuiTest:基于大模型通识的 UI 交互遍历测试

KuiTest:基于大模型通识的 UI 交互遍历测试

💡 原文中文,约5900字,阅读约需14分钟。
📝

内容提要

美团推出KuiTest,利用大语言模型自动验证UI交互,提升测试效率和覆盖率,显著降低人工成本并提高缺陷识别能力。

🎯

关键要点

  • 美团推出KuiTest,利用大语言模型自动验证UI交互。
  • 传统UI功能测试依赖人工编写测试脚本,成本高且维护困难。
  • 美团App包含上千种UI界面,传统测试脚本常常失效。
  • KuiTest通过模拟用户预期,提升测试效率和覆盖率。
  • KuiTest是无规则的UI功能测试系统,能自动校验界面反馈。
  • KuiTest整合多种UI页面信息,提升大模型的功能识别能力。
  • 交互响应验证是判断UI功能是否存在Bug的核心环节。
  • 实验设计验证KuiTest的有效性,涵盖多个关键问题。
  • 实验结果显示,任务分解和多模态输入显著提高识别能力。
  • KuiTest在美团多个业务中应用,发现了百余例有效的UI功能缺陷。
  • KuiTest能自动进行跨页面遍历,减少重新设计测试脚本的成本。
  • 未来研究将扩展到多步交互场景,提升复杂功能Bug的检测能力。
  • 复旦大学周扬帆教授团队与美团合作,推动UI自动化测试的研究。