美团技术团队
·
KuiTest：基于大模型通识的 UI 交互遍历测试
💡
原文中文，约5900字，阅读约需14分钟。
📝
内容提要
美团推出KuiTest，利用大语言模型自动验证UI交互，提升测试效率和覆盖率，显著降低人工成本并提高缺陷识别能力。
🎯
关键要点
- 美团推出KuiTest，利用大语言模型自动验证UI交互。
- 传统UI功能测试依赖人工编写测试脚本，成本高且维护困难。
- 美团App包含上千种UI界面，传统测试脚本常常失效。
- KuiTest通过模拟用户预期，提升测试效率和覆盖率。
- KuiTest是无规则的UI功能测试系统，能自动校验界面反馈。
- KuiTest整合多种UI页面信息，提升大模型的功能识别能力。
- 交互响应验证是判断UI功能是否存在Bug的核心环节。
- 实验设计验证KuiTest的有效性，涵盖多个关键问题。
- 实验结果显示，任务分解和多模态输入显著提高识别能力。
- KuiTest在美团多个业务中应用，发现了百余例有效的UI功能缺陷。
- KuiTest能自动进行跨页面遍历，减少重新设计测试脚本的成本。
- 未来研究将扩展到多步交互场景，提升复杂功能Bug的检测能力。
- 复旦大学周扬帆教授团队与美团合作，推动UI自动化测试的研究。
❓
延伸问答
KuiTest 是什么？
KuiTest 是美团推出的一套基于大语言模型的无规则 UI 功能测试系统，旨在自动验证用户界面的交互。
KuiTest 如何提高 UI 测试的效率？
KuiTest 通过模拟用户预期，自动校验界面反馈，减少了人工编写测试脚本的需求，从而提升了测试效率和覆盖率。
传统 UI 测试方法存在哪些问题？
传统 UI 测试依赖人工编写测试脚本，成本高且维护困难，且在界面频繁调整时常常失效。
KuiTest 在美团的应用效果如何？
KuiTest 已在美团多个业务中应用，发现了百余例有效的 UI 功能缺陷，显著降低了人工成本。
KuiTest 的实验结果显示了什么？
实验结果表明，KuiTest 在 UI 功能测试中具有高召回率和低误报率，证明了其有效性和可靠性。
未来 KuiTest 的研究方向是什么？
未来研究将扩展到多步交互场景，提升复杂功能 Bug 的检测能力，探索状态追踪机制和因果推断能力。
➡️
