DEV Community
·
基于本地大语言模型的自愈测试应用案例
💡
原文英文，约1100词，阅读约需4分钟。
📝
内容提要
本文探讨了大语言模型（LLMs）与传统自动化工具（如Python/Selenium）的结合，以提升测试的可靠性。自愈测试能够自动适应问题，减少假阳性，从而增强自动化测试的可信度。文章还介绍了硬件和软件配置、LLM API验证、测试集成及其局限性，并展望了未来的发展方向。
🎯
关键要点
- 本文探讨了大语言模型（LLMs）与传统自动化工具（如Python/Selenium）的结合，以提升测试的可靠性。
- 自愈测试能够自动适应问题，减少假阳性，从而增强自动化测试的可信度。
- 自愈测试定义为能够在出现问题时自动调整行为的测试，主要解决元素属性变化等问题。
- 硬件配置部分介绍了模型性能参数及其配置，使用了单台服务器进行实验。
- 软件配置使用了HuggingFace的模型lmstudio-community/Qwen2.5-7B-Instruct-MLX-4bit和OpenAI的pip包。
- 验证本地LLM API的代码示例展示了如何调用LLM进行请求。
- 集成测试的逻辑通过get_object方法实现，利用运行时定位器存储（RLS）避免测试失败。
- 自愈测试的日志示例展示了如何使用AI定位器进行元素查找。
- 目前不自动替换旧定位器，而是将新生成的定位器显示在Allure报告中。
- 同时请求LLM进行推理会增加首次令牌时间（TTFT），可能导致测试管道超时。
- 在有限的硬件资源下，建议只连接使用频率最高的定位器，以减少排队问题。
- 上下文大小影响内存消耗，需优化提供给LLM的HTML部分。
- 未来，自愈测试将使活跃开发的产品能够进行UI自动化测试，提升相对稳定产品的测试可靠性。
➡️
