DEV Community ·

基于本地大语言模型的自愈测试应用案例

💡 原文英文，约1100词，阅读约需4分钟。

📝

内容提要

本文探讨了大语言模型（LLMs）与传统自动化工具（如Python/Selenium）的结合，以提升测试的可靠性。自愈测试能够自动适应问题，减少假阳性，从而增强自动化测试的可信度。文章还介绍了硬件和软件配置、LLM API验证、测试集成及其局限性，并展望了未来的发展方向。

🎯

本文探讨了大语言模型（LLMs）与传统自动化工具（如Python/Selenium）的结合，以提升测试的可靠性。
自愈测试能够自动适应问题，减少假阳性，从而增强自动化测试的可信度。
自愈测试定义为能够在出现问题时自动调整行为的测试，主要解决元素属性变化等问题。
硬件配置部分介绍了模型性能参数及其配置，使用了单台服务器进行实验。
软件配置使用了HuggingFace的模型lmstudio-community/Qwen2.5-7B-Instruct-MLX-4bit和OpenAI的pip包。
验证本地LLM API的代码示例展示了如何调用LLM进行请求。
集成测试的逻辑通过get_object方法实现，利用运行时定位器存储（RLS）避免测试失败。
自愈测试的日志示例展示了如何使用AI定位器进行元素查找。
目前不自动替换旧定位器，而是将新生成的定位器显示在Allure报告中。
同时请求LLM进行推理会增加首次令牌时间（TTFT），可能导致测试管道超时。
在有限的硬件资源下，建议只连接使用频率最高的定位器，以减少排队问题。
上下文大小影响内存消耗，需优化提供给LLM的HTML部分。
未来，自愈测试将使活跃开发的产品能够进行UI自动化测试，提升相对稳定产品的测试可靠性。

🔎

自愈测试通过自动适应问题，显著提高了测试的可靠性，尤其是在面对元素属性变化时。然而，当前实现仍存在局限性，如不自动替换旧定位器，可能导致报告中信息冗余。此外，硬件资源有限时，连接过多定位器可能导致测试管道超时，需谨慎管理使用频率较高的定位器。

文章中提到的硬件配置使用单台服务器进行实验，这在资源有限的情况下可能影响模型性能。软件配置方面，使用HuggingFace的模型和OpenAI的pip包，开发者需关注这些工具的兼容性和性能，以确保自愈测试的顺利进行。

自愈测试的未来展望显示，活跃开发的产品将能实现更高效的UI自动化测试。这一趋势将使得相对稳定的产品在测试过程中更具适应性，能够覆盖更多场景，尤其是在桌面平台的测试中，结合多模态LLM的应用将是一个重要方向。

❓

自愈测试是能够在出现问题时自动调整行为的测试，主要功能是减少假阳性，提高自动化测试的可靠性。

硬件配置使用单台服务器，软件配置包括HuggingFace的lmstudio-community/Qwen2.5-7B-Instruct-MLX-4bit模型和OpenAI的pip包。

自愈测试通过运行时定位器存储（RLS）来避免测试失败，并使用AI定位器根据描述查找元素。

自愈测试的局限性包括同时请求LLM会增加首次令牌时间，可能导致测试管道超时，以及在有限硬件资源下无法连接所有定位器。

未来自愈测试将使活跃开发的产品能够进行UI自动化测试，并提升相对稳定产品的测试可靠性。

自愈测试通过自动适应问题和调整测试行为来减少假阳性，从而增强自动化测试的可信度。

🏷️