iMaeGoo's Blog
·
Midscene.js：AI驱动的自动化测试工具
内容提要
字节的 Midscene.js 是一款支持多模态模型的前端自动化测试插件，适合爬虫开发。它提供三大 API：Action、Query 和 Assert，分别用于执行交互、提取数据和进行断言。用户可通过 Chrome 商店安装和配置，项目成本逐渐降低。
关键要点
-
字节的 Midscene.js 是一款前端自动化测试插件，适合爬虫开发。
-
Midscene.js 提供三大 API：Action、Query 和 Assert。
-
Action API 用于描述步骤并执行交互。
-
Query API 用于从 UI 中提取数据，返回 JSON 格式。
-
Assert API 用于判断是否符合指定条件。
-
项目最初仅支持 GPT-4o 模型，后续支持 Qwen-2.5-VL 和 UI-TARS，成本降低。
-
用户可以从 Chrome 商店安装 Midscene.js。
-
配置需要设置 OPENAI_BASE_URL、OPENAI_API_KEY、MIDSCENE_MODEL_NAME 和 MIDSCENE_USE_QWEN_VL。
-
用户需申请 OPENAI_API_KEY，阿里云新用户有免费额度。
-
可以用自然语言指令测试插件功能。
-
通过组合三大 API 编写爬虫，完成复杂的自动化任务。
-
示例代码展示如何使用 Midscene.js 进行搜索并输出结果。
延伸解读
Midscene.js 的应用场景
Midscene.js 作为前端自动化测试插件，特别适合爬虫开发。通过其三大 API，用户可以轻松实现复杂的自动化任务，尤其在数据提取和交互操作方面表现突出。这使得开发者在进行网站数据抓取时，能够更高效地完成任务，节省时间和精力。
成本与模型支持
最初，Midscene.js 仅支持 GPT-4o 模型，使用成本较高。随着对 Qwen-2.5-VL 和 UI-TARS 的支持，项目成本显著降低。这一变化使得更多开发者能够负担得起，促进了该工具的普及和应用。用户在选择模型时，应考虑成本与性能的平衡。
配置与使用注意事项
在使用 Midscene.js 前，用户需正确配置环境变量，包括 OPENAI_BASE_URL 和 OPENAI_API_KEY。特别是 API 密钥的申请，需注意阿里云的新用户免费额度的有效期，以避免不必要的费用。此外，用户应熟悉三大 API 的功能，以便充分发挥插件的优势。
延伸问答
Midscene.js 是什么？
Midscene.js 是字节推出的一款前端自动化测试插件，适合爬虫开发。
Midscene.js 提供了哪些主要 API？
Midscene.js 提供三大 API：Action、Query 和 Assert。
如何安装 Midscene.js？
用户可以直接从 Chrome 商店安装 Midscene.js。
如何配置 Midscene.js 的环境变量？
需要设置 OPENAI_BASE_URL、OPENAI_API_KEY、MIDSCENE_MODEL_NAME 和 MIDSCENE_USE_QWEN_VL。
使用 Midscene.js 进行爬虫开发的基本步骤是什么？
可以通过组合三大 API 编写爬虫，完成复杂的自动化任务。
Midscene.js 的成本如何变化？
最初仅支持 GPT-4o 模型，成本较高，后续支持 Qwen-2.5-VL 和 UI-TARS，成本大幅降低。
