DEV Community
·
双子座如此出色，我已让它控制我的手机
💡
原文英文，约300词，阅读约需1分钟。
📝
内容提要
本文介绍了一个新框架，利用大型语言模型（LLM）自动执行手机任务，如发送邮件和查找评分。框架由规划者、查找器和执行者三部分组成，开源且支持本地运行，适合开发者进行应用程序自动化测试和创建操作指南。
🎯
关键要点
-
本文介绍了一个新框架，利用大型语言模型（LLM）自动执行手机任务。
-
框架由规划者、查找器和执行者三部分组成，分别负责不同的任务。
-
规划者负责根据当前截图和之前的操作规划下一步。
-
查找器负责找到特定的用户界面元素。
-
执行者负责点击、滚动、输入等操作。
-
该框架支持本地运行，适合开发者进行应用程序自动化测试和创建操作指南。
-
项目是开源的，任何人都可以使用和贡献。
-
可以创建应用程序的操作指南或自动化测试功能。
❓
延伸问答
这个框架是如何利用大型语言模型自动执行手机任务的？
该框架由规划者、查找器和执行者三部分组成，规划者根据当前截图和之前的操作规划下一步，查找器找到特定的用户界面元素，执行者负责执行点击、滚动和输入等操作。
这个框架适合哪些开发者使用？
该框架适合开发者进行应用程序自动化测试和创建操作指南。
这个框架是否开源？
是的，这个项目是开源的，任何人都可以使用和贡献。
框架的执行者负责什么任务？
执行者负责执行点击、滚动、输入等操作。
如何在本地运行这个框架？
用户可以使用自己的密钥在本地运行该框架，支持本地大型语言模型的运行。
这个框架可以用于哪些具体的应用场景？
可以用于创建应用程序的操作指南或自动化测试功能。
➡️
