量子位
·
一次示范就能终身掌握！让手机AI轻松搞定复杂操作丨浙大&vivo出品
💡
原文中文，约3600字，阅读约需9分钟。
📝
内容提要
浙大与vivo合作推出LearnAct框架，通过示范学习使手机AI能够在多样场景中完成复杂操作，提升了AI性能，为个性化手机助手奠定基础。
🎯
关键要点
- 浙大与vivo合作推出LearnAct框架，通过示范学习使手机AI能够在多样场景中完成复杂操作。
- LearnAct框架仅需一次示范即可教会AI，提升了AI性能。
- 研究同步发布的LearnGUI基准，构建了面向移动端示范学习的评估体系。
- 手机GUI智能体面临多样性和长尾场景的挑战，现有方法难以覆盖所有任务需求。
- LearnAct框架和LearnGUI基准通过少样本示范学习解决手机GUI智能体的长尾问题。
- LearnGUI基准包含2252个离线少样本任务和101个在线任务，附带高质量人类示范。
- LearnAct框架由DemoParser、KnowSeeker和ActExecutor三个智能体组成，能够自动理解和利用示范。
- 实验结果显示，示范学习显著提升了手机GUI智能体的性能。
- 示范学习为手机GUI智能体的发展开辟了新方向，奠定了个性化手机助手的基础。
❓
延伸问答
LearnAct框架的主要功能是什么？
LearnAct框架通过示范学习使手机AI能够在多样场景中完成复杂操作，仅需一次示范即可教会AI，提升了AI性能。
LearnGUI基准的作用是什么？
LearnGUI基准构建了面向移动端示范学习的评估体系，包含2252个离线少样本任务和101个在线任务，提供高质量人类示范。
示范学习如何解决手机GUI智能体的长尾问题？
示范学习通过少样本示范，使智能体能够在有限的示例基础上实现稳健性和个性化，从而应对多样性和长尾场景的挑战。
LearnAct框架由哪些组件组成？
LearnAct框架由DemoParser、KnowSeeker和ActExecutor三个智能体组成，分别负责理解示范、检索知识和执行操作。
示范学习对手机GUI智能体性能的影响如何？
实验结果显示，示范学习显著提升了手机GUI智能体的性能，例如Gemini-1.5-Pro的准确率从19.3%提升至51.7%。
LearnAct框架的研究背景是什么？
研究背景是手机GUI智能体在多样性和长尾场景中面临的挑战，现有方法难以覆盖所有任务需求，因此需要新的示范学习方法。
➡️
