Ferret-UI: 基于多模态 LLMS 的移动 UI 理解

💡 原文中文,约1800字,阅读约需5分钟。
📝

内容提要

本文介绍了Ferret,一个多模态大型语言模型,能够理解图像中的空间引用并执行用户界面(UI)任务。通过强化学习,Ferret在UI自动化中表现出色。此外,研究提出了UIBert模型,利用未标记的UI数据进行预训练,提升了任务的准确率。针对多模态交互中的语言歧义,提出了MUG任务,并构建了实验数据集。Auto-UI作为新解决方案,直接与界面交互,实现高准确率的动作预测,提升用户体验。

🔎

延伸解读

多模态UI理解的技术路线差异

文章提及了Ferret、UIBert和Auto-UI等模型,它们代表了不同的技术路线。Ferret强调理解图像中任意形状或粒度的空间引用,UIBert则通过大规模未标记UI数据预训练来学习通用特征表示,而Auto-UI直接与界面交互,无需环境解析或依赖应用特定API。这些差异反映了UI自动化领域在模型架构和交互方式上的多样性探索。

UI自动化的性能表现与局限

根据文章,Auto-UI在AITW基准上实现了90%的动作类型预测准确率和74%的整体动作成功率。UIBert在九个实际UI任务中,准确率最高提升9.26%。这些数据表明当前模型在UI任务上已取得一定成效,但整体动作成功率仍有提升空间,且不同任务间的性能可能存在差异。

语言歧义与交互式任务解决

针对多模态界面对话交互中的语言歧义问题,文章提出了MUG任务,并构建了包含77820组人类用户和智能Agent交互的数据集。实验表明,允许迭代式交互可以显著提高任务完成率。这提示在实际应用中,通过多轮交互澄清用户意图可能是提升UI自动化可靠性的有效途径。

多语言UI任务的表现差距

文章提到UGIF-DataSet是一个多语言、多模态的UI基础数据集。比较不同大型语言模型的性能发现,英语UI的任务完成成功率为48%,而非英语语言的性能下降到32%。这一差距表明当前模型在处理非英语UI时可能面临额外挑战,多语言支持仍是需要关注的方向。

❓

Q&A

Ferret模型的主要功能是什么?

Ferret模型能够理解图像中的空间引用并执行用户界面(UI)任务。

UIBert模型是如何提升任务准确率的?

UIBert通过在未标记的UI数据上进行预训练,学习UI及其组件的通用特征表示,从而提升任务准确率。

MUG任务的目的是什么?

MUG任务旨在解决多模态交互中的语言歧义问题,并通过构建实验数据集来评估其效果。

Auto-UI的创新之处在哪里?

Auto-UI直接与界面交互,无需环境解析或依赖应用程序相关的API,从而实现高准确率的动作预测。

Ferret在UI自动化方面的表现如何?

Ferret在UI自动化方面表现优异,显示出作为通用UI任务自动化API的潜力。

实验结果显示Auto-UI的动作预测准确率是多少?

实验结果显示,Auto-UI在动作类型预测准确率上达到了90%。

🏷️

标签

➡️

继续阅读