UI-JEPA：通过屏幕用户活动实现用户意图的主动感知
内容提要
介绍了UI-JEPA框架，用于学习未标记数据中的用户界面嵌入和预测用户意图。提出了两个新的UI相关数据集，用于少样本和零样本的UI理解任务。实验证明UI-JEPA在计算成本和延迟方面具有优势，并能达到大型MLLM的预测性能。突出了UI-JEPA的有效性和潜力。
延伸解读
轻量级UI意图预测的突破
UI-JEPA通过自监督学习从无标签数据中提取UI嵌入，结合微调的LLM解码器预测用户意图，显著降低了计算成本和延迟。在IIW数据集上，计算成本降低50.5倍，延迟改善6.6倍，使其适合设备端低延迟或高隐私场景。
新数据集推动少样本与零样本理解
文章发布了IIW和IIT两个UI多模态数据集，分别包含1.7K视频（219个意图类别）和914个视频（10个类别），为少样本和零样本UI理解任务提供了基准。这些数据集填补了高质量数据缺乏的空白，有助于轻量级模型的开发与评估。
性能超越大型多模态模型
在意图相似度评分上，UI-JEPA平均超越GPT-4 Turbo和Claude 3.5 Sonnet分别10.0%和7.2%，同时大幅减少计算资源和部署需求。这表明JEPA风格目标与LLM解码器结合，能在资源受限条件下达到与大型MLLM相当的意图预测性能。
Q&A
UI-JEPA框架的主要功能是什么？
UI-JEPA框架通过自监督学习从未标记数据中学习用户界面嵌入，以预测用户意图。
UI-JEPA在计算成本和延迟方面的优势是什么？
UI-JEPA在IIW数据集中实现了50.5倍的计算成本降低和6.6倍的延迟改善。
UI-JEPA使用了哪些新的数据集？
UI-JEPA引入了两个新的数据集，分别是'Intent in the Wild' (IIW)和'Intent in the Tame' (IIT)。
UI-JEPA如何提高用户意图预测的准确性？
UI-JEPA通过JEPA风格的目标学习和LLM解码器的微调，提升了用户意图预测的准确性。
UI-JEPA与现有大型多模态语言模型相比有什么优势？
UI-JEPA在意图相似度评分上超越了GPT-4 Turbo和Claude 3.5 Sonnet，分别提高了10.0%和7.2%。
UI-JEPA的应用场景有哪些？
UI-JEPA适用于需要轻量级、低延迟的用户界面理解任务，特别是在隐私要求较高的场景中。
