AURORA: 通过自动化神经屏幕理解导航用户界面陷阱
原文中文，约1700字，阅读约需5分钟。
📝
内容提要
本文探讨了基于深度学习的用户界面自动化技术，包括通过屏幕识别提升移动应用可访问性、利用多模态解决方案Auto-UI实现高准确率的动作预测，以及自动化GUI原型设计方法ReDraw的应用。这些研究旨在提升用户体验和任务自动化效率。
❓
Q&A
AURORA项目的主要目标是什么？
AURORA项目旨在通过深度学习技术提升用户界面的自动化和可访问性，改善用户体验和任务自动化效率。
UINav系统的准确率是多少？
UINav系统的平均准确率超过70%。
Auto-UI解决方案的动作预测准确率是多少？
Auto-UI实现了90%的动作类型预测准确率和74%的整体动作成功率。
ReDraw方法在GUI组件分类中的准确率是多少？
ReDraw方法的平均组件分类准确率为91%。
Spotlight方法与传统方法相比有什么优势？
Spotlight方法在UI建模中表现优于传统方法，具备多任务学习和少样本学习能力。
Hawkeye方法如何测试App更新？
Hawkeye方法通过优先执行与代码变更相关的GUI操作，提供有针对性的测试。
🏷️
