AURORA: 通过自动化神经屏幕理解导航用户界面陷阱
内容提要
本文探讨了基于深度学习的用户界面自动化技术，包括通过屏幕识别提升移动应用可访问性、利用多模态解决方案Auto-UI实现高准确率的动作预测，以及自动化GUI原型设计方法ReDraw的应用。这些研究旨在提升用户体验和任务自动化效率。
延伸解读
从像素到可点击性：模型如何理解界面
文章提到一种基于深度学习的模型，仅凭移动UI截屏的像素就能预测用户感知为可点击的元素。为了解释模型决策，研究采用XRAI技术高亮影响可点击性预测的关键区域，并用k-最近邻方法找出数据集中对可点击性感知产生相反影响的最相似界面。这种可解释性分析有助于理解模型判断依据，为界面设计提供反馈。
演示式代理UINav：少样本学习与移动端部署
UINav是一种演示式代理系统，通过简单手势演示任务，能在移动设备上轻量运行。它采用裁判模型、宏操作和增加训练数据来减少演示次数，平均每个任务10次演示即可达到70%以上准确率，足够演示下对40多个不同任务几乎完美。这展示了少样本学习在UI自动化中的潜力，同时兼顾了移动端资源限制。
Auto-UI：多模态直接交互与链式动作技术
Auto-UI是一种多模态解决方案，直接与界面交互，无需环境解析或依赖应用特定API。它提出链式动作技术，利用中间动作历史和未来动作计划帮助代理决策。在AITW基准上，Auto-UI实现了90%的动作类型预测准确率和74%的整体动作成功率。这表明多模态方法在复杂多步任务中具有优势，且降低了对沙盒环境和外部工具的依赖。
ReDraw：自动化GUI原型设计及其影响
ReDraw是一种自动化GUI原型设计方法，通过检测、分类和组装从设计稿生成代码。它结合计算机视觉、自动化动态分析和深度卷积神经网络进行组件分类，并使用k-最近邻算法生成分层GUI结构。在Android平台实现后，平均组件分类准确率达91%，生成的原型视觉外观与设计稿高度相似，且代码结构合理。工业从业者访谈表明其能改善真实开发流程。
Q&A
AURORA项目的主要目标是什么？
AURORA项目旨在通过深度学习技术提升用户界面的自动化和可访问性，改善用户体验和任务自动化效率。
UINav系统的准确率是多少？
UINav系统的平均准确率超过70%。
Auto-UI解决方案的动作预测准确率是多少？
Auto-UI实现了90%的动作类型预测准确率和74%的整体动作成功率。
ReDraw方法在GUI组件分类中的准确率是多少？
ReDraw方法的平均组件分类准确率为91%。
Spotlight方法与传统方法相比有什么优势？
Spotlight方法在UI建模中表现优于传统方法，具备多任务学习和少样本学习能力。
Hawkeye方法如何测试App更新？
Hawkeye方法通过优先执行与代码变更相关的GUI操作，提供有针对性的测试。
