单击及双击预测的单击延迟降低
内容提要
本文提出了一种模型用于预测用户界面元素的可点击性，并开发了自动诊断工具 TapShoe。研究还改进了 TAP 方法，解决了累积误差问题，并提出了基于深度学习的手势识别技术，展示了其在实时界面控制中的应用潜力。
延伸解读
可点击性预测与自动诊断工具
文章提出了一种预测用户界面元素可点击性的模型，并开发了自动诊断工具TapShoe，帮助设计师评估界面元素的可点击状态。该工具基于大规模数据收集和深度神经网络，能够自动识别用户可能认为可点击的元素，从而辅助界面设计优化。
TAP方法的改进与TAPIR+
针对TAP方法在处理累积误差方面的不足，文章提出了改进的TAPIR+方法，包含多粒度摄像机运动检测和基于CMR的点轨迹预测等组件。该方法在测试中得分0.46，取得了第一名的成绩，显示了其在跟踪视频中物理表面方面的优越性能。
基于深度学习的移动UI可点击元素预测
文章运用深度学习方法，仅基于像素预测移动UI截屏中被用户感知为可点击的元素，并采用ML可解释性技术解释模型输出。其中使用XRAI技术突出显示影响可点击性预测的关键区域，并利用k-最近邻方法展示对可点击性感知产生相反影响的最相似移动UI，增强了模型的可解释性。
手势识别与实时界面控制
文章介绍了一种基于嵌入式电容传感器的手势识别技术，能够生成实时信号并通过机器学习分析时间序列信号，识别五个手指的三个特征，性能可与监督式可变自编码器等高级方法相媲美。此外，还提出了一种基于非接触手势识别的实时界面控制框架，实现了98.8%的检测率和98.4%的帧校正率，采用GRU模型对10种手势的准确率达到98.79%，为电容式感应技术的商业化提供了可能。
Q&A
TapShoe工具的主要功能是什么？
TapShoe工具用于自动诊断用户界面元素的可点击性，帮助设计师评估设计的可点击状态。
TAPIR + 方法解决了什么问题？
TAPIR + 方法通过多粒度摄像机运动检测和基于CMR的点轨迹预测，解决了现有方法在处理累积误差时的不足。
如何通过深度学习预测用户界面元素的可点击性？
通过基于像素的深度学习方法，模型能够预测移动UI截屏中用户感知为可点击的元素，并使用ML可解释性技术解释输出。
TAP模型在机器人控制中的应用是什么？
TAP模型是一种时间不可知的预测模型，用于机器人控制，解决未来和中间帧的预测问题。
手势识别技术的性能如何？
手势识别技术使用嵌入式电容传感器生成实时信号，其性能可与高级方法相媲美，且具有自适应误差校正机制。
如何通过触摸屏交互行为进行个体分类？
通过分析触摸屏智能手机上的独特交互行为，使用Touch-Analytics数据集和新特征来改善整体鉴别性能。
