LinguaSignAI是一个开源项目,旨在将美国手语(ASL)手势翻译为口语。该项目结合了关键点识别和迁移学习技术,利用Google的MediaPipe和深度学习模型,能够适应不同的光照条件和复杂手势。欢迎大家贡献代码,以促进ASL用户与听力世界的沟通。
美国手语是美国第三大语言,但与英语和西班牙语相比,相关的AI工具较少。NVIDIA与美国聋人儿童协会合作推出Signs平台,支持ASL学习,提供3D虚拟形象和实时反馈。用户可贡献视频,建立开放数据集,促进聋人与听人之间的沟通,并整合面部表情等非手动信号,提升ASL教育的可及性。
本研究推出了覆盖74种口语和美国手语的2M-BELEBELE数据集,填补了多语言语音和ASL理解数据集的空白。评估结果显示,语音理解的准确率比阅读理解低约8%。
本研究通过引入美国手语知识图谱(ASLKG),提高了美国手语(ASL)语言模型的可及性和可解释性。结果表明,基于ASLKG训练的模型在手势识别和视频分类任务中表现优异。
本文介绍了一个基于可穿戴设备的自动手语识别系统的概念验证,通过采集动态手语数据并使用机器学习方法解释美国手语(ASL)动态单词。模型准确率高,如随机森林模型达到99%,SVM和两个KNN模型准确率为98%,展示了系统发展的多种可能路径。
该研究介绍了一个基于深度学习的大规模美国手语(ASL)生成预训练模型,以解决对ASL依赖的残障人士之间的沟通障碍。该模型使用基于条件扩散的方法进行ASL生成,并改进了模型的准确性和质量,以及图像指标的优化。
完成下面两步后,将自动完成登录并继续当前操作。