Apple Machine Learning Research
·
语音质量维度作为非典型语音和情感表达的可解释原始元素
💡
原文英文，约300词，阅读约需1分钟。
📝
内容提要
本文探讨了语音质量模型在非典型语音和语音调制中的应用，评估了可懂度、自然度等七个维度。研究利用公共语音可及性项目的数据集，验证了模型在不同语言和任务上的性能，特别对面临失语风险的人群（如ALS患者）具有重要意义。
🎯
关键要点
- 本文开发并评估了七个语音和言语维度的语音质量模型，包括可懂度、不准确的辅音、粗糙的声音、自然度、单一响度、单一音调和气息感。
- 研究使用公共语音可及性项目的数据集进行训练，数据集中包含434名说话者的11,184个样本。
- 模型在语音引导类别中表现出强大的性能和良好的泛化能力，并在额外的数据集上验证了零样本性能，包括意大利和英语的非典型语音及情感语音。
- 语音复制工具对面临失语风险的人群（如ALS患者）具有重要意义，能够帮助他们在各种交流场合中使用合成语音进行交流。
❓
延伸问答
语音质量模型评估了哪些维度？
评估了可懂度、不准确的辅音、粗糙的声音、自然度、单一响度、单一音调和气息感七个维度。
研究使用了什么数据集进行训练？
研究使用了公共语音可及性项目的数据集，包含434名说话者的11,184个样本。
该模型在不同语言和任务上的表现如何？
模型在语音引导类别中表现出强大的性能和良好的泛化能力，并在额外的数据集上验证了零样本性能。
语音复制工具对ALS患者有什么重要意义？
语音复制工具能够帮助面临失语风险的患者在各种交流场合中使用合成语音进行交流。
研究的主要发现是什么？
研究发现语音质量维度在说话风格相关任务中具有实用性，且结果具有可解释性。
个人语音工具的功能是什么？
个人语音工具为面临失语风险的用户创建合成语音，以便在FaceTime、电话、辅助沟通应用和面对面交流中使用。
➡️
