CNVSRC 2024 年视觉语音识别的 NPU-ASLP 系统描述
内容提要
NPU-ASLP-LiAuto在2023年中国视觉语音识别挑战赛中表现优异，单说话人和多说话人任务的字符错误率分别为34.76%和41.06%，在所有三个跟踪中排名第一。研究采用中间连接主义时间分类模块和双变压器解码器，显著提升了识别准确性。
延伸解读
技术核心：Inter CTC 与双 Transformer 解码器
该系统在模型中使用中间连接主义时间分类（Inter CTC）残差模块，以放宽 CTC 的条件独立性假设，并采用双 Transformer 解码器捕捉过去和未来的上下文信息。这些技术改进是提升识别准确性的关键，使系统在单说话人任务上达到 34.76% 的字符错误率。
建模单元与语言模型融合策略
研究使用汉字作为建模单元，并在推断阶段采用递归神经网络语言模型（RNNLM）进行浅层融合。这种组合在评估集上实现了 38.09% 的字符错误率，相对于官方基准线减少了 21.63%，显示了语言模型融合对性能的显著提升。
多任务性能与挑战赛表现
系统在单说话人固定和开放跟踪以及多说话人开放跟踪中均排名第一，单说话人 CER 为 34.76%，多说话人 CER 为 41.06%。多说话人任务的错误率较高，反映了该任务在说话人变化下的更大挑战性。
Q&A
NPU-ASLP-LiAuto在视觉语音识别挑战赛中的表现如何？
NPU-ASLP-LiAuto在2023年中国视觉语音识别挑战赛中，单说话人任务的字符错误率为34.76%，多说话人任务的字符错误率为41.06%，在所有三个跟踪中排名第一。
NPU-ASLP-LiAuto使用了哪些技术来提升识别准确性？
该系统采用了中间连接主义时间分类模块和双变压器解码器，以显著提升识别准确性。
在推断阶段，NPU-ASLP-LiAuto使用了什么模型？
在推断阶段，NPU-ASLP-LiAuto使用了递归神经网络语言模型进行浅层融合。
这项挑战的主要目标是什么？
此次挑战旨在评估大词汇量连续视觉语音识别在单一说话人和多说话人任务上的性能。
NPU-ASLP-LiAuto在评估集上的字符错误率是多少？
在评估集上，NPU-ASLP-LiAuto的字符错误率为38.09%。
NPU-ASLP-LiAuto在挑战赛中获得了什么名次？
NPU-ASLP-LiAuto在挑战赛中获得了第二名。
