ICASSP 2026｜迈向构建低资源语种的多任务语音理解模型
💡
原文中文，约6900字，阅读约需17分钟。
📝
内容提要
本文提出了一种针对低资源语言（如泰语）的语音大语言模型（SLLM）多任务理解方案，核心创新包括自监督学习的语音编码器XLSR-Thai、通用语音-文本对齐方法U-Align，以及泰语口语理解数据生成流水线Thai-SUP。实验结果表明，该方案有效提升了泰语的自动语音识别和多任务理解能力，为低资源语言的SLLMs构建提供了新路径。
🎯
关键要点
- 提出了一种针对低资源语言泰语的语音大语言模型多任务理解方案。
- 核心创新包括自监督学习的语音编码器XLSR-Thai、通用语音-文本对齐方法U-Align和泰语口语理解数据生成流水线Thai-SUP。
- 现有语音编码器在低资源语言上表现欠佳，难以支撑多任务理解。
- U-Align方法大幅降低计算成本，提升多任务适配性。
- Thai-SUP流水线生成超过1073小时的泰语口语理解数据集，覆盖意图分类、命名实体识别和语音改写任务。
- 实验结果表明，XLSR-Thai有效提升了泰语的自动语音识别和多任务理解能力。
- U-Align方法在多任务理解中表现优于传统的ASR对齐方法，具备更高的有效性与高效性。
- 提出的方案为低资源语言构建高性能多任务理解的SLLMs提供了新路径。
➡️
