中文语音识别转文字的王者,阿里达摩院FunAsr足可与Whisper相颉顽
内容提要
阿里达摩院自研的FunAsr是一款中文语音识别技术，与OpenAi的Whisper相媲美。FunAsr基于Paraformer非自回归端到端模型，具有高精度、高效率、便捷部署的优点，支持标点符号识别、低语音识别、音频-视觉语音识别等功能。通过对比测试，FunAsr在中文语音转写方面表现优秀，几乎每一条素材都进行了标注。与Whisper相比，FunAsr的模型参数更多，训练数据更丰富，因此在中文领域的语音识别效果更好。
延伸解读
中文场景下的数据效率对比
文章指出，FunAsr使用6万小时纯人工标注数据训练，而Whisper使用了68万小时数据。尽管Whisper数据量更大，但其面向全球市场，中文素材占比未知。FunAsr专注中文，参数达220M，在中文转写测试中表现更优。这说明在特定语言场景下，数据质量和针对性可能比单纯的数据规模更重要。
功能集成与部署便利性
FunAsr不仅提供语音转写，还集成了标点符号识别、语音活动检测（FSMN-VAD）和可控时延Transformer（CT-Transformer）等模块，支持音频-视觉语音识别。文章中的测试显示，FunAsr转写结果几乎无需修改且自带标点，而Whisper medium模型多数素材未标注。这种一体化设计减少了后处理步骤，便于快速构建服务。
测试局限与模型选择影响
文章对比了Whisper medium和large-v2与FunAsr的效果。medium模型中文泛化一般，large-v2偏差不大但标注仍逊于FunAsr。需要注意的是，测试仅基于一个示例音频集，且未涉及Whisper large-v3。因此，结论应理解为在特定测试条件下FunAsr的中文转写和标注更符合需求，而非绝对优劣。
Q&A
FunAsr是什么？它和Whisper有什么关系？
FunAsr是阿里达摩院自研的中文语音识别技术，基于Paraformer非自回归端到端模型，性能与OpenAI的Whisper相媲美，尤其在中文领域表现更优。
FunAsr支持哪些功能？
FunAsr支持标点符号识别、低语音识别、音频-视觉语音识别等功能，不仅能转写语音，还能进行标注。
FunAsr在中文语音转写上的效果如何？
FunAsr在中文语音转写方面表现优秀，几乎每一条素材都进行了标注，转写结果准确，标点符号识别准确，整体效果优于Whisper。
FunAsr和Whisper在训练数据上有什么差异？
FunAsr使用60000小时的纯人工标注数据训练，而Whisper使用了680000小时的数据，但Whisper的数据针对全球市场，中文素材比例未知，因此FunAsr在中文领域效果更好。
如何安装和配置FunAsr？
需要Python3.10环境，通过pip安装torch、torchaudio、funasr和modelscope，然后使用ModelScope pipeline加载模型，指定本地目录以避免C盘下载。
FunAsr的模型结构是怎样的？
FunAsr基于Paraformer非自回归端到端模型，包含基于前馈顺序记忆网络（FSMN-VAD）的语音活动检测模型和基于可控时延Transformer（CT-Transformer）的标点预测模型，中文参数达220M个。
