基于语音基础模型中语言选择性维度的语码转换检测
内容提要
该研究提出一种轻量方法，直接从语音中检测语码转换，无需多语言转录。方法利用预训练语音编码器的帧级语言信息，通过单语录音识别语言选择性隐藏维度，并聚合其帧级激活进行预测。在CS-FLEURS的14个语言对上，Whisper-small编码器平均F1为0.798，优于CNN的0.776和HuBERT的0.751。结果表明预训练语音编码器已编码识别语码转换所需信息，可用于构建更具代表性的多语言语料库。
延伸解读
方法核心：利用预训练编码器的语言选择性维度
该研究提出一种轻量级语码转换检测方法，无需多语言转录。它利用预训练语音编码器（如Whisper）的帧级隐藏状态，通过单语录音识别出对语言选择敏感的维度，再聚合这些维度的帧级激活来预测语码转换。这种方法直接处理语音，避免了依赖转录文本的误差传播，为大规模语音语料库中的语码转换检测提供了高效工具。
性能对比：Whisper-small编码器表现最佳
在CS-FLEURS数据集的14个语言对上，Whisper-small编码器的平均F1为0.798，优于CNN的0.776和基于HuBERT的线性基线（0.751）。这一结果表明，预训练语音编码器已经编码了识别语码转换所需的信息，且不同编码器架构的性能差异显著。Whisper-small在语码转换检测任务上展现出相对优势，但整体性能仍有提升空间。
应用价值：助力构建更具代表性的多语言语料库
语码转换在多语言语音中常见，但在预训练语料中代表性不足。该研究的方法能够从大规模语音集合中高效筛选出包含语码转换的语句，从而将其纳入训练数据，提升多语言模型的覆盖面和鲁棒性。这种轻量级检测工具为构建更公平、更具代表性的多语言语音资源提供了实用途径。
Q&A
什么是语码转换（CS）？为什么它在多语言语音中值得关注？
语码转换指在同一句话中交替使用不同语言的现象。它在多语言语音中很常见，但在预训练语料中代表性不足，因此需要检测并纳入更多此类语音以提升覆盖度。
这篇论文提出的语码转换检测方法有什么特别之处？
该方法轻量且直接从语音中检测语码转换，无需依赖多语言转录。它利用预训练语音编码器的帧级语言信息，通过单语录音识别语言选择性隐藏维度，并聚合这些维度的帧级激活来预测语码转换。
如何利用预训练语音编码器来检测语码转换？
首先用单语录音识别编码器中语言选择性的隐藏维度，然后聚合这些维度在帧级别的激活，最后用少量语码转换数据调整决策规则，从而判断一句话中是否同时出现两种语言。
该方法在哪些语言对上进行了评估？性能如何？
在CS-FLEURS数据集的14个语言对上评估。Whisper-small编码器平均F1为0.798，优于CNN的0.776和HuBERT线性基线的0.751。
与基于转录的方法相比，直接从语音检测语码转换有什么优势？
直接检测不依赖准确的多语言转录，避免了转录错误带来的影响，且方法轻量，更适合从大规模语音集合中筛选语码转换话语。
这项研究的主要结论是什么？
预训练语音编码器已经编码了识别语码转换所需的信息，因此可以直接用于检测语码转换，为构建更具代表性的多语言语料库提供了轻量工具。
