实时连续的话语交替预测：使用声音活动投影
内容提要
该文汇总多项语音技术研究：端到端ASR联合取向预测，会话句子识别准确率超97%、延迟100毫秒；音视频多人说话识别模型VCAM解决标签歧义；视觉感知TTS依听者语音表情生成语音；低延迟CPU端到端TTS达31倍实时；弱监督活跃讲话者检测；VoCopilot声音跟踪系统结合大模型转录对话并保护隐私；轻量自适应神经TTS在CPU上快3倍；音视频转换器定位多人会话主要发言者；TS-VAD解决重叠说话，DER较基准改善超30%；零样本语音克隆可从数秒参考语音复制目标音色。
延伸解读
对话交互建模的关键：联合优化与低延迟
文章指出，基于端到端语音识别器的取向预测器通过联合优化ASR和取向预测任务，能更好地建模对话交互。在包含四类语言障碍的会话句子测试中，该方法达到97%以上的准确率和100毫秒的延迟。这表明联合优化策略在提升识别准确性的同时，也满足了实时交互对低延迟的要求，为对话系统提供了更自然的交互基础。
多说话人场景下的音视频融合与标签消歧
针对多人说话识别中的标签歧义问题，VCAM模型利用视频信息将解码文本分配给可见面孔，基于Transformer-Transducer实现端到端处理。在YouTube双说话人重叠话语数据集上，其性能优于仅音频和音视频基线系统。类似地，音视频转换器方法通过自注意构造预测时空关系，实现主要发言者的定位和突出显示，展示了音视频融合在复杂会话场景中的价值。
CPU端实时TTS的进展与轻量化设计
文章汇总了多项CPU端TTS优化成果：低延迟系统采用自回归注意力声学模型和LPCNet声码器，在CPU上达到31倍实时最小延迟；轻量级自适应神经TTS通过模块化设计（韵律预测、声学特征预测、LPCNet声码器），实时性能比真实速度快3倍，且仅需少量数据即可适应新语音，质量差距缩小0.12，相似性差距缩小3%。这些进展表明，在有限算力下实现高质量语音合成已具备可行性。
隐私保护与重叠说话处理的实用化探索
VoCopilot声音跟踪系统结合大语言模型持续转录对话并提取见解，其新颖的唤醒机制仅记录终端用户对话以保护隐私，且整个处理可在普通计算机（Mac Mini M2）上运行。同时，TS-VAD方法直接预测每帧每个说话者的活动，解决重叠说话问题，在CHiME6数据上DER绝对值改善超过30%。这些工作体现了语音技术在隐私保护和复杂声学环境下的实用化趋势。
Q&A
如何预测对话中用户什么时候说完话或停顿思考？
论文提出基于端到端语音识别器的取向预测器，通过检测用户何时停顿思考或讲完话来联合优化ASR任务和取向预测任务，从而更好地建模对话交互。在包含四类语言障碍的会话句子测试集上，该方法识别准确率超过97%，延迟为100毫秒。
多人说话时，音视频模型如何解决把文字分配给哪个人的标签歧义问题？
VCAM（视觉上下文注意力模型）利用可用的视频信息，将解码的文本分配给多个可见面孔中的一个，从而解决多人说话建模中的标签歧义问题。它基于Transformer-Transducer实现端到端模型，在YouTube双说话者音视频重叠话语数据集上评估，性能优于之前仅音频和音视频的多人说话识别系统。
有没有能在CPU上实时运行的端到端文本转语音系统？
有。论文提出一种针对实时应用的低延迟CPU端到端TTS系统，使用自回归基于注意力机制的序列到序列声学模型和LPCNet声码器生成波形。实验显示，该系统在CPU上几乎达到31倍实时的最小延迟，并能生成接近自然的高质量语音。
TS-VAD方法如何解决重叠说话问题，效果如何？
TS-VAD通过直接预测每个时间帧上每个演讲者的活动来解决重叠说话问题，使用i-vectors作为输入，并扩展到多麦克风情况，同时研究了预测演讲者活动概率的后处理策略。在CHiME6数据上，TS-VAD的DER绝对值比基于x-vector的基准系统改善超过30%，达到最新结果。
零样本语音克隆需要多少参考语音，效果怎么样？
论文介绍了一种基于注意力机制和零样本说话人自适应技术的语音克隆方法，可以从几秒钟的参考语音中复制目标语音，实现长话语的普遍化，并保持较高的自然度和相似性。
VoCopilot声音跟踪系统如何保护用户隐私？
VoCopilot使用一种新颖的唤醒机制，只记录终端用户的对话，从而保护终端用户的隐私。整个处理过程可以在一台普通计算机（Mac Mini M2）上运行，结合大型语言模型持续跟踪、记录并转录对话，提取有用见解。
