缓解 TTS 的重复与漏读：用注意力引导消除语音合成中的稳定性幻觉
内容提要
论文针对基于大语言模型的语音合成在复杂文本上出现的重复、漏读等稳定性幻觉问题，提出通过注意力引导进行优化。作者从CosyVoice 2的自注意力中发现对齐注意力头，提出最优对齐分数（OAS）评估对齐质量，并据此强化前向注意力约束；同时利用伪对齐路径构建位置思维链，通过稀疏文本Token和进度条预测显式告知模型合成位置。实验表明，该方法在困难文本上词错误率相对下降约35%，且不损害自然度和说话人相似度。
延伸解读
稳定性幻觉的根源：缺少显式对齐
基于大语言模型的语音合成（LLM-based TTS）采用decoder-only架构，文本和语音token在同一序列中生成，缺乏传统encoder-decoder模型中的cross-attention显式对齐机制。面对复杂文本时，模型可能无法准确定位当前合成位置，导致重复、漏读甚至无限循环。论文通过分析CosyVoice 2的自注意力，发现中间层存在类似cross-attention的对齐注意力头，为后续优化提供了基础。
OAS：量化对齐质量的指标
论文提出最优对齐分数（OAS），通过Viterbi算法在自注意力矩阵中寻找全局最优单调路径，并计算该路径上的注意力概率占比。OAS越高，表示对齐越清晰稳定。实验显示，OAS与词错误率（WER）的相关系数为-0.638，即OAS越高，WER越低，验证了OAS作为对齐质量指标的有效性。
两步优化：从注意力约束到位置CoT
优化一利用OAS loss强化前向注意力约束，使对齐头更稳定地沿文本顺序移动。优化二将最优对齐路径作为伪强制对齐标签，构建位置思维链（CoT），通过稀疏文本Token和进度条预测显式告知模型当前合成位置。稀疏文本Token避免了边界误差，进度条预测则帮助模型在重复结构中定位，两者结合显著降低了困难文本的WER。
实验效果与权衡
在Seed-TTS-Eval困难文本上，WER相对下降约26.4%；在CV3-Eval困难文本上，相对下降约35.0%。同时，自然度（MOS）和说话人相似度（SIM）基本保持稳定，普通文本场景下主观MOS与原始模型相近。这表明注意力引导主要改善稳定性问题，并未牺牲语音质量，且无需额外人工对齐标签或推理时硬约束。
Q&A
什么是TTS中的稳定性幻觉？
稳定性幻觉是指合成语音与输入文本之间出现严重不一致的现象，例如重复生成同一段内容、漏读部分文本，或停留在某个位置无法正常结束。这类问题在复杂生僻词、排比句和连续重复结构等困难文本中更容易被触发。
为什么基于大语言模型的语音合成会出现重复和漏读问题？
因为LLM-based TTS通常采用decoder-only架构，以next-token prediction方式生成语音token，缺少类似cross-attention的显式文本与语音引导。面对复杂句子时，模型可能无法准确定位当前合成位置，导致在生成过程中“迷路”，从而出现重复、漏读等问题。
论文提出的最优对齐分数（OAS）是什么？如何计算？
OAS是用于评估文本与语音对齐质量的指标。它从自注意力矩阵中取出输出语音token指向输入文本token的区域，通过Viterbi算法寻找一条全局最优的单调路径，然后计算该路径上的注意力概率占整个对齐区域注意力概率的比例。OAS越高，表示注意力越集中在前向连续路径上，对齐质量越好。
论文如何利用OAS强化前向注意力约束？
论文将CosyVoice 2第8层和第9层的一半注意力头指定为对齐注意力头，并通过attention mask限制这些头只关注文本与语音的对齐区域。然后使用OAS loss提高最优单调路径上的注意力概率，要求注意力随语音生成沿文本连续向前移动，从而增强文本与语音token之间的对齐能力，减少幻觉。
位置CoT是如何构建的？它如何帮助减少稳定性幻觉？
位置CoT通过将教师模型（CosyVoice 2）中OAS最高的注意力头提取的最优对齐路径作为伪强制对齐标签，指导学生模型训练。学生模型在预测语音token时，还需预测对应的文本token（稀疏文本Token）和当前合成进度（进度条）。稀疏文本Token告诉模型正在合成哪段文本，进度条告诉模型整句话合成到什么位置，从而显式提供位置信息，减少在重复结构中的定位错误。
论文的实验结果如何？在困难文本上词错误率降低了多少？
在Seed-TTS-Eval困难文本上，WER从13.568%降至9.984%，相对下降约26.4%；在CV3-Eval困难文本上，WER从10.239%降至6.660%，相对下降约35.0%。同时，自然度（MOS）和说话人相似度（SIM）基本保持稳定。
论文的方法是否需要额外的人工对齐标签或推理时的硬约束？
不需要。论文的方法不需要额外的人工强制对齐标签，也不需要在推理阶段加入硬单调注意力。它利用模型内部的注意力对齐信息，通过训练阶段的OAS loss和位置CoT来改善稳定性。
