Apple Machine Learning Research ·

基于长音频编码的分段注意力解码

💡 原文英文，约400词，阅读约需2分钟。

📝

内容提要

本文讨论了基于注意力的编码解码模型（AED）与长音频编码的兼容性问题，并提出了四项改进措施以提高模型在长段落解码中的准确性。这些措施包括引入绝对位置编码、扩展音频上下文训练、段落拼接和语义分割，从而缩小了连续与分段音频编码之间的准确性差距。

🎯

基于注意力的编码解码模型（AED）与长音频编码存在基本的不兼容性。
AED模型在分段语音上训练时，利用有限的音频上下文来编码绝对帧位置，但在解码长段落时无法泛化。
模型由于交叉注意力中键和值的排列不变性，失去了对音频编码的排序能力。
提出了四项改进措施：1) 在交叉注意力中为每个解码段注入显式绝对位置编码；2) 进行长音频训练，扩展音频上下文以消除隐式绝对位置编码；3) 段落拼接以覆盖训练中所需的多样化分段；4) 语义分割以对齐AED解码段与训练段。
这些改进措施缩小了连续与分段音频编码之间的准确性差距，使得注意力解码器能够自回归使用。

🔎

基于注意力的编码解码模型（AED）在处理长音频时面临显著的局限性。由于模型在训练时依赖于有限的音频上下文，导致在解码长段落时无法有效泛化。这一问题的存在使得在实际应用中，模型的表现可能不如预期，尤其是在需要处理复杂音频内容时。

文章提出的四项改进措施旨在提升AED模型在长音频解码中的准确性。这些措施不仅有助于解决模型的兼容性问题，还能在实际应用中提高语音识别的准确率，尤其是在需要处理长段落的场景中。这为未来的研究和应用提供了新的方向。

在训练过程中，段落拼接和语义分割的引入使得模型能够更好地适应多样化的音频输入。这种多样性不仅提升了模型的鲁棒性，也为处理不同类型的音频数据提供了更大的灵活性，值得在后续研究中进一步探索和优化。

❓

长音频编码与注意力解码模型（AED）之间的基本不兼容性在于，AED模型在分段语音上训练时，无法有效解码长段落，因为它们利用的有限音频上下文在长段落中消失。

提高长音频解码准确性的方法包括引入绝对位置编码、扩展音频上下文训练、段落拼接和语义分割。

模型在解码长段落时面临的挑战包括无法泛化的绝对帧位置编码和由于交叉注意力中键和值的排列不变性而失去的音频编码排序能力。

绝对位置编码是为每个解码段注入的显式编码，旨在帮助模型在解码时保持音频编码的顺序信息。

段落拼接在训练中重要，因为它覆盖了所需的多样化分段，从而提高模型在解码时的适应性和准确性。

语义分割通过对齐AED解码段与训练段，帮助模型更好地理解和处理音频内容，提高解码的准确性。

🏷️