TF-MossFormer：鱼与熊掌亦可兼得？在单通道语音分离中同时捕捉“局部细节”与“全局依赖”
内容提要
阿里团队提出TF-MossFormer，一种时频域单通道语音分离混合Transformer框架，通过结合局部滑动窗口注意力与全局注意力，并加入卷积门控机制，协同捕捉语音的细粒度局部连续性与长距离全局依赖。在WSJ0-2Mix基准上，该模型以多种规模超越现有方法，小模型高效，大模型达新SOTA，验证了局部与全局协同建模在语音分离中的有效性。
延伸解读
局部与全局的平衡：语音分离的核心挑战
文章指出，单通道语音分离长期面临一个核心矛盾：模型既要捕捉谐波结构、音素级变化等局部细节，又要维持说话人身份和句子上下文的全局连贯性。传统卷积擅长局部建模但视野受限，标准Transformer虽能处理长程依赖却容易忽略精细模式。TF-MossFormer的提出正是为了在时频域中同时兼顾这两者，这一设计思路对理解语音分离的技术演进具有重要参考价值。
时频域建模的独特优势
与许多时域方法不同，TF-MossFormer选择在STFT得到的二维语谱图上进行建模。文章强调，语音的结构在时频平面上更易表达：时间轴体现发音连续性和语速，频率轴反映谐波和共振峰。通过交替进行频率维和时间维的建模，模型能更充分利用语音的几何结构。这一选择表明，时频域方法在充分利用二维结构时，依然具有强大的竞争力。
消融实验揭示的设计要点
论文通过消融实验提供了几个关键设计启示：局部窗口并非越大越好，时间窗口31、频率窗口7的组合效果最佳；使用全长窗口反而性能下降，说明局部连续性的显式建模不可或缺；注意力顺序上，先局部后全局并配合卷积门控效果最优。这些发现为后续语音分离、增强等任务中的注意力机制设计提供了具体参考。
Q&A
TF-MossFormer 是什么？它主要解决什么问题？
TF-MossFormer 是阿里团队提出的一种面向单通道语音分离的时频域混合 Transformer 框架。它旨在同时捕捉语音中的局部细节（如谐波结构、音素级变化）和全局依赖（如说话人一致性、句子上下文），解决传统方法在局部与全局建模上难以兼顾的问题。
TF-MossFormer 的核心设计有哪些？
TF-MossFormer 的核心设计包括三点：1）局部注意力与全局注意力的联合建模；2）内容感知的滑动窗口局部注意力；3）在注意力之间加入卷积门控机制，以增强特征筛选和信息流动。
为什么 TF-MossFormer 选择在时频域而不是纯时域进行建模？
因为语音的结构在二维语谱图上更容易表达，时间轴体现发音连续性和语速变化，频率轴体现谐波结构、共振峰等。时频域能更充分利用语音的二维几何结构，有助于分离说话人特征。
TF-MossFormer 在 WSJ0-2Mix 上的性能如何？
TF-MossFormer 提供了小、中、大三种模型。小模型（6.0M）SI-SDRi 为 22.6 dB，中模型（16.9M）为 24.0 dB，大模型（25.4M）达到 24.4 dB，均超过同量级的现有方法，大模型达到新的 SOTA。
消融实验揭示了哪些重要发现？
消融实验发现：1）局部窗口大小需适中，时间窗口31、频率窗口7最佳；2）使用全长窗口反而性能下降，说明局部连续性的显式建模很重要；3）先局部后全局的注意力顺序并配合卷积门控效果最好。
TF-MossFormer 的局部注意力与全局注意力各有什么优缺点？
全局注意力能捕捉长距离依赖，但计算量高且对局部细节不敏感；局部注意力聚焦邻域，能捕捉局部连续模式，计算复杂度低，但视野有限。TF-MossFormer 通过结合两者来互补。
TF-MossFormer 的卷积门控机制有什么作用？
卷积门控机制在局部和全局注意力之间加入，由 Conv1D 和 Swish 组成，能增强特征选择能力，让模型自动保留重要信息、抑制无关信息，并改善局部与全局建模之间的信息流动。
