Swish-T: 提升 Swish 激活函数的性能的 Tanh 偏置
内容提要
本文比较了不同语音增强算法的效果，提出了一种基于短时傅里叶变换的算法，并在多个数据集上验证了其有效性。研究探讨了训练信号长度、RNN训练及深度学习模型在噪声环境下的应用，并提出了多种优化方法以提高语音增强质量。
延伸解读
语音增强技术演进：从STFT到深度学习
文章梳理了语音增强领域从传统短时傅里叶变换（STFT）方法到基于深度学习的时域音频分离网络（如TasNet）的演进。早期研究聚焦于STFT域的特征提取与掩蔽估计，而近年则转向端到端时域建模，并引入生成对抗网络（GAN）、全卷积网络（FCN）等结构。这种转变反映了对相位信息处理和时域相关性建模的重视，也推动了客观指标（如STOI、SDR）的持续提升。
训练策略与信号长度对性能的影响
文章指出，训练信号长度是影响语音分离模型性能的关键因素之一。在特定数据分布下，采用最佳信号长度能显著提升模型表现，而动态混合与最佳长度结合的训练策略效果最优。此外，针对实时单通道增强的RNN训练，研究提出了基于均方误差的学习目标，可分别控制音频失真与噪声降低的权重，并探讨了特征归一化和批次序列长度的影响，为平衡实时性与增强质量提供了参考。
客观指标与主观听感的权衡
多项研究致力于缩小模型优化目标与评价指标之间的差距。例如，基于深度神经网络的系统直接最大化短时客观可懂度（如STOI）的近似度量，在匹配和不匹配信噪比下均取得提升；全卷积网络框架将STOI引入优化，显著提高了可懂度。然而，文章也提到，客观指标（如SDR）的改进未必完全对应主观听感，且模型的前瞻（lookahead）长度、计算复杂度与性能之间存在权衡，需根据应用场景取舍。
多模态与噪声感知训练的探索
文章介绍了利用视觉提示（如口腔运动数据）辅助音频增强的多模态方法，通过双向长短时记忆网络集成特征，提升噪声下的语音质量。同时，噪声感知训练框架将增强语音引入声学模型的多条件训练，通过级联神经结构联合优化增强与识别任务。这些探索表明，引入额外信息或任务协同有望突破单一模态或单一目标的局限，但模型对不同用户和环境的适应性仍是挑战。
Q&A
基于短时傅里叶变换的语音增强算法有什么优势？
该算法在Voice Bank+DEMAND数据集上表现出色，并且开源了低延迟版本的TasNet算法。
训练信号长度如何影响语音分离模型的性能？
特定情况下应用最佳信号长度可以提高模型性能，动态混合和最佳信号长度训练的模型表现最佳。
RNN训练对实时语音增强的质量有什么影响？
RNN训练影响增强短时语音频谱的质量，提出了基于均方误差的学习目标以控制音频失真和噪声降低的重要性。
深度学习如何提高噪声环境下的语音合成？
通过使用空间变换网络模块，深度学习算法能够提高在噪声环境下的语音接口模型的适应性。
卷积循环GAN在语音增强中有什么优势？
卷积循环GAN模型在同样的损失函数下优于其他基于GAN的模型，并且超越其他非GAN的系统。
基于完全卷积神经网络的语音增强框架有什么特点？
该框架通过优化对话语来实现时域相关性信息的全面考虑，显著提高了增强语音的可懂度。
