利用音频频谱图视觉转换器进行异常呼吸声识别
内容提要
本文介绍了一种多视图谱图变换器（MVST）模型，应用于呼吸音频谱图分类，显著提高了肺病诊断的准确性。该模型在ICBHI数据集上取得了4.08%的最佳成绩，并通过跨领域适应技术提升了分类能力，适用于COVID-19预筛查，为未来的呼吸模式自动分析提供了可能。
延伸解读
多视图谱图变换器的技术特点
MVST模型的核心创新在于将mel-spectrogram分割为不同大小的patches，利用transformer编码器提取注意力信息，并设计门控融合机制整合多视图特征。这种设计使模型能够同时捕捉呼吸音的局部细节和全局上下文，从而在分类任务中超越现有方法。
跨领域适应提升泛化能力
研究通过跨领域适应技术结合监督对比学习，减少了不同电子听诊器录制的呼吸音之间的领域依赖。在ICBHI数据集上，该方法将得分从基线模型的2.16%提升至61.71%，表明其能有效应对设备差异带来的数据分布变化，增强模型在实际场景中的鲁棒性。
COVID-19预筛查的应用潜力
利用数字化技术获取身体声音进行COVID-19预筛查的研究显示，简单的二进制机器学习分类器也能正确区分健康人与COVID-19患者的声音。这为自动分析呼吸模式作为预筛查信号提供了依据，但需注意其性能可能受数据质量和环境因素影响，实际部署前需进一步验证。
Q&A
MVST模型的主要功能是什么？
MVST模型主要用于呼吸音频谱图的分类，显著提高肺病诊断的准确性。
MVST模型在ICBHI数据集上的表现如何？
MVST模型在ICBHI数据集上取得了4.08%的最佳成绩，显著优于现有方法。
该研究如何减少不同电子听诊器录制的呼吸音之间的领域依赖？
研究结合了跨领域适应技术和监督对比学习，成功减少了领域依赖。
MVST模型如何应用于COVID-19的预筛查？
该模型利用数字化技术进行COVID-19的预筛查，能够有效分类健康人和COVID-19声音。
MVST模型的创新之处是什么？
MVST模型通过将mel-spectrogram分为不同大小的patches，并使用transformer encoders提取注意力信息，具有创新性。
该研究对未来呼吸模式自动分析有什么启示？
研究为未来的呼吸模式自动分析提供了可能性，尤其是在COVID-19预筛查方面。
