EnCLAP：基于神经音频编解码器和音频文本联合嵌入的自动音频字幕生成
内容提要
本文提出一种弱监督音频字幕生成方法，仅需文本数据和预训练CLAP模型，无需配对音频字幕。该方法利用CLAP音频与文本嵌入的相似性，训练时从文本嵌入重构文本，推断时用音频嵌入解码，并桥接模态差距。在Clotho和AudioCaps数据集上达到全监督方法83%的性能。
延伸解读
弱监督策略如何降低数据依赖
传统音频字幕生成依赖大量人工标注的音频-文本对，成本高昂。本文提出仅需文本数据和预训练CLAP模型，利用CLAP中音频与文本嵌入的相似性，在训练时从文本嵌入重构文本，推断时用音频嵌入解码，从而避免配对音频字幕的收集。这种弱监督方式显著减少了对配对目标数据的需求，为数据稀缺场景提供了可行方案。
模态差距的桥接与性能表现
由于训练使用文本嵌入而推断使用音频嵌入，两者之间存在模态差距。作者采用桥接策略在训练和推断阶段缩小这一差距。在Clotho和AudioCaps数据集上，该方法达到了全监督方法83%的性能水平，表明弱监督方法在减少数据依赖的同时，仍能保持较高的字幕生成质量，但性能仍有提升空间。
与全监督方法的对比与适用场景
与使用配对目标数据训练的全监督方法相比，本文方法在性能上达到其83%，虽未超越但显著降低了对标注数据的依赖。对于缺乏配对音频字幕的领域或资源有限的项目，这种弱监督方法更具实用价值。然而，若追求最高性能且标注数据充足，全监督方法仍是首选。
Q&A
EnCLAP 是什么？它主要解决什么问题？
EnCLAP 是一种基于神经音频编解码器和音频文本联合嵌入的自动音频字幕生成方法。它主要解决自动音频字幕生成中配对音频和字幕数据稀缺的问题，提出一种弱监督方法，仅需文本数据和预训练的 CLAP 模型即可训练 AAC 模型。
EnCLAP 如何在没有配对音频字幕数据的情况下训练音频字幕模型？
EnCLAP 利用 CLAP 中音频和文本嵌入之间的相似性。在训练阶段，它学习从 CLAP 文本嵌入中重构文本；在推断阶段，使用音频嵌入进行解码。为了减小音频和文本嵌入之间的模态差距，采用了在训练和推断阶段桥接差距的策略。
EnCLAP 在哪些数据集上进行了评估？性能如何？
EnCLAP 在 Clotho 和 AudioCaps 数据集上进行了评估，证明其相对于使用配对目标数据训练的完全监督方法可达到高达 83% 的性能水平。
EnCLAP 与完全监督的音频字幕方法相比有什么优势？
EnCLAP 的优势在于它不需要配对音频和字幕数据，仅需文本数据和预训练的 CLAP 模型，从而减轻了对配对目标数据的需求，节省了大量人力和时间。同时，它在 Clotho 和 AudioCaps 上能达到完全监督方法 83% 的性能。
CLAP 在 EnCLAP 中起什么作用？
CLAP（对比语言音频预训练）提供了音频和文本嵌入之间的相似性，EnCLAP 利用这种相似性进行训练和推断。训练时从 CLAP 文本嵌入重构文本，推断时使用音频嵌入解码，并通过桥接策略减小模态差距。
EnCLAP 方法存在哪些局限性或挑战？
EnCLAP 是一种弱监督方法，其性能仅达到完全监督方法的 83%，说明与使用配对数据训练的方法相比仍有差距。此外，方法依赖于预训练的 CLAP 模型，且需要桥接音频和文本嵌入之间的模态差距。
