音频差异学习用于音频字幕

BriefGPT - AI 论文速递 · 2023-09-15T00:00:00Z

本文介绍了一种使用编码器-解码器架构的音频标题系统，并利用转移学习缓解数据稀缺性问题。通过强化学习将评估指标纳入模型优化中，解决了“曝光偏差”和评估指标与损失函数不匹配的问题。该方法在DCASE 2021 Task 6中排名第三，并进行了消融研究。