本研究提出LAVCap框架，旨在解决自动音频字幕生成中音频与视觉数据融合不足的问题。通过优化训练策略和关注模块，LAVCap在AudioCaps数据集上表现出色，具有重要的应用潜力。

本文介绍了一种利用双编码器和掩码边界软最大损失进行音频字幕自动生成的方法。研究在多个数据集上显著提升了性能，提出了基于公共工具的音频说明生成流程，并构建了包含190万个音频文本对的数据集。通过弱监督方法，减少了对配对数据的需求，验证了模型的有效性。

本文提出了音频字幕的三个愿景：生成流畅的文本、生成忠实于输入音频的文本和提高听觉可感知性。通过零样本方法，使用推理过程进行字幕生成，涉及三个网络：GPT-2语言模型、ImageBind多模态匹配网络和文本分类器。在AudioCap数据集上展示了结果，证明了听觉指导明显提高了性能。