本研究提出LAVCap框架，旨在解决自动音频字幕生成中音频与视觉数据融合不足的问题。通过优化训练策略和关注模块，LAVCap在AudioCaps数据集上表现出色，具有重要的应用潜力。

本报告介绍了音频字幕领域的研究，重点是Whisper模型和合成字幕的预训练使用。讨论了训练过程和实验结果，包括模型大小变化、数据集混合和超参数。发现不同训练策略对音频字幕模型性能有影响。代码和训练模型在GitHub和Hugging Face Hub上公开。

本文提出了音频字幕的三个愿景：生成流畅的文本、生成忠实于输入音频的文本和提高听觉可感知性。通过零样本方法，使用推理过程进行字幕生成，涉及三个网络：GPT-2语言模型、ImageBind多模态匹配网络和文本分类器。在AudioCap数据集上展示了结果，证明了听觉指导明显提高了性能。