因素条件下的言语风格字幕生成

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本文提出了ADS-Cap框架,用于生成准确且多样化的文体标题。该框架使用对比学习模块统一成对的事实语料库和不成对的文体语料库,并通过条件变分自动编码器在潜空间中自动记忆多种文体模式以增强多样性,并通过重新检查模块提高文体准确性。实验结果显示ADS-Cap在与图片一致性、文体准确性和多样性方面表现出色。

🎯

关键要点

  • 提出了ADS-Cap框架,用于生成准确且多样化的文体标题。
  • 框架使用对比学习模块统一成对的事实语料库和不成对的文体语料库。
  • 通过条件变分自动编码器在潜空间中自动记忆多种文体模式以增强多样性。
  • 使用重新检查模块提高文体准确性。
  • 实验结果显示ADS-Cap在与图片一致性、文体准确性和多样性方面表现出色。
  • 在两个广泛使用的文体图片标题数据集上进行实验,结果优于多种基准模型。
  • 进行了广泛的分析以了解方法的有效性。
➡️

继续阅读