端到端语音到文本翻译中一致性正则化的实证研究

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本文介绍了两种训练策略:SimRegCR和SimZeroCR,用于实现一致性正则化的最新性能。在MuST-C基准测试中,我们的方法取得了最先进的性能。分析证明,一致性正则化对于端到端语音转文本翻译至关重要,跨模态一致性可提升零-shot翻译性能。

🎯

关键要点

  • 本文提出了两种训练策略:SimRegCR 和 SimZeroCR。
  • 这两种策略旨在实现一致性正则化的最新性能。
  • 在 MuST-C 基准测试中,提出的方法在大多数翻译方向上取得了最先进的性能。
  • 分析表明,内部一致性带来的正则化对端到端语音转文本翻译至关重要。
  • 跨模态一致性能够消除模态差异,提升零-shot翻译性能。
➡️

继续阅读