端到端语音到文本翻译中一致性正则化的实证研究
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
本文介绍了两种训练策略:SimRegCR和SimZeroCR,用于实现一致性正则化的最新性能。在MuST-C基准测试中,我们的方法取得了最先进的性能。分析证明,一致性正则化对于端到端语音转文本翻译至关重要,跨模态一致性可提升零-shot翻译性能。
🎯
关键要点
- 本文提出了两种训练策略:SimRegCR 和 SimZeroCR。
- 这两种策略旨在实现一致性正则化的最新性能。
- 在 MuST-C 基准测试中,提出的方法在大多数翻译方向上取得了最先进的性能。
- 分析表明,内部一致性带来的正则化对端到端语音转文本翻译至关重要。
- 跨模态一致性能够消除模态差异,提升零-shot翻译性能。
🏷️
标签
➡️