BriefGPT - AI 论文速递
·
音视频检索的两阶段三元组损失训练及课程增强
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
本文介绍了一种优化开放式音视频说话人验证的方法，通过多任务学习技术提高了距离度量学习方法的性能，展示了弱标签的辅助任务可以增加学习到的说话人表示的紧凑性。同时，将GE2E扩展到多模态输入，并证明其在音视频领域可以达到竞争性的性能。引入了一种非同步音视频采样的随机策略，该策略在训练时能改善泛化效果。在VoxCeleb1-O/E/H的三个官方试验列表中报告了最佳结果。
🎯
关键要点
- 介绍了一种优化开放式音视频说话人验证的方法。
- 通过多任务学习技术提高了距离度量学习方法的性能。
- 弱标签的辅助任务可以增加学习到的说话人表示的紧凑性。
- 将广义端到端损失（GE2E）扩展到多模态输入。
- 证明了GE2E在音视频领域可以达到竞争性的性能。
- 引入了一种非同步音视频采样的随机策略，改善训练时的泛化效果。
- 在VoxCeleb1-O/E/H的三个官方试验列表中报告了最佳结果，等错误率（EER）分别为0.244%、0.252%、0.441%。
➡️
