音视频检索的两阶段三元组损失训练及课程增强

本文介绍了一种优化开放式音视频说话人验证的方法，通过多任务学习技术提高了距离度量学习方法的性能，展示了弱标签的辅助任务可以增加学习到的说话人表示的紧凑性。同时，将GE2E扩展到多模态输入，并证明其在音视频领域可以达到竞争性的性能。引入了一种非同步音视频采样的随机策略，该策略在训练时能改善泛化效果。在VoxCeleb1-O/E/H的三个官方试验列表中报告了最佳结果。