理解迁移学习中的不变性

通过系统调查了解表示不变性对于迁移学习的重要性以及在预训练过程中与其他参数的相互作用，结果表明，学习具有较高迁移性能的表示时，与适当转换的不变性与其他因素（如训练样本数量、模型架构和预训练类别的身份）相当重要甚至更重要，还揭示了在某些条件下不变性可能会损害转移表示的能力，并探讨了不同任务之间不变性的可转移性。