学习到的特征表示受到复杂性、学习顺序、位置等的偏差影响
原文中文，约400字，阅读约需1分钟。发表于：。在这项工作中，我们探讨了表示学习和解释所学的表示在机器学习和神经科学中的关键领域，并发现了表示与计算之间一些令人惊讶的脱节现象，这可能对相关工作构成挑战。我们通过创建数据集来匹配不同特征的计算角色，并操纵特征或数据的其他属性。我们训练各种深度学习架构以计算这些关于输入的多个抽象特征，并发现他们学到的特征表示在表示一些特征时存在系统性的偏倚，这些偏倚依赖于特征的复杂性、特征学习的顺序和特征在输...
研究人员发现机器学习和神经科学中表示学习存在脱节现象。深度学习架构在表示特征时存在系统性偏倚，依赖于特征复杂性、学习顺序和输入分布。研究还探索了这些偏差对体系结构、优化器和训练方案的影响。结果有助于理解基于梯度的表示学习的归纳偏差，突出了理解性模型和大脑之间表示的关键挑战。
