神经网络学习分类任务中的编码方案
原文中文，约400字，阅读约需1分钟。发表于：。神经网络具有生成任务相关特征有意义表示的关键能力，然而 emergent coding scheme 的本质仍不清楚。本文使用贝叶斯框架研究全连接的宽神经网络在学习分类任务时的特征学习机制，并发现网络的内部表示在神经非线性方面具有重要影响，线性网络呈现任务的模拟编码方案，而非线性网络则呈现冗余或稀疏编码方案。
这项工作研究了表示学习和解释学习在机器学习和神经科学中的关键领域。通过创建数据集和训练深度学习架构，发现特征表示存在系统性偏差，受到特征复杂性、学习顺序和输入分布的影响。同时研究了这些偏差对体系结构、优化器和训练方案的影响。结果有助于理解表示学习的归纳偏差和区分系统内部表示的外部偏差。
