研究发现神经元在表示特征时会偏向多语性,即多意地表示次重要特征,单意地表示最重要特征,忽略最不重要的特征。多语性在输入具有更高峭度或稀疏性时更为普遍,且受体系结构影响。嵌入空间具有块半正交结构,不同模型的块大小不同,影响神经元的可解释性。
本文探讨了神经元是否会包含无关的特征,即多语性现象。研究表明,最优特征容量分配倾向于在嵌入空间中多意地表示次重要特征,单意地表示最重要特征,而忽略最不重要的特征。多语性在输入具有更高的峭度或稀疏性时更为普遍,且在某些体系结构中更为普遍。此外,嵌入空间具有块半正交结构,不同的模型具有不同的块大小,突出了模型体系结构对其神经元的可解释性的影响。
完成下面两步后,将自动完成登录并继续当前操作。