本研究提出了一种新颖的编码器-解码器方法，针对人工智能系统中的性别偏见问题。该方法通过模型梯度学习单一性别信息特征神经元，有效去除变换器模型的性别偏见，展现出广泛的应用潜力。

研究发现，激活函数对于网络的学习动态有重要影响。Tanh网络倾向于学习目标输出结构的表示，而ReLU网络保留了更多原始输入结构的信息。通过分析权重空间中的学习动态，发现ReLU的非对称渐近行为导致了Tanh和ReLU网络之间的差异。Tanh网络中的特征神经元继承任务标签结构，而ReLU网络中的特征神经元专门针对不同输入区域。因此，当目标输出是低维时，Tanh网络生成的神经表示比采用ReLU非线性的表示更具解耦性。