研究表明，具有一个隐藏层的神经网络中，激活函数对几何表示的影响超出预期。Tanh网络更倾向于学习目标输出结构，而ReLU网络则保留更多原始输入信息。这种差异源于ReLU的非对称渐近行为，使特征神经元关注输入空间的不同区域。Tanh网络在低维目标输出时生成的神经表示更具解耦性，揭示了输入输出几何、非线性与学习表示之间的关系。

文章介绍了几种常用的激活函数及其优缺点。Tanh和Softsign将输入转换为-1到1，Sigmoid转换为0到1，Softmax用于多分类，输出总和为1。这些函数有助于归一化和稳定收敛，但可能导致梯度消失和计算复杂。PyTorch中有这些函数的实现。

本研究解决了模糊一般灰色认知图（FGGCM）收敛性未被充分探讨的研究空白。通过对一般灰色数空间的度量和完整性分析，提出使用tanh和sigmoid激活函数时FGGCM收敛到唯一固定点的充分条件。这一发现对FGGCM的学习算法设计具有指导意义，为其在控制、预测和决策支持等领域的应用奠定了理论基础。

研究人员提出了一种改进的非单调激活函数Swish-T系列，通过在原始Swish函数中添加Tanh偏置来定义Swish-T，该函数在不同任务中表现出卓越性能，并展示了更广泛的负值接受范围和更平滑的非单调曲线。研究结果表明Swish-T系列在多个模型和基准数据集上都具有优越性能。