本文研究了深度神经网络中的激活函数，特别是logistic sigmoid和tanh。研究发现logistic sigmoid训练困难，提出了“带惩罚的tanh”函数，其性能优于ReLU等其他激活函数。激活函数的设计与训练策略对神经网络性能有显著影响，需进一步探索。