神经网络是由神经元组成的模型，通过连接权重和阈值处理输入信号并产生输出。感知机是简单的神经网络模型，只有输出层进行激活函数处理。BP神经网络是单隐层前馈神经网络，通过梯度下降法调节权重。需要注意局部极小和全局最小的问题。可以使用多组不同参数值初始化多个神经网络或使用随机梯度下降来接近全局最小。