神经网络

神经元模型——MP-模型

将许多神经元按一定的层次结构连接起来，即为神经网络。 

一个神经元的功能是求得输入向量和权向量的点积后，经一个非线性传递函数得到一个标量。

一个简单的神经元如图： 

（图源网络） 

其中：

• X1,X2,X3...Xn为各个输入的分量
• Wj1,Wj2,Wj3...Wn为各个输入分量对应的权值参数
• θ为偏置
• f为激活函数
• Yi为神经元的输出

数学公式即为：

1.单层神经网络

如图： 

（（图源网络），由四个感知机构成的）

 2.感知机（两层神经网络）

 作用：

 将一个n维空间分成两部分，给定一个输入变量，可以判断输出的结果是在两部分中的哪一部分。

 ➡二分类模型，给定阈值，判断数据属于哪一部分 

公式：

3.多层神经网络

结构：

• 输入层：众多神经元接受大量消息，输入的消息称为输入向量。
• 输出层：输出的消息称为输出向量。
• 隐藏层（隐层）：是输入层和输出层之间众多神经元和链接组成的各个层面，可以有一层或多层，隐层的神经元数目不定，但数目越多的神经网络的非线性越显著，从而神经网络的强健性更显著。

 （图源网络）

全连接层

全连接层就是在前一层的输出的基础上进行一次Y = Wx + θ

4.激活函数

• f(x1+x2) = y1+y2    或     f(kx1) = ky1        此类都叫线性函数

作用：增加模型的非线性分割能力，提高模型的稳健性

•  sigmoid只会输出正数，靠近0的输出变化率大
• tanh可以输出负数
• Relu只能输入大于0的（常用于输入为图片格式）