$$深度学习$$

激活函数

文中函数图片均来源与网络，侵删

激活函数的作用

在线性中，可以执行简单的分类问题。但是如果分类数据较为复杂，线性分类无法满足时，就需要“多段线性”进行组合分类，也就时全连接神经网络进行复杂分类
线性函数为：
$$y=ax+b$$
那么全连接神经网络可以想象为多个线性神经的堆叠，即：
$$y_1=a_{1}x+b_1$$
$$y_2=a_2{y}_1+b_2$$
$$\dots$$
多次堆叠之后，就可以得到一个较为复杂的分类器。
但在这之中如果仅仅先上面所写，那么有：
$$y_2=a_2(a_{1}x+b_1)+b_2$$
$$y_2=a_2\ast a_{1}x+a_2\ast b_1+b_2$$
那么又变回了一个线性函数。
所以不能直接将前一个函数的损失值作为结果直接输入到后层函数运算。需要进行一次非线性操作之后在作为后层输入。
这种非线性操作即使激活函数
本节介绍两种常用激活函数分别是relu 和softmax。

relu函数

如图所示：
对于输入值如果大于0： 那么保留原值
如果小于0 则取0.即：
$$y=max(0,x)$$
其优点则是：
1.输入为正时，不存在梯度饱和问题
2.计算速度快
而缺点则是：
1.输入为负时，Relu函数完全失效，在梯度的反向传播过程中梯度将会消失。
2.同时Relu函数并不是以0为中心的函数。

Leaky Relu

一种对于Relu函数的改进函数：

如图在x<0时不在一味的等于0
而是给与一个较小的负值，解决反向传递过程中的梯度消失问题。
扩大了relu函数的范围。但实际使用中无法证明比relu更好

softmax

softmax函数多作用于多分类问题的输出层上。

可以看到当下x>0时，函数的值域在【0，1），所以通过softmax函数可以将输出的结果进行一次变换，变换为当前数据在是该类型的概率值，通过概率值可以判断是或者不是这个类型。