0
点赞
收藏
分享

微信扫一扫

python 深度学习中的4种激活函数



目录

​​python 深度学习中的4种激活函数​​

​​Sigmoid函数​​

​​Tanh函数​​

​​ReLu函数,线性整流函数​​

​​SoftMax函数​​

python 深度学习中的4种激活函数

  • Sigmoid函数
  • Tahn函数
  • ReLu函数
  • SoftMax函数

激活函数的作用

下面图像A是一个线性可分问题,也就是说对于两类点(蓝点和绿点),你通过一条直线就可以实现完全分类。

python 深度学习中的4种激活函数_二分类


当然图像A是最理想、也是最简单的一种二分类问题,但是现实中往往存在一些非常复杂的线性不可分问题,比如图像B,你是找不到任何一条直线可以将图像B中蓝点和绿点完全分开的,你必须圈出一个封闭曲线。

激活函数就是帮助"绘制"这个封闭曲线的非线性函数,有了激活函数的帮助,很多算法的处理能力会得到加强,也可以处理线性不可分问题。

Sigmoid函数

(Sigmoid函数是一个在生物学中常见的S型函数,也称为S型生长曲线。在信息科学中,由于其单增以及反函数单增等性质,Sigmoid函数常被用作神经网络的激活函数,将变量映射到0,1之间

Sigmoid函数曾在介绍逻辑回归时提起过,它的数学表达式为:

python 深度学习中的4种激活函数_二分类_02


其中 e 为纳皮尔常数,其值为2.7182... 它的图像如下:

python 深度学习中的4种激活函数_二分类_03


可以观察出图像的一些特点:

  • 曲线的值域为(0,1)
  • 当x = 0时,Sigmoid函数值为0.5
  • 随着 x 不断增大,Sigmoid函数值无限趋近于1
  • 随着 x 不断减小,Sigmoid函数值无限趋近于0

对于梯度下降法而言,信息的更新很大程度上都取决于梯度,而Sigmoid函数一个很明显的缺点就是当函数值特别靠近0或1这两端时,因为它的曲线已经近乎平缓,所以此时的梯度几乎为0,这样非常不利于权重的更新,从而就会导致模型不收敛。

Sigmoid函数的代码如下:

123

​import​​​ ​​numpy as np``def​​​ ​​tanh(x):`` ``return​​​ ​​(exp(x)``-``exp(``-``x))``/``(exp(x)``+``exp(``-``x))​

Tanh函数

Tanh函数是双曲正切函数,它的的数学表达式为:

python 深度学习中的4种激活函数_多分类_04


Tanh函数和Sigmoid函数非常相近,这点从图像上可以很好的体现:

python 深度学习中的4种激活函数_激活函数_05


这两个函数相同的是,当输入的 x 值很大或者很小时,对应函数输出的 y 值近乎相等,同样的缺点也是梯度特别小,非常不利于权重的更新;不同的是Tanh函数的值域为(-1,1),并且当 x = 0 时,输出的函数值为0。

Tanh函数的代码如下:

123

​import​​​ ​​numpy as np``def​​​ ​​tanh(x):`` ``return​​​ ​​(exp(x)``-``exp(``-``x))``/``(exp(x)``+``exp(``-``x))​

ReLu函数, 线性整流函数

ReLu是线性整流函数,又称为修正性线性单元,它的函数的数学表达式为

python 深度学习中的4种激活函数_人工智能_06


Tanh是一个分段函数, 它的图像如下:

python 深度学习中的4种激活函数_二分类_07


图像很容易理解,若输入的 x 值小于0,则输出为也为0;若输入的 x 值大于0,则直接输出 x 值,需要注意的是ReLu函数在x = 0 处不连续(不可导),但同样也可以作为激活函数。

与Sigmoid函数和Tanh函数相比,ReLu函数一个很明显的优点就是在应用梯度下降法是收敛较快,当输入值为整数时,不会出现梯度饱和的问题,因为大于0的部分是一个线性关系,这个优点让ReLu成为目前应用较广的激活函数。

ReLu函数的代码如下:

123

​import​​​ ​​numpy as np``def​​​ ​​relu(x):`` ``return​​​ ​​np.maximum(``0``,x)​

SoftMax函数

分类问题可以分为二分类问题和多分类问题,Sigmoid函数比较适合二分类问题,而SoftMax函数更加适合多分类问题
SoftMax函数的数学表达式为:

python 深度学习中的4种激活函数_激活函数_08


其中Vi表示分类器的输出,i表示类别索引,总的类别个数为C,Si表示当前元素的指数与所有元素指数和的比值。概括来说,SoftMax函数将多分类的输出值按比例转化为相对概率,使输出更容易理解和比较。

为了防止SoftMax函数计算时出现上溢出或者下溢出的问题,通常会提前对 V 做一些数值处理,即每个 V 减去 V 中的最大值,假设D=max(V),SoftMax函数数学表达式更改为:

python 深度学习中的4种激活函数_激活函数_09


因为SoftMax函数计算的是概率,所以无法用图像进行展示,SoftMax函数的代码如下:

12345

​import​​​ ​​numpy as np``def​​​ ​​softmax(x):`` `` D ``=​​​ ​​np.``max``(x)`` `` exp_x ``=​​​ ​​np.exp(x``-``D)`` ``return​​​ ​​ exp_x ``/​​​ ​​np.``sum``(exp_x)​

​​《一个人工智能的诞生》EP04 - 加一层_哔哩哔哩_bilibili​​

python 深度学习中的4种激活函数_激活函数_10

​ 

python 深度学习中的4种激活函数_人工智能_11

​ 

python 深度学习中的4种激活函数_激活函数_12


python 深度学习中的4种激活函数_二分类_13


  1. 坐标变换(线性变换和平移);
  2. 阶越函数(曲线变换);实在不行进行维度提升;’
  3. 直线分类

python 深度学习中的4种激活函数_激活函数_14

​ 使用线性变化,使其处于不同的象限, 

python 深度学习中的4种激活函数_多分类_15

​ 在使用阶跃函数进行划分。

python 深度学习中的4种激活函数_激活函数_16


python 深度学习中的4种激活函数_激活函数_17

​ 

python 深度学习中的4种激活函数_激活函数_18


增加维度原理 

python 深度学习中的4种激活函数_激活函数_19



举报

相关推荐

0 条评论