0
点赞
收藏
分享

微信扫一扫

深度学习激活函数的选取

萨科潘 2022-01-20 阅读 66

如果输出是 0、1 值(二分类问题),则输出层选择 sigmoid 函数,然后其它的所有单元都选择 Relu 函数。 这是很多激活函数的默认选择,如果在隐藏层上不确定使用哪个激活函数,那么通常会使用Relu激活函数。有时,也会使用tanh激活函数,但Relu的一个优点是:当𝑧是负值的时候,导数等于0。 这里也有另一个版本的Relu被称为Leaky Relu。 当𝑧是负值时,这个函数的值不是等于0,而是轻微的倾斜,如图。 这个函数通常比 Relu 激活函数效果要好,尽管在实际中 Leaky ReLu 使用的并不多。

简单概括就是:

 sigmoid 激活函数:除了输出层是一个二分类问题基本不会用它。

tanh 激活函数:tanh 是非常优秀的,几乎适合所有场合。

ReLu 激活函数:最常用的默认函数,如果不确定用哪个激活函数,就使用 ReLu 或者 Leaky ReLu。

举报

相关推荐

0 条评论