0
点赞
收藏
分享

微信扫一扫

sigmoid & ReLU 等激活函数总结

sigmoid

在这里插入图片描述
在这里插入图片描述

ReLU

在这里插入图片描述
在这里插入图片描述

sigoid和ReLU对比

1.sigmoid有梯度消失问题:当sigmoid的输出非常接近0或者1时,区域的梯度几乎为0,而ReLU在正区间的梯度总为1。如果Sigmoid没有正确初始化,它可能在正区间得到几乎为0的梯度。使模型无法有效训练。

2.sigmoid需要复杂的求幂运算。

举报

相关推荐

0 条评论