目录
1.Sigmoid型函数
Sigmoid型函数是指一类S型曲线函数（通俗理解就是曲线的图像字母"S"），为两端饱和函数。常用的Sigmoid型函数有Logistic函数和Tanh函数。
饱和函数的理解：当自变量x到达一定值以后，因变量f(x)不再发生变化或趋近于某个值。
两端饱和函数的理解：自变量x趋近于+∞时，因变量f(x)不不再发生变化或趋近于某个值；自变量x趋近于-∞时，因变量f(x)不不再发生变化或趋近于某个值。
个人理解： 在部分书籍或者说法中，Sigmoid函数应该是特指的是Logistic函数。
1.1.Logistic函数（常见）
公式：
σ
(
x
)
=
1
1
+
exp
(
−
x
)
\sigma(x) = \frac{1}{1+\exp (-x)}
σ(x)=1+exp(−x)1
函数图像：
函数值域： (0, 1)
1.2.Tanh函数（常见）
公式：
tanh
(
x
)
=
exp
(
x
)
−
exp
(
−
x
)
exp
(
x
)
+
exp
(
−
x
)
\tanh (x)=\frac{\exp (x)-\exp (-x)}{\exp (x)+\exp (-x)}
tanh(x)=exp(x)+exp(−x)exp(x)−exp(−x)
函数图像：
函数值域： (-1, 1)
1.3.Hard-Logistic函数
Hard-Logistic函数是对Logistic函数的分段近似。
公式：
hard-logistic
(
x
)
=
max
(
min
(
0.25
x
+
0.5
,
1
)
,
0
)
\text { hard-logistic }(x)=\max (\min (0.25 x+0.5,1), 0)
hard-logistic (x)=max(min(0.25x+0.5,1),0)
图像：
函数值域：[0, 1]
1.4.Hard-Tanh函数
Hard-Tanh函数是对Tanh函数的分段近似。
公式：
hard-tanh
(
x
)
=
max
(
min
(
x
,
1
)
,
−
1
)
\text { hard-tanh }(x)=\max (\min (x, 1),-1)
hard-tanh (x)=max(min(x,1),−1)
图像：
函数值域： [-1, 1]
2.整流线性单元(ReLU)函数
2.1.ReLU函数
公式：
ReLU
(
x
)
=
{
x
,
x
≥
0
0
,
x
<
0
=
max
(
0
,
x
)
\operatorname{ReLU}(x)=\left\{\begin{array}{ll} x, & x \geq 0 \\ 0, & x<0 \end{array}=\max (0, x)\right.
ReLU(x)={x,0,x≥0x<0=max(0,x)
图像：
函数值域：(0, +∞)
2.2.Leaky ReLU
公式：
LeakyReLU(
x
)
=
{
x
,
x
≥
0
γ
x
,
x
<
0
=
max
(
0
,
x
)
+
γ
min
(
0
,
x
)
\text { LeakyReLU( } x \text { ) }=\left\{\begin{array}{ll} x, & x \geq 0 \\ \gamma x, & x<0 \end{array}=\max (0, x)+\gamma \min (0, x)\right.
LeakyReLU( x ) ={x,γx,x≥0x<0=max(0,x)+γmin(0,x)
图像：
函数值域：(﹣∞, ﹢∞)，γ是超参数
3.面试题
在某神经网络的隐层输出中，包含-1.5，那么该神经网络采用的激活函数不可能是（）
A.sigmoid B.tanh C.relu
答案： ABC
解析：
A.sigmoid函数（特指Logistic函数）的值域为(0, 1)
B.tanh函数的值域为(-1, 1)
C.relu函数的值域为[0, ﹢∞)
所以ABC都不可能。
