简单来讲，对于一个输入向量
z
[
l
]
z^{[l]}
z[l]，在softmax函数中会进行如下计算：
t
[
l
]
=
exp
(
z
[
l
]
)
a
[
l
]
=
t
[
l
]
∑
i
=
1
n
[
l
]
t
i
[
l
]
t^{[l]}=\exp(z^{[l]}) \\ a^{[l]}=\frac{t^{[l]}}{\sum_{i=1}^{n^{[l]}}t^{[l]}_i}
t[l]=exp(z[l])a[l]=∑i=1n[l]ti[l]t[l]即把输入值作为指数，然后归一化，使输出向量所有元素之和为1，将元素的数值作为属于对应类别的概率，取最大值索引就是我们认为输入属于的类别。
如果不添加隐藏层，softmax函数构造的就是一个线性的多元分类边界：
这样不加隐藏层的模型也被称为softmax回归，是逻辑回归从二元到多元的推广。
若把softmax放在深度神经网络的输出层作为激活函数，就可以得到一个拥有复杂边界的多元分类器。
softmax的损失函数为
L
(
y
^
,
y
)
=
−
∑
i
=
1
n
[
L
]
y
i
log
y
^
i
\mathcal{L}(\hat{y},y)=-\sum_{i=1}^{n^{[L]}}y_i\log\hat{y}_i
L(y^,y)=−i=1∑n[L]yilogy^i即查看训练集的真实分类值，并令其对应的概率值尽可能的大。
而整个训练集的代价就是把所有样本的损失都加起来，即
J
(
⋯
)
=
1
m
∑
i
=
1
m
L
(
y
^
(
i
)
,
y
(
i
)
)
J(\cdots)=\frac{1}{m}\sum_{i=1}^m\mathcal{L}(\hat{y}^{(i)},y^{(i)})
J(⋯)=m1i=1∑mL(y^(i),y(i))
而向后传播的输入
Z
[
L
]
Z^{[L]}
Z[L]则是
d
Z
[
L
]
=
Y
^
−
Y
dZ^{[L]}=\hat{Y}-Y
dZ[L]=Y^−Y
