Softmax与Cross-entropy的求导

引言

在多分类问题中，一般会把输出结果传入到softmax函数中，得到最终结果。并且用交叉熵作为损失函数。本来就来分析下以交叉熵为损失函数的情况下，softmax如何求导。

对softmax求导

softmax函数为:

这里是类别的总数，接下来求对某个输出的导数,

这里要分两种情况,分别是与。当时,对的导数为，否则当时，导数为。

当，

当，

对cross-entropy求导

损失函数为:

其中是真实类别，相当于一个常数，接下来求对的导数

这里用到了

可以看到，求导结果非常简单，如果不推导都不敢信。