0
点赞
收藏
分享

微信扫一扫

Back propagation

乌龙茶3297 2022-02-25 阅读 68

当面对复杂的网络时,就无法用解释式。

当第一层输入为5个变量时,第二层的为6个变量,那么此时用矩阵进行计算,每个h都由五个input的权重构成,此时需要6*5个权重,以此类推,下一层需要42个权重。

这时候就需要反向传播来计算

computional graph

 从每一层的计算来看,输出为一个一维向量,权重为二维向量,偏置为一个一维向量,最终可以通过矩阵乘法以及向量加法得到一维向量的结果。

 以此类推,便可以的得到下一层,然而通过两层的化简,发现其实设置的权重和偏置最后会归于一个新的权重和偏置,因此在每一层的结果上,采取非线性函数,这样就没法化简了,此时才为真正的神经网络。

 

 

 

举报

相关推荐

0 条评论