0
点赞
收藏
分享

微信扫一扫

智能家居项目

烟中雯城 2023-07-18 阅读 84
  1. 导数
    在这里插入图片描述
  • 函数在某点的导数为该点处的斜率,用height / width表示,可以看作若当w增加ε,J(w,b)增加k倍的ε,则k为该点的导数
  1. 反向传播
    在这里插入图片描述
  • tensorflow中的计算图,由有向边和节点组成。从左向右为正向传播,神经网络模型使用正向传播来输出结果
  • 从右向左为反向传播,tensorflow使用反向传播来自动计算神经网络模型中的导数。
  • 反向传播求导数的过程类似链式求导法则,从右往左一层一层的求导,再将导数相乘就是最终的结果。例如:先求当d增加ε时,J增加多少,再求当a增加ε时,J增加多少…,最后把J增加的倍数k乘起来,就是最终的结果

在这里插入图片描述

  • 反向传播是计算导数的有效方法,若要计算J对w的导数,就要知道J对d,d对a,a对c,c对w的导数,这个顺序刚好是从右到左的顺序
  • 反向传播求导数的步数大概是整个模型的节点数n与参数p之和。正向传播求导数的步数则是n与p之积
  • 综上:计算图执行神经网络模型输出成本函数J和导数的步骤为:逐步计算,并把它们分解为计算图的不同节点,使用从左到右(正向传播)来计算成本函数J,通过从右到左(反向传播)来计算所有导数
  1. 大型神经网络的计算图
    在这里插入图片描述
  • 计算图由有向边和节点组成,节点表示数学运算,有向边表示节点间的数据交互。
  • 该神经网络模型求解成本函数的步骤可以用计算图表示
    在这里插入图片描述
  • 正向传播计算导数的效率很低,对于每一个参数都要执行一次从左往右的正向传播,来计算该参数是如何引起J的变化的。若计算图由n个节点和p个参数,那么正向传播一共需要大约n * p个步骤,效率很低。
  • 反向传播计算导数的效率很高,只需要从右往左执行一次反向传播,再计算J对每一个参数的导数即可,那么反向传播只需要大约n + p个步骤,效率很高
举报

相关推荐

0 条评论