0
点赞
收藏
分享

微信扫一扫

08 线性回归+基础优化算法【动手学习深度学习v2】

E_topia 2022-04-19 阅读 84
python

线性回归是神经网络最基础的一个模型

在这里插入图片描述
预测房价:

在这里插入图片描述
权重和偏差的实际值在后面决定
一、定义模型:

在这里插入图片描述
线性模型等价于单层(带有权重的层为1)的神经网络,输入(权重和输入层放在一起)若干变量,输出预测结果:
在这里插入图片描述

神经网络的灵感来源:

在这里插入图片描述
二、衡量标准:平方损失

在这里插入图片描述
三、训练数据,确定偏差和权重
在这里插入图片描述
在这里插入图片描述
四、求解模型
在这里插入图片描述
在这里插入图片描述
显示解的结果:
在这里插入图片描述
在这里插入图片描述
总结线性回归:具有显式解

在这里插入图片描述

基础优化方法汇总

在这里插入图片描述
1:梯度下降

在这里插入图片描述
在这里插入图片描述
学习率:是一个超参数,人为指定

在这里插入图片描述
问题:如何确定学习率?

梯度下降:近似损失
在这里插入图片描述
批量大小的选择:

在这里插入图片描述
在这里插入图片描述

举报

相关推荐

0 条评论