线性回归是神经网络最基础的一个模型
预测房价:
权重和偏差的实际值在后面决定
一、定义模型:
线性模型等价于单层(带有权重的层为1)的神经网络,输入(权重和输入层放在一起)若干变量,输出预测结果:
神经网络的灵感来源:
二、衡量标准:平方损失
三、训练数据,确定偏差和权重
四、求解模型
显示解的结果:
总结线性回归:具有显式解
基础优化方法汇总
1:梯度下降
学习率:是一个超参数,人为指定
问题:如何确定学习率?
梯度下降:近似损失
批量大小的选择: