#博学谷IT学习技术支持#
目录
一、线性回归概念
一种通过属性的线性组合来进行预测的线性模型，其目的是找到一条直线或者一个平面或者更高维的超平面，得预测值与真实值之间的误差最小化。
二、特征方程
三、求解方法
1、最小二乘法(LSM)
以特征值为变量，对残差平方和进行求偏导，以便找到损失的最低点
用矩阵表示目标函数，就是用差值矩阵的偏置矩阵乘矩阵，然后在求特征值的偏导
2、梯度下降
批量梯度下降：梯度下降的每一步中，都用到了所有的训练样本
随机梯度下降：梯度下降的每一步中，用到一个样本，在每一次计算之后便更新参数 ，而不需要首先将所有的训练集求和
小批量梯度下降：梯度下降的每一步中，用到了一定批量的训练样本
两者比较：
梯度下降：需要选择学习率𝛼，并多次迭代，当特征数量𝑛大时也能较好适用，适用于各种类型的模型。
最小二乘法：一次计算得出，如果特征数量𝑛较大则运算代价大，只适用于线性模型，不适合逻辑回归模型等其他模型。
四、优化方法
1、数据归一化/标准化
提升模型精度：不同维度之间的特征在数值上有一定比较性，可以大大提高分类器的准确性。
加速模型收敛：最优解的寻优过程明显会变得平缓，更容易正确的收敛到最优解。
2、过拟合的处理
获得更多的训练数据；
降维正则化
集成学习方法
3、欠拟合的处理
添加新特征
增加模型复杂度
减小正则化系数
4、正则化介绍
𝑳𝟏正则化是指在损失函数中加入权值向量w的绝对值之和，𝑳𝟏的功能是使权重稀疏
𝑳𝟐正则化是指在损失函数中加入权值向量w的平方和，𝑳𝟐的功能是使权重平滑，可以防止过拟合
五、评价指标
1、代价函数：
度量全部样本集的平均误差。
常见的有均方误差、均方根误差、平均绝对误差
2、R方系数
越接近于1,说明模型拟合得越好
六、案例实战代码
# 波士顿房价预测
## 回归当中的数据大小不一致，是否会导致结果影响较大。所以需要做标准化处理。同时我们对目标值也需要做标准化处理
def mylinearregression():
"""
线性回归预测房子价格
:return:
"""
lb = load_boston()
# print(lb.data)
# print(lb.target)
# 对数据集进行划分
x_train, x_test, y_train, y_test = train_test_split(lb.data, lb.target, test_size=0.3, random_state=24)
# 特征数据标准化
std_x = StandardScaler()
x_train = std_x.fit_transform(x_train)
x_test = std_x.fit_transform(x_test)
# 目标数据标准化
std_y = StandardScaler()
y_train = std_y.fit_transform(y_train)
y_test = std_y.transform(y_test)
# 目标数据标准化反转
y_test = std_y.inverse_transform(y_test)
# 线性模型准备，使用正规方程求解
lr = LinearRegression()
# 模型训练
lr.fit(x_train, y_train)
# 模型预测
y_predict = lr.predict(x_test)
# 目标数据标准化反转
y_it_predict = std_y.inverse_transform(y_predict)
print("权重参数为：",lr.coef_)
# 模型评估
print("正规方程的均方误差为：", sklearn.metrics.mean_squared_error(y_test, y_lr_predict))
# 梯度下降预测模型准备
sgd = SGDRegressor()
# 模型训练
sgd.fit(x_train, y_train)
print("SGD的权重参数为：", sgd.coef_)
# 模型预测，并标准化反转
y_sgd_predict = std_y.inverse_transform(sgd.predict(x_test))
# 模型评估
print("SGD的均方误差为：", sklearn.metrics.mean_squared_error(y_test, y_sgd_predict))
return None
