目录
实现回归分析类算法的Python第三方工具包比较常用的有statsmodels、statistics、scikit-learn等，下面我们主要采用statsmodels。
一、数据集及分析对象
CSV文件——“women.csv”。
数据集链接：https://download.csdn.net/download/m0_70452407/88519967
该数据集给出了年龄在30~39岁的15名女性的身高和体重数据，主要属性如下：
（1）height：身高
（2）weight：体重
二、目的及分析任务
理解机器学习方法在数据分析中的应用——采用简单线性回归、多项式回归方法进行回归分析。
（1）训练模型。
（2）对模型进行拟合优度评价和可视化处理，验证简单线性回归建模的有效性。
（3）采用多项式回归进行模型优化。
（4）按多项式回归模型预测体重数据。
三、方法及工具
Python语言及第三方工具包pandas、matplotlib和statsmodels。
四、数据读入
import pandas as pd
df_women=pd.read_csv("D:\\Download\\JDK\\数据分析理论与实践by朝乐门_机械工业出版社\\第3章 回归分析\\women.csv",
index_col=0)五、数据理解
对数据框df_women进行探索性分析。
df_women.describe()
df_women.shape接着，对数据库df_women进行数据可视化分析，通过调用mayplotlib.pyplot包中数据框（DataFrame）的scatter()方法绘制散点图。
import matplotlib.pyplot as plt
plt.scatter(df_women["height"],df_women["weight"])
从输出结果可以看出，女性身高与体重之间的关系可以进行线性回归分析，需要进一步进行数据准备工作。
六、数据准备
进行线性回归分析之前，应准备好模型所需的特征矩阵（X）和目标向量（y）。这里我们采用Python的统计分析包statsmodel进行自动类型转换。
X=df_women['height']
y=df_women['weight']七、模型训练
以女性身高height作为自变量、体重weight作为因变量对数据进行简单线性回归建模，这里采用Python的统计分析包statsmodels中的OLS函数进行建模分析。
import statsmodels.api as smstatsmodels.OLS()方法的输入有（endog,exog,missing,hasconst）4个，其中，endog是回归中的因变量，即上述模型中的weight，exog则是自变量的值，即模型中的height。
默认情况下，statsmodels.OLS()方法不含截距项，因此应将模型中的常数项看作基为1的维度上的系数。所以，exog的输入中，最左侧的一列的数值应全为1。这里我们采用statsmodels中提供的可直接解决这一问题的方法——sm.add_constant()给X新增一列，列名为const，每行取值为1.0
X_add_const=sm.add_constant(X)
X_add_const
在自变量X_add_const和因变量y上使用OLS()方法进行简单线性回归。
myModel=sm.OLS(y,X_add_const)然后获取拟合结果，并调用summary()方法显示回归拟合的结果。
results=myModel.fit()
print(results.summary())上述运行结果中第二部分的coef列所对应的const和height就是计算出的回归模型中的截距项和斜率。
除了读取回归摘要外，还可以调用params属性查看拟合结果的斜率和截距。
results.params从输出结果可以看出，回归模型中的截距项和斜率分别为-87.516667和3.450000
八、模型评价
以R^2（决定系数）作为衡量回归直线对观测值拟合程度的指标，其取值范围为[0,1]，越接近1，说明“回归直线的拟合优度越好”。可以调用requared属性查看拟合结果的R^2
results.rsquared除了决定系数等统计量，还可以通过可视化方法更直观地查看回归效果。这里我们调用matplotlib.pyplot包中的plot()方法，将回归直线与真实数据绘制在一个图中进行比较。
y_predict=results.params[0]+results.params[1]*df_women["height"]
plt.rcParams['font.family']="simHei" #汉字显示 字体设置
plt.plot(df_women["height"],df_women["weight"],"o")
plt.plot(df_women["height"],y_predict)
plt.title("女性身高与体重的线性回归分析")
plt.xlabel("身高")
plt.ylabel("体重")
从输出结果可以看出，采用简单线性回归模型的效果还可以进一步优化，为此采取多项式回归方法进行回归分析。
九、模型调参
调用Python的统计分析包statsmodels中的OLS()方法对自变量女性身高height、因变量体重weight进行多项式回归建模。
假设因变量y与自变量X、X^2、X^3存在高元线性回归，因此在多项式分析中，特征矩阵由3部分组成，即X、X^2和X^3。通过调用numpy库的column_stack()方法创建特征矩阵X。
import numpy as np
X=np.column_stack((X,np.power(X,2),np.power(X,3)))通过sm.add_constant()方法保留多项式回归中的截距项。对自变量X_add_const和因变量y使用OLS()方法进行多项式回归。
X_add_const=sm.add_constant(X)
myModel_updated=sm.OLS(y,X_add_const)
results=myModel_updated.fit()
print(results.summary())从输出结果可以看出，多项式回归模型中的截距项为-896.7476，而X、X^2、X^3对应的斜率分别为46.4108、-0.7462和0.0043
调用requared属性查看拟合结果的R^2：
results.rsquared从决定系数的结果可以看出，多项式回归模型的效果比简单线性回归模型的效果更好。
十、模型预测
使用该多项式回归模型进行体重预测并输出预测结果。
y_predict_updated=results.predict()
y_predict_updated多项式回归模型的可视化：
y_predict=(results.params[0]+results.params[1]*df_women["height"]+
results.params[2]*df_women["height"]**2+
results.params[3]*df_women["height"]**3)
plt.plot(df_women["height"],df_women["weight"],"o")
plt.plot(df_women["height"],y_predict)
plt.title("女性身高与体重的多项式回归分析")
plt.xlabel("身高")
plt.ylabel("体重")
从结果可以看出，采用多项式回归后拟合效果显著提高，结果较为令人满意。
