python 梯度下降 解决简单的线性回归问题0

1.问题描述:

已知三组学习时长和最终得分的数据，建立数学模型，预测学习时长为4小时的最终得分

2.穷举法：

x:学习时长 y:最终得分

模型：采用线性回归模型y_pred=wx，求解参数w

损失函数：loss=(y_pred-y)**2/n

其中：y_pred为穷举不同w时x对应的预测输出，loss最小时参数w最优

3.相关知识：

图中：cost=(y_pred-y)**2/n即目标函数，梯度是目标函数关于w的偏导数，w以以上公式更新

4.python代码:

import matplotlib.pyplot as plt

x_data = [1, 2, 3]
y_data = [2, 4, 6]

w = 1  # 随机初始化w=1
learning_rate = 0.01  # 初始化超参数学习速率，通常等于0.01,0.001或者更小


def forward(x):  # 前向计算
    return x * w


def loss_cal(x_data, y_data):  # 计算loss
    loss_sum = 0
    for x, y in zip(x_data, y_data):
        y_pred = forward(x)
        loss = (y_pred - y) ** 2
        loss_sum += loss
    return loss_sum / len(x_data)


def grad_cal(x_data, y_data):  # 计算梯度
    grad_sum = 0
    for x, y in zip(x_data, y_data):
        grad = 2 * x * (w * x - y)
        grad_sum += grad
    return grad_sum / len(x_data)


w_list = []
epoch_list = []
loss_list = []

for epoch in range(100):
    w_list.append(w)
    epoch_list.append(epoch)
    loss = loss_cal(x_data, y_data)
    loss_list.append(loss)
    grad = grad_cal(x_data, y_data)
    w = w - learning_rate * grad  # 更新权值

# 一个窗口画出两张图
plt.figure(1)
plt.subplot(2, 1, 1)
plt.plot(epoch_list, loss_list)
plt.ylabel("loss")

plt.subplot(2, 1, 2)
plt.plot(epoch_list, w_list)
plt.xlabel("epoch")
plt.ylabel("w")

plt.show()

5.可视化结果：

 由图中可以看出：训练了100轮，随着训练次数的增加，loss逐渐减小直至0，此时w=2。

6.以上均为个人学习pytorch基础入门中的基础，浅做记录，如有错误，请各位大佬批评指正！

7.关于问题描述和原理的部分图片参考刘老师的视频课件，本文也是课后作业的一部分，特此附上视频链接，《PyTorch深度学习实践》完结合集_哔哩哔哩_bilibili，希望大家都有所进步！