文章目录

一、d2lzh_pytorch包
二、生成数据集
二、画出数据集的散点图
三、读取数据
四、模型初始化及训练
五、训练结果
总结

一、d2lzh_pytorch包

《动手学深度学习+PyTorch》配套的GitHub中配套的d2lzh_pytorch包加入IDLE的第三方库中。

二、生成数据集

num_inputs = 2
num_examples = 1000
true_w = [2, -3.4]
true_b = 4.2
features = torch.randn(num_examples, num_inputs, dtype=torch.float32)
labels = true_w[0] * features[:,0] + true_w[1] * features[:,1] + true_b
labels += torch.tensor(np.random.normal(0, 0.01,size=labels.size()),
                       dtype=torch.float32)

features = torch.randn(num_examples, num_inputs, dtype=torch.float32)

np.random.normal(loc, scale, size)

torch.tensor(data, dtype=None)

二、画出数据集的散点图

set_figsize()
plt.scatter(features[:,1].numpy(), labels.numpy(), 1)

关于set_figsize()的定义（以下代码在d2lzh_pytorch包中已包含）

def use_svg_display():
    # 用矢量图显示
    display.set_matplotlib_formats('svg')

def set_figsize(figsize=(3.5, 2.5)):
    use_svg_display()
    # 设置图的尺寸
    plt.rcParams['figure.figsize'] = figsize

display.set_matplotlib_formats('svg')

plt.rcParams['figure.figsize'] = figsize

三、读取数据

batch_size = 10
for X, y in data_iter(batch_size, features, labels):
    print(X, y)
    break

关于data_iter(batch_size, features, labels)的定义（以下代码在d2lzh_pytorch包中已包含）

def data_iter(batch_size, features, labels):
    num_examples = len(features)
    indices = list(range(num_examples))
    random.shuffle(indices)  # 样本的读取顺序是随机的
    for i in range(0, num_examples, batch_size):
        j = torch.LongTensor(indices[i: min(i + batch_size, num_examples)]) # 最后一次可能不足一个batch
        yield  features.index_select(0, j), labels.index_select(0, j)

四、模型初始化及训练

w = torch.tensor(np.random.normal(0,0.01,(num_inputs,1)),dtype=torch.float32)
b = torch.zeros(1,dtype=torch.float32)
w.requires_grad_(requires_grad=True)
b.requires_grad_(requires_grad=True)

lr =0.03        #定义步长
num_epochs = 3  #设置迭代周期数

for epoch in range(num_epochs):
    for X, y in data_iter(batch_size, features, labels):
        l = squared_loss(linreg(X, w, b),y).sum()
        l.backward()
        sgd([w, b], lr, batch_size)
        w.grad.data.zero_()
        b.grad.data.zero_()
    train_l = squared_loss(linreg(features, w, b), labels)
    print('epoch: %d,   loss: %f'%(epoch + 1, train_l.mean().item()))

w = torch.tensor(np.random.normal(0,0.01,(num_inputs,1)),dtype=torch.float32)

b = torch.zeros(1,dtype=torch.float32)

w.requires_grad_(requires_grad=True)
b.requires_grad_(requires_grad=True)

linreg(X, w, b)

关于linreg()的定义：（以下代码在d2lzh_pytorch包中已包含）

def linreg(X, w, b):
    return torch.mm(X, w) + b

squared_loss(y_hat, y)

 def squared_loss(y_hat, y):  # 本函数已保存在d2lzh_pytorch包中方便以后使用
							  # 注意这里返回的是向量, 另外, pytorch里的MSELoss并没有除以 2
    return (y_hat - y.view(y_hat.size())) ** 2 / 2

l.backward()

sgd([w, b], lr, batch_size)

关于sgd()的定义：（以下代码在d2lzh_pytorch包中已包含）

def sgd(params, lr, batch_size):
    # 为了和原书保持一致，这里除以了batch_size，但是应该是不用除的，因为一般用PyTorch计算loss时就默认已经
    # 沿batch维求了平均了。
    for param in params:
        param.data -= lr * param.grad / batch_size # 注意这里更改param时用的param.data

w.grad.data.zero_()

b.grad.data.zero_()

五、训练结果

在这里插入图片描述
运行以下代码对比学习值和真实值

print(true_w, '\n', w)
print(true_b, '\n', b)

在这里插入图片描述

总结

《动手学深度学习+PyTorch》3.2线性回归的从零开始实现

《动手学深度学习+PyTorch》3.2线性回归的从零开始实现 学习笔记