文章目录
一、d2lzh_pytorch包
《动手学深度学习+PyTorch》配套的GitHub中配套的d2lzh_pytorch包加入IDLE的第三方库中。
二、生成数据集
num_inputs = 2
num_examples = 1000
true_w = [2, -3.4]
true_b = 4.2
features = torch.randn(num_examples, num_inputs, dtype=torch.float32)
labels = true_w[0] * features[:,0] + true_w[1] * features[:,1] + true_b
labels += torch.tensor(np.random.normal(0, 0.01,size=labels.size()),
dtype=torch.float32)
features = torch.randn(num_examples, num_inputs, dtype=torch.float32)
np.random.normal(loc, scale, size)
torch.tensor(data, dtype=None)
二、画出数据集的散点图
set_figsize()
plt.scatter(features[:,1].numpy(), labels.numpy(), 1)
关于set_figsize()的定义 （以下代码在d2lzh_pytorch包中已包含）
def use_svg_display():
# 用矢量图显示
display.set_matplotlib_formats('svg')
def set_figsize(figsize=(3.5, 2.5)):
use_svg_display()
# 设置图的尺寸
plt.rcParams['figure.figsize'] = figsize
display.set_matplotlib_formats('svg')
plt.rcParams['figure.figsize'] = figsize
三、读取数据
batch_size = 10
for X, y in data_iter(batch_size, features, labels):
print(X, y)
break
关于data_iter(batch_size, features, labels)的定义 （以下代码在d2lzh_pytorch包中已包含）
def data_iter(batch_size, features, labels):
num_examples = len(features)
indices = list(range(num_examples))
random.shuffle(indices) # 样本的读取顺序是随机的
for i in range(0, num_examples, batch_size):
j = torch.LongTensor(indices[i: min(i + batch_size, num_examples)]) # 最后一次可能不足一个batch
yield features.index_select(0, j), labels.index_select(0, j)
四、模型初始化及训练
w = torch.tensor(np.random.normal(0,0.01,(num_inputs,1)),dtype=torch.float32)
b = torch.zeros(1,dtype=torch.float32)
w.requires_grad_(requires_grad=True)
b.requires_grad_(requires_grad=True)
lr =0.03 #定义步长
num_epochs = 3 #设置迭代周期数
for epoch in range(num_epochs):
for X, y in data_iter(batch_size, features, labels):
l = squared_loss(linreg(X, w, b),y).sum()
l.backward()
sgd([w, b], lr, batch_size)
w.grad.data.zero_()
b.grad.data.zero_()
train_l = squared_loss(linreg(features, w, b), labels)
print('epoch: %d, loss: %f'%(epoch + 1, train_l.mean().item()))
w = torch.tensor(np.random.normal(0,0.01,(num_inputs,1)),dtype=torch.float32)
b = torch.zeros(1,dtype=torch.float32)
w.requires_grad_(requires_grad=True)
b.requires_grad_(requires_grad=True)
linreg(X, w, b)
关于linreg()的定义： （以下代码在d2lzh_pytorch包中已包含）
def linreg(X, w, b):
return torch.mm(X, w) + b
squared_loss(y_hat, y)
def squared_loss(y_hat, y): # 本函数已保存在d2lzh_pytorch包中方便以后使用
# 注意这里返回的是向量, 另外, pytorch里的MSELoss并没有除以 2
return (y_hat - y.view(y_hat.size())) ** 2 / 2
l.backward()
sgd([w, b], lr, batch_size)
关于sgd()的定义： （以下代码在d2lzh_pytorch包中已包含）
def sgd(params, lr, batch_size):
# 为了和原书保持一致，这里除以了batch_size，但是应该是不用除的，因为一般用PyTorch计算loss时就默认已经
# 沿batch维求了平均了。
for param in params:
param.data -= lr * param.grad / batch_size # 注意这里更改param时用的param.data
w.grad.data.zero_()
b.grad.data.zero_()
五、训练结果
运行以下代码对比学习值和真实值
print(true_w, '\n', w)
print(true_b, '\n', b)
总结
《动手学深度学习+PyTorch》3.2线性回归的从零开始实现
