0
点赞
收藏
分享

微信扫一扫

PyTorch 深度学习实践第四讲(反向传播)

简单回顾

关于w的更新

PyTorch 深度学习实践第四讲(反向传播)_python

神经网络原理

PyTorch 深度学习实践第四讲(反向传播)_python_02

备注:最后加入惩罚项

反向传播原理

PyTorch 深度学习实践第四讲(反向传播)_python_03

备注:后期对权重进行更新,先进行前馈过程,再反向

相应代码

import torch

x_data = [1.0,2.0,3.0]
y_data = [2.0,4.0,6.0]

w = torch.Tensor([1.0])
w.requires_grad = True #需要计算梯度,默认是不计算的

def forward(x):
return x * w #进行Tensor与Tensor之间的数乘,对x进行自动类型转换

def loss(x,y):
y_pred = forward(x)
return (y_pred - y) ** 2 #构建计算图

print("predict (before training)",4,forward(4).item())

for epoch in range(100):
for x,y in zip(x_data,y_data): #采用随机梯度下降
l = loss(x,y)
l.backward() #内置函数,计算梯度,存入w,自动释放计算图
print('\tgrad:',x,y,w.grad.item()) #拿出梯度中的数值,变成python中的标量
w.data = w.data - 0.01 * w.grad.data #取data,不会建立计算图
w.grad.data.zero_() #显示清零,释放之前计算的梯度

print("progress:",epoch,l.item())

print("predict (after training)",4,forward(4).item())

课后作业

import torch

x_data = [1.0,2.0,3.0]
y_data = [2.0,4.0,6.0]

w1 = torch.Tensor([1.0])
w1.requires_grad = True #需要计算梯度,默认是不计算的
w2 = torch.Tensor([1.0])
w2.requires_grad = True #需要计算梯度,默认是不计算的
b = torch.Tensor([1.0])
b.requires_grad = True #需要计算梯度,默认是不计算的


def forward(x):
return w1 * x ** 2 + w2 * x + b #进行Tensor与Tensor之间的数乘,对x进行自动类型转换

def loss(x,y):
y_pred = forward(x)
return (y_pred - y) ** 2 #构建计算图

print("predict (before training)",4,forward(4).item())

for epoch in range(100):
for x,y in zip(x_data,y_data): #采用随机梯度下降
l = loss(x,y)
l.backward() #内置函数,计算梯度,存入w,自动释放计算图
print('\tgrad:',x,y,w1.grad.item(),w2.grad.item(),b.grad.item()) #拿出梯度中的数值,变成python中的标量
w1.data = w1.data - 0.01 * w1.grad.data #取data,不会建立计算图
w2.data = w2.data - 0.01 * w2.grad.data #取data,不会建立计算图
b.data = b.data - 0.01 * b.grad.data #取data,不会建立计算图
w1.grad.data.zero_() #显示清零,释放之前计算的梯度
w2.grad.data.zero_() #显示清零,释放之前计算的梯度
b.grad.data.zero_() #显示清零,释放之前计算的梯度

print("progress:",epoch,l.item())

print("predict (after training)",4,forward(4).item())

举报

相关推荐

0 条评论