0
点赞
收藏
分享

微信扫一扫

pytorch求梯度相关API

水墨_青花 2022-04-13 阅读 58
深度学习

torch Tensor是整个package中的核心类

requires_grad设置为True,表示会对张量进行跟踪,记录张量在正向传播中做的更改(相乘相加等等操作),只有跟踪张量的更改,才能在反向求导中进行计算。

直接给tensor原地更改requires_gradTrue,a.requires_grad_(True)

import torch

x = torch.ones(3, 3, requires_grad=True)
y = x + 1
print(x.grad_fn)
print(y.grad_fn)
"""
x是自定义的tensor
None
y是延伸出来的tensor
<AddBackward0 object at 0x000001BF7307B3A0>
"""

z = y * y * 3
out = z.mean()
print(z, out)

"""
tensor([[12., 12., 12.],
        [12., 12., 12.],
        [12., 12., 12.]], grad_fn=<MulBackward0>) tensor(12., grad_fn=<MeanBackward0>)
"""

 用户自己定义的tensor张量,grad_fn is None,自己创建的tensor这个属性默认是False,在神经网络里面这个默认是True

a = torch.randn(2, 2)
a = ((a * 3) / (a - 1))
print(a.grad_fn)
a.requires_grad_(True)
print(a.requires_grad)
b = (a * a).sum()
print(b)
print(b.grad_fn)
"""
None
True
tensor(9.2894, grad_fn=<SumBackward0>)
<SumBackward0 object at 0x0000023EA66D8400>
"""

backward():让网络进行反向传播,前提是对张量进行了跟踪,即.requires_grad设置为True。

grad():反向传播计算的所有梯度会累加进.grad属性中。

detach():终止一个tensor的反向传播。

with torch.no_grad():终止整个网络的反向传播(建议大量使用这个停止反向传播)。

# 设置反向传播
out.backward()
print(x.grad)       # grad保存了tensor反向传播的梯度
print(x.requires_grad)
with torch.no_grad():   # 不对他进行梯度求导
    print((x**2).requires_grad)

y = x.detach()
print(y.requires_grad)

举报

相关推荐

0 条评论