0
点赞
收藏
分享

微信扫一扫

PyTorch: In-place Operation

一只1994 2022-02-13 阅读 80

本文目录

In-place Operation

In-place operation在pytorch中指的是支持原位修改tensor,这样就可以避免新的内存开销,主要是为了降低显存的消耗

但是在pytorch反向传播得到计算图的时候需要获取中间变量的值,如果使用in-place操作以后中间值就失去了,无法获得计算图,但是为什么有的激活函数写的in-place操作呢?

以ReLU函数为例,当输入值为正值时不变in-place与否不影响结果;当输入为负值时为0不进行反向传播了所以不影响

常见的In-place操作

1. 符号计算

*= +=等操作

在pytorch中尽量避免

tensor = torch.tensor([[1,2,3], [4,5,6]])
print(tensor.data_ptr())
tensor += 2
print(tensor.data_ptr())
tensor = tensor+2
print(tensor.data_ptr())
'''
140430616339712
140430616339712	# in-place
140430616321664 # out-of-place
'''

(继续补充)

常见的Out-of-place操作

1. 符号计算

a=a+b等,参考In-place操作

举报

相关推荐

0 条评论