在例如nn.LeakyReLU(inplace=True)
中的inplace
字段是什么意思呢?有什么用?
-
inplace=True
的意思是进行原地操作,例如x=x+5
,对x
就是一个原地操作,y=x+5
,x=y
,完成了与x=x+5
同样的功能但是不是原地操作,上面LeakyReLU
中的inplace=True
的含义是一样的,是对于Conv2d
这样的上层网络传递下来的tensor直接进行修改,好处就是可以节省运算内存,不用多储存变量y
。
inplace=True means that it will modify the input directly, without allocating any additional output. It can sometimes slightly decrease the memory usage, but may not always be a valid operation (because the original input is destroyed). However, if you don’t see an error, it means that your use case is valid.