PyTorch教程之Autograd
在PyTorch中，autograd是所有神經網絡的核心內容，為Tensor所有操作提供自動求導方法。
它是一個按運行方式定義的框架，這意味著backprop是由代碼的運行方式定義的。
一、Variable
autograd.Variable 是autograd中最核心的類。 它包裝了一個Tensor，并且?guī)缀踔С炙性谄渖隙x的操作。一旦完成了你的運算，你可以調用 .backward()來自動計算出所有的梯度。
Variable有三個屬性：data，grad以及creator。
訪問原始的tensor使用屬性.data； 關于這一Variable的梯度則集中于 .grad； .creator反映了創(chuàng)建者，標識了是否由用戶使用.Variable直接創(chuàng)建（None）。
還有一個對autograd的實現(xiàn)非常重要的類——Function。Variable 和Function數(shù)是相互關聯(lián)的，并建立一個非循環(huán)圖，從而編碼完整的計算過程。每個變量都有一個.grad_fn屬性引用創(chuàng)建變量的函數(shù)(除了用戶創(chuàng)建的變量，它們的grad_fn是None)。
import torch from torch.autograd import Variable
創(chuàng)建變量x：
x = Variable(torch.ones(2, 2), requires_grad=True) print(x)
輸出結果：
Variable containing: 1 1 1 1 [torch.FloatTensor of size 2x2]
在x基礎上進行運算：
y = x + 2
print(y)
輸出結果：
Variable containing: 3 3 3 3 [torch.FloatTensor of size 2x2]
查看x的grad_fn：
print(x.grad_fn)
輸出結果：
None
查看y的grad_fn：
print(y.grad_fn)
輸出結果：
<torch.autograd.function.AddConstantBackward object at 0x7f603f6ab318>
可以看到y(tǒng)是作為運算的結果產生的，所以y有grad_fn，而x是直接創(chuàng)建的，所以x沒有grad_fn。
在y基礎上進行運算：
z = y * y * 3 out = z.mean() print(z, out)
輸出結果：
Variable containing: 27 27 27 27 [torch.FloatTensor of size 2x2] Variable containing: 27 [torch.FloatTensor of size 1]
二、Gradients
如果Variable是一個標量（例如它包含一個單元素數(shù)據(jù)），你無需對backward()指定任何參數(shù).
out.backward()等價于out.backward(torch.Tensor([1.0])).
out.backward() print(x.grad)
輸出結果：
Variable containing: 4.5000 4.5000 4.5000 4.5000 [torch.FloatTensor of size 2x2]
如果它有更多的元素（矢量），你需要指定一個和tensor的形狀匹配的grad_output參數(shù)（y在指定方向投影對x的導數(shù)）
x = torch.randn(3) x = Variable(x, requires_grad=True) y = x * 2 while y.data.norm() < 1000: y = y * 2 print(y)
輸出結果：
Variable containing: -1296.5227 499.0783 778.8971 [torch.FloatTensor of size 3]
不傳入參數(shù)：
y.backward() print(x.grad)
輸出結果：
RuntimeError: grad can be implicitly created only for scalar outputs None
傳入參數(shù)：
gradients = torch.FloatTensor([0.1, 1.0, 0.0001]) y.backward(gradients) print(x.grad)
輸出結果：
Variable containing: 102.4000 1024.0000 0.1024 [torch.FloatTensor of size 3]
簡單測試一下不同參數(shù)的效果：
參數(shù)1：[1,1,1]
x=torch.FloatTensor([1,2,3]) x = Variable(x, requires_grad=True) y = x * x print(y) gradients = torch.FloatTensor([1,1,1]) y.backward(gradients) print(x.grad)
輸出結果：
Variable containing: 1 4 9 [torch.FloatTensor of size 3] Variable containing: 2 4 6 [torch.FloatTensor of size 3]
參數(shù)2：[3,2,1]
x=torch.FloatTensor([1,2,3]) x = Variable(x, requires_grad=True) y = x * x print(y) gradients = torch.FloatTensor([3,2,1]) y.backward(gradients) print(x.grad)
輸出結果：
Variable containing: 1 4 9 [torch.FloatTensor of size 3] Variable containing: 6 8 6 [torch.FloatTensor of size 3]
浙公網安備 33010602011771號