本文參考PyTorch官網(wǎng)的教程，分為五個基本模塊來介紹PyTorch。為了避免文章過長，這五個模塊分別在五篇博文中介紹。

Part1：PyTorch簡單知識

Part2：PyTorch的自動梯度計算

Part3：使用PyTorch構(gòu)建一個神經(jīng)網(wǎng)絡(luò)

Part4：訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)分類器

Part5：數(shù)據(jù)并行化

本文是關(guān)于Part2的內(nèi)容。

Part2：PyTorch的自動梯度計算

autograd package是PyTorch中所有神經(jīng)網(wǎng)絡(luò)的核心。先了解一些基本知識，然后開始訓(xùn)練第一個神經(jīng)網(wǎng)絡(luò)。autograd package提供了Tensors上所有運算的自動求導(dǎo)功能。它是一個按運行定義（define-by-run）的框架，這意味著反向傳播是依據(jù)代碼運行情況而定義的，并且每一個單次迭代都可能不相同。

1 變量（Variable）

autograd.Variable 是這個package的中心類。它打包了一個Tensor，并且支持幾乎所有運算。一旦你完成了你的計算，可以調(diào)用.backward（），所有梯度就可以自動計算。

你可以使用.data屬性來訪問原始tensor。相對于變量的梯度值可以被積累到.grad中。

這里還有一個類對于自動梯度的執(zhí)行是很重要的：Function（函數(shù)）

變量和函數(shù)是相互關(guān)聯(lián)的，并且建立一個非循環(huán)圖。每一個變量有一個.grad_fn屬性，它可以引用一個創(chuàng)建了變量的函數(shù)（除了那些用戶創(chuàng)建的變量——他們的grad_fn是空的）。

如果想要計算導(dǎo)數(shù)，可以調(diào)用Variable上的.backward（）。如果變量是標(biāo)量（只有一個元素），你不需要為backward（）確定任何參數(shù)。但是，如果它有多個元素，你需要確定grad_output參數(shù)（這是一個具有匹配形狀的tensor）。

import torch
from torch.autograd import Variable

創(chuàng)建一個變量：

x = Variable(torch.ones(2, 2), requires_grad=True)
print(x)

對變量做一個運算：

y = x + 2
print(y)

y作為一個運算的結(jié)果被創(chuàng)建，所以它有g(shù)rad_fn。

print(y.grad_fn)

在y上做更多的運算：

z = y * y * 3
out = z.mean()

print(z, out)

2 梯度（Gradients）

現(xiàn)在來做反向傳播。out.backward（）等價于out.backward（torch.Tensor（［1.0］））。

out.backward()

打印梯度 d(out)/dx

print(x.grad)

你應(yīng)該會得到一個元素為4.5的矩陣。

你可以使用autograd做很多瘋狂的事情。

x = torch.randn(3)
x = Variable(x, requires_grad=True)

y = x * 2
while y.data.norm() < 1000:
    y = y * 2

print(y)

gradients = torch.FloatTensor([0.1, 1.0, 0.0001])
y.backward(gradients)

print(x.grad)

責(zé)任編輯：xj