torch.nn

pytorch中文文檔鏈接：torch.nn

在__init__()函數(shù)里定義，定義的是一個(gè)類：

torch.nn.functional

pytorch中文文檔鏈接：torch.nn.functional

在__forward()__函數(shù)里定義，定義的是一個(gè)函數(shù)：

兩者的區(qū)別

torch.nn中是一個(gè)定義的類，以class xx來(lái)定義的，可以提取變化的學(xué)習(xí)參數(shù)。

torch.nn.functional是一個(gè)函數(shù)，由def function( )定義，是一個(gè)固定的運(yùn)算公式。

深度學(xué)習(xí)中會(huì)有很多權(quán)重是在不斷更新的，所以需要采用類的方式，以確保能在參數(shù)發(fā)生變化時(shí)仍能使用我們之前定好的運(yùn)算步驟。因此如果模型有可學(xué)習(xí)的參數(shù)，應(yīng)該使用nn.Module，否則兩個(gè)沒(méi)有區(qū)別。但是簡(jiǎn)單的計(jì)算不需要新建一個(gè)類來(lái)做，所以使用nn.functional定義函數(shù)就可以。

即：層內(nèi)有variable的情況用nn定義，否則用nn.functional定義。

學(xué)習(xí)更多編程知識(shí)，請(qǐng)關(guān)注我的公眾號(hào)：

[代碼的路]