基于PyTorch的深度學(xué)習(xí)入門教程之DataParallel使用多GPU
前言
本文參考PyTorch官網(wǎng)的教程，分為五個基本模塊來介紹PyTorch。為了避免文章過長，這五個模塊分別在五篇博文中介紹。
Part1：PyTorch簡單知識
Part2：PyTorch的自動梯度計算
Part3：使用PyTorch構(gòu)建一個神經(jīng)網(wǎng)絡(luò)
Part4：訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)分類器
Part5：數(shù)據(jù)并行化
本文是關(guān)于Part5的內(nèi)容。
Part5：數(shù)據(jù)并行化
本文中，將會講到DataParallel使用多GPU。
在PyTorch中使用GPU比較簡單，可以這樣把模型放到GPU上。
model.gpu（）
還可以復(fù)制所有的tensors到GPU上。
mytensor = my_tensor.gpu（）
請注意，單純調(diào)用mytensor.gpu（）不會拷貝tensor到GPU上。你需要把它分配給一個新的tensor，然后在GPU上使用這個新的tensor。
前向和反向傳播可以在多個GPU上運行。但是，PyTorch默認(rèn)只使用一個GPU。你可以使用DataParallel使得你的模型可以在過個GPU上并行運算。
model = nn.DataParallel（model）
1 Package導(dǎo)入和參數(shù)設(shè)置
導(dǎo)入PyTorch的模塊并且設(shè)置參數(shù)。
2 虛擬數(shù)據(jù)集
制作虛擬（隨機）數(shù)據(jù)集，只需要執(zhí)行g(shù)etitem。
class RandomDataset(Dataset): def __init__(self, size, length): self.len = length self.data = torch.randn(length, size) def __getitem__(self, index): return self.data[index] def __len__(self): return self.len rand_loader = DataLoader(dataset=RandomDataset(input_size, 100), batch_size=batch_size, shuffle=True)
3 簡單模型
作為實例，我們的模型只是獲取輸入，進行線性運算，給出結(jié)果。但是，你可以把DataParallel應(yīng)用到任何模型（CNN，RNN，Capsule Net 等等）。
class Model(nn.Module): # Our model def __init__(self, input_size, output_size): super(Model, self).__init__() self.fc = nn.Linear(input_size, output_size) def forward(self, input): output = self.fc(input) print(" In Model: input size", input.size(), "output size", output.size()) return output
4 創(chuàng)建模型和數(shù)據(jù)并行
這是本篇教程的核心內(nèi)容。我們需要制作一個模型實例，并檢查是否有多個GPU。如果有多GPU，可以使用nn.DataParallel打包我們的model。之后，我們可以把利用model.gpu（）把模型放到GPU上。
model = Model(input_size, output_size) if torch.cuda.device_count() > 1: print("Let's use", torch.cuda.device_count(), "GPUs!") # dim = 0 [30, xxx] -> [10, ...], [10, ...], [10, ...] on 3 GPUs model = nn.DataParallel(model) if torch.cuda.is_available(): model.cuda()
5 運行模型
for data in rand_loader: if torch.cuda.is_available(): input_var = Variable(data.cuda()) else: input_var = Variable(data) output = model(input_var) print("Outside: input size", input_var.size(), "output_size", output.size())
期望輸出：
In Model: input size torch.Size([30, 5]) output size torch.Size([30, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([30, 5]) output size torch.Size([30, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([30, 5]) output size torch.Size([30, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2]) Outside: input size torch.Size([10, 5]) output_size torch.Size([10, 2])
6 結(jié)果
（1）如果有2 GPUs，可以看到
# on 2 GPUs Let's use 2 GPUs! In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2]) In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2]) In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2]) In Model: input size torch.Size([15, 5]) output size torch.Size([15, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([5, 5]) output size torch.Size([5, 2]) In Model: input size torch.Size([5, 5]) output size torch.Size([5, 2]) Outside: input size torch.Size([10, 5]) output_size torch.Size([10, 2])
（2）如果有3 GPUs，可以看到
Let's use 3 GPUs! In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2]) In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2]) In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2]) In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2]) In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2]) In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2]) In Model: input size torch.Size([10, 5]) output size torch.Size([10, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2]) Outside: input size torch.Size([10, 5]) output_size torch.Size([10, 2])
（3）如果有8 GPUs，可以看到
Let's use 8 GPUs! In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([4, 5]) output size torch.Size([4, 2]) In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2]) Outside: input size torch.Size([30, 5]) output_size torch.Size([30, 2]) In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2]) In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2]) In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2]) In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2]) In Model: input size torch.Size([2, 5]) output size torch.Size([2, 2]) Outside: input size torch.Size([10, 5]) output_size torch.Size([10, 2])
7 總結(jié)
DataParallel將數(shù)據(jù)自動分割送到不同的GPU上處理，在每個模塊完成工作后，DataParallel再收集整合這些結(jié)果返回。
責(zé)任編輯：xj
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
gpu
+關(guān)注
關(guān)注
28文章
5035瀏覽量
133715 -
Data
+關(guān)注
關(guān)注
0文章
63瀏覽量
38972 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5586瀏覽量
123634 -
pytorch
+關(guān)注
關(guān)注
2文章
812瀏覽量
14423
發(fā)布評論請先 登錄
相關(guān)推薦
熱點推薦
GPU架構(gòu)深度解析
GPU架構(gòu)深度解析從圖形處理到通用計算的進化之路圖形處理單元（GPU），作為現(xiàn)代計算機中不可或缺的一部分，已經(jīng)從最初的圖形渲染專用處理器，發(fā)展成為強大的并行計算引擎，廣泛應(yīng)用于人工智能、科學(xué)計算
操作指南：pytorch云服務(wù)器怎么設(shè)置？
設(shè)置PyTorch云服務(wù)器需選擇云平臺，創(chuàng)建合適的GPU實例，安裝操作系統(tǒng)、Python及Anaconda，創(chuàng)建虛擬環(huán)境，根據(jù)CUDA版本安裝PyTorch，配置環(huán)境變量，最后驗證安裝。過程中需考慮
Triton編譯器在機器學(xué)習(xí)中的應(yīng)用
多種深度學(xué)習(xí)框架，如TensorFlow、PyTorch、ONNX等，使得開發(fā)者能夠輕松地將不同框架下訓(xùn)練的模型部署到GPU上。 2. Triton編譯器的工作原理 Triton編譯器
利用Arm Kleidi技術(shù)實現(xiàn)PyTorch優(yōu)化
PyTorch 是一個廣泛應(yīng)用的開源機器學(xué)習(xí) (ML) 庫。近年來，Arm 與合作伙伴通力協(xié)作，持續(xù)改進 PyTorch 的推理性能。本文將詳細介紹如何利用 Arm Kleidi 技術(shù)提升 Arm
深度學(xué)習(xí)工作負(fù)載中GPU與LPU的主要差異
，一個新的競爭力量——LPU（Language Processing Unit，語言處理單元）已悄然登場，LPU專注于解決自然語言處理（NLP）任務(wù)中的順序性問題，是構(gòu)建AI應(yīng)用不可或缺的一環(huán)。 本文旨在探討深度學(xué)習(xí)工作負(fù)載中GPU
PyTorch 2.5.1: Bugs修復(fù)版發(fā)布
? 一，前言 在深度學(xué)習(xí)框架的不斷迭代中，PyTorch 社區(qū)始終致力于提供更穩(wěn)定、更高效的工具。最近，PyTorch 2.5.1 版本正式發(fā)布，這個版本主要針對 2.5.0 中發(fā)現(xiàn)的
GPU在深度學(xué)習(xí)中的應(yīng)用 GPUs在圖形設(shè)計中的作用
隨著人工智能技術(shù)的飛速發(fā)展，深度學(xué)習(xí)作為其核心部分，已經(jīng)成為推動技術(shù)進步的重要力量。GPU（圖形處理單元）在深度學(xué)習(xí)中扮演著至關(guān)重要的角色，
NPU在深度學(xué)習(xí)中的應(yīng)用
設(shè)計的硬件加速器，它在深度學(xué)習(xí)中的應(yīng)用日益廣泛。 1. NPU的基本概念 NPU是一種專門針對深度學(xué)習(xí)算法優(yōu)化的處理器，它與傳統(tǒng)的CPU和GPU
pcie在深度學(xué)習(xí)中的應(yīng)用
深度學(xué)習(xí)模型通常需要大量的數(shù)據(jù)和強大的計算能力來訓(xùn)練。傳統(tǒng)的CPU計算資源有限，難以滿足深度學(xué)習(xí)的需求。因此，GPU（圖形處理單元）和TPU
PyTorch GPU 加速訓(xùn)練模型方法
在深度學(xué)習(xí)領(lǐng)域，GPU加速訓(xùn)練模型已經(jīng)成為提高訓(xùn)練效率和縮短訓(xùn)練時間的重要手段。PyTorch作為一個流行的深度
PyTorch 數(shù)據(jù)加載與處理方法
PyTorch 是一個流行的開源機器學(xué)習(xí)庫，它提供了強大的工具來構(gòu)建和訓(xùn)練深度學(xué)習(xí)模型。在構(gòu)建模型之前，一個重要的步驟是加載和處理數(shù)據(jù)。 1. Py
如何使用 PyTorch 進行強化學(xué)習(xí)
強化學(xué)習(xí)（Reinforcement Learning, RL）是一種機器學(xué)習(xí)方法，它通過與環(huán)境的交互來學(xué)習(xí)如何做出決策，以最大化累積獎勵。PyTorch 是一個流行的開源機器
Pytorch深度學(xué)習(xí)訓(xùn)練的方法
掌握這 17 種方法，用最省力的方式，加速你的 Pytorch 深度學(xué)習(xí)訓(xùn)練。
GPU深度學(xué)習(xí)應(yīng)用案例
GPU在深度學(xué)習(xí)中的應(yīng)用廣泛且重要，以下是一些GPU深度學(xué)習(xí)應(yīng)用案例： 一、圖像識別 圖像識別是
深度學(xué)習(xí)GPU加速效果如何
圖形處理器（GPU）憑借其強大的并行計算能力，成為加速深度學(xué)習(xí)任務(wù)的理想選擇。
工商網(wǎng)監(jiān)
評論