GPU架構(gòu)參數(shù)如CUDA核心數(shù)、顯存帶寬、Tensor TFLOPS、互聯(lián)方式等，并非 “冰冷的數(shù)字”，而是直接關(guān)系設(shè)備能否滿足需求、如何發(fā)揮最大價(jià)值、是否避免資源浪費(fèi)等問題的核心要素。

本篇文章將全面分析GPU核心參數(shù)體系：算力、顯存大小、顯存帶寬、熱門架構(gòu)特性等關(guān)鍵指標(biāo)，旨在幫您理解不同應(yīng)用場景下，如何選擇最合適的GPU算力解決方案。

1、算力

GPU執(zhí)行浮點(diǎn)運(yùn)算的能力，通常以TFLOPS(每秒浮點(diǎn)操作次數(shù))為單位衡量。

浮點(diǎn)運(yùn)算能力是針對“高精度小數(shù)計(jì)算”的專項(xiàng)能力，也是處理“復(fù)雜科學(xué) / 工程任務(wù)”的核心，它能加速模型訓(xùn)練、數(shù)據(jù)分析以及復(fù)雜模擬的處理速度。

那我們常提到的半精度（FP16）、單精度（FP32）、雙精度（FP64）分別是什么？

它們是電腦存儲和計(jì)算「小數(shù)」的三種“精度檔位”，就像手機(jī)拍照的 “720P、1080P、4K”，檔位越高，細(xì)節(jié)越精細(xì)，精度越高，但“處理速度”（計(jì)算效率）越慢，效率越低，成本越貴。

以前的大模型訓(xùn)練以FP32為主，現(xiàn)在更多是FP32和FP16的混合精度；推理的話，更多是FP16及其以下。

2、顯存

是GPU用于存儲數(shù)據(jù)和紋理的專用內(nèi)存，與系統(tǒng)內(nèi)存(RAM)不同，顯存具有更高的帶寬和更快的訪問速度。顯存的大小和性能直接影響GPU處理大規(guī)模數(shù)據(jù)的能力。

3、顯存帶寬

作為GPU與顯存之間數(shù)據(jù)傳輸?shù)臉蛄?顯存帶寬=顯存位寬x顯存頻率

如何理解顯存與顯存帶寬的關(guān)系呢？

顯存容量決定了“車廂”的載貨量，顯存越大裝載的貨物越多，而顯存帶寬決定了“裝卸貨”的速度，帶寬越高裝卸貨的效率越高。

4、顯存類型

顯卡上用于存儲和處理圖形數(shù)據(jù)的專用內(nèi)存技術(shù)，不同顯存類型在帶寬、功耗和性能上有顯著差異。

主流顯存類型有3種：GDDR、HBM和LPDDR。

GDDR系列主要用于游戲，HBM系列主要用于高端AI計(jì)算，如數(shù)據(jù)中心，LPDDR系列主要用于移動/邊緣設(shè)備。

5、功耗

指單位時(shí)間內(nèi)的能量消耗，反應(yīng)消耗能量的速率單位是瓦特(W)。

6、卡間互聯(lián)

卡間互聯(lián)的作用是“高速專用通道”（比如 NVIDIA的NVLink、行業(yè)通用的PCIe 5.0），傳輸速度能達(dá)到每秒幾百 GB（比如 NVLink 能到 400GB/s），和計(jì)算速度匹配，讓所有卡 “算得快、傳得也快”，不浪費(fèi)算力。

NVLink是由NVIDIA研發(fā)的專用高速互聯(lián)技術(shù)，專為解決“多 GPU 協(xié)同計(jì)算”的瓶頸 —— 當(dāng)單張 GPU 算力不足時(shí)，多張 GPU 需快速交換數(shù)據(jù)，PCIe 的帶寬和延遲成為瓶頸。

例如：訓(xùn)練千億參數(shù)大模型時(shí)，8 張 GPU 需實(shí)時(shí)同步梯度數(shù)據(jù)，NVLink 讓它們直接 “面對面溝通”。

7、流處理器（CUDA核心）

CUDA全稱：CUDA 核心（Compute Unified Device Architecture Core）

它是NVIDIA GPU的基礎(chǔ)計(jì)算單元。每個(gè)CUDA核心只處理簡單的數(shù)學(xué)運(yùn)算（如浮點(diǎn)加減乘除），但通過集成數(shù)千個(gè)這樣的核心，GPU能同時(shí)處理海量數(shù)據(jù)，速度遠(yuǎn)超CPU。CUDA核心越多，并行處理能力越強(qiáng)。

8、張量核心（Tensor Core）

它是NVIDIA GPU中的一種專用計(jì)算單元，專門用于加速矩陣和張量運(yùn)算，尤其在深度學(xué)習(xí)和高性能計(jì)算（HPC）中表現(xiàn)突出。

張量核心與CUDA相比，在于它能做矩陣運(yùn)算，而CUDA一次只能算一個(gè)數(shù)字。所以張量核心效率更高。

9、Tensor性能

Tensor性能（Tensor TFLOPS）是衡量GPU或AI加速器在張量計(jì)算任務(wù)中的浮點(diǎn)運(yùn)算能力的核心指標(biāo)。專指通過上面的Tensor Core加速的浮點(diǎn)運(yùn)算。數(shù)字越大，計(jì)算越快。

需要補(bǔ)充說明的是一般企業(yè)在做決策時(shí)不會太關(guān)注Tensor core的數(shù)量，而更看重Tensor性能。

10、英偉達(dá)GPU架構(gòu)

英偉達(dá)數(shù)據(jù)中心級GPU名稱中，首字母是架構(gòu)的縮寫。例如，B代表Blackwell、H代表Hopper，A代表Ampere、L代表Lovelace、都是用世界著名的科學(xué)家名字來命名。

數(shù)字往往代表GPU產(chǎn)品的等級或者性能表現(xiàn)。每一代的產(chǎn)品英偉達(dá)都會設(shè)計(jì)低中高不同價(jià)格、性能和功耗的GPU。數(shù)字部分越大，通常代表GPU越強(qiáng)大、價(jià)格越昂貴（A800和H800這類閹割版產(chǎn)品除外）。

比如：H100、A100、V100這類產(chǎn)品型號代表的同一代產(chǎn)品中的旗艦產(chǎn)品，價(jià)格最昂貴、性能最強(qiáng)大。也擁有最高的核心數(shù)和最大的顯存，專為大型模型推理以及訓(xùn)練而設(shè)計(jì)。

Ampere架構(gòu)

Ampere架構(gòu)是繼Volta和Turing架構(gòu)之后的新一代技術(shù)，以540億個(gè)晶體管打造，是有史以來最大的 7 納米 (nm) 芯片，于2020年首次發(fā)布。

該架構(gòu)具有更多的CUDA核心，并引入了第三代Tensor Core，針對AI和深度學(xué)習(xí)計(jì)算進(jìn)一步優(yōu)化，支持更高效的混合精度運(yùn)算，顯著提升了AI訓(xùn)練和推理的性能。

Ampere GPU使用了更快的內(nèi)存技術(shù)(如GDDR6X)和更大的內(nèi)存容量，并支持更高數(shù)據(jù)傳輸速度的PCI Express 4.0標(biāo)準(zhǔn)，從而能夠更好地處理大規(guī)模數(shù)據(jù)集和復(fù)雜的應(yīng)用程序。

典型卡型號:NVIDIA A100、A800

Hopper架構(gòu)

Hopper 架構(gòu)發(fā)布于 2022 年，擁有超過 800 億個(gè)晶體管，并采用新型流式處理器。Hopper支持第四代Tensor Core，能夠支持混合的 FP8 和 FP16 精度，與上一代相比，Hopper 將 TF32、FP64、FP16 和 INT8 精度的每秒浮點(diǎn)運(yùn)算（FLOPS）提高了 3 倍，在矩陣運(yùn)算中提供更高的吞吐量和效率。

Hopper Tensor Core 與 Transformer 引擎和第四代NVLink（GPU之間高達(dá)900GB/s的雙向帶寬）相結(jié)合，可使 HPC 和 AI 工作負(fù)載的加速實(shí)現(xiàn)數(shù)量級提升。

典型卡型號:NVIDIA H100、H200、H800、H20

Blackwell架構(gòu)

Blackwell架構(gòu)發(fā)布于 2024 年，具有2080億個(gè)晶體管，采用了雙倍光刻極限尺寸的裸片，通過10 TB/s的片間互聯(lián)技術(shù)連接成一塊統(tǒng)一的 GPU。

NVIDIA 還推出了第五代 NVLink，提供前所未有的并行性和 1.8TB/s 的芯片間通信帶寬，性能遠(yuǎn)超Hopper架構(gòu)。Blackwell GPU具備192GB的HBM3E，支持高達(dá)7400億個(gè)參數(shù)的模型，提供了高達(dá)8TB/s的帶寬。

此外，它還引入了第二代 Transformer 引擎，支持 FP4 精度和動態(tài)精度切換，有助于自動將模型轉(zhuǎn)換為適當(dāng)?shù)母袷揭赃_(dá)到最佳性能。

典型卡型號:NVIDIA B100、B200、B300

GPU 計(jì)算能力已成為推動全球技術(shù)革命的核心引擎，其作用貫穿人工智能、科學(xué)研究、工業(yè)制造等關(guān)鍵領(lǐng)域，深刻改變著人類解決復(fù)雜問題的能力邊界。

在這場算力革命中，誰盡早掌握GPU的核心技術(shù)，誰就能在人工智能、元宇宙、數(shù)智化轉(zhuǎn)型中占據(jù)制高點(diǎn)。

本文轉(zhuǎn)自：萬云智算