NVIDIA GPU已經(jīng)在AI、HPC領(lǐng)域遙遙領(lǐng)先，但沒有最強，只有更強。

現(xiàn)在，NVIDIA又發(fā)布了全新的HGX H200加速器，可處理AIGC、HPC工作負載的海量數(shù)據(jù)。

NVIDIA H200的一大特點就是首發(fā)新一代HBM3e高帶寬內(nèi)存(疑似來自SK海力士)，單顆容量就多達141GB(原始容量144GB但為提高良率屏蔽了一點點)，同時帶寬多達4.8TB/s。

對比H100，容量增加了76％，帶寬增加了43％，而對比上代A100，更是容量幾乎翻番，帶寬增加2.4倍。

得益于NVLink、NVSwitch高速互連技術(shù)，H200還可以四路、八路并聯(lián)，因此單系統(tǒng)的HBM3e內(nèi)存容量能做到最多1128GB，也就是1.1TB。

只是相比于AMD Instinct MI300X還差點意思，后者搭載了192GB HBM3，帶寬高達5.2TB/s。

性能方面，H200再一次實現(xiàn)了飛躍，700億參數(shù)的Llama2大語言模型推理性能比H100提高了多達90％，1750億參數(shù)的GTP-3模型推理性能也提高了60％，而對比前代A100 HPC模擬性能直接翻番。

八路H200系統(tǒng)下，F(xiàn)P8深度學(xué)習(xí)計算性能可以超過32PFlops，也就是每秒3.2億億次浮點計算，堪比一臺大型超級計算機。

隨著未來軟件的持續(xù)升級，H200還有望繼續(xù)釋放潛力，實現(xiàn)更大的性能優(yōu)勢。

此外，H200還可以與采用超高速NVLink-C2C互連技術(shù)的NVIDIA Grace CPU處理器搭配使用，就組成了GH200 Grace Hopper超級芯片，專為大型HPC、AI應(yīng)用而設(shè)計的計算模塊。

NVIDIA H200將從2024年第二季度開始通過全球系統(tǒng)制造商、云服務(wù)提供商提供。

另外，NVIDIA第一次披露了下一代AI/HPC加速器的情況，架構(gòu)代號Blackwell，核心編號GB200，加速器型號B100。

NVIDIA第一次公開確認，B100將在2024年發(fā)布，但未出更具體的時間表。

此前曝料稱，B100原計劃2024年第四季度推出，但因為AI需求太火爆，已經(jīng)提前到第二季度，現(xiàn)已進入供應(yīng)鏈認證階段。

NVIDIA表示，B100加速器可以輕松搞定1730億參數(shù)的大語言模型，是現(xiàn)在H200的兩倍甚至更多。

雖然這不代表原始計算性能，但也足以令人望而生畏。

同時，B100還將帶來更高級的HBM高帶寬內(nèi)存規(guī)格。

回顧歷史，Pascal P100、Ampere A100、Hopper H100、H200分別首發(fā)應(yīng)用HBM2、HBM2e、HBM3、HBM3e。

接下來的B100肯定趕不上HBM4(規(guī)范還沒定呢)，但必然會在堆疊容量、帶寬上繼續(xù)突破，大大超越現(xiàn)在的4.8TB/s。

Blackwell架構(gòu)同時也會用于圖形工作站和桌面游戲，傳聞有GB202、GB203、GB205、GB206、GB207等不同核心，但是對于RTX 50系列，NVIDIA始終三緘其口，幾乎肯定到2025年才會發(fā)布。

2024年就將是RTX 40 SUPER系列的天下了，明年初的CES 2025首發(fā)三款型號RTX 4080 SUPER、RTX 4070 Ti SUPER、RTX 4070 SUPER。