電子發(fā)燒友網(wǎng)報(bào)道（文/李彎彎）日前，英偉達(dá)正式宣布，在目前最強(qiáng)AI芯片H100的基礎(chǔ)上進(jìn)行一次大升級(jí)，發(fā)布新一代H200芯片。H200擁有141GB的內(nèi)存、4.8TB/秒的帶寬，并將與H100相互兼容，在推理速度上幾乎達(dá)到H100的兩倍。H200預(yù)計(jì)將于明年二季度開(kāi)始交付。此外，英偉達(dá)還透露，下一代Blackwell B100 GPU也將在2024年推出。

英偉達(dá)新發(fā)布的H200性能大幅提升（來(lái)源：英偉達(dá)官網(wǎng)）

首款搭載HBM3e的GPU，推理速度幾乎是H100的兩倍

與A100和H100相比，H200最大的變化就是內(nèi)存。搭載世界上最快的內(nèi)存HBM3e技術(shù)的H200在性能上得到了直接提升，141GB的內(nèi)存幾乎是A100和H100最高80GB內(nèi)存的2倍，4.8TB每秒的帶寬達(dá)到A100的2.4倍，顯著高于H100 3.35TB每秒的帶寬。

今年早些時(shí)候，就有消息稱(chēng)，包括英偉達(dá)在內(nèi)，全球多個(gè)科技巨頭都在競(jìng)購(gòu)SK海力士第五代高帶寬內(nèi)存HBM3e。 HBM是由AMD和SK海力士發(fā)起的基于3D堆棧工藝的高性能DRAM，適用于高存儲(chǔ)器帶寬需求的應(yīng)用場(chǎng)合。如今HBM已經(jīng)發(fā)展出HBM2、HBM2e以及HBM3，HBM3e是HBM3的新一代產(chǎn)品。英偉達(dá)、AMD等企業(yè)的高端AI芯片大多搭載HBM。

電子發(fā)燒友此前報(bào)道過(guò)，英偉達(dá)歷代主流訓(xùn)練芯片基本都配置HBM，其2016年發(fā)布的首個(gè)采用帕斯卡架構(gòu)的顯卡TeslaP100已搭載了HBM2，隨后TeslaV100也采用了HBM2；2017年初，英偉達(dá)發(fā)布的Quadro系列專(zhuān)業(yè)卡中的旗艦GP100也采用了HBM2；2021年推出的TeslaA100計(jì)算卡也搭載了HBM2E，2022年推出了面向大陸地區(qū)的A800，同樣也配置HBM2E；2022年推出了市面上最強(qiáng)的面向AI服務(wù)器的GPU卡H100，采用的HBM3。

AMD今年6月推出的號(hào)稱(chēng)是最強(qiáng)的AI芯片MI300X，就是搭載由SK海力士及三星電子供應(yīng)的HBM。AMD稱(chēng)，MI300X提供的HBM密度最高是英偉達(dá)AI芯片H100的2.4倍，其HBM帶寬最高是H100的1.6倍。這意味著，AMD的芯片可以運(yùn)行比英偉達(dá)芯片更大的模型。

如今英偉達(dá)新發(fā)布的H200搭載HBM3e，可想而知在性能上將會(huì)更上一層。H200配備141GB的HBM3e內(nèi)存，運(yùn)行速率約為6.25 Gbps，六個(gè)HBM3e堆棧為每個(gè)GPU帶來(lái)4.8 TB/s的總帶寬。原有的H100配備80GB的HBM3，對(duì)應(yīng)的總帶寬為3.35 TB/s，這是一個(gè)巨大的進(jìn)步。相比于H100的SXM版本，H200的SXM版本將內(nèi)存容量和總帶寬分別提高了76%和43%。

英偉達(dá)表示，基于與H100相同的Hopper架構(gòu)，H200將具有H100的一切功能，例如可以用來(lái)加速基于Transformer架構(gòu)搭建的深度學(xué)習(xí)模型的Transformer Engine功能。

根據(jù)其官網(wǎng)信息，H200在大模型Llama 2、GPT-3.5的輸出速度上分別是H100的1.9倍和1.6倍，在高性能計(jì)算HPC方面的速度更是達(dá)到了雙核x86 CPU的110倍。

在TF32 Tensor Core（張量核心）中，H200可達(dá)到989萬(wàn)億次浮點(diǎn)運(yùn)算；INT8張量核心下提供3,958 TFLOPS（每秒3958萬(wàn)億次的浮點(diǎn)運(yùn)算）。

不僅如此，基于H200芯片構(gòu)建的HGX H200加速服務(wù)器平臺(tái)，擁有 NVLink 和 NVSwitch的高速互連支持。8個(gè)HGX H200則提供超過(guò)32 petaflops（每秒1000萬(wàn)億次的浮點(diǎn)運(yùn)算）的FP8深度學(xué)習(xí)計(jì)算和 1.1TB 聚合高帶寬內(nèi)存，可為科學(xué)研究和 AI 等應(yīng)用的工作負(fù)載提供更高的性能支持，包括超1750億參數(shù)的大模型訓(xùn)練和推理。

英偉達(dá)副總裁Ian Buck表示，為了訓(xùn)練生成式AI和高性能計(jì)算應(yīng)用，必須使用高性能GPU。有了H200，行業(yè)領(lǐng)先的AI超級(jí)計(jì)算平臺(tái)可以更快地解決一些世界上最重要的挑戰(zhàn)。

目前，英偉達(dá)的全球合作伙伴服務(wù)器制造商生態(tài)系統(tǒng)包括華擎 Rack、華碩、戴爾科技、Eviden、技嘉、慧與、英格拉科技、聯(lián)想、QCT、Supermicro、緯創(chuàng)資通和緯穎科技等，可以直接使用H200更新其現(xiàn)有系統(tǒng)。除了英偉達(dá)自己投資的CoreWeave、Lambda和 Vultr之外，亞馬遜網(wǎng)絡(luò)服務(wù)、谷歌云、微軟Azure 和甲骨文云等云服務(wù)提供商將從明年開(kāi)始首批部署H200。

如果沒(méi)有獲得出口許可，新H200不會(huì)銷(xiāo)往中國(guó)

這款H200能否對(duì)華出口也是大家關(guān)心的問(wèn)題。對(duì)此，英偉達(dá)表示，如果沒(méi)有出口許可，新的H200將不會(huì)銷(xiāo)往中國(guó)。去年9月，英偉達(dá)高端GPU對(duì)中國(guó)出口就受到限制，當(dāng)時(shí)英偉達(dá)表示，美國(guó)通過(guò)公司向中國(guó)出口A100和H100芯片將需要新的許可證要求，同時(shí)DGX或任何其他包含A100或H100芯片的產(chǎn)品，以及未來(lái)性能高于A100的芯片都將受到新規(guī)管制。

根據(jù)美國(guó)商務(wù)部的法規(guī)，其主要限制的是算力和帶寬，算力上線是4800 TOPS，帶寬上線是600 GB/s。為了應(yīng)對(duì)這個(gè)問(wèn)題，英偉達(dá)后來(lái)向中國(guó)企業(yè)提供了替代版本A800和H800。A800的帶寬為400GB/s，低于A100的600GB/s，H800據(jù)透露約為H100的一半。這意味著A800、H800在進(jìn)行AI模型訓(xùn)練的時(shí)候，需要耗費(fèi)更長(zhǎng)的時(shí)間。

然而美國(guó)政府認(rèn)為，H800在某些情況下算力仍然不亞于H100。為了進(jìn)一步加強(qiáng)對(duì)AI芯片的出口管制，美國(guó)計(jì)劃用多項(xiàng)新的標(biāo)準(zhǔn)來(lái)替換掉之前針對(duì)“帶寬參數(shù)”。今年10月，美國(guó)商務(wù)部工業(yè)與安全局（BIS）發(fā)布更新針對(duì)AI芯片的出口管制規(guī)定，根據(jù)新規(guī)定，美國(guó)商務(wù)部計(jì)劃引入一項(xiàng)被稱(chēng)為“性能密度”的參數(shù)，來(lái)防止企業(yè)尋找到變通的方案，修訂后的出口管制措施將禁止美國(guó)企業(yè)向中國(guó)出售運(yùn)行速度達(dá)到300teraflops（即每秒可計(jì)算 3億次運(yùn)算）及以上的數(shù)據(jù)中心芯片。根據(jù)這樣的規(guī)定，在沒(méi)有獲得許可的情況下，英偉達(dá)新發(fā)布的H200必然是沒(méi)有辦法向中國(guó)企業(yè)出售。


事實(shí)上，在美國(guó)政府今年10月發(fā)布的新規(guī)下，英偉達(dá)不少產(chǎn)品都在限制范圍內(nèi)，包括但并不限于A100、A800、H100、H800、L40、L40 以及RTX 4090。任何集成了一個(gè)或多個(gè)以上芯片的系統(tǒng)，包括但不限于英偉達(dá)DGX、HGX系統(tǒng)，也在新規(guī)涵蓋范圍之內(nèi)。

針對(duì)此情況，有消息稱(chēng)，本月初英偉達(dá)已經(jīng)向經(jīng)銷(xiāo)商公布“中國(guó)特供版”HGX H20、L20 PCle、L2 PCle產(chǎn)品信息，分別針對(duì)訓(xùn)練、推理和邊緣場(chǎng)景，最快將于11月16日公布，量產(chǎn)時(shí)間為2023年12月至2024年1月。其中，HGX H20在帶寬、計(jì)算速度等方面均有所限制，理論綜合算力要比英偉達(dá)H100降80%左右。

此外，據(jù)英特爾供應(yīng)鏈透露，英特爾也已經(jīng)針對(duì)最新發(fā)布的Gaudi2推出降規(guī)版出貨，預(yù)計(jì)將不受新禁令影響。不過(guò)無(wú)論是英偉達(dá)，還是英特爾針對(duì)中國(guó)市場(chǎng)推出的特供版，可想而知性能必然是會(huì)大打折扣的，而且從美國(guó)政府的舉措來(lái)看，特供版是否能夠長(zhǎng)久供應(yīng)也是未知數(shù)。

總結(jié)

可以看到，英偉達(dá)此次發(fā)布的H100，是全球首款搭載HBM3e的GPU，擁有141GB的內(nèi)存、4.8TB/秒的帶寬，推理速度幾乎達(dá)到H100的兩倍。可想而知，有了H200，當(dāng)前備受關(guān)注的AI大模型的訓(xùn)練和部署應(yīng)用將會(huì)得到更快速地發(fā)展。