英偉達(dá)并不是唯一一家創(chuàng)建專業(yè)計算單元的公司，這些計算單元擅長矩陣數(shù)學(xué)和張量處理，這些計算單元支持AI訓(xùn)練，并且可以重新用于運(yùn)行AI推理。英特爾已經(jīng)收購了兩家這樣的公司—Nervana Systems，并緊隨其后的是Habana Labs，后者已被英特爾產(chǎn)品化，并緊隨英偉達(dá)的GPU加速器之后。

英特爾是一家優(yōu)秀的公司，該公司認(rèn)為將在未來五年內(nèi)獲得500億美元的人工智能計算機(jī)會（用于訓(xùn)練和推理），從現(xiàn)在到2027年，英特爾將以25%的復(fù)合年增長率增長，達(dá)到這一水平。鑒于“Ponte Vecchio”Xe HPC GPU加速器即將推出的相當(dāng)大的矩陣和矢量數(shù)學(xué)，以及即將到來的“Sapphire Rapids”Xeon SP CPU中AMX矩陣數(shù)學(xué)單元中很可能有足夠的推理容量，因此有理由想知道英特爾預(yù)計會銷售多少Gaudi訓(xùn)練和Goya推理芯片。

我們了解到，當(dāng)英特爾在2016年8月以3.5億美元與Nervana Systems達(dá)成交易并在2019年12月以20億美元收購Habana Labs時，它追求的是知識產(chǎn)權(quán)和人，當(dāng)然，因?yàn)檫@就是這場IT戰(zhàn)爭的玩法，但我們一直想知道這些設(shè)備，以及來自競爭對手GraphCore的設(shè)計， Cerebras，SambaNova Systems和Groq將部署在類似于主流的東西中。上述四家公司迄今為止共籌集了28.7億美元。

所有這些產(chǎn)品都剛剛開始滾動，這就是為什么英特爾將其賭注對沖到Nervana和Habana，就像它對數(shù)據(jù)中心的FPGA感到恐懼一樣（主要?dú)w功于Microsoft Azure），并在2015年6月斥資167億美元收購了Altera。在2015年至2020年器件，在數(shù)據(jù)中心計算方面英特爾的Xeon CPU占據(jù)主導(dǎo)地位，并且通過收購方式，減少了一些競爭對手。

在本周舉行的Intel Vision 2022大會上，Gaudi2 AI訓(xùn)練芯片是芯片制造商推出的大型新計算引擎，順便說一句，它不是英特爾實(shí)際制造的芯片，而是像其前身Gaudi1一樣，由競爭對手臺積電代工蝕刻而成。英特爾尚未透露對Gaudi2架構(gòu)的深入研究，但這是我們所知道的。

通過Gaudi2，英特爾正在轉(zhuǎn)向臺積電的7納米工藝，隨著這種收縮，它能夠?qū)⑿酒系腡PC數(shù)量從10個增加到24個，并增加了對新的8位FP8數(shù)據(jù)格式的支持，英偉達(dá)還將其添加到其“Hopper”GH100 GPU計算引擎中，該引擎于3月份推出，并在第三季度發(fā)貨。使用FP8格式，現(xiàn)在可以以相同的格式獲得低分辨率推理數(shù)據(jù)和高分辨率訓(xùn)練數(shù)據(jù)，并且在從訓(xùn)練移動到推理時不必在浮點(diǎn)和整數(shù)之間轉(zhuǎn)換模型。這對AI來說是一個真正的福音，盡管較低精度的整數(shù)格式可能會在未來許多年內(nèi)保留在矩陣和矢量計算引擎中，以支持遺留代碼和其他類型的應(yīng)用程序。Gaudi2芯片具有48 MB的SRAM，如果它與TPC數(shù)量線性擴(kuò)展，將能達(dá)到2.4倍而不是2倍的SRAM，或57.6 MB。

Gaudi2芯片上有HBM2e內(nèi)存組，可提供2.45 TB /秒的帶寬，比Gaudi1芯片增加了2.45倍。HBM2e內(nèi)存庫的數(shù)量沒有透露，但六個16 GB HBM2e的存儲體為Gaudi2提供了訣竅，而Gaudi 1的四個存儲體為8 GB HBM2。僅兩個 HBM2e 內(nèi)存控制器的增加就可將帶寬提高 1.33 倍，而帶寬的剩余增加來自提高內(nèi)存速度。

Gaudi1芯片有十個100Gb/秒以太網(wǎng)端口，支持RoCE直接內(nèi)存訪問協(xié)議，事實(shí)證明，每個TPC一個，但我們當(dāng)時并不知道，因?yàn)橹伙@示了八個。但是Gaudi2有24個以太網(wǎng)端口以100 Gb / sec的速度運(yùn)行，每個TPC一個。它的功率為650瓦。我們假設(shè)此設(shè)備插入PCI-Express 5.0插槽，但英特爾尚未確認(rèn)這一點(diǎn)。

假設(shè)沒有重大的架構(gòu)變化，并且該過程產(chǎn)生的時鐘速度從16納米縮小到7納米，我們預(yù)計Gaudi2芯片的性能將是Gaudi2的2.5倍。（還假設(shè)在任何給定應(yīng)用程序中處理的精度水平相同。）但英特爾實(shí)際上并沒有說是否有任何架構(gòu)變化（除了它增加了一些媒體處理功能）以及時鐘速度是如何變化的，所以我們必須推斷出來。

我們通過查看ResNet-50機(jī)器視覺訓(xùn)練操作的圖表來做到這一點(diǎn)，該圖表使Gaudi1和Gaudi2與過去兩代英偉達(dá)GPU加速器競爭：

與Nervana Systems一樣，Habana Labs非常認(rèn)真地致力于創(chuàng)建一套芯片，為AI工作負(fù)載提供最佳收益和最佳性能。哈瓦那戈雅HL-1000推理芯片于2019年初宣布，Gaudi1 AI訓(xùn)練芯片（也稱為HL-2000）于當(dāng)年夏天晚些時候首次亮相。Gaudi1架構(gòu)有一個通用矩陣乘法（GEMM）前端，后端由十個張量處理器內(nèi)核或TPC組成，芯片只向用戶公開其中的八個，以幫助提高封裝的良率。

Gaudi1使用了第二代TPC，而Goya HL-1000 AI推理芯片則使用了不那么強(qiáng)大和不那么復(fù)雜的原始TPC設(shè)計。Gadui1芯片中的TPC可以使用C編程語言直接尋址，并具有張量尋址以及BF16和FP32浮點(diǎn)以及INT8，INT16和INT32整數(shù)格式的支持。TPC指令集具有加速Sigmoid，GeLU，Tanh和其他特殊功能的電路。Gaudi 1采用臺積電的16納米工藝，具有24 MB片上SRAM，四組HBM2存儲器，容量為32 GB，帶寬為1 TB/秒。Gaudi1插入PCI-Express 4.0 x16插槽，消耗了350瓦的果汁，并將幾乎所有的果汁轉(zhuǎn)換為熱量，就像芯片一樣。

英特爾尚未透露對Gaudi2架構(gòu)的深入研究。

根據(jù)ResNet-50的比較，Gaudi2的性能是Gaudi1的3.2倍，但很難估計有多少性能是由于整個芯片的容量增加。這個特定的測試正在運(yùn)行TensorFlow框架來執(zhí)行圖像識別訓(xùn)練，顯示的數(shù)據(jù)是每秒處理的圖像數(shù)量。

有一件事沒有顯示，而且很重要，那就是Gaudi2加速器將如何與Hopper GPU堆疊，但英偉達(dá)尚未透露任何特定測試的性能結(jié)果。但是，由于 H100 中的 HBM3 內(nèi)存運(yùn)行速度比 A100 加速器中使用的 HBM2e 內(nèi)存快 1.5 倍，而FP16、TF32 和 FP64 在新的 Tensor Core 上提供的性能是 3 倍，因此可以合理地預(yù)期 H100 的性能將是 ResNet-50 視覺訓(xùn)練工作負(fù)載的 1.5 倍到 3 倍。因此，H100將在ResNet-50測試中每秒提供4，395至8，790張圖像的性能。我們的猜測是，它將比前者更接近后者，并且比英特爾通過Gaudi2可以提供的更大幅度更大。

與使用BERT模型的自然語言處理相比，圖像識別和視頻處理相對容易。以下是Gaudi2與英偉達(dá)V100和A100的對比，請注意Gaudi1丟失了：

BERT 模型也在TensorFlow 框架上運(yùn)行，此數(shù)據(jù)顯示了兩個不同訓(xùn)練階段中每秒吞吐量的序列數(shù)。在一次預(yù)審中，哈瓦那實(shí)驗(yàn)室部門首席商務(wù)官Eitan Medina表示，Gaudi2的性能不到A100的2倍。但是，H100擁有自己的FP8格式及其Transformer Engine，可以動態(tài)地改變AI訓(xùn)練工作流程不同部分的數(shù)據(jù)精度和處理，可以做得更好。我們不知道具體到什么，但我們強(qiáng)烈懷疑英偉達(dá)至少可以縮小與Gaudi2的差距，并且很可能超越它。

有趣的是，英特爾在亞馬遜網(wǎng)絡(luò)服務(wù)上啟動了DL1Gaudi1實(shí)例，然后分別基于A100和V100 GPU的p4d和p3實(shí)例，并進(jìn)行了一些價格/性能分析，以計算ResNet-50基準(zhǔn)測試中認(rèn)可的每張圖像的成本。請看一下：

這張圖表的意思是，Gaudi1的性能略好于V100，使用上圖中ResNet-50中英特爾的性能數(shù)據(jù)為27.3% ，并且價格提高了約60%，這意味著DL1實(shí)例的成本比使用V100的p3實(shí)例低得多。隨著遷移到基于A100的p4d實(shí)例，該實(shí)例具有40GB的HBM2e內(nèi)存，英偉達(dá)設(shè)備在ResNet-50上的吞吐量比Gaudi1高出58.6%，但Gaudi1處理的每個圖像的成本降低了46%。這意味著A100實(shí)例確實(shí)要貴得多。如果我們對Hopper GPU加速器定價的猜測是正確的，并且英偉達(dá)收取大約2倍的費(fèi)用，大約3倍的性能，英特爾將不得不保持出售給AWS的Gaudi2芯片的價格，因?yàn)锳WS仍然可以顯示出比運(yùn)行AI訓(xùn)練的H100實(shí)例更好的性價比。

無論如何，英特爾在其實(shí)驗(yàn)室中運(yùn)行了超過1000個Gaudi2，因此它可以調(diào)整SynapseAI軟件堆棧，其中包括在Habana的圖形編譯器，內(nèi)核庫和通信庫上運(yùn)行的PyTorch和TensorFlow框架。Gaudi2芯片現(xiàn)在正在發(fā)貨。

除了Gaudi2芯片外，英特爾還在預(yù)覽其Greco后續(xù)Goya推理引擎，該引擎也在臺積電躍升至7納米至16納米工藝。

Greco 推理卡具有 16GB 的 LPDDR5 主內(nèi)存，可提供 204 GB/秒的內(nèi)存帶寬，而使用先前的 Goya 推理引擎的 DDR4 內(nèi)存塊為 40 GB/秒。哈瓦那架構(gòu)的Greco變體支持INT4，BF16和FP16格式，功耗為75瓦，大大低于2019年初宣布的HL-1000設(shè)備的200瓦。如上圖所示，它被壓縮成一個更緊湊的半高，半長的PCI-Express卡。目前還沒有關(guān)于這個的性能或定價的消息。

綜合：半導(dǎo)體產(chǎn)業(yè)縱橫編輯部