日前，英特爾面向中國市場發(fā)布了HabanaGaudi2深度學(xué)習(xí)加速卡器。

新的Gaudi2直接給到了24個(gè)Tensor處理核心（TPC），是上代產(chǎn)品的三倍；而在對大模型應(yīng)用至關(guān)重要的顯存方面，Gaudi2也大方的配置了96GBHBM2e，顯存帶寬直接達(dá)到了2.4TB/s。而在連接方式上，Gaudi2則采用了OCPOAM接口形式，可擴(kuò)展出21個(gè)100G以太網(wǎng)連接，并支持RoCE（RDMAover Converged Ethernet）v2。同時(shí)，Gaudi2還集成了多媒體處理器引擎和48MB片上SRAM作為高速緩存。

在系統(tǒng)層面，英特爾則提供能夠同時(shí)安裝8塊Gaudi2的夾層基板，同樣遵循OCP標(biāo)準(zhǔn)，可擴(kuò)展出24個(gè)100GRoCE網(wǎng)絡(luò)接口。

性能更好的新選擇

Gaudi2搭載的96GBHBM顯存的確令人眼前一亮，但真正能夠影響用戶購買行為的仍舊似乎加速卡本身的計(jì)算性能。

在HuggingFace工程師RégisPierrard去年底進(jìn)行的Gaudi2測試中，Gaudi2不僅在與前代產(chǎn)品的對比中表現(xiàn)出了近乎線性的性能提升，更大幅超越了對標(biāo)的A100加速卡。

BERT預(yù)訓(xùn)練，8卡

Gaudi2使用bf16/fp32混合精度，A100使用fp16精度

StableDiffusion測試，單卡

從RégisPierrard使用IntelDeveloper Cloud進(jìn)行的兩輪測試中我們不難發(fā)現(xiàn)，無論是在BERT這樣的大模型應(yīng)用中，還是在StableDiffusion這樣的“傳統(tǒng)”AIGC應(yīng)用中，Gaudi2的性能表現(xiàn)均相當(dāng)亮眼；相對于前代產(chǎn)品展現(xiàn)出了至少3倍的性能優(yōu)勢（Gaudi2的TPC數(shù)量是前代的3倍），且比對標(biāo)的A100產(chǎn)品更具性能優(yōu)勢。

在兩項(xiàng)測試中，Gaudi2均使用了英特爾推出的SynapseAI1.10套件和OptimumHabana1.6；其中前者是面向Gaudi系列加速卡的SDK開發(fā)套件，能夠?qū)?a href="http://www.brongaenegriffin.com/tags/tensorflow/" target="_blank">TensorFlow和Pytorch等流行框架提供支持，而后者則是專門面向Transformers和Diffusers優(yōu)化的運(yùn)行庫。

同時(shí)，在發(fā)布會(huì)的現(xiàn)場演示環(huán)節(jié)，英特爾工作人員展示了StableDiffusion應(yīng)用中1至64張卡的計(jì)算性能，并實(shí)現(xiàn)了99%的近線性性能擴(kuò)展。換而言之，在更大規(guī)模的業(yè)務(wù)部署當(dāng)中，Gaudi2也能通過集群橫向擴(kuò)展獲得更加線性的性能增長。

目前，Gaudi系列AI加速器已經(jīng)在AWS的EC2DL1主機(jī)中進(jìn)行了實(shí)際的商業(yè)部署。AWS表示，相對于傳統(tǒng)GPU，Gaudi能夠在深度學(xué)習(xí)應(yīng)用中帶來40%的性價(jià)比提升。

在走量的市場做走心的產(chǎn)品

誠然，Gaudi2的競品并非性能無兩的H100，更無法對即將面市的H100NVL構(gòu)成性能威脅。但對于更加“走量”的A100而言，Gaudi2所展現(xiàn)出的性價(jià)比則對大多數(shù)用戶而言更有價(jià)值。

近兩年，“從中端入局”似乎已經(jīng)成為英特爾的慣用手段，消費(fèi)級的Arc770顯卡和如今的Gaudi2均如此。

走量的中端市場對英特爾有足夠的吸引力，也更容易幫助英特爾用一兩款產(chǎn)品就建立口碑、站穩(wěn)腳跟；同時(shí)，能在中端市場為用戶提供先進(jìn)技術(shù)和優(yōu)勢性價(jià)比也證明英特爾對目標(biāo)用戶足夠走心，愿意把真正的實(shí)惠帶給最廣闊的用戶市場。

在走量的市場做走心的產(chǎn)品，這樣的英特爾令人喜聞樂見。

為Ai加速器市場打開一扇窗

近兩年，以AIGC為代表的AI應(yīng)用快速崛起，吸引了科技圈和投資界的廣泛關(guān)注，其中的語言類大模型更有望大幅降低企業(yè)在營銷、客服和售后方面的成本，實(shí)現(xiàn)生產(chǎn)效率的大幅提升。

在科技企業(yè)爭相進(jìn)行大模型“軍備競賽”的背后，GPU的需求也水漲船高。在GPU市場格局高度固化的當(dāng)下，這一現(xiàn)象很容易帶來終端市場的價(jià)格起伏，導(dǎo)致GPU價(jià)格畸高，進(jìn)而推高企業(yè)投身AI業(yè)務(wù)的成本并導(dǎo)致基礎(chǔ)架構(gòu)被綁定。

而英特爾Gaudi2加速卡的出現(xiàn)則意味著企業(yè)有了全新選擇。一方面，Gaudi2在絕對性能、顯存容量、集群性能等方面都比對標(biāo)產(chǎn)品有優(yōu)勢，能夠承接現(xiàn)有的市場需求；另一方面，伴隨oneAPI等算力調(diào)用工具的不斷成熟和完善，用戶也能在開發(fā)和應(yīng)用層面實(shí)現(xiàn)基礎(chǔ)架構(gòu)的透明化，更輕松的調(diào)用多元算力，繼而獲得算力和基礎(chǔ)架構(gòu)層面的靈活性。

作為AI加速器市場的“追趕者”，Gaudi2證明英特爾能夠?yàn)橛脩籼峁┯懈偁幜Φ南冗M(jìn)產(chǎn)品。當(dāng)然，這還僅是在“獨(dú)立AI加速器”這一條賽道中。

在更廣闊的數(shù)據(jù)中心賽道中，英特爾還有并行的DataCenter Max和DataCenterFlex兩條產(chǎn)品線，以及更加獨(dú)立的FPGA賽道。此外，英特爾也在積極推動(dòng)AI能力與傳統(tǒng)CPU的結(jié)合。從最初的AVX-512指令集和DLBoost到如今AMX-512指令集，英特爾正在為用戶構(gòu)建一條“用CPU靈活處理AI推理業(yè)務(wù)”的全新路徑。

很顯然，在英特爾的眼中，用戶在未來應(yīng)該針對不同場景和不同業(yè)務(wù)負(fù)載來規(guī)劃不同的基礎(chǔ)架構(gòu)，用不同算力來滿足業(yè)務(wù)需求。而伴隨oneAPI的逐步成熟，底層算力的區(qū)別將被抹除，模型訓(xùn)練和多端部署不再需要特別調(diào)優(yōu)就能實(shí)現(xiàn)無縫遷移和高效調(diào)優(yōu)。

在產(chǎn)品層面，英特爾最新推出的Gaudi2對用戶而言有足夠的吸引力；在戰(zhàn)略層面，Gaud2則是英特爾站穩(wěn)獨(dú)立AI加速器市場并構(gòu)筑多元算力體系的重要一步。而在AI研究快速推進(jìn)，技術(shù)落地如火如荼的當(dāng)下，Gaudi2的出現(xiàn)無疑為用戶帶來了全新選擇；而奮力前行的英特爾更有望為市場帶來AI與算力需求之間的全新平衡。