近日在北京舉行的2023年中國(guó)國(guó)際服務(wù)貿(mào)易交易會(huì)（下文簡(jiǎn)稱：服貿(mào)會(huì)）上，作為英特爾人工智能產(chǎn)品組合的重要成員，Habana Gaudi2實(shí)力亮相，它在海內(nèi)外諸多大語(yǔ)言模型（Large Language Model，下文簡(jiǎn)稱：LLM）的加速上，已展現(xiàn)了出眾實(shí)力，成為業(yè)界焦點(diǎn)。

專為加速LLM的訓(xùn)練和推理設(shè)計(jì)

在千億參數(shù)大模型上大顯身手

數(shù)據(jù)顯示，Habana Gaudi2在GPT-J-99 和GPT-J-99.9 上的服務(wù)器查詢和離線樣本的推理性能分別為78.58 次/秒和84.08 次/秒。該測(cè)試采用 FP8數(shù)據(jù)類型，并在這種新數(shù)據(jù)類型上達(dá)到了 99.9% 的準(zhǔn)確率，這無(wú)疑再一次印證了Gaudi2的出色性能。此外，基于第四代英特爾至強(qiáng)可擴(kuò)展處理器的7個(gè)推理基準(zhǔn)測(cè)試也顯示出其對(duì)于通用AI工作負(fù)載的出色性能。截至目前，英特爾仍是唯一一家使用行業(yè)標(biāo)準(zhǔn)的深度學(xué)習(xí)生態(tài)系統(tǒng)軟件提交公開(kāi)CPU結(jié)果的廠商。

圖 1. BLOOMZ 在 Gaudi2 和第一代 Gaudi 上的推理時(shí)延測(cè)試結(jié)果

圖 2.基于HabanaGaudi2，70億和130億參數(shù)Llama 2模型的推理性能

值得一提的是，Habana 的SynapseAI 軟件套件在模型部署和優(yōu)化的過(guò)程中起到了至關(guān)重要的作用。SynapseAI 軟件套件不僅支持使用 PyTorch 和 DeepSpeed 來(lái)加速LLM的訓(xùn)練和推理，還支持 HPU Graph和DeepSpeed-inference，這兩者都非常適合時(shí)延敏感型應(yīng)用。因此，在Habana Gaudi2上部署模型非常簡(jiǎn)單，尤其是對(duì)LLM等數(shù)十億以上參數(shù)的模型推理具有較優(yōu)的速度優(yōu)勢(shì)，且無(wú)需編寫(xiě)復(fù)雜的腳本。

LLM的成功堪稱史無(wú)前例。有人說(shuō)，LLM讓AI技術(shù)朝著通用人工智能（AGI）的方向邁進(jìn)了一大步，而因此面臨的算力挑戰(zhàn)也催生了更多技術(shù)的創(chuàng)新。Habana Gaudi2 正是在這一背景下應(yīng)運(yùn)而生，以其強(qiáng)大的性能和性價(jià)比優(yōu)勢(shì)加速深度學(xué)習(xí)工作負(fù)載。Habana Gaudi2的出色表現(xiàn)更進(jìn)一步顯示了英特爾AI產(chǎn)品組合的競(jìng)爭(zhēng)優(yōu)勢(shì)，以及英特爾對(duì)加速?gòu)脑频骄W(wǎng)絡(luò)到邊緣再到端的工作負(fù)載中大規(guī)模部署AI的承諾。英特爾將持續(xù)引領(lǐng)產(chǎn)品技術(shù)創(chuàng)新，豐富和優(yōu)化包括英特爾 至強(qiáng) 可擴(kuò)展處理器、英特爾 數(shù)據(jù)中心GPU等在內(nèi)的AI產(chǎn)品組合，助力中國(guó)本地AI市場(chǎng)發(fā)展。

參考資料：

1.https://huggingface.co/blog/zh/habana-gaudi-2-bloom

2.Habana Gaudi2深度學(xué)習(xí)加速器：所有測(cè)量使用了一臺(tái)HLS2 Gaudi2服務(wù)器上的Habana SynapseAI 1.10版和optimum-habana 1.6版，該服務(wù)器具有八個(gè)Habana Gaudi2 HL-225H Mezzanine卡和兩個(gè)英特爾 至強(qiáng) 白金8380 CPU@2.30GHz以及1TB系統(tǒng)內(nèi)存。2023年7月進(jìn)行測(cè)量。