推理和訓(xùn)練作為AI/ML關(guān)鍵的一環(huán)，無論是通用的GPU，還是專用的推理/訓(xùn)練加速器，都想在各大流行模型和機(jī)器學(xué)習(xí)庫(kù)上跑出優(yōu)秀的成績(jī)，以展示自己的硬件實(shí)力。業(yè)界需要一個(gè)統(tǒng)一的跑分標(biāo)準(zhǔn)，為此，各大廠商在2018年根據(jù)業(yè)內(nèi)指標(biāo)聯(lián)合打造的MLPerf就承擔(dān)了這一重任。

不過隨著時(shí)間的推移，MLPerf幾乎已經(jīng)成了英偉達(dá)一家獨(dú)大的跑分基準(zhǔn)，這家GPU廠商憑借自己的產(chǎn)品幾乎統(tǒng)治著整個(gè)AI硬件市場(chǎng)。這不，近日公布的MLPerf Training 2.0，就將這些AI硬件公司和服務(wù)器廠商提交的具體AI訓(xùn)練成績(jī)公布了出來，其中既有一些新晉成員，也有一些出人意料的結(jié)果。

谷歌的反超

這次跑分結(jié)果中，最驚艷的還是谷歌的TPU v4系統(tǒng)，谷歌憑借這一架構(gòu)的系統(tǒng)，在五個(gè)基準(zhǔn)測(cè)試中都打破了性能記錄，平均訓(xùn)練速度比第二名的英偉達(dá)A100系統(tǒng)快了1.42倍左右，哪怕是與自己在1.0測(cè)試下的成績(jī)相比，也提升了1.5倍。

能實(shí)現(xiàn)這樣的成績(jī)自然離不開谷歌自己的TPU芯片設(shè)計(jì)，谷歌的每個(gè)TPU v4 Pod都由4096個(gè)芯片組成，且?guī)捵龅搅?Tbps。除此之外，谷歌有著豐富的用例經(jīng)驗(yàn)，相較其他公司而言，谷歌是唯一一個(gè)在搜索和視頻領(lǐng)域都已經(jīng)大規(guī)模普及AI/ML應(yīng)用的。

不過谷歌與英偉達(dá)并不是直接競(jìng)爭(zhēng)關(guān)系，他們對(duì)標(biāo)的還是使用英偉達(dá)GPU系統(tǒng)的云服務(wù)公司，比如微軟的Azure，谷歌也為此特地做了成本對(duì)比。如上圖所示，在BERT模型的訓(xùn)練中，4096個(gè)TPU v4芯片與Azure 4096個(gè)A100芯片對(duì)比，谷歌的方案可以節(jié)省35%，ResNet模型的訓(xùn)練下更是可以節(jié)省近50%。

不過以上的成績(jī)?cè)谒?項(xiàng)測(cè)試中也只是和英偉達(dá)平分秋色，而且隨著系統(tǒng)規(guī)模的不同，其結(jié)果或許會(huì)有更多的變化。再者，谷歌的TPU僅限于其自己的云服務(wù)，所以總的來說并不算一個(gè)通用方案，至少微軟和亞馬遜這樣的競(jìng)爭(zhēng)對(duì)手肯定是用不上。

英偉達(dá)地位不保？

除了谷歌之外，還取得了不錯(cuò)的成績(jī)的就是英特爾旗下Habana Labs的Gaudi2訓(xùn)練加速器。這款今年5月推出的處理器，從上一代的16nm換成了臺(tái)積電7nm，Tensor處理器內(nèi)核的數(shù)量因此增加了兩倍，使其在ResNet-50的訓(xùn)練吞吐量上實(shí)現(xiàn)了3倍提升，BERT的訓(xùn)練吞吐量提升了4.7倍。

在與英偉達(dá)提交的A100-80GB GPU系統(tǒng)成績(jī)相比，Gaudi2在ResNet-50上的訓(xùn)練時(shí)間縮短了36%；與戴爾提交的A100-40GB GPU系統(tǒng)成績(jī)相比，Gaudi2在BERT上的訓(xùn)練時(shí)間縮短了45%。

從結(jié)果來看，已經(jīng)有不少?gòu)S商的AI硬件已經(jīng)可以在訓(xùn)練上對(duì)標(biāo)甚至超過英偉達(dá)的GPU生態(tài)了，但這并不代表全部機(jī)器學(xué)習(xí)訓(xùn)練領(lǐng)域。比如在測(cè)試中，廠商是不需要將每個(gè)項(xiàng)目的測(cè)試結(jié)果都提交上去的。從這個(gè)角度來看，RetinaNet輕量型目標(biāo)檢測(cè)、COCO重型目標(biāo)檢測(cè)、語音識(shí)別數(shù)據(jù)集Librispeech和強(qiáng)化學(xué)習(xí)Minigo這幾個(gè)項(xiàng)目中，只有基于英偉達(dá)GPU的系統(tǒng)提交了成績(jī)。

不僅如此，如果你看所有提交成績(jī)的服務(wù)器和云服務(wù)公司來看，他們用到的CPU或是AMD的EPYC處理器，或是英特爾的Xeon處理器，但加速器卻是幾乎清一色的英偉達(dá)A100。這也證明了在百度、戴爾、H3C、浪潮和聯(lián)想這些廠商的眼中，英偉達(dá)的GPU依然是最具競(jìng)爭(zhēng)力的那個(gè)。

不可小覷的軟件

還有一點(diǎn)需要指出，那就是以上都是封閉組的成績(jī)，他們所用到的都是標(biāo)準(zhǔn)的機(jī)器學(xué)習(xí)庫(kù)，比如TensorFlow 2.8.0和Pytorch 22.04等。而開放組則不受此限制，可以用到他們自己定制的庫(kù)或優(yōu)化器，這一組中三星和Graphcore都根據(jù)不同的軟件配置提交了成績(jī)，但最亮眼的還是MosaicML。

這家公司所用的加速器硬件同樣是和諸多提交者一樣的英偉達(dá)A100-SXM-80GB GPU，但他們用到的是自己用Pytorch編寫的庫(kù)Composer。這家公司于今年4月推出了Composer，并聲稱可讓模型訓(xùn)練速度提升2到4倍。在MLPerf Training 2.0的跑分中，使用MosaicML Composer的對(duì)比組在ResNet訓(xùn)練速度上實(shí)現(xiàn)了近4.6倍的提升。不過Composer雖說支持任何模型，但這個(gè)提速的表現(xiàn)目前還是體現(xiàn)在ResNet上比較明顯，所以本次也并沒有提交其他模型下的成績(jī)。

考慮到英特爾等公司為了提升其軟件開發(fā)實(shí)力，已經(jīng)在收購(gòu)Codeplay這樣的軟件開發(fā)公司，MosaicML作為剛公開不久的初創(chuàng)公司，創(chuàng)始人又是英特爾的前AI實(shí)驗(yàn)室骨干，如果能在未來展現(xiàn)出更優(yōu)秀的成績(jī)，說不定也會(huì)被英偉達(dá)這樣的公司看中。

結(jié)語

英偉達(dá)常年在MLPerf上霸榜，也有不少人認(rèn)為MLPerf跑分成了英偉達(dá)的宣傳工具，然而事實(shí)是英特爾、谷歌等同樣重視AI的公司也將其視為一個(gè)公平的基準(zhǔn)測(cè)試，而且MLPerf還有同行評(píng)審環(huán)節(jié)，進(jìn)一步驗(yàn)證測(cè)試結(jié)果。從以上結(jié)果來看，AI訓(xùn)練硬件上的創(chuàng)新仍未停止，無論是GPU、TPU還是IPU都在推陳出新，但跑分結(jié)果并不代表任何用例都能達(dá)到高性能，還需要廠商自己去調(diào)校模型和軟件才能達(dá)成最好的成績(jī)。