電子發(fā)燒友網(wǎng)報(bào)道（文/周凱揚(yáng)）在今年的AWS re:Invent上，云服務(wù)巨頭亞馬遜公開(kāi)了兩款全新的自研芯片，一是基于Arm架構(gòu)的新一代Gravition CPU，Gravition4，另一款則是時(shí)隔數(shù)年終于更新的Trainium2。

第四代自研Arm服務(wù)器CPU

從2018年11月，到今年的11月，Gravition這一亞馬遜自研的服務(wù)器CPU已經(jīng)迭代了數(shù)個(gè)版本，Gravition4作為該系列最新的產(chǎn)品，自然也擁有最強(qiáng)大的性能表現(xiàn)。Gravition4集成了96個(gè)Arm Neoverse V2內(nèi)核，每個(gè)內(nèi)核配置了2MB的L2緩存，加上12個(gè)DDR5-5600通道。相比上一代，Gravition4的核心數(shù)多出了50%，計(jì)算性能提高了30%，L2緩存變?yōu)閮杀?，?nèi)存帶寬也提高了75%，可以毫無(wú)疑問(wèn)地說(shuō)，Gravition4將成為AWS自研硬件服務(wù)器矩陣的新王牌。

不過(guò)AWS計(jì)算與網(wǎng)絡(luò)服務(wù)副總裁David Brown表示，跑分與現(xiàn)實(shí)應(yīng)用負(fù)載相去甚遠(yuǎn)，往往不能代表芯片的真實(shí)性能表現(xiàn)，所以亞馬遜更愿意用實(shí)際應(yīng)用的成績(jī)來(lái)展示Gravition4的性能提升。在MySQL這樣的數(shù)據(jù)庫(kù)應(yīng)用中，Gravition4展現(xiàn)出了高出Gravition3 40%的性能。在網(wǎng)頁(yè)應(yīng)用上，Gravition4比上一代快30%，在大型Java應(yīng)用中快45%。

而且毫不夸張地說(shuō)，Gravition4也是目前對(duì) ML硬件支持最為完善的CPU了。除了自研的Inferentia和Trainium系列芯片以外，亞馬遜也為Gravition4組合打造了支持英偉達(dá)A100、H100、英特爾Habana Gaudi、高通AI100的容器。

訓(xùn)練芯片終于迎來(lái)第二代

在去年的AWS re:Invent上，亞馬遜公開(kāi)了全新的Inferentia2芯片，這也是其自研AI芯片矩陣中的推理芯片，但其訓(xùn)練芯片Trainium卻沒(méi)有同步更新，直到今年的AWS re:Invent上Trainium2的發(fā)布，才終于為這個(gè)3年前開(kāi)辟的產(chǎn)品線帶來(lái)了新品。

如今爆發(fā)式的生成式AI應(yīng)用需要利用龐大的數(shù)據(jù)集進(jìn)行訓(xùn)練，比如最近興起的靜態(tài)圖片生成視頻應(yīng)用。這些基礎(chǔ)模型或大語(yǔ)言模型的參數(shù)從千億到萬(wàn)億不等，需要更高的算力才能支撐起來(lái)。

更高的性能也是Trainium2本次升級(jí)的重點(diǎn)，根據(jù)亞馬遜提供的數(shù)據(jù)，相較于第一代Trainium芯片，Trainium2提供了4倍的訓(xùn)練性能和3倍的內(nèi)存容量，與此同時(shí)還將能效比提高至上一代的兩倍。在擴(kuò)展性上，亞馬遜最高可提供 10萬(wàn)顆Trainium2芯片互聯(lián)，從而實(shí)現(xiàn)高達(dá)65 exaflops的算力，提供超算級(jí)的性能。在這樣的規(guī)模下，訓(xùn)練一個(gè)3000億參數(shù)的LLM只要數(shù)周時(shí)間。

不過(guò)，與已經(jīng)進(jìn)入預(yù)先使用階段且未來(lái)幾個(gè)月就將開(kāi)放使用的Gravition4不同，Trainium2應(yīng)該仍在量產(chǎn)過(guò)程中，亞馬遜表示明年某個(gè)時(shí)間才會(huì)投入使用。

寫在最后

從亞馬遜雷打不動(dòng)的發(fā)布頻率來(lái)看，他們?cè)谧匝蟹?wù)器芯片的設(shè)計(jì)上相當(dāng)積極，多次首發(fā)Arm Neoverse的最新核心。而且從服務(wù)器部署情況來(lái)看，他們也沒(méi)有在量產(chǎn)上遇到太多的問(wèn)題，幾乎可以推測(cè)除了英偉達(dá)以外，亞馬遜應(yīng)該就是臺(tái)積電先進(jìn)封裝的最大使用者了。此外，亞馬遜對(duì)待第三方硬件的策略也相當(dāng)聰明，亞馬遜并沒(méi)有選擇去追求極致的性能，而是借助自研芯片打造更具性價(jià)比的方案。