電子發(fā)燒友網(wǎng)報道（文/周凱揚）在近期舉辦的Re:Invent大會上，亞馬遜為其AWS云服務公布了上線全新的EC2實例，分別是C7gn、HPC7g和R7iz。R7iz用到了英特爾最新的第四代Xeon Scalable處理器Sapphire Rapids，而HPC7g則是由新處理器Graviton3E來驅動的。與此同時，AWS還在本次會議上公布了第五代Nitro芯片Nitro v5和第二代推理芯片AWS Inferentia 2，其中Graviton3E和Nitro v5都是基于Arm架構打造的。

性能更上一層樓的Graviton3E

在HPC領域，Arm的出鏡率還是比較低的，除了像富岳超算這樣的頂級存在外，我們很少看到云服務廠商基于Arm芯片來打造HPC計算集群，Graviton的出現(xiàn)可謂改變了這一點。AWS在2020年推出的C6gn實例，就是基于其Graviton2處理器打造的，相較基于第二代AMD EPYC處理器的C5實例，C6gn做到了成本低上20%，性能卻高上40%的表現(xiàn)。
根據(jù)亞馬遜給出的數(shù)據(jù)，Graviton3E在Graviton3的基礎上再加改良，以測試浮點性能的基準HPL為例，Graviton3E將矢量指令處理性能再度提高了35%。而HPC7g實例相比基于Graviton2的C6gn實例，更是將浮點性能拔高至兩倍，比基于第3代AMD EPYC 7003系列48核處理器的HPC6a實例，性能上也能高出20%，可以說是AWS上性價比最高的HPC實例了。

如今的亞馬遜已經有了100多個不同的Graviton實例，供使用者靈活選擇。而且讓Graviton充分發(fā)揮作用的不僅是AWS EC2這樣的彈性計算云服務，還有Fargate這樣無需管理實例的服務，也獲得了不小的性能提升。

然而對于大部分云服務廠商來說，他們首推的實例很多依然是基于x86的，這不禁讓人深思，真的會有大型公司選擇了Arm服務器芯片嗎？亞馬遜給出了肯定的答案，也介紹了Graviton極快的普及速度。

從亞馬遜給出的合作伙伴中，我們可以看到大宇無限、Epic、Lyft、Zoom等公司，都選了圍繞Graviton芯片來構造他們的產品服務。比如美國電視串流服務DirectTV在使用Graviton 3的實例后，成本減少了20%的同時，延遲也有了最高50%的降低，使得他們能在訪問流量變化巨大的同時靈活擴展容量，還能保證性能不受影響。

加劇DPU和AI芯片內卷的Nitro和Inferentia

對于多數(shù)超大規(guī)模數(shù)據(jù)中心和云服務廠商來說，他們的DPU往往來自第三方，比如英偉達的BlueField、AMD的Pensando等，而亞馬遜旗下的Annapurna Labs，則成了AWS DPU產品的Nitro的幕后功臣。
而這次Annapurna Labs設計的Nitro v5在性能上再度實現(xiàn)了飛躍，亞馬遜展示的數(shù)據(jù)上提到，Nitro v5相較上一代集成了兩倍的晶體管數(shù)目，在算力上提升近兩倍，擁有快上50%的DRAM速度，PCIe帶寬也提升至兩倍。由此可以看出，Nitro v5應該選擇了更先進的工藝，DRAM和PCIe也換成了最新一代。

在實際測試中，Nitro v5可以提高最多60%的吞吐量，降低30%的延遲，在能效比上也有了40%的提升。正是因為有著這樣強大的性能，AWS選擇了將其集成到C7gn、HPC7g實例中去，與Graviton3和Graviton3E一起實現(xiàn)200Gbps的超高網(wǎng)絡性能。

大型語言模型的出現(xiàn)推動深度學習進入了下一個階段，但龐大的參數(shù)量加大了推理所需的算力和成本。2019年，AWS的Inferentia芯片第一代出現(xiàn)在Inf1實例上，為用戶提供了性價比優(yōu)于GPU實例的選項，但彼時的深度學習模型還大多數(shù)停留在數(shù)百萬個，如今某些深度學習模型的參數(shù)已經超過了數(shù)百億，比如百度的PLATO-XL對話生成模型、亞馬遜的AlexaTM等。

為此，Annapurna Labs拿出了全新的Inferentia2芯片，最高可支持到1750億參數(shù)的大型深度學習模型。基于Inferentia2芯片的Inf2實例也首次支持到分布式推理，將大型模型分布到多個芯片上進行推理。與上一代Inf1實例相比，Inf2可以提供高達4倍的吞吐量和10分之一的延遲，與GPU實例相比更是將能效提高了50%之多。

小結

這樣頻繁的芯片發(fā)布節(jié)奏，足以看出亞馬遜在自研服務器芯片上已經到了一個新的高度。不得不承認，亞馬遜早在2016年就收購Annapurna Labs是一個多么具有前瞻性的戰(zhàn)略決策，在云服務廠商競爭愈演愈烈的當下，擁有自研可控的服務器芯片無疑是殺手锏。雖然谷歌、阿里巴巴等廠商也都加入到了自研服務器芯片的行列中來，但與亞馬遜的AWS相比，在產品陣容和布局時間上還是有所差距。