欧美一区二区中文字幕欧美馆,91最新国自产拍,日本三级午夜福利

電子發(fā)燒友網(wǎng)報(bào)道（文/周凱揚(yáng)）不久前，Meta宣布將花費(fèi)150億美元，購置60多萬塊GPU，而這還沒算上系統(tǒng)成本。就當(dāng)大家以為Meta打算All In GPU之際，Meta放出了下一代MTIA AI芯片，MTIA v2。

基于5nm打造，性能三倍以上

相較上一代MTIA v1，新的MTIA v2的工藝從臺(tái)積電的7nm換成了臺(tái)積電5nm，芯片主頻也從800MHz提升至1.35GHz。得益于芯片工藝的改進(jìn)，即便晶體管數(shù)量大幅增加，其芯片面積僅增加了12%。

MTIA v2芯片 / Meta

MTIA v2的性能提升主要體現(xiàn)在算力上，根據(jù)Meta給出的數(shù)據(jù)其GEMM算力達(dá)到354TFLOPS/s（INT8），SIMD算力達(dá)到11.06TFLOPS/s（INT8），相較上一代均提升了3倍以上。在接口上，MTIA v2也從8xPCIe 4.0升級(jí)至8x PCIe 5.0，帶寬翻倍。

算力的提升除了歸功于工藝的升級(jí)外，很可能也不乏內(nèi)核的升級(jí)。結(jié)合晶心科技和Meta合作開發(fā)數(shù)據(jù)中心AI處理器的新聞來看，MTIA v1很有可能采用了晶心科技打造的首個(gè)商用RISC-V矢量處理器內(nèi)核NX27V，而MTIA v2則很可能用到了最新的AX45MPV內(nèi)核，其三倍以上的性能提升幅度也符合MTIA的算力提升幅度，不過這也只是猜想而已。值得一提的是，與同樣在近期發(fā)布的英特爾Gaudi 3不一樣，MTIA v2在內(nèi)存配置上依舊沒有選擇HBM，片上內(nèi)存只有256MB，片外內(nèi)存選擇了LPDDR5。雖然其片上內(nèi)存擁有2.7TB/s的帶寬，但也注定了MTIA v2很難用于高效率的大模型應(yīng)用。在硬件堆料下，MTIA v2的功耗也已經(jīng)來到了90W，相比MTIA v1的25有著比較大幅度的增加。不過對(duì)比H100的能耗比，MTIA v2依然有著比較大的優(yōu)勢(shì)。但這也就意味著上一代的服務(wù)器方案可能已經(jīng)不再適用于新的方案，Meta因此為新加速器打造了全新的機(jī)柜系統(tǒng)。該系統(tǒng)單個(gè)機(jī)架由三個(gè)底盤構(gòu)成，每個(gè)底盤塞進(jìn)了12塊板卡，每個(gè)板卡集成了2個(gè)加速器，也就意味著單個(gè)機(jī)架共有72個(gè)MTIA v2加速器，單機(jī)柜至少需要6000W的電源供應(yīng)。如果想要實(shí)現(xiàn)多機(jī)架拓展的話，也可以選擇加入RDMA NIC。Meta表示實(shí)現(xiàn)這樣的成績(jī)，除了依靠硬件本身的性能提升之外，也離不開他們?cè)趦?yōu)化內(nèi)核、編譯器、運(yùn)行時(shí)上的努力。隨著后續(xù)開發(fā)生態(tài)進(jìn)一步成熟，對(duì)模型針對(duì)性優(yōu)化的時(shí)間會(huì)進(jìn)一步減少，而且未來還有不少空間可以繼續(xù)優(yōu)化芯片的效率。

軟件棧引入新的編譯器

隨著新硬件的發(fā)布，Meta也加大了他們?cè)谲浖Ｉ系拈_發(fā)力度。作為PyTorch的開發(fā)者，MTIA的軟件棧從設(shè)計(jì)之初就做到了PyTorch 2.0的完全集成，也支持TorchDynamo和TorchInductor等新特性。但與此同時(shí)，為了簡(jiǎn)化應(yīng)用開發(fā)者的工作，為MTIA v1開發(fā)的代碼，也能向下兼容新的MTIA v2硬件。而且Meta表示，因?yàn)橐呀?jīng)將全部的軟件棧集成在新的MTIA芯片內(nèi)，在發(fā)布之際，他們已經(jīng)在自己的服務(wù)器上用MTIA v2跑了一段時(shí)間了。正因?yàn)橛羞@種兼容的軟件棧方案，Meta可在九個(gè)月內(nèi)就能讓商用模型運(yùn)行在16個(gè)地區(qū)的服務(wù)器上。為了為全新的MTIA硬件生成更高性能的代碼，Meta還打造了一套新的Triton-MTIA編譯器。Triton是由OpenAI開發(fā)的一套開源語言和編譯器，用于編寫高效的ML計(jì)算內(nèi)核。Triton極大地提高了開發(fā)者編寫GPU代碼的速度，但Meta發(fā)現(xiàn)Triton也很適合用于MTIA這樣非GPU的硬件架構(gòu)。

寫在最后

從MTIA v2的性能來看，該加速器應(yīng)該不會(huì)替代其購置的大量GPU用在LLM模型上，而是追求算力、內(nèi)存帶寬和內(nèi)存容量的平衡，用于排名和推薦的大模型上。這樣一來大容量的SRAM還是用在GPU上，而Meta最大收入來源的廣告業(yè)務(wù)，可以靠MTIA之類的加速器減少成本。Meta除了投資定制AI芯片和下一代GPU這樣的計(jì)算芯片外，Meta也強(qiáng)調(diào)他們會(huì)繼續(xù)投資內(nèi)存帶寬、網(wǎng)絡(luò)、容量相關(guān)的下一代硬件系統(tǒng)。不僅如此，Meta也在探索增加MTIA的應(yīng)用范圍，包括未來可能支持GenAI的負(fù)載。

聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請(qǐng)聯(lián)系本站處理。舉報(bào)投訴