近日，墨芯人工智能攜Antoum?芯片亮相芯片行業(yè)的國際頂級大會Hot Chips 2023，墨芯首席架構(gòu)師肖志斌博士在大會Tutorials上發(fā)表對行業(yè)趨勢的分享，并在Conference Day介紹Antoum?的創(chuàng)新架構(gòu)。

一年一度的Hot Chips是全球芯片產(chǎn)業(yè)界影響力最大的活動，被譽(yù)為“芯片產(chǎn)業(yè)的風(fēng)向標(biāo)”，每年都有來自業(yè)界前沿的眾多頭部企業(yè)，發(fā)布最新產(chǎn)品與創(chuàng)新技術(shù)。

今年Hot Chips云集了NVIDIA、高通、英特爾、AMD等芯片巨頭，與墨芯等代表性初創(chuàng)企業(yè)，介紹前沿技術(shù)與企業(yè)最新成果。

肖志斌博士進(jìn)行《Moffett Antoum?: A Deep-Sparse AI Inference System-on-Chip for Vision and Large Language Models》主題分享，介紹了的Antoum?芯片的創(chuàng)新架構(gòu)，及Antoum?在大語言模型、計(jì)算機(jī)視覺等任務(wù)上的優(yōu)勢與特點(diǎn)。

由于深度學(xué)習(xí)模型復(fù)雜性的提升及模型的廣泛應(yīng)用，AI計(jì)算需求呈指數(shù)級增長。尤其是ChatGPT掀起大模型浪潮后，算力供需不平衡的問題日益突出。針對算力難題，墨芯推出全球首顆高倍率稀疏芯片Antoum?，實(shí)現(xiàn)了更高的推理效率與能效比。

Antoum?獨(dú)特的稀疏計(jì)算單元SPU（Sparse Processing Unit），可以在負(fù)載均衡的情況下進(jìn)行并行計(jì)算，并且只計(jì)算非零值，即忽略零元素的存儲、搬移、計(jì)算，大大提高了計(jì)算單元的利用率，進(jìn)而減少功耗與延時，同時增加吞吐率。SPU載有Deep Sparse Tensor Core（深度稀疏張量核心），實(shí)現(xiàn)稀疏神經(jīng)網(wǎng)絡(luò)的高模型精度和高硬件利用效率。

除了利用稀疏處理單元（SPU）支持深度稀疏性之外，Antoum?還采用了特定領(lǐng)域架構(gòu)，將各種特殊功能加速器以及內(nèi)部設(shè)計(jì)的矢量處理單元與可擴(kuò)展的片上網(wǎng)絡(luò)連接起來。

Antoum?共有 32 個 SPU，支持 BF16 和 INT8 數(shù)據(jù)精度，密集吞吐量為 14.7 TFLOPS 和 29.5 TOPS，在 32 倍稀疏性條件下可實(shí)現(xiàn)相當(dāng)于 471.8 TFLOPS 和 943.6 TOPS 的性能。

此外，Antoum?芯片還具有多個亮點(diǎn)：

存儲器層次結(jié)構(gòu)包含總計(jì) 82 MB 的片上 SRAM，由 SPU、VPU 和特殊功能加速器共享。

特殊功能加速器包括激活功能、TOPK、Transpose、嵌入式查找以及圖像預(yù)處理和后處理功能。

高帶寬環(huán)形互連連接四個 NNCore 子系統(tǒng)，支持模型并行化和張量并行化。

專用硬件視頻編解碼引擎和 JPEG 解碼引擎。四個視頻解碼器引擎和一個視頻編碼引擎可處理多通道視頻流（高達(dá) 4K），并可輕松將可擴(kuò)展的深度學(xué)習(xí)集成到視頻處理中。集成的 8 個硬件 JPEG 解碼器可載 CPU 密集型 JPEG 解碼任務(wù)，并能以超過 2000 FPS 的速度解碼 1080p JPEG 圖像。

PCIe Gen3 x 16 和 20 GB LPDDR4x 內(nèi)存，理論峰值內(nèi)存帶寬高達(dá) 84 GB/s，功耗僅為 70 W。

在軟件方面，Antoum?由墨芯 SparseRT 軟件開發(fā)環(huán)境支持，為加速開發(fā)提供了一個完整的、可擴(kuò)展的平臺，并增強(qiáng)了稀疏計(jì)算的能力。現(xiàn)有的機(jī)器學(xué)習(xí)（ML）框架，如 TensorFlow、PyTorch、ONNX 和 MXNet，都能得到SparseRT 全面高效的支持。獨(dú)特的 SparseOPT 模型壓縮工具可為AI模型提供4倍到32倍的稀疏壓縮。這樣就可以輕松集成到現(xiàn)有的模型交付中，釋放大模型的潛力。

Antoum?芯片的優(yōu)異性能，已在連續(xù)兩屆權(quán)威測評MLPerf中得到驗(yàn)證。同時，基于Antoum?的墨芯第一代AI計(jì)算卡產(chǎn)品已實(shí)現(xiàn)量產(chǎn)，并已在互聯(lián)網(wǎng)、生命科學(xué)、智慧交通等領(lǐng)域落地，產(chǎn)業(yè)化接連取得重要進(jìn)展。墨芯將持續(xù)為客戶帶來高效的大模型算力方案，賦能大模型在各行各業(yè)的落地。

審核編輯：彭菁