作為奕斯偉計算的重要合作伙伴，Imagination公司受邀出席了9月10日在北京亦莊舉辦的“2024奕斯偉計算開發(fā)者伙伴大會”，來自Imagination英國總部的專家在大會上發(fā)表了主題為《用RISC-V CPU + PowerVR GPU迎接邊緣生成式AI的到來》的演講。

在人工智能（AI）浪潮中成立的奕斯偉計算一直致力于研究和開發(fā)創(chuàng)新的計算架構，并通過與Imagination這樣的全球領先處理器技術和IP產(chǎn)品提供商合作，針對多模態(tài)AI大模型技術帶動多元化人工智能應用加速涌現(xiàn)的新需求，開發(fā)了面向邊緣智能和AI PC等多種應用場景的EIC77系列芯片。這些AI SoC芯片利用了RISC-V計算架構開放、靈活、精簡、可拓展的優(yōu)勢，結合了該公司自研的NPU以及Imagination的GPU，成為了全球首批可商用的基于RISC-V的高性能、低功耗的邊緣側(cè)、端側(cè)AI推理芯片。

大會中，Imagination公司專家介紹了與奕斯偉計算的合作成果：作為奕斯偉計算向全球發(fā)布的EIC77系列邊緣智能SoC中的一款產(chǎn)品，全新的EIC7700X器件基于 12nm工藝，采用了 Imagination的 IMG A系列 GPU IP；該 GPU擁有 128 寬 ALU單元和專用 AI處理通道，可提供 0.25 TFLOPS、1 TOPS和 8 Gpixels的性能。EIC7700X也搭載了奕斯偉自研的NPU單元，可提供19.95 TOPS INT8、9.975 TOPS INT16、 9.975 FTOPS FP16算力。EIC7700X為邊緣智能提供了強勁的計算和圖形處理能力，可支持大語言模型，其在深度神經(jīng)網(wǎng)絡（DNN）推理上的算力高達13.3TOPS INT8，可滿足分類、檢測、分割、追蹤等各類需求。

談到邊緣計算的應用多元化與架構創(chuàng)新，Imagination公司專家表示：首先，我們需要確保邊緣計算架構能夠進行有效的、可持續(xù)的擴展，在系統(tǒng)資源、電能和帶寬等資源稀缺，以及不同應用場景對資源需求各不相同的情況下，這一點在邊緣計算領域更為重要。因此，靈活通用的異構計算架構才能確保我們的邊緣智能解決方案不會因為碎片化而無法實現(xiàn)，這要求我們擁有的模型也將是通用的、可持續(xù)的，同時才能保障邊緣系統(tǒng)中內(nèi)計算核的數(shù)量可以合理地縮減以滿足功耗要求。

為了確保足夠的通用性以運行目前的工作負載和未來的工作負載，就需要對邊緣智能SoC中計劃采用的處理器性能和需求進行充分的評估，大家往往首先看的是兩個潛在的選擇。一個選擇可以是 NPU或者在Imagination的產(chǎn)品組合中被稱為AI，這類硬件的每瓦最高性能非常出色，但為了達到更高的性能，使用NPU就需要犧牲一些靈活性。第二種選擇是 GPU，其優(yōu)點是可以提供可編程的、可擴展的硬件加速能力，并可根據(jù)應用方向上的需求來選擇相應的GPU去支持所需渲染和計算能力。

雖然這兩種器件類型各有優(yōu)勢，邊緣智能最終需要的是能夠完美適用于應用的、在高性能和可擴展性，定制化和通用化中做出最明智決策的系列解決方案。從我們已有的實踐和Richard Sutton的《苦澀的教訓》中大家可以看到，人們在邊緣人工智能中希望能夠利用通用的硬件和軟件解決方案，盡量避免使用特定的解決方案，因為人工智能一直在發(fā)展，所有的解決方案都要確保與時俱進。

在確定了要用更加通用的硬件和軟件來推動基礎模型的開發(fā)和應用這一方向之后，越來越多的計算技術正在加速諸如EIC77這樣的邊緣智能芯片走向更廣泛的應用：一方面，RISC-V正在向機器學習的核心領域進發(fā)，不僅是更多RISC-V CPU廠商在向此方向努力，而且RISC-V的相關標準也在進一步完善，使RISC-V成為進入AI領域的一條開銷最低的途徑。另一方面，邊緣人工智能軟件也在擺脫其他AI應用受制于CUDA生態(tài)的局限，越來越多諸如OneAPI這樣的應用程序接口可支持工作負載的開發(fā)和運行，以及諸如UXL等行業(yè)組織也提供了將CUDA上的AI工作負載轉(zhuǎn)化為SYCL為在 GPU或 CPU上運行的移植解決方案。

展望未來，Imagination將繼續(xù)支持奕斯偉計算倡導的RISC-V數(shù)字基礎設施（RISC-V Digital Infrastructure）生態(tài)，在GPU被用于越來越多和越來越廣泛的工作負載，以及支持越來越多的基礎模型和算法的同時，與更多的合作伙伴在邊緣計算、AI PC和AI加速等領域中，共同打造更多高性能的智能產(chǎn)品。

審核編輯 黃宇