Performance, Power, Area（PPA）是半導(dǎo)體行業(yè)中常用的衡量標(biāo)準(zhǔn)。這三個(gè)指標(biāo)對(duì)開(kāi)發(fā)的所有電子產(chǎn)品都產(chǎn)生了巨大的影響。影響的程度當(dāng)然取決于具體的電子產(chǎn)品以及目標(biāo)終端市場(chǎng)和應(yīng)用。因此，PPA權(quán)衡決策由產(chǎn)品公司在為各自的終端產(chǎn)品選擇各種芯片（以及ASIC的IP）時(shí)做出。

另一個(gè)重要的考慮因素是在不需要重新設(shè)計(jì)的情況下確保產(chǎn)品的壽命。換句話說(shuō)，就是讓自己的產(chǎn)品適應(yīng)不斷變化的市場(chǎng)和產(chǎn)品需求。雖然產(chǎn)品公司在重新設(shè)計(jì)之前會(huì)采用輔助方法來(lái)延長(zhǎng)產(chǎn)品的使用壽命，但直接提供future proofing的解決方案是首選的方法。例如，在需求快速變化的市場(chǎng)積極增長(zhǎng)時(shí)期，FPGA在面向未來(lái)的通信基礎(chǔ)設(shè)施產(chǎn)品中發(fā)揮了關(guān)鍵作用。當(dāng)然，替代路徑可能比FPGA路徑提供更好的PPA收益。但是FPGA路徑通過(guò)避免重新設(shè)計(jì)幫助產(chǎn)品公司節(jié)省了大量的時(shí)間和金錢(qián)，并確保他們能夠保持或增長(zhǎng)他們的市場(chǎng)份額。

還有一個(gè)考慮因素是，開(kāi)發(fā)產(chǎn)品的路徑可以提供方便和速度。這直接轉(zhuǎn)化為上市時(shí)間，進(jìn)而轉(zhuǎn)化為市場(chǎng)份額和盈利能力。最后，客戶可以輕松地在產(chǎn)品上開(kāi)發(fā)應(yīng)用軟件。

市場(chǎng)情況

人工智能（AI）驅(qū)動(dòng)的、支持機(jī)器學(xué)習(xí)（ML）的產(chǎn)品和應(yīng)用正在快速增長(zhǎng)，并帶來(lái)巨大的市場(chǎng)增長(zhǎng)機(jī)會(huì)。新的ML模型正在快速引入，現(xiàn)有的模型也在增強(qiáng)。市場(chǎng)機(jī)會(huì)范圍從數(shù)據(jù)中心到邊緣人工智能產(chǎn)品和應(yīng)用。許多針對(duì)這些市場(chǎng)的產(chǎn)品無(wú)法在PPA和產(chǎn)品/應(yīng)用程序開(kāi)發(fā)的易用性之間進(jìn)行權(quán)衡。

如果有一種方法可以提供PPA優(yōu)化、future proofing、便于產(chǎn)品和應(yīng)用程序開(kāi)發(fā)，所有這些都集中到一個(gè)產(chǎn)品中會(huì)怎么樣呢？它是一個(gè)統(tǒng)一的體系結(jié)構(gòu)，簡(jiǎn)化SoC硬件設(shè)計(jì)和編程的混合處理器IP。可以解決ML推理、預(yù)處理和后處理的一體化問(wèn)題。

新型混合SoC處理器

最近，Quadric宣布了第一個(gè)通用神經(jīng)處理器（GPNPU）系列，這是一種半導(dǎo)體知識(shí)產(chǎn)權(quán)（IP）產(chǎn)品，融合了神經(jīng)處理加速器和數(shù)字信號(hào)處理器（DSP）。IP使用一個(gè)統(tǒng)一的體系結(jié)構(gòu)，解決ML性能特征和DSP功能，具有完全的C++可編程性。本文將從一個(gè)典型的支持ML的SoC架構(gòu)的組件、其局限性、Quadric產(chǎn)品、優(yōu)點(diǎn)和可用性等方面展開(kāi)介紹。

典型的支持ML的SoC架構(gòu)的組件

支持ML架構(gòu)的關(guān)鍵組件包括神經(jīng)處理單元（NPU）、數(shù)字信號(hào)處理（DSP）單元和實(shí)時(shí)中央處理單元（CPU）。NPU用于運(yùn)行當(dāng)今最流行的ML網(wǎng)絡(luò)的圖形層，并且在已知的推理工作負(fù)載上表現(xiàn)非常好。DSP用于有效地執(zhí)行語(yǔ)音和圖像處理，并涉及復(fù)雜的數(shù)學(xué)運(yùn)算。實(shí)時(shí)CPU用于協(xié)調(diào)NPU、DSP和存儲(chǔ)ML模型權(quán)重的內(nèi)存之間的ML工作負(fù)載。通常，只有CPU可直接供軟件開(kāi)發(fā)人員用于代碼開(kāi)發(fā)。NPU和DSP只能通過(guò)預(yù)定義的應(yīng)用程序編程接口（API）訪問(wèn)。

典型架構(gòu)的局限性

如上所述，典型的加速器NPU不是完全可編程的處理器。雖然它們非常高效地運(yùn)行已知的圖形層，但它們不能隨著ML模型的發(fā)展而運(yùn)行新的層。如果需要通過(guò)API不可用的ML操作符，則需要將其添加到CPU上，因?yàn)橹浪男阅軙?huì)很差。該架構(gòu)不適合新ML模型和ML操作符的future proofing。充其量，可以通過(guò)在實(shí)時(shí)CPU上實(shí)現(xiàn)新的ML操作符來(lái)呈現(xiàn)性能較低的解決方案。

另一個(gè)限制是，程序員必須在NPU、DSP和實(shí)時(shí)CPU上劃分代碼，然后調(diào)整交互以滿足期望的性能目標(biāo)。典型的架構(gòu)還可能導(dǎo)致在NPU核和CPU核之間拆分矩陣操作。由于需要在內(nèi)核之間交換大數(shù)據(jù)塊，因此此操作會(huì)導(dǎo)致推斷延遲和功耗問(wèn)題。

來(lái)自不同IP供應(yīng)商的多個(gè)IP核迫使開(kāi)發(fā)者依賴(lài)于多個(gè)設(shè)計(jì)和生產(chǎn)力工具鏈。必須使用多個(gè)工具鏈通常會(huì)延長(zhǎng)開(kāi)發(fā)時(shí)間，并使調(diào)試具有挑戰(zhàn)性。

Quadric方法的好處

Quadric的Chimera GPNPU家族為ML推理和相關(guān)的傳統(tǒng)C++圖像、視頻、雷達(dá)和其他信號(hào)處理創(chuàng)建了統(tǒng)一的單核體系結(jié)構(gòu)。這允許將神經(jīng)網(wǎng)絡(luò)和C++代碼合并到單個(gè)軟件代碼流中。內(nèi)存帶寬通過(guò)單一的統(tǒng)一編譯堆棧進(jìn)行優(yōu)化，并使功耗顯著減小。編程單核系統(tǒng)也比處理異構(gòu)多核系統(tǒng)容易得多。標(biāo)量、向量和矩陣計(jì)算只需要一個(gè)工具鏈。

統(tǒng)一的Chimera GPNPU架構(gòu)的其他好處包括，由于不必在NPU、DSP和CPU之間移動(dòng)激活數(shù)據(jù)，從而節(jié)省了面積和功耗。統(tǒng)一的核心架構(gòu)大大簡(jiǎn)化了硬件集成，使性能優(yōu)化任務(wù)更加容易。

分析內(nèi)存使用情況以確定最佳片外帶寬的系統(tǒng)設(shè)計(jì)任務(wù)也得到了簡(jiǎn)化。這也直接導(dǎo)致了功率最小化。

應(yīng)用程序開(kāi)發(fā)

Chimera軟件開(kāi)發(fā)工具包(SDK)允許通過(guò)兩步編譯過(guò)程將來(lái)自通用ML訓(xùn)練工具集的圖代碼與客戶的C++代碼合并。這導(dǎo)致可以在統(tǒng)一的Chimera單處理器核心上運(yùn)行的單一代碼流。目前廣泛使用的ML訓(xùn)練工具集有TensorFlow、PyTorch、ONNX和Caffe。實(shí)現(xiàn)的SoC的用戶將擁有對(duì)Chimera所有核心資源的完全訪問(wèn)權(quán)，以實(shí)現(xiàn)應(yīng)用程序編程的最大靈活性。整個(gè)系統(tǒng)也可以從單個(gè)調(diào)試控制臺(tái)進(jìn)行調(diào)試。

在不損失性能的情況下實(shí)現(xiàn)future proofing

Chimera GPNPU架構(gòu)擅長(zhǎng)處理卷積層，這是卷積神經(jīng)網(wǎng)絡(luò)(CNNs)的核心。Chimera GPNPU可以運(yùn)行任何ML操作符。通過(guò)使用Chimera計(jì)算庫(kù)(CCL) API編寫(xiě)C++內(nèi)核并使用Chimera SDK編譯該內(nèi)核，可以添加自定義ML操作符。自定義運(yùn)算符的性能與本地運(yùn)算符相同，因?yàn)樗鼈兝昧薈himera GPNPU的相關(guān)核心資源。

SoC開(kāi)發(fā)人員可以在SoC被剝離后很長(zhǎng)時(shí)間內(nèi)實(shí)現(xiàn)新的神經(jīng)網(wǎng)絡(luò)運(yùn)算符和庫(kù)。這本身就大大增加了芯片的使用壽命。

軟件開(kāi)發(fā)人員可以在產(chǎn)品的整個(gè)生命周期中繼續(xù)優(yōu)化他們的模型和算法的性能。他們可以添加新的特性和功能，為他們的產(chǎn)品在市場(chǎng)上獲得競(jìng)爭(zhēng)優(yōu)勢(shì)。

Quadric的當(dāng)前產(chǎn)品

Chimera架構(gòu)已經(jīng)在芯片領(lǐng)域得到了快速驗(yàn)證。QB系列GPNPU的整個(gè)家族可以在主流的16nm和7nm工藝中使用傳統(tǒng)的標(biāo)準(zhǔn)電池流和常用的單端口SRAM實(shí)現(xiàn)1GHz的工作。Chimera核心可以針對(duì)任何芯片鑄造廠和任何工藝技術(shù)。

Chimera GPNPU系列的QB系列包括三個(gè)核心：

Chimera QB1 -每秒1萬(wàn)億次機(jī)器學(xué)習(xí)運(yùn)算(TOPS)，每秒64千兆次DSP運(yùn)算(GOPs)；

Chimera QB4 - 4 TOPS機(jī)器學(xué)習(xí)，256 GOP DSP；

Chimera QB16–16 TOPS機(jī)器學(xué)習(xí)，1 TOPS DSP；

如果需要，可以將兩個(gè)或多個(gè)Chimera核心配對(duì)在一起，以滿足更高級(jí)別的性能要求。

審核編輯 ：李倩