西井科技發(fā)明的AI芯片結(jié)構(gòu)，利用同一種卷積引擎硬件結(jié)構(gòu)來適配多種神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，從而有效的提高了乘法器資源的利用率以及實現(xiàn)了數(shù)據(jù)的動態(tài)分布。

西井科技成立于2015年，從研發(fā)類腦芯片起步，專注于AI芯片和算法的研發(fā)落地。2016年，通過將技術(shù)和產(chǎn)品相結(jié)合方式服務(wù)于智慧港口，利用人工智能技術(shù)來完成各種復(fù)雜任務(wù)，提高港口自動化程度。

而其解決港口客戶對碼頭的智能化升級需求，并服務(wù)于集裝箱數(shù)據(jù)智能識別、無人駕駛等項目，重點依靠的技術(shù)就是其自主研發(fā)的AI芯片。AI芯片主要應(yīng)用于人工智能領(lǐng)域，其主要使用的算法就是神經(jīng)網(wǎng)絡(luò)算法。

卷積神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò)，它的人工神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周圍單元，對于大型圖像處理有出色表現(xiàn)。它主要包括卷積層和池化層，目前，卷積神經(jīng)網(wǎng)絡(luò)已廣泛應(yīng)用于圖像分類、物體識別、目標追蹤。

但是對于卷積神經(jīng)網(wǎng)絡(luò)的處理芯片，還存在著一系列的問題需要研究人員們?nèi)ソ鉀Q，例如如何通過乘法器和加法器的排布、設(shè)計提高乘法器資源的利用率，且根據(jù)不同的卷積核的尺寸實現(xiàn)不同的乘法器資源分配，以實現(xiàn)數(shù)據(jù)的動態(tài)分布。

為此，西井科技在2020年6月24日申請了一項名為“芯片結(jié)構(gòu)及其乘加計算引擎”的發(fā)明專利（申請?zhí)枺?02010587029.X），申請人為上海西井信息科技有限公司。

根據(jù)該專利目前公開的資料，讓我們一起來看看這項AI芯片技術(shù)吧。

由于乘加計算引擎中包括多個卷積引擎，而卷積引擎又包括多個乘法器和加法器，如上圖，為卷積引擎應(yīng)用于尺寸為3*3的卷積核的示意圖。3*3的卷積大小是目前主流神經(jīng)網(wǎng)絡(luò)模型中經(jīng)常使用的，每個卷積引擎包括15*M*4個乘法器，每個卷積組11包括3行4列乘法器且對應(yīng)一個卷積核計算，因此5組卷積組同時可以支持5個不同的卷積核并行計算。

而上圖只是一個以3*3卷積核為例的示例，在神經(jīng)網(wǎng)絡(luò)的實際應(yīng)用中，還有5*5、7*7等常用卷積核，因此該專利對于其大小并沒有進行限制，每個卷積引擎在應(yīng)用于卷積核時，可以按照卷積核的尺寸劃分為多個卷積組，每個卷積組的乘法器的行數(shù)與卷積核的行數(shù)一致，每個卷積組的乘法器的列數(shù)為N，這樣就可以根據(jù)不同的卷積核的尺寸實現(xiàn)不同的乘法器資源分配，進一步實現(xiàn)數(shù)據(jù)的動態(tài)分布。

如上圖，為這種卷積引擎的示意圖，可以看到其具有多個輸入特征圖通道，這是為了當(dāng)輸入的特征圖具有較高維度時可以進行并行加速。此外，這種卷積引擎還可以進行M倍于輸入特征通道的并行加速，每個卷積組輸出的N行部分累加值可以疊加到下一層的輸入中，這與神經(jīng)網(wǎng)絡(luò)算法的設(shè)計也是相一致的。

考慮到常用的主流卷積神經(jīng)網(wǎng)絡(luò)模型，輸入特征通道的數(shù)量通常以偶數(shù)出現(xiàn)，一般是2的n次方的形式。由此，可以利用16個卷積組，用于支持16個不同的輸入特征圖的通道進行計算。

圖中所展示的16個不同的輸入特征圖，以一個輸入像素點為例，一個輸入像素點要進行16個通道的數(shù)據(jù)乘加，也就是16個乘法和M/2個加法，而在硬件的角度進行實現(xiàn)時，需要設(shè)計硬件加速方案，這種硬件加速方案由卷積引擎組成多級聯(lián)結(jié)構(gòu)，每組級聯(lián)結(jié)構(gòu)包括M/2個級聯(lián)的處理單元，如下圖所示。

如圖，為處理單元的示意圖，每個處理單元50包括第一輸入接口511至第五輸入接口515、第一觸發(fā)器531至第五觸發(fā)器535、兩個乘法器（541和542）以及兩個加法器（551和552），此外，該結(jié)構(gòu)還具有輸出接口、時鐘信號和觸發(fā)器等部件。

第一輸入接口至第四輸入接口分別與第一至第四觸發(fā)器相連，時鐘信號也與觸發(fā)器相連，用于開啟觸發(fā)器，從而控制處理器進行乘加運算。

而在16個輸入特征通道的例子中，可以使用8個級聯(lián)的方式來完成一個像素點在16個通道內(nèi)的乘加運算，具體的連接方式如下入所示：

可以看到級聯(lián)的處理單元的輸出結(jié)果為一個輸入特征圖像素點的16通道乘累加結(jié)果，在這個架構(gòu)下，以3*3的卷積核為例，9個輸入像素點的16個輸入特征通道值進行相加，在6個時鐘周期下生成最終的卷積操作的運算結(jié)果。

以上就是西井科技發(fā)明的AI芯片結(jié)構(gòu)，這種硬件結(jié)構(gòu)的特點就在于，利用不變的卷積引擎，應(yīng)用在不同神經(jīng)網(wǎng)絡(luò)、不同大小的卷積核中。從而可以有效的提高乘法器資源的利用率，并且根據(jù)不同的卷積核的尺寸可以實現(xiàn)不同的乘法器資源分配，也就可以做到數(shù)據(jù)的動態(tài)分布，達到需要的計算方式。

關(guān)于嘉德

深圳市嘉德知識產(chǎn)權(quán)服務(wù)有限公司由曾在華為等世界500強企業(yè)工作多年的知識產(chǎn)權(quán)專家、律師、專利代理人組成，熟悉中歐美知識產(chǎn)權(quán)法律理論和實務(wù)，在全球知識產(chǎn)權(quán)申請、布局、訴訟、許可談判、交易、運營、標準專利協(xié)同創(chuàng)造、專利池建設(shè)、展會知識產(chǎn)權(quán)、跨境電商知識產(chǎn)權(quán)、知識產(chǎn)權(quán)海關(guān)保護等方面擁有豐富的經(jīng)驗。
責(zé)任編輯:tzh