3月15日，由智東西主辦，AWE和極果聯(lián)合主辦的AI芯片創(chuàng)新峰會(huì)，在上海成功舉辦！本次峰會(huì)報(bào)名參會(huì)的觀眾覆蓋了近4500家企業(yè)，到會(huì)觀眾極為專業(yè)，其中總監(jiān)以上級(jí)別占比超過62%，現(xiàn)場(chǎng)實(shí)際到會(huì)人數(shù)超過1800位。

大會(huì)現(xiàn)場(chǎng)，20位人工智能及AI芯片業(yè)界翹楚共聚一堂，系統(tǒng)的探討了AI芯片在架構(gòu)創(chuàng)新、生態(tài)構(gòu)建、場(chǎng)景落地等方面的技術(shù)前景和產(chǎn)業(yè)趨勢(shì)。

憑借其創(chuàng)新的存儲(chǔ)優(yōu)先架構(gòu)（SFA），探境科技去年完成A輪上億元融資，是中國(guó)新崛起的AI芯片新生力量之一。大會(huì)現(xiàn)場(chǎng)，探境科技創(chuàng)始人兼CEO魯勇進(jìn)行了主題為《基于存儲(chǔ)優(yōu)先架構(gòu)的AI芯片使能前端智能》的演講。

由于AI神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)量較大，具有高并發(fā)、高耦合等特性，引發(fā)了AI芯片高帶寬存取、以及數(shù)據(jù)間的相關(guān)耦合性等問題，所以在馮諾伊曼架構(gòu)之下，目前AI芯片普遍面臨了“存儲(chǔ)墻”問題——AI計(jì)算資源豐富，但存儲(chǔ)及數(shù)據(jù)搬運(yùn)效率低下。

魯勇認(rèn)為，本質(zhì)上AI計(jì)算的核心問題是“如何更高效地將數(shù)據(jù)輸送給計(jì)算單位”，而并不是如何增加更多AI計(jì)算資源。

因此，去年探境發(fā)布了存儲(chǔ)優(yōu)先架構(gòu)（Storage First Architecture，簡(jiǎn)稱SFA），這是一套不同于馮諾伊曼的AI芯片架構(gòu)，它這套架構(gòu)從數(shù)據(jù)層和計(jì)算層中間，通過數(shù)據(jù)航線，進(jìn)行節(jié)點(diǎn)間的數(shù)據(jù)搬移。

這套架構(gòu)的本質(zhì)是圖計(jì)算，控制器通過知道在動(dòng)態(tài)運(yùn)行過程中，哪些數(shù)據(jù)和哪些算子需要有一定的相關(guān)性，從而構(gòu)建更加合理的網(wǎng)絡(luò)路徑。

SFA架構(gòu)由此帶來的優(yōu)勢(shì)包括：數(shù)據(jù)訪問量能降低10到100倍、存儲(chǔ)子系統(tǒng)的功耗能下降10倍以上、28nm條件下計(jì)算資源利用率高達(dá)80%、芯片面積極大縮小。

魯勇還表示，SFA還可以做到通用型的AI芯片，不僅可以支持任意已知的神經(jīng)網(wǎng)絡(luò)，等同于GPU的兼容性，還對(duì)神經(jīng)網(wǎng)絡(luò)的參數(shù)、數(shù)據(jù)類型沒有限制，能夠支持多種應(yīng)用場(chǎng)景，可以真正符合商業(yè)應(yīng)用。

附探境科技創(chuàng)始人兼CEO魯勇演講實(shí)錄

魯勇：大家好！剛才眾多演講者給大家分享了很多AI在各種應(yīng)用場(chǎng)景的例子，包括從云端的替代GPU作為提高能效比的工具，從云端到終端的延展，終端包括從小到可穿戴，大到安防、自動(dòng)駕駛等應(yīng)用場(chǎng)景。所以我在這里就不重復(fù)這些應(yīng)用場(chǎng)景的情況。

最近有很多AI芯片層出不窮地往這個(gè)領(lǐng)域在進(jìn)展，這里有很多機(jī)會(huì)，目的是能讓AI芯片更加強(qiáng)大、更加易用、更加低功耗。今天上午魏老師提到了AI芯片從0.5到2.0的演進(jìn)，這當(dāng)中有大量的創(chuàng)新需要做，基于非常基礎(chǔ)層的芯片底層架構(gòu)，我在這里分享一些探境科技在這方面的創(chuàng)新。

去年探境發(fā)布了存儲(chǔ)優(yōu)先架構(gòu)（Storage First Architecture，簡(jiǎn)稱SFA），這一架構(gòu)有非常高的領(lǐng)先度，由于很多朋友比較關(guān)心和關(guān)注，我們今天會(huì)先簡(jiǎn)單回顧一下SFA是什么。

先預(yù)告一下，下面的內(nèi)容可能會(huì)比較偏硬核一些，會(huì)談到比較深的技術(shù)要點(diǎn)。深度學(xué)習(xí)給芯片設(shè)計(jì)帶來了很大挑戰(zhàn)，深度學(xué)習(xí)的數(shù)據(jù)量非常大，包括訓(xùn)練好的權(quán)重和運(yùn)行的動(dòng)態(tài)中間數(shù)據(jù)。

神經(jīng)網(wǎng)絡(luò)的運(yùn)算主要看到的是卷積，左邊是單層的卷積，但實(shí)際上在神經(jīng)網(wǎng)絡(luò)上真正被用到的是右邊的立體卷積。立體卷積是多個(gè)通道的二維卷積，有非常強(qiáng)的耦合性，其數(shù)據(jù)的連接關(guān)系以及重復(fù)的使用給我們帶來很大的問題。

通常做卷積運(yùn)算的第一種方法是直接進(jìn)行卷積運(yùn)算，設(shè)計(jì)一個(gè)比較硬核的加速器，這種方式在傳統(tǒng)的通信芯片設(shè)計(jì)里會(huì)采用，還有一種方法是采用數(shù)學(xué)變換的方式，把卷積轉(zhuǎn)化為矩陣，這樣可以更加通用地應(yīng)對(duì)不同卷積的尺寸。

在這幾種常見的方法中，我們提到的問題都存在，包括高并發(fā)、高耦合，大量的數(shù)據(jù)引發(fā)了高帶寬存取、以及數(shù)據(jù)間的相關(guān)耦合性，帶來了一個(gè)“存儲(chǔ)墻”的問題。

在現(xiàn)在的學(xué)術(shù)界、工業(yè)界，“存儲(chǔ)墻”都是熱點(diǎn)的話題，我們也看到了很多使用試圖破解“存儲(chǔ)墻”的不同方法。“存儲(chǔ)墻”帶來的瓶頸是性能跟功耗兩方面的。最開始需要通過外存和內(nèi)存之間交換數(shù)據(jù)，這一步功耗比較大，第二步是在存儲(chǔ)器的數(shù)據(jù)排序，如何高效地填入到計(jì)算單元，這是第二個(gè)非常重要的難點(diǎn)。

這個(gè)問題我們可以簡(jiǎn)化抽象成用EU是計(jì)算單元，Memory是所有的存儲(chǔ)。本質(zhì)上AI計(jì)算的核心問題是“如何更高效地將數(shù)據(jù)輸送給計(jì)算單位”，而計(jì)算并不重要。

我們看到之前很多的解決方案在計(jì)算上做了很多文章，包括把計(jì)算單位EU升級(jí)，從小規(guī)模的計(jì)算，比如將乘法器升級(jí)到更高規(guī)格的卷積、三維卷積、矩陣等方式。這種方式并不真正地破解瓶頸，瓶頸是在數(shù)據(jù)供給方面。

這里有幾個(gè)具體的困難大家可以探討一下：

1、數(shù)據(jù)量大，帶寬要求高，數(shù)據(jù)是不能完全存在片內(nèi)的，存在片外會(huì)有DDR不僅會(huì)有功耗問題，我們做SoC的知道，DDR帶寬一向是大家爭(zhēng)奪的重點(diǎn)，所以系統(tǒng)瓶頸會(huì)產(chǎn)生。

2、數(shù)據(jù)耦合性比較高，很大程度上數(shù)據(jù)是重復(fù)使用的，重復(fù)使用的數(shù)據(jù)會(huì)進(jìn)一步加大功耗。

3、其實(shí)更大的困難是第三點(diǎn)，數(shù)據(jù)的使用復(fù)雜度很高，很多朋友在設(shè)計(jì)AI芯片的時(shí)候，數(shù)據(jù)的排序從不同的網(wǎng)絡(luò)層之間切換的是非常困難的。

我們總結(jié)一下現(xiàn)在常見解決方式：

1、增加計(jì)算資源。剛才提到了，這一方法只能增加計(jì)算的效率，但是沒有辦法破解“存儲(chǔ)墻”。

2、通過軟件的方式編輯數(shù)據(jù)，讓數(shù)據(jù)的存儲(chǔ)方式利于硬件直接調(diào)取。但是這種方法對(duì)于中間的動(dòng)態(tài)數(shù)據(jù)流是無法應(yīng)對(duì)的。

3、通過硬件整合更大規(guī)模的算子。這一方法有些困難，剛才講到神經(jīng)網(wǎng)絡(luò)有很多不同的配置，這些配置對(duì)神經(jīng)網(wǎng)絡(luò)很難做到全部兼容。

4、在計(jì)算資源內(nèi)部放入少量的存儲(chǔ)資源。但是存儲(chǔ)資源仍然有瓶頸，少量的存儲(chǔ)資源放不了太多的數(shù)據(jù)。

5、還有現(xiàn)在比較火的一種方式是把計(jì)算資源放到存儲(chǔ)器內(nèi)部，一般叫“存算一體化”，這當(dāng)中也有很多問題沒有被解決，首先它需要非常大的片上存儲(chǔ)，只有大量的片上存儲(chǔ)才能夠把整個(gè)神經(jīng)網(wǎng)絡(luò)模型都放進(jìn)去；第二基本上做存算一體的大部分都還是針對(duì)全聯(lián)接層構(gòu)成的DNN或feature map非常小的卷積層進(jìn)行設(shè)計(jì)，對(duì)這些比較復(fù)雜的卷積神經(jīng)網(wǎng)絡(luò)是否能夠支持，也是要打問號(hào)的。

6、還有一種方法是在算法上設(shè)計(jì)低精度的網(wǎng)絡(luò)，降低對(duì)存儲(chǔ)的需求。這種方式看上去是解決了一定問題，但也有場(chǎng)景受限的情況。

總結(jié)一下，如果主要關(guān)注在計(jì)算方面，即使芯片提高了再大的并行度，它對(duì)AI計(jì)算的效能提升也是有限的。這種架構(gòu)我們稱之為“類CPU架構(gòu)，或者“馮諾伊曼架構(gòu)”。這種架構(gòu)是由計(jì)算驅(qū)動(dòng)存儲(chǔ)。因?yàn)檫@種計(jì)算資源在神經(jīng)網(wǎng)絡(luò)上是比較富余的，用富余的資源驅(qū)動(dòng)稀缺的存儲(chǔ)資源，顯然沒有辦法帶來很好的收益。

探境科技重新思考了存儲(chǔ)和計(jì)算的關(guān)系，以存儲(chǔ)來驅(qū)動(dòng)計(jì)算，做了一套完全不同于馮諾伊曼的架構(gòu)。

這套架構(gòu)從數(shù)據(jù)層和計(jì)算層中間，通過數(shù)據(jù)航線，數(shù)據(jù)作為節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)，這個(gè)過程是一個(gè)數(shù)據(jù)搬移的過程，因?yàn)槲覀兛梢哉J(rèn)為所有的數(shù)據(jù)都有自己的生命周期，它在生命周期里可能會(huì)和其他數(shù)據(jù)發(fā)生相應(yīng)關(guān)系，我們以數(shù)據(jù)作為優(yōu)先可以考慮到數(shù)據(jù)帶動(dòng)算子，而非由算子找數(shù)據(jù)的關(guān)系。

這套關(guān)系是由Scheduler控制器來控制的，這樣一個(gè)CPU可以知道在動(dòng)態(tài)運(yùn)行過程中哪些數(shù)據(jù)和哪些算子需要有一定的相關(guān)性，從而構(gòu)建出一張相對(duì)比較合理的網(wǎng)絡(luò)。

所以這里本質(zhì)上來講深度學(xué)習(xí)的計(jì)算是圖計(jì)算，這個(gè)方向上我們對(duì)此有很高的認(rèn)知。

舉個(gè)例子，像曾經(jīng)大家做通信算法的時(shí)候都會(huì)做到傅里葉變換，做時(shí)域和頻域的變化，很多問題在時(shí)域里無法解決的時(shí)候，你走到頻域里就迎刃而解。所以神經(jīng)網(wǎng)絡(luò)的本質(zhì)問題是圖計(jì)算問題，當(dāng)你走到圖計(jì)算的高度的時(shí)候，很多問題會(huì)迎刃而解。

SFA能帶來什么好處呢？首先數(shù)據(jù)訪問量能降低10到100倍，所以存儲(chǔ)子系統(tǒng)的功耗能下降10倍以上；在28nm條件下，系統(tǒng)能效比超過4 TOPS/W，計(jì)算資源利用率也很高，超過80%，我們可以看到現(xiàn)在公開的很多AI架構(gòu)芯片資源利用率都只在50%上下浮動(dòng)。另外SFA面積非常小，在28nm工藝條件下的Post Layout面積是每TOPS 0.5平方毫米。

同時(shí)，SFA可以做到通用型的AI芯片，可以支持任意已知的神經(jīng)網(wǎng)絡(luò)，等同于GPU的兼容性。很多設(shè)計(jì)芯片的朋友都知道，想要做一款通用型的AI芯片非常非常困難，有的只能支持幾個(gè)神經(jīng)網(wǎng)絡(luò)，有的會(huì)在神經(jīng)網(wǎng)絡(luò)的參數(shù)上有非常大的限制，只能支持一些，有些可能就不支持了。

SFA對(duì)所有的神經(jīng)網(wǎng)絡(luò)參數(shù)、架構(gòu)沒有任何限制，對(duì)數(shù)據(jù)類型也任何限制，包括INT8、INT16、浮點(diǎn)16、浮點(diǎn)32、甚至包括一些自定義的浮點(diǎn)，全都可以支持；并且對(duì)于深度學(xué)習(xí)里所講到的稀疏化的數(shù)據(jù)，也是可以自適應(yīng)去支持，不用事先做任何的預(yù)處理。我們知道通用型對(duì)芯片設(shè)計(jì)是非常重要的，因?yàn)槲覀冏鲂酒O(shè)計(jì)的人通常所面臨的場(chǎng)景是非常廣泛的，只為一個(gè)場(chǎng)景做一個(gè)具體的芯片可能成本就太高了。

SFA的易用性也非常高，工具鏈?zhǔn)褂煤芎?jiǎn)單，對(duì)用戶來說網(wǎng)絡(luò)不需要重新訓(xùn)練，這也是真正用戶使用上的頭疼問題，需要拿著網(wǎng)絡(luò)重新訓(xùn)練，但是SFA的網(wǎng)絡(luò)可以直接拿來使用不用訓(xùn)練，數(shù)據(jù)的精度設(shè)置靈活度非常大，甚至可以做到每層做自己的定義數(shù)據(jù)精度。

因此，有這樣的一些優(yōu)點(diǎn)，所以可以考慮做出當(dāng)前沒有實(shí)現(xiàn)的功能，我們既可以做一些訓(xùn)練，也可以做推理，終端能看到更多的是推理的芯片，SFA也可以做云端的訓(xùn)練和推理，無縫銜接，更重要的事情是在終端可以做到終端推理和終端的一些本地訓(xùn)練。

最近大家對(duì)隱私的要求也越來越高，很多用戶本地所拍攝的圖像是不太愿意上傳到云端，但他又希望能夠在自己不斷地使用過程中通過自己的訓(xùn)練能夠讓自己的模型變的更加精確、更加適合場(chǎng)景。這樣的話需要一些本地訓(xùn)練，或者是需要一些協(xié)同性的訓(xùn)練，和其他用戶一同訓(xùn)練更好的模型，采用這樣的架構(gòu)功能就可以完成。

我們認(rèn)為這是真正可以符合商業(yè)應(yīng)用的AI芯片，其他大量的AI芯片會(huì)有局限性于固定場(chǎng)景的使用。

基于SFA對(duì)所有終端的應(yīng)用場(chǎng)景都可以支持，語音芯片、機(jī)器視覺芯片、自動(dòng)駕駛芯片等，這些場(chǎng)景的核心點(diǎn)都在于AI計(jì)算，如果AI計(jì)算能夠超出現(xiàn)有的水平達(dá)到更高的能效比、更好的成本控制，在半導(dǎo)體方向上創(chuàng)新永遠(yuǎn)是推動(dòng)行業(yè)發(fā)展的原動(dòng)力，并且能夠帶來源源不斷的提升。有這樣的SFA的架構(gòu)應(yīng)該能夠給所有終端芯片都有新的收獲，包括從成本上、功能上、易用性上，都會(huì)有新的創(chuàng)新。