一家硅谷初創(chuàng)公司聲稱他們重塑了神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)計(jì)算，開發(fā)出一種互補(bǔ)型邊緣AI芯片。該芯片已經(jīng)向客戶發(fā)售樣品，它并沒有使用通常的大型乘法累加單元陣列。據(jù)這家公司稱，該芯片的計(jì)算性能相當(dāng)于4 TOPS，每瓦功耗可達(dá)55 TOPS/W。在低于20mW（以30fps運(yùn)行YOLOv3測(cè)試）的功耗下，它可以達(dá)到數(shù)據(jù)中心級(jí)別的AI推理能力。

位于加州圣何塞的Perceive公司之前一直處于超級(jí)隱身模式。作為從Xperi獨(dú)立出來的子公司，Perceive兩年前正式成立，一直由其母公司出資支持。該團(tuán)隊(duì)有41人，Xperi內(nèi)部也有一個(gè)類似規(guī)模的團(tuán)隊(duì)為該芯片開發(fā)應(yīng)用。其創(chuàng)始CEO Steve Teig也是Xperi的CTO。他曾是Tabula的創(chuàng)始人兼CTO，Tabula是五年前倒閉的一家3D可編程邏輯初創(chuàng)公司；在此之前，他曾任Cadence CTO。

Teig解釋道，他們最初的想法是將Xperi的傳統(tǒng)圖像和音頻處理知識(shí)與機(jī)器學(xué)習(xí)相結(jié)合。 Xperi擁有DTS、IMAX Enhanced和HD Radio等品牌，其技術(shù)組合包括廣泛應(yīng)用于數(shù)碼相機(jī)中處理紅眼問題和圖像穩(wěn)定功能的圖像處理軟件，以及用于藍(lán)光光盤播放器的音頻處理軟件。

“我們從一張白紙開始，用信息論來思考：神經(jīng)網(wǎng)絡(luò)到底做了什么樣的計(jì)算？是否有一種不同的方式來實(shí)現(xiàn)這種計(jì)算，以改變邊緣計(jì)算能做的事情？” Teig說。“經(jīng)過幾年的努力，我們發(fā)現(xiàn)了它，然后我們決定……我們應(yīng)該設(shè)計(jì)一款芯片來體現(xiàn)那些想法。”

Teig向Xperi董事會(huì)提出，成立一家新公司來開發(fā)這種芯片，在功率預(yù)算僅為20mW的邊緣設(shè)備上進(jìn)行有意義的AI推理。最終，這款名為Ergo的7x7mm芯片可以在沒有外部RAM的情況下提供4 TOPS的計(jì)算性能（Teig解釋道，實(shí)際上其性能相當(dāng)于4 TOPS的GPU）。Ergo支持多種類型的神經(jīng)網(wǎng)絡(luò)，包括卷積網(wǎng)絡(luò)（CNN）和遞歸網(wǎng)絡(luò)（RNN），這與市場(chǎng)上針對(duì)CNN量身定制的許多解決方案形成了鮮明對(duì)比。Ergo甚至可以同時(shí)運(yùn)行多個(gè)異構(gòu)網(wǎng)絡(luò)。

Teig說：“唯一限制我們可以運(yùn)行多少個(gè)神經(jīng)網(wǎng)絡(luò)的因素是能夠集成多少內(nèi)存。”Perceive已演示了以6000或7000萬個(gè)參數(shù)同時(shí)運(yùn)行YOLOv3或M2Det，加上具有數(shù)百萬個(gè)參數(shù)的ResNet 28，再加上進(jìn)行語音和音頻處理的LSTM或RNN。在具體應(yīng)用中，這可能對(duì)應(yīng)于同時(shí)進(jìn)行圖像和音頻推理。

Perceive還聲稱Ergo芯片具有55 TOPS / W的超高能效。這個(gè)數(shù)字比一些競(jìng)爭(zhēng)對(duì)手所聲稱的能效高出一個(gè)數(shù)量級(jí)。Perceiver的數(shù)據(jù)顯示，它在以每秒30幀的速度運(yùn)行YOLOv3（這是一個(gè)具有6400萬個(gè)參數(shù)的大型網(wǎng)絡(luò)）時(shí)功耗只要20mW。

Perceive聲稱其Ergo芯片的效率高達(dá)55 TOPS / W，以30fps的速度運(yùn)行YOLOv3，功耗僅20mW。

這種高能效源于采用了一些激進(jìn)的電源門控和時(shí)鐘門控技術(shù)，它們充分利用了神經(jīng)網(wǎng)絡(luò)處理的確定性屬性。與其它類型的代碼不同，它沒有分支，因此在編譯時(shí)時(shí)序是已知的。Perceive因而可以精確地知道需要開啟什么以及何時(shí)開啟。

Teig說：“在電池供電的情況下，這種芯片可以斷電，零毫瓦，還有微瓦級(jí)的運(yùn)動(dòng)傳感器或模擬麥克風(fēng)來檢測(cè)可能感興趣的東西。我們可以一覺醒來，就加載好一個(gè)龐大的數(shù)據(jù)中心級(jí)別的神經(jīng)網(wǎng)絡(luò)，并在大約50毫秒內(nèi)運(yùn)行它，包括解密。因此，我們只占用大約兩幀視頻的容量?！?/p>

但精心的硬件設(shè)計(jì)只是工作的一部分。

信息論

Teig說：“我們提出了一種不同的方式來表達(dá)所進(jìn)行的計(jì)算本身及隨之而來的算法，并以一種新的方式來表達(dá)網(wǎng)絡(luò)本身，這才是我們的優(yōu)勢(shì)所在?！?/p>

Perceive以信息論為出發(fā)點(diǎn)（信息論是一個(gè)科學(xué)分支，它包括將信號(hào)與噪聲區(qū)分開的數(shù)學(xué)方法），并使用其概念來研究從噪聲中提取信號(hào)所需的計(jì)算量。Teig以一個(gè)目標(biāo)檢測(cè)網(wǎng)絡(luò)為例進(jìn)行了說明。

“你將數(shù)百萬個(gè)像素交給網(wǎng)絡(luò)，只是想知道，這張照片中是否有一只狗？”Teig說?！皥D片中除了狗的信號(hào)，其它所有東西都是噪音。信息論可以使之量化，即你要知道多少才能確定圖片中有一只狗，這真的可以通過數(shù)學(xué)方法使之精確確定?！?/p>

正如Teig所描述的那樣，主流神經(jīng)網(wǎng)絡(luò)能夠根據(jù)看到的許多狗的圖片來進(jìn)行歸納，因?yàn)樗鼈冎辽倏梢园l(fā)現(xiàn)噪聲中的一些信號(hào)，但這是以經(jīng)驗(yàn)法得到的，而不是嚴(yán)格的數(shù)學(xué)方法。這意味著信號(hào)會(huì)攜帶噪聲，從而使主流神經(jīng)網(wǎng)絡(luò)變得非常龐大，并使它們?nèi)菀资艿綄?duì)抗性例子和其它技巧的影響。

“在確定哪些部分需要保留、哪些部分只是噪音時(shí)，你越能用數(shù)學(xué)方法處理，就越能做好歸納工作，因而其它方面的開銷也就越少?！?Teig說道?！拔铱梢詳嘌?，即使是目前的神經(jīng)網(wǎng)絡(luò)也是從噪聲中提取信號(hào)，它們沒有以更加嚴(yán)謹(jǐn)?shù)姆绞竭M(jìn)行處理，因此承擔(dān)了額外開銷。”

這種信息論觀點(diǎn)是Perceive機(jī)器學(xué)習(xí)策略的基礎(chǔ)，這代表著一種新的神經(jīng)網(wǎng)絡(luò)處理方式。

“實(shí)際上，這是從信息理論視角體現(xiàn)機(jī)器學(xué)習(xí)與芯片完美結(jié)合的最佳案例?！盩eig聲稱。

芯片架構(gòu)

以Teig擔(dān)任Tabula CTO的背景，你可能會(huì)認(rèn)為這是一個(gè)基于可編程邏輯的硬件，然而事實(shí)并非如此。

“十年來，我一直深受可編程邏輯的影響，如何構(gòu)建豐富的互連體系結(jié)構(gòu)以實(shí)現(xiàn)高性能的并行計(jì)算，因?yàn)?a href="http://www.brongaenegriffin.com/soft/data/30-91/" target="_blank">FPGA上很多運(yùn)算都是大規(guī)模并行的，而且在FPGA上計(jì)算和內(nèi)存之間的交互也非常密集。”Teig說。“這無疑影響了我在Perceive的工作，但是我們所擁有的并不是可編程邏輯本身。我們受到的是這種思維方式的影響，但架構(gòu)本身是圍繞神經(jīng)網(wǎng)絡(luò)的?！?/p>

Perceive的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)具有可擴(kuò)展性，初始芯片Ergo具有四個(gè)計(jì)算集，每個(gè)集都有自己的內(nèi)存。盡管具體的細(xì)節(jié)仍在保密中，但Teig透露這些集群與其它AI加速器存在很大差異，其它AI加速器通常使用乘法累加單元（MAC）陣列來計(jì)算向量和矩陣的點(diǎn)積。

“我們沒有那樣做?！盩eig說：“我們沒有采用MAC陣列。但結(jié)果是……我們的能效是市場(chǎng)上其它同類產(chǎn)品的20至100倍，原因是其他人都在做同一件事，而我們卻沒有。我們采用全新的方法演繹網(wǎng)絡(luò)，才使我們能夠?qū)崿F(xiàn)如此高的效率。再加上機(jī)器學(xué)習(xí)技術(shù)，它可以發(fā)現(xiàn)網(wǎng)絡(luò)的這種表示形式，以及訓(xùn)練網(wǎng)絡(luò)使其兼容芯片想要看到的內(nèi)容?！?/p>

圖像和音頻

Ergo可以支持兩個(gè)攝像頭，并包括一個(gè)圖像處理單元，該單元可以作為預(yù)處理器來處理魚眼鏡頭圖像扭曲修正、伽瑪校正、白平衡和裁剪之類的事情。

“這不是什么花哨的功能，但是用硬件實(shí)現(xiàn)預(yù)處理顯然很有用，我們就在硬件上這么做了?！?Teig說道?！岸椅覀円灿械刃У囊纛l，例如，我們可以使用多個(gè)立體聲麥克風(fēng)實(shí)現(xiàn)波束成形。”

我們還提供一個(gè)帶有DSP模塊的Synopsis ARC微處理器，也可用于預(yù)處理；另外還提供一個(gè)Synopsis的安全模塊。

“我們還做了一件事，就是對(duì)所有內(nèi)容進(jìn)行絕對(duì)加密，以便在IoT環(huán)境中維持一定程度的安全。我們對(duì)網(wǎng)絡(luò)進(jìn)行加密，對(duì)微處理器上運(yùn)行的代碼進(jìn)行加密，對(duì)接口進(jìn)行加密，對(duì)所有內(nèi)容加密?！盩eig說。

該芯片為圖像和音頻外部的傳感器提供合適I / O，并支持外部閃存和/或微處理器，可進(jìn)行空中升級(jí)，用來更新芯片上加載的神經(jīng)網(wǎng)絡(luò)，或根據(jù)需要加載不同的網(wǎng)絡(luò)。

Ergo可提供樣品并隨附參考板，預(yù)計(jì)在2020年第二季度實(shí)現(xiàn)量產(chǎn)。
責(zé)任編輯：tzh