總部在加利福尼亞州歐文市的Syntiant公司和總部在德克薩斯州奧斯汀的Mythic公司都認為,它們可以使用嵌入式閃存來大大減少執(zhí)行深度學(xué)習(xí)計算所需的電力。它們可能都是對的。
越來越多的公司希望推出加速其他計算繁重的深度學(xué)習(xí)應(yīng)用的芯片,并且在某種程度上它們都有相似之處,因為“這些是面向相同形態(tài)的一類問題的解決方案”,Mythic創(chuàng)始人兼CTODaveFick解釋說。
當在CPU中執(zhí)行深度學(xué)習(xí)計算時,那類問題在形態(tài)上就像數(shù)據(jù)的交通堵塞。神經(jīng)網(wǎng)絡(luò)由連接和表示那些連接有多強的“權(quán)重”組成,必須移動這些權(quán)重以便它們可以在正確的時間和位置以數(shù)字方式被表示,是如今的深度學(xué)習(xí)中主要的耗能之處。
Syntiant的CEOKurtBush解釋說:“我們的方法是通過在內(nèi)存中進行計算來完全消除內(nèi)存帶寬和內(nèi)存功耗的penalties問題”。
Syntiant和Mythic這兩家公司所采用的方法中,網(wǎng)絡(luò)權(quán)重實際上是存儲在閃存單元陣列中的電荷水平。電荷改變了流過電池的電流量,電池是以電流可產(chǎn)出至關(guān)重要的“乘法和累加”運算的方式排列的,這樣的運算是能從日落中讀出停止信號或從“大灰獅子狗”中讀出“OKGoogle”的網(wǎng)絡(luò)所需要的。
因為權(quán)重總是在它們需要在的位置,所以不需要花費任何時間或精力來移動它們。計算的模擬性質(zhì)也使得功耗保持在低水平。雖然訓(xùn)練神經(jīng)網(wǎng)絡(luò)通常是通過使用相當精確的(8位或16位)數(shù)字進行計算來實現(xiàn)的,但實際上,使用經(jīng)過訓(xùn)練的網(wǎng)絡(luò)(稱為推理)可以更快地完成,并且可以使用更低精度的數(shù)字(5位或者甚至3位)作為權(quán)重以更低的功耗完成。Busch說:“通過模擬計算,你可以建立低精度但非常非常準確的乘法和累加運算”。
Mythic的目標是每次乘法和累加運算僅消耗0.5焦耳,這將導(dǎo)致每瓦特可支持約4萬億次操作(TOPS/W)。Syntiant希望達到20TOPS/W。根據(jù)Syntiant的說法,NvidiaVoltaV100GPU可以達到0.4TOPS/W。然而,F(xiàn)ick指出,在機器學(xué)習(xí)領(lǐng)域,真正的蘋果對蘋果(apples-to-apples)的比較是很難確定的。
每個創(chuàng)業(yè)公司在多大范圍使用模擬電路,是它們之間的關(guān)鍵差異。Syntiant的整個網(wǎng)絡(luò)都是模擬的,而Mythic環(huán)繞著帶有可編程數(shù)字電路的模擬閃存陣列。Mythic使用周圍的電路來增加其芯片可以運行的網(wǎng)絡(luò)的大小和類型的靈活性。Fick說:“在我們的芯片上,所有的網(wǎng)絡(luò)拓撲的運行效率大致相同”。
這種差異也會影響兩家公司的目標客戶和應(yīng)用程序。在Syntiant,“我們經(jīng)常說,Mythic百分之百出現(xiàn)在投資會議上,而從不對顧客這樣表現(xiàn)殷勤”,Busch說。兩家公司都表示他們正在尋求增加處在前沿的人工智能領(lǐng)域的客戶。但人工智能是一個寬泛的范疇,包括從自動駕駛汽車到人工智能增強助聽器的所有內(nèi)容。
Syntiant正在尋求較小的、通常為毫瓦級的電力應(yīng)用。它的第一個設(shè)備將能執(zhí)行諸如識別喚醒詞和識別說話者之類的事情。
Mythic正在開發(fā)需要更復(fù)雜網(wǎng)絡(luò)的應(yīng)用程序,這些網(wǎng)絡(luò)能夠在具有很低的一位數(shù)瓦特功率的系統(tǒng)中處理高分辨率視頻,例如自動無人機和智能手機。Fick說,這些應(yīng)用程序所需的每秒操作數(shù)與Syntiant的那些應(yīng)用程序所追求的每秒操作數(shù)之間存在數(shù)量級的差異。
-
智能手機
+關(guān)注
關(guān)注
66文章
18624瀏覽量
183850 -
嵌入式
+關(guān)注
關(guān)注
5152文章
19675瀏覽量
317645 -
無人機
+關(guān)注
關(guān)注
231文章
10845瀏覽量
186832 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5561瀏覽量
122799
原文標題:兩家初創(chuàng)公司都使用嵌入式閃存來減少執(zhí)行深度學(xué)習(xí)計算所需的電力
文章出處:【微信號:IEEE_China,微信公眾號:IEEE電氣電子工程師】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
Linux嵌入式和單片機嵌入式的區(qū)別?
嵌入式力矩電機的設(shè)計方法研究
嵌入式系統(tǒng)中的代碼優(yōu)化與壓縮技術(shù)
如何提高嵌入式代碼質(zhì)量?
LDO在嵌入式系統(tǒng)中的應(yīng)用 常見LDO故障及解決方法
新手怎么學(xué)嵌入式?
嵌入式超火的方向有哪些?
嵌入式學(xué)習(xí)建議
嵌入式工控機如何使用?嵌入式工控機操作方法及注意事項
什么是嵌入式?一文讀懂嵌入式主板
嵌入式主板是什么意思?嵌入式主板全面解析
嵌入式開發(fā)常見問題排查

評論