每個人都喜歡談論邊緣AI，但卻不提AI與嵌入式世界之間長期存在的鴻溝。邊緣AI設(shè)計人員陷入了無休止的“優(yōu)化”循環(huán)中，他們不得不在硬件上調(diào)整神經(jīng)網(wǎng)絡(luò)模型并達到可接受的精度。他們急需工具來減負。這關(guān)系到邊緣AI部署的規(guī)模。

Eta Compute的CEO Evan Petridis最近表示：“如今，邊緣AI正處于‘這個令人不安的路口’。邊緣AI橫跨兩個領(lǐng)域，機器學習（ML）和嵌入式。這兩個截然不同的領(lǐng)域既沒有相同的語言，也沒有相同的設(shè)計理念。”

最明顯的差距在于技術(shù)和產(chǎn)品開發(fā)的速度。ML的發(fā)展速度是普通硬件設(shè)計人員從未見過的。另一方面，嵌入式領(lǐng)域的芯片會隨著時間的推移而不斷演進，其產(chǎn)品開發(fā)速度要穩(wěn)定得多、保守得多。

最令嵌入式社區(qū)感到不安的是，兩個領(lǐng)域的專家對其設(shè)計和工程嚴謹性的看法大相徑庭。

數(shù)據(jù)科學家開發(fā)的神經(jīng)網(wǎng)絡(luò)模型都是統(tǒng)計性的。Petridis說：“因此，當他們能讓一個模型正確工作時，例如92%，他們就認為自己贏了。然而，在傳統(tǒng)的嵌入式世界中，如果你犯了一個錯誤，你交付的東西在100%不能正常工作，你會遇到巨大的經(jīng)濟問題……運營問題是巨大的?！?/p>

Petridis說，結(jié)果就是“文化沖突、領(lǐng)域知識沖突和開發(fā)周期沖突”。他認為這種沖突可能會“極大地阻礙邊緣AI產(chǎn)品的部署”。

Aptos

Eta Compute剛剛推出了一款名為Aptos的云端軟件平臺，這標志著該公司業(yè)務模式的又一次轉(zhuǎn)折。Eta Compute于2015年作為一家AI芯片初創(chuàng)公司起步，然后在2020年底成為一家軟件IP供應商?，F(xiàn)在，它是一家SaaS平臺公司。

Eta Compute的轉(zhuǎn)型反映了仍處于萌芽期的邊緣AI市場的磨合期陣痛，也反映了許多AI硬件初創(chuàng)公司在尋找最終創(chuàng)收點時的掙扎。

Eta Compute解釋說：“Aptos是一個新的基于網(wǎng)絡(luò)的平臺，它帶來了對嵌入式系統(tǒng)領(lǐng)域的理解，包括所選芯片的軟件和芯片的AI能力和局限性?！痹摴韭暦Q，其基于網(wǎng)絡(luò)的工具鏈“可以簡化邊緣ML的模型開發(fā)、部署和管理的整個流程周期”。

Petridis總結(jié)道，“我們希望打造一款處于嵌入式和ML領(lǐng)域交匯點的工具?！?/p>

不過，Eta Compute并不是第一個開發(fā)旨在連接嵌入式和AI領(lǐng)域的工具的公司。Edge Impulse成立于2019年，聲稱其工具集“讓嵌入式ML應用的構(gòu)建、部署和擴展過程變得更簡單、更快速”。

Edge Impulse更專注于“漏斗的頂部”，讓硬件公司“輕松上手”，而Petridis則認為，Eta Compute的Aptos將滿足系統(tǒng)設(shè)計人員深入挖掘和開發(fā)“值得生產(chǎn)的edge AI模型”的需求。

邊緣AI市場的格局

這兩家公司的工具的潛在市場似乎都很大，因為邊緣AI是人人都在拼命搶奪和快速增長的細分市場。當然，AI加速器初創(chuàng)公司和AI推理SoC設(shè)計公司都寄希望于邊緣技術(shù)，以便在嵌入式市場中占據(jù)有意義的份額，因為Nvidia還沒有像在數(shù)據(jù)中心那樣占據(jù)主導地位。

包括ST、Renesas和NXP在內(nèi)的傳統(tǒng)MCU公司也在努力將AI納入其產(chǎn)品組合。

例如，Silicon Labs周二發(fā)布了一款名為Series 3的嵌入式IoT平臺，內(nèi)置AI/ML引擎。Silicon Labs的CTO Daniel Cooley說：“有了更多的內(nèi)存和算力，我們的ML能力或矢量計算能力將比現(xiàn)在提高100倍?！?/p>

Silicon Labs在過去15年中對經(jīng)典MCU已經(jīng)進行了全面的“重新思考”，Cooley說，“這些MCU從一開始就連接在一起，它們將為ML帶來更多的算力?！彼A測，ML將“在嵌入式領(lǐng)域變得更加有趣……就像在數(shù)據(jù)中心、移動和汽車領(lǐng)域一樣”。

盡管如此，邊緣AI項目的實際投產(chǎn)率卻低得令人沮喪。

Eta Compute自身在邊緣AI市場的經(jīng)驗告訴該公司，盡管進行了大量實驗、原型和PoC，但邊緣AI產(chǎn)品根本沒有得到批量部署。早在Petridis加入之前，這就是Eta Compute的大問題，盡管它擁有專為超低功耗AIoT應用而優(yōu)化的異構(gòu)多核SoC。

部署延遲不僅困擾著Eta Compute，也困擾著所有AI芯片公司。

拓展問題的根源

IDC將擴展問題歸咎于“成本（即硬件加速器和計算資源）、缺乏熟練人員、缺乏ML操作工具和技術(shù)、缺乏足夠的數(shù)據(jù)量和數(shù)據(jù)質(zhì)量，以及信任和治理問題”等。

對于邊緣AI開發(fā)人員來說，基本的擴展問題可歸結(jié)為三個因素：需要手工制作AI模型以實現(xiàn)準確性、數(shù)據(jù)科學家和硬件設(shè)計人員之間的不斷來回循環(huán)，以及邊緣AI應用的碎片化性質(zhì)。

雖然AI芯片公司通常都配備了自己的編譯器，但在ML優(yōu)化方面卻面臨著困難。為了保留功能，編譯器通常會降低表示法，例如從C語言到匯編語言，或從行為RTL到結(jié)構(gòu)RTL。

ML推理IP公司Quadric的CMO Steve Roddy解釋說，但對于ML優(yōu)化而言，編譯器并不能完成這項工作，因為“你實際上是在刪除東西”?！肮ぞ哝湆嶋H上是在告訴數(shù)據(jù)科學家，嘿，你的行李中有很多多余的東西，你真的不需要了?！盧oddy將這種窘境比作帶著超重行李出現(xiàn)在機場，雖然預訂的是廉價航空的機票。

Roddy說：“因為所有東西都必須裝進隨身行李，所以我打開你的行李，開始把你所有的衣服都扔出來?！?/p>

這實際上就是數(shù)據(jù)科學家建立一個極其復雜的神經(jīng)網(wǎng)絡(luò)模型時發(fā)生的情況。ML中的剪枝、稀疏性或量化任務“與標準編譯器的工作截然不同”。

但是，從我的行李中取出衣服是誰的工作呢？

Roddy解釋說，通常是嵌入式人員和數(shù)據(jù)科學家。有些公司有“數(shù)據(jù)工程師”或“ML工程師”，專門負責填補空白。

Petridis喜歡行李箱的比喻。

但他補充說，ML優(yōu)化涉及的參數(shù)超出了體積縮小的范圍，可能會重塑模型。“ML的多維性可能會把你的包變成一個極其奇怪的形狀，甚至會像一個星形包。”

Petridis說，考慮一下特定的神經(jīng)網(wǎng)絡(luò)操作?！澳憧梢栽?a target="_blank">Arm內(nèi)核上運行它，或者如果你有加速器和 NPU，這可能有助于將運行速度提高20倍或50倍。但這不如通用CPU靈活?！?/p>

Petridis說，鑒于硬件和軟件性能存在諸多變數(shù)，優(yōu)化變得“星羅棋布”。他指出，人們通常很難跟蹤工藝優(yōu)化中的所有變量。有“一小撮人，通常是芯片公司的人，他們通過研究特定的架構(gòu)成長起來，并開發(fā)出了一套特定的啟發(fā)式方法，讓你知道如何繪制出東西”。這種優(yōu)化方式可能對某個項目有效，但如果讓AI芯片公司只追求特定的邊緣AI項目，而不去擴展，那就會釀成大禍。

有了Aptos，Eta Compute就可以省去數(shù)據(jù)科學、神經(jīng)網(wǎng)絡(luò)模型和復雜映射方面的人工雕琢。Petrides解釋說，它應用ML來發(fā)現(xiàn)芯片性能、剖析芯片并抽象硬件。

當他在2021年加入Eta Compute時，“我們圍繞著構(gòu)建正確的軟件基礎(chǔ)設(shè)施這一主張重塑了公司”，以支持邊緣AI。Petrides解釋說，Eta Compute不再是一家芯片公司，而是加強了ML工程，將60%的專家投入ML，三分之一的專家投入嵌入式系統(tǒng)。

贏得嵌入式工程師的信任

Eta Compute設(shè)計的Aptos將來回優(yōu)化過程簡化為一個步驟。

Petridis說：“我們通過對硬件進行抽象來實現(xiàn)這一點。我們讓它足夠準確，這樣嵌入式工程師就可以相信它了。最后，Aptos提供了一個模型，例如，在一個特定的芯片上實現(xiàn)了90%的準確率，運行時間為17毫秒，耗電量為1.1毫焦?！盤etridis強調(diào)說：“這不是估計、猜測或近似值。這是測量值。因此，如果你把這個模型集成到你的軟件模型中，并在你的系統(tǒng)上運行，你將得到完全相同的結(jié)果?！?/p>

從本質(zhì)上講，Eta Compute聲稱Aptos可以從嵌入式AI系統(tǒng)目前使用的任何架構(gòu)中提取最大容量。Petridis說：“這并不神奇，因為我們的方法是使用供應商的工具，深入到他們的編譯器內(nèi)部，因為編譯器希望以某種方式分配任務。”

據(jù)Petridis稱，剛推出的Aptos仍處于測試階段，只有少數(shù)人參加了其早期訪問計劃。

ML和嵌入式社區(qū)之間的鴻溝既廣又深。包括Eta Compute和Edge Impulse在內(nèi)的越來越多的供應商認為，軟件基礎(chǔ)設(shè)施的不足阻礙了商業(yè)邊緣AI產(chǎn)品潛在的爆炸性增長。






審核編輯：劉清