隨著越來越多的不同應(yīng)用對AI處理的需求增長，包括在消費級和企業(yè)級設(shè)備中對低功耗芯片應(yīng)用的廣泛需求，邊緣AI推斷正受到越來越多的關(guān)注。大部分注意力都集中在優(yōu)化這些較小部件的神經(jīng)網(wǎng)絡(luò)處理引擎及其運行所需的模型上，但優(yōu)化在許多情況下具有更廣泛的意義。在圖像識別用例中，圖像必須來自某個地方，通常來自具有MIPI接口的傳感器。因此，Perceive公司將來自Mixel的低功耗MIPI D-PHY IP集成到最新的Ergo 2 Edge AI處理器上，為AI推理帶來片上圖像是有道理的。

分辨率和幀速率呈上升趨勢

人工智能處理器已經(jīng)得到了增強，6現(xiàn)在可以通過高分辨率傳感器以較高的幀速率處理更大的圖像。能夠在場景實時變化之前快速推斷和做出決定是至關(guān)重要的。鑒于此，Ergo 2中的圖像處理模塊受到了極大重視。

Ergo 2 Edge AI處理器系統(tǒng)示意圖，由Perceive提供

具有大量像素的大圖像對設(shè)備開發(fā)人員來說是一個巨大的挑戰(zhàn)。在某種意義上，圖像識別這一說法并不恰當(dāng)。AI推理增加價值的大多數(shù)用例都要求查看一個感興趣的區(qū)域，或者其中的幾個區(qū)域，其中相對較少的像素包裹在一個充滿大多數(shù)無趣像素的大得多的圖像中。更快更準(zhǔn)確地發(fā)現(xiàn)那些感興趣的區(qū)域?qū)Q定應(yīng)用程序的運行狀況。

Ergo 2圖像處理單元具有雙重同時管道，可以隔離感興趣的像素，使AI模型更容易處理感知。第一個管道支持4個感興趣的區(qū)域，最大圖像大小為4672 x 3506像素，每秒24幀(fps)。第二個管道可以以60 fps的速度在2048 x 1536像素的圖像中瞄準(zhǔn)單個區(qū)域。IPU還可以處理圖像范圍內(nèi)的任務(wù)，如縮放、范圍壓縮、旋轉(zhuǎn)、失真和鏡頭陰影校正等。

丟失的幀會影響感知

在這些快速、高分辨率的圖像中，過多的噪聲或抖動會由于數(shù)據(jù)錯誤而導(dǎo)致幀丟失。圖像流中丟失的幀可能會影響推斷操作的準(zhǔn)確性，導(dǎo)致錯過或不正確的感知。在具有挑戰(zhàn)性的環(huán)境中，可靠的圖像傳輸是在邊緣進行準(zhǔn)確感知的必要條件。

Mixel MIPI D-PHY IP的一個典型特征是其時鐘轉(zhuǎn)發(fā)同步鏈路，提供高抗干擾性和高抖動容忍度。在Ergo 2中，有三種不同的MIPI IP解決方案在工作:四通道CSI-2 TX、兩通道CSI-2 RX和四通道CSI-2 RX。每個IP塊集成了一個發(fā)射器或接收器和一個32位的CSI-2控制器核心。鏈接速度高達2.5 Gbps，下面是典型的眼圖。

第一步成功與否是關(guān)鍵

在大型SoC中出現(xiàn)缺陷是很嚴(yán)重的，重新設(shè)計可能代價非常高。然而，更大的SoC項目往往有更大的設(shè)計團隊，更長的時間表和更高的預(yù)算。在一個較小的芯片上，一個失敗可以扼殺一個項目，調(diào)試和重新啟動的成本迅速上升到超過最初的開發(fā)成本。

盡管在半導(dǎo)體行業(yè)中，首次成功并不是必然的，但Perceive能夠通過Mixel IP實現(xiàn)這一目標(biāo)。Mixel支持Perceive的合規(guī)性測試，使完整的集成設(shè)計能夠在SoC轉(zhuǎn)向大批量生產(chǎn)之前承受嚴(yán)格的MIPI接口表征。Mixel MIPI D-PHY IP包含驅(qū)動前和驅(qū)動后環(huán)回和內(nèi)置的自檢功能，用于測試發(fā)送和接收接口。

Perceive集成Mixel的MIPI D-PHY IP的結(jié)果是達到了Ergo 2的功率、性能和成本目標(biāo)。反過來，Perceive的客戶可以在更小的、功耗有限的設(shè)備上實現(xiàn)Ergo 2，其中電池壽命是一個關(guān)鍵指標(biāo)，但AI推理性能必須不受影響。這是一個很好的例子，通過精心設(shè)計的集成，將圖像放在芯片上用于AI推理，有助于在小系統(tǒng)級別上節(jié)省成本。

審核編輯 ：李倩