電子發(fā)燒友網(wǎng)>電子資料下載>電子資料>使用 FPGA 快速路徑構(gòu)建高性能、高能效的邊緣 AI 應(yīng)用

使用 FPGA 快速路徑構(gòu)建高性能、高能效的邊緣 AI 應(yīng)用

2512857 2022-11-24 | pdf | 439.27KB | 次下載 | 免費(fèi)

資料介紹

希望在邊緣推理處理器上實(shí)施人工智能 (AI) 算法的設(shè)計(jì)人員一直面臨著降低功耗和縮短開發(fā)時(shí)間的壓力，即使處理需求在增加。現(xiàn)場(chǎng)可編程門陣列 (FPGA) 為實(shí)現(xiàn)邊緣 AI 所需的神經(jīng)網(wǎng)絡(luò) (NN) 推理引擎提供了一種特別有效的速度和功率效率組合。然而，對(duì)于不熟悉 FPGA 的開發(fā)人員來說，傳統(tǒng)的 FPGA 開發(fā)方法可能看起來很復(fù)雜，常常導(dǎo)致開發(fā)人員轉(zhuǎn)向不太理想的解決方案。希望在邊緣推理處理器上實(shí)施人工智能 (AI) 算法的設(shè)計(jì)人員一直面臨著降低功耗和縮短開發(fā)時(shí)間的壓力，即使處理需求在增加。現(xiàn)場(chǎng)可編程門陣列 (FPGA) 為實(shí)現(xiàn)邊緣 AI 所需的神經(jīng)網(wǎng)絡(luò) (NN) 推理引擎提供了一種特別有效的速度和功率效率組合。然而，對(duì)于不熟悉 FPGA 的開發(fā)人員來說，傳統(tǒng)的 FPGA 開發(fā)方法可能看起來很復(fù)雜，常常導(dǎo)致開發(fā)人員轉(zhuǎn)向不太理想的解決方案。本文介紹了本文介紹了Microchip TechnologyMicrochip Technology的一種更簡(jiǎn)單的方法，它讓開發(fā)人員繞過傳統(tǒng)的 FPGA 開發(fā)，使用 FPGA 和軟件開發(fā)工具包 (SDK) 創(chuàng)建經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，或者使用基于 FPGA 的視頻工具包立即進(jìn)入智能嵌入式視覺應(yīng)用程序開發(fā)。的一種更簡(jiǎn)單的方法，它讓開發(fā)人員繞過傳統(tǒng)的 FPGA 開發(fā)，使用 FPGA 和軟件開發(fā)工具包 (SDK) 創(chuàng)建經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，或者使用基于 FPGA 的視頻工具包立即進(jìn)入智能嵌入式視覺應(yīng)用程序開發(fā)。為什么要在邊緣使用 AI？為什么要在邊緣使用 AI？邊緣計(jì)算為工業(yè)自動(dòng)化、安全系統(tǒng)、智能家居等不同領(lǐng)域的物聯(lián)網(wǎng) (IoT) 應(yīng)用程序帶來了許多好處。在以工廠車間為目標(biāo)的工業(yè)物聯(lián)網(wǎng) (IIoT) 應(yīng)用程序中，邊緣計(jì)算可以通過消除基于云的應(yīng)用程序的往返延遲來顯著縮短過程控制循環(huán)中的響應(yīng)時(shí)間。同樣，基于邊緣的安全系統(tǒng)或智能家居門鎖即使在與云的連接意外或有意斷開時(shí)也能繼續(xù)發(fā)揮作用。在許多情況下，在任何這些應(yīng)用程序中使用邊緣計(jì)算都可以通過減少產(chǎn)品對(duì)云資源的依賴來幫助降低總體運(yùn)營(yíng)成本。而不是隨著對(duì)其產(chǎn)品的需求增加而面臨對(duì)額外昂貴的云資源的意外需求，邊緣計(jì)算為工業(yè)自動(dòng)化、安全系統(tǒng)、智能家居等不同領(lǐng)域的物聯(lián)網(wǎng) (IoT) 應(yīng)用程序帶來了許多好處。在以工廠車間為目標(biāo)的工業(yè)物聯(lián)網(wǎng) (IIoT) 應(yīng)用程序中，邊緣計(jì)算可以通過消除基于云的應(yīng)用程序的往返延遲來顯著縮短過程控制循環(huán)中的響應(yīng)時(shí)間。同樣，基于邊緣的安全系統(tǒng)或智能家居門鎖即使在與云的連接意外或有意斷開時(shí)也能繼續(xù)發(fā)揮作用。在許多情況下，在任何這些應(yīng)用程序中使用邊緣計(jì)算都可以通過減少產(chǎn)品對(duì)云資源的依賴來幫助降低總體運(yùn)營(yíng)成本。而不是隨著對(duì)其產(chǎn)品的需求增加而面臨對(duì)額外昂貴的云資源的意外需求，對(duì)機(jī)器學(xué)習(xí) (ML) 推理模型的快速接受和不斷增長(zhǎng)的需求極大地放大了邊緣計(jì)算的重要性。對(duì)于開發(fā)人員而言，推理模型的本地處理有助于減少基于云的推理所需的響應(yīng)延遲和云資源成本。對(duì)于用戶而言，使用本地推理模型可以增加他們的產(chǎn)品將繼續(xù)運(yùn)行的信心，盡管互聯(lián)網(wǎng)連接偶爾會(huì)中斷或產(chǎn)品供應(yīng)商的基于云的產(chǎn)品發(fā)生變化。此外，對(duì)安全和隱私的擔(dān)憂會(huì)進(jìn)一步推動(dòng)對(duì)本地處理和推理的需求，以限制通過公共互聯(lián)網(wǎng)傳輸?shù)皆贫说拿舾?a target='_blank' class='arckwlink_none'>信息量。對(duì)機(jī)器學(xué)習(xí) (ML) 推理模型的快速接受和不斷增長(zhǎng)的需求極大地放大了邊緣計(jì)算的重要性。對(duì)于開發(fā)人員而言，推理模型的本地處理有助于減少基于云的推理所需的響應(yīng)延遲和云資源成本。對(duì)于用戶而言，使用本地推理模型可以增加他們的產(chǎn)品將繼續(xù)運(yùn)行的信心，盡管互聯(lián)網(wǎng)連接偶爾會(huì)中斷或產(chǎn)品供應(yīng)商的基于云的產(chǎn)品發(fā)生變化。此外，對(duì)安全和隱私的擔(dān)憂會(huì)進(jìn)一步推動(dòng)對(duì)本地處理和推理的需求，以限制通過公共互聯(lián)網(wǎng)傳輸?shù)皆贫说拿舾行畔⒘俊?/font>開發(fā)用于基于視覺的對(duì)象檢測(cè)的神經(jīng)網(wǎng)絡(luò)推理模型是一個(gè)從模型訓(xùn)練開始的多步驟過程，通常使用公開可用的標(biāo)記圖像或自定義標(biāo)記圖像在 ML 框架（例如 TensorFlow）上執(zhí)行。由于處理需求，模型訓(xùn)練通常使用云端或其他高性能計(jì)算平臺(tái)中的圖形處理單元 (GPU) 執(zhí)行。訓(xùn)練完成后，模型將轉(zhuǎn)換為能夠在邊緣或霧計(jì)算資源上運(yùn)行的推理模型，并將推理結(jié)果作為一組對(duì)象類別概率提供（圖 1）。開發(fā)用于基于視覺的對(duì)象檢測(cè)的神經(jīng)網(wǎng)絡(luò)推理模型是一個(gè)從模型訓(xùn)練開始的多步驟過程，通常使用公開可用的標(biāo)記圖像或自定義標(biāo)記圖像在 ML 框架（例如 TensorFlow）上執(zhí)行。由于處理需求，模型訓(xùn)練通常使用云端或其他高性能計(jì)算平臺(tái)中的圖形處理單元 (GPU) 執(zhí)行。訓(xùn)練完成后，模型將轉(zhuǎn)換為能夠在邊緣或霧計(jì)算資源上運(yùn)行的推理模型，并將推理結(jié)果作為一組對(duì)象類別概率提供（圖 1）。圖 1：為邊緣 AI 實(shí)施推理模型位于需要使用可用或自定義訓(xùn)練數(shù)據(jù)在框架上訓(xùn)練和優(yōu)化神經(jīng)網(wǎng)絡(luò)的多步驟過程的最后。（圖片來源：微芯科技）圖 1：為邊緣 AI 實(shí)施推理模型位于需要使用可用或自定義訓(xùn)練數(shù)據(jù)在框架上訓(xùn)練和優(yōu)化神經(jīng)網(wǎng)絡(luò)的多步驟過程的最后。（圖片來源：微芯科技）