本文由TechSugar編譯自electronicdesign

當(dāng)大多數(shù)人想到人工智能（AI）時，他們通常能想到的是能夠生成新文本、圖像或語音內(nèi)容的應(yīng)用。像ChatGPT這樣流行的文本應(yīng)用（在幾天內(nèi)就吸引了超過100萬用戶）在市場上迅速崛起并被廣泛采用。而手機(jī)用戶則經(jīng)常使用語音搜索功能。

這些應(yīng)用有什么共同點(diǎn)呢？它們都依賴于云端來處理AI工作負(fù)載。盡管云端生成式AI的成本高昂，但其具有的幾乎無限的內(nèi)存能力和電力容量意味著基于云的應(yīng)用將繼續(xù)推動這些流行的生成式AI應(yīng)用的發(fā)展。

然而，令許多設(shè)計工程師、嵌入式工程師和數(shù)據(jù)科學(xué)家更為擔(dān)憂的是，邊緣AI應(yīng)用的爆炸式增長。在邊緣設(shè)備上執(zhí)行復(fù)雜的生成式AI任務(wù)帶來了許多新的挑戰(zhàn)，如：

實(shí)時處理需求

嚴(yán)格的成本要求

有限的內(nèi)存資源

緊湊的空間要求

強(qiáng)制性的功耗預(yù)算

挑戰(zhàn)1：實(shí)時處理需求

AI云最大的缺點(diǎn)之一就是在數(shù)據(jù)的發(fā)送和接收過程中存在延遲。對于像ChatGPT這樣的應(yīng)用來說，這并不是問題，因?yàn)橛脩舨粫⒁獾竭@幾秒鐘的延遲，他們可以等待幾秒鐘來完成文本生成。然而，在許多邊緣應(yīng)用中，這種延遲是不可接受的。

例如，在自動駕駛汽車應(yīng)用中，根據(jù)識別到的人和其他車輛等圖像來進(jìn)行轉(zhuǎn)向和制動，做這些攸關(guān)生死的決定至關(guān)重要。等待與云端通信的延遲是完全不可接受的。邊緣AI應(yīng)用必須能夠在數(shù)據(jù)被收集的邊緣位置實(shí)時處理數(shù)據(jù)，以滿足這些對時間敏感應(yīng)用的要求。

挑戰(zhàn)2：嚴(yán)格的成本要求

對于擁有龐大客戶基礎(chǔ)的公司而言，使用昂貴的云解決方案來處理其AI工作負(fù)載，從財務(wù)上而言是合理的。然而，在大多數(shù)邊緣應(yīng)用中，成本是一個關(guān)鍵因素，也是市場上打造具有競爭力產(chǎn)品的關(guān)鍵因素。在合理的成本范圍內(nèi)有效增加生成式AI功能，對AI設(shè)計師和數(shù)據(jù)科學(xué)家來說將是一個挑戰(zhàn)。

例如，在智慧城市應(yīng)用中，雖然希望為攝像頭和電力監(jiān)控系統(tǒng)增加高級功能，但這些功能必須保持在政府緊張的預(yù)算范圍內(nèi)。因此，云方案變得不切實(shí)際。低成本邊緣AI處理是必需的。

挑戰(zhàn)3：有限的內(nèi)存資源

AI云的另一個優(yōu)勢是其具有幾乎無限的內(nèi)存容量，這對于處理像精確文本分析和生成所需的大型數(shù)據(jù)集特別有用。然而，邊緣應(yīng)用并沒有這種奢侈的“條件”，因?yàn)樗鼈兊膬?nèi)存容量受到尺寸、成本和功耗的限制。在這種資源有限的情況下，如何以最大帶寬、高效地利用內(nèi)存對于邊緣應(yīng)用來說變得至關(guān)重要。

挑戰(zhàn)4：緊湊的空間要求

數(shù)據(jù)中心位于寬敞的空間內(nèi)，因此，這些AI應(yīng)用不會像邊緣設(shè)計那樣經(jīng)常遇到空間問題。無論是汽車設(shè)計中的有限儀表板下空間，還是航空航天應(yīng)用中的尺寸和重量考慮，邊緣設(shè)計通常都會遇到實(shí)施AI功能的空間限制。

這些設(shè)計必須滿足對計算和內(nèi)存資源的特定尺寸要求，以便在邊緣高效地處理AI工作負(fù)載。

挑戰(zhàn)5：強(qiáng)制性的功耗預(yù)算

功耗預(yù)算時基于邊緣的設(shè)計所面臨的最終挑戰(zhàn)，可能也是最為關(guān)鍵的。AI云消耗了大量的電力，但由于其可以直接接入電源，所以最終可歸結(jié)為電力成本。

在邊緣AI應(yīng)用中，電力可能很容易獲得。然而，功耗仍然是一個關(guān)鍵因素，因?yàn)樗趹?yīng)用的總體成本中可能占比比較高。在電池供電的邊緣AI應(yīng)用中，功耗的重要性更為突出，因?yàn)楦吖脑O(shè)備會縮短產(chǎn)品的使用壽命，這成為了一個關(guān)鍵考量因素。

解決邊緣AI設(shè)計挑戰(zhàn)的解決方案

因此，問題就變成了：“工程師如何在實(shí)現(xiàn)所需功能的同時，應(yīng)對這些挑戰(zhàn)并開發(fā)出成功的邊緣AI產(chǎn)品？”需要考慮的五個關(guān)鍵點(diǎn)如下：

1. 認(rèn)識到邊緣GPU的局限性

GPU在AI云應(yīng)用中具有許多優(yōu)勢，其特性與AI云應(yīng)用的需求高度契合。GPU具有強(qiáng)大的處理能力，AI云應(yīng)用可以充分利用這一優(yōu)勢，并且GPU能夠很好地滿足實(shí)時處理要求。然而，在考慮將GPU用于邊緣應(yīng)用時，還需要審視使用GPU的弱點(diǎn)。GPU的成本高于AI加速器，通常高出5倍至10倍，因此它們無法滿足邊緣AI的成本要求。GPU通常應(yīng)用于相當(dāng)大的封裝設(shè)備和大盒子中，往往無法滿足邊緣應(yīng)用的尺寸要求。最后，GPU消耗的功率遠(yuǎn)高于典型的AI加速器，也很難實(shí)現(xiàn)功耗預(yù)算。

2. 認(rèn)識到完整軟件解決方案的必要性

從歷史角度來看，許多AI加速器開發(fā)者首先關(guān)注芯片設(shè)計，這是可以理解的。這仍然是高質(zhì)量邊緣AI解決方案的重要組成部分。然而，由于這些解決方案必須創(chuàng)建和修改軟件以適應(yīng)已經(jīng)確定的芯片設(shè)計，因此它們可能無法充分利用高效AI處理的所有可能方面。與過去工程設(shè)計公司中大多數(shù)設(shè)計師專注于硬件不同，現(xiàn)在軟件工程師的數(shù)量遠(yuǎn)遠(yuǎn)超過了硬件設(shè)計師，這使得軟件能力和易用性變得越來越重要。一個出色的整體AI解決方案需要軟件開發(fā)，使芯片能夠盡可能高效地處理AI模型。先設(shè)計軟件，然后再設(shè)計芯片，這樣可以得到最佳的AI解決方案。

3. 輕松集成到現(xiàn)有系統(tǒng)

雖然一些AI設(shè)計可能要從頭開始的，但更多時候，設(shè)計師們試圖將AI功能集成到現(xiàn)有系統(tǒng)中。通過添加AI處理能力，這些現(xiàn)有系統(tǒng)可以在保持相同外觀尺寸的同時，為終端用戶提供更多功能。能夠與當(dāng)前設(shè)計輕松集成的重要性不言而喻。因此，提供對廣泛現(xiàn)有處理器的異構(gòu)支持的AI解決方案將更容易將AI功能添加到現(xiàn)有設(shè)計中。

4. 高效的神經(jīng)網(wǎng)絡(luò)處理

最終，AI解決方案的整體有效性取決于神經(jīng)網(wǎng)絡(luò)能否高效地正確處理AI工作負(fù)載。盡管在眾多供應(yīng)商的方案中進(jìn)行篩選可能頗具挑戰(zhàn)性，但了解AI解決方案“內(nèi)核”的結(jié)構(gòu)和能力至關(guān)重要。我們需要了解模型是如何處理的，實(shí)施了哪些創(chuàng)新來提高處理效率，以及對比特定模型的處理性能。

5. DRAM的容量和帶寬

AI設(shè)計中一個經(jīng)常被忽視的方面是解決方案能夠有效利用內(nèi)存的能力。一些加速器解決方案的片上內(nèi)存有限或根本沒有，這會降低AI處理能力。訪問片外內(nèi)存資源非常耗時，從而會顯著增加延遲。其他解決方案可能具備片上內(nèi)存，但如果DRAM帶寬不夠高，訪問內(nèi)存的延遲也會限制AI處理能力。

尋找合適的邊緣AI解決方案供應(yīng)商

隨著AI從云端向邊緣端遷移，并在各行各業(yè)中得到越來越廣泛的應(yīng)用，嵌入式設(shè)計師正面臨諸多挑戰(zhàn)。選擇能夠支持當(dāng)前和未來邊緣AI解決方案的合適AI硬件供應(yīng)商，對于產(chǎn)品的成功實(shí)施至關(guān)重要。