如今，幾乎所有企業(yè)都開發(fā)或采用應(yīng)用軟件，對發(fā)票、人力資源檔案或產(chǎn)品規(guī)格等信息的處理進行編碼。整個行業(yè)已經(jīng)開始在集中式數(shù)據(jù)中心或云中，以及在商店、工廠和家用電器等邊緣位置部署和執(zhí)行這些企業(yè)應(yīng)用程序。

最近，企業(yè)軟件的性質(zhì)發(fā)生了變化，因為開發(fā)人員現(xiàn)在將人工智能納入了他們的應(yīng)用程序中。根據(jù) Gartner 的數(shù)據(jù)，到 2027 年，深度學習形式的機器學習將包含在超過 65% 的 edge 用例中，而 2021 這一比例還不到 10% *。使用 AI ，您不需要為每個可能的輸入編碼輸出。相反，人工智能模型從訓練數(shù)據(jù)中學習模式，然后將這些模式應(yīng)用于新的輸入。

自然，管理基于 AI 的應(yīng)用程序所需的過程不同于為純粹確定性、基于代碼的應(yīng)用程序而發(fā)展的管理。這是真的，尤其是對于邊緣的基于 AI 的應(yīng)用程序，在這些應(yīng)用程序中，計算資源和網(wǎng)絡(luò)帶寬都很稀缺，并且容易訪問設(shè)備會帶來安全風險。

基于 AI 的應(yīng)用程序受益于新的工具和過程，可以在邊緣安全地部署、管理和擴展。

傳統(tǒng)企業(yè)軟件與邊緣 AI 應(yīng)用程序之間的差異

傳統(tǒng)企業(yè)軟件和邊緣 AI 應(yīng)用程序的設(shè)計和管理方式有四個根本區(qū)別：

集裝箱化

數(shù)據(jù)策略

更新

安全

集裝箱化

虛擬化一直是企業(yè)在世界各地的數(shù)據(jù)中心部署傳統(tǒng)應(yīng)用程序時采用的主要部署和管理工具。對于傳統(tǒng)的應(yīng)用程序和環(huán)境，虛擬化為在虛擬機監(jiān)控程序上運行的這些工作負載提供了結(jié)構(gòu)、管理和安全性。

雖然虛擬化仍在幾乎每個數(shù)據(jù)中心使用，但我們看到容器技術(shù)在人工智能應(yīng)用程序中的廣泛應(yīng)用，尤其是在邊緣。在最近一份關(guān)于 The State of Cloud Native Development 的報告中，云原生計算基金會強調(diào)“……從事邊緣計算的開發(fā)人員對容器和Kubernetes 的使用率最高?！?6%的邊緣AI應(yīng)用程序使用容器，63%使用Kubernetes。

為什么那么多開發(fā)人員在邊緣使用容器來處理 AI 工作負載？

表演

可擴展性

彈性

可移植性

表演

容器虛擬化主機操作系統(tǒng)的內(nèi)核，而在傳統(tǒng)的虛擬化中，虛擬機監(jiān)控程序虛擬化物理硬件，并在每個實例中創(chuàng)建來賓操作系統(tǒng)。這允許容器以完全裸機性能運行，而不是接近裸機性能。這對于許多邊緣 AI 應(yīng)用程序來說是至關(guān)重要的，尤其是那些具有安全相關(guān)用例的應(yīng)用程序，其中響應(yīng)時間以亞毫秒為單位。

容器還可以在同一個系統(tǒng)上運行多個應(yīng)用程序，從而提供整合，而不需要虛擬化的性能開銷。

可擴展性

邊緣 AI “數(shù)據(jù)中心”可能分布在數(shù)百個位置?；谠频墓芾砥脚_為管理員提供了集中管理環(huán)境的工具，這些環(huán)境可以擴展到數(shù)百和數(shù)千個位置。通過利用網(wǎng)絡(luò)和智能軟件進行擴展，而不是讓人員前往每個邊緣位置，可以降低成本、提高效率和恢復(fù)能力。

彈性

AI 應(yīng)用程序通常通過擴展提供彈性。同一應(yīng)用程序的多個克隆在負載平衡器后面運行，當克隆失敗時，服務(wù)將繼續(xù)。

即使邊緣環(huán)境只有一個節(jié)點，容器策略也可以確保應(yīng)用程序自動重新啟動，使停機時間降到最低。

可移植性

將應(yīng)用程序容器化后，可以將其部署在任何基礎(chǔ)設(shè)施上，無論是裸機、虛擬機還是各種公共云上。還可以根據(jù)需要放大或縮小它們。有了容器，應(yīng)用程序可以像在任何云中一樣輕松地在邊緣服務(wù)器上運行。

虛擬機和容器在幾個方面有所不同，但它們是在單個平臺上部署多個獨立服務(wù)的兩種方法。許多供應(yīng)商提供的解決方案同時適用于 Red Hat OpenShift 和 VMware Tanzu 這兩種環(huán)境。

邊緣環(huán)境既有虛擬化，也有容器化，但隨著越來越多的邊緣 AI 工作負載投入生產(chǎn)，預(yù)計將朝著裸機和容器的方向發(fā)展。

數(shù)據(jù)策略

下一個區(qū)別是數(shù)據(jù)在傳統(tǒng)邊緣應(yīng)用程序和邊緣 AI 應(yīng)用程序生命周期中的作用。

傳統(tǒng)的邊緣應(yīng)用程序通常會接收少量結(jié)構(gòu)化數(shù)據(jù)流，如買賣點交易、患者病歷或說明。處理后，應(yīng)用程序會發(fā)回類似的結(jié)構(gòu)化信息流，例如支付授權(quán)、分析結(jié)果或記錄搜索。當數(shù)據(jù)被使用時，它對應(yīng)用程序不再有用。

與傳統(tǒng)應(yīng)用程序不同，人工智能應(yīng)用程序的生命周期超越了分析和推理，包括重新培訓和持續(xù)更新。 AI 應(yīng)用程序從傳感器（通常是攝像頭）傳輸數(shù)據(jù)，并對數(shù)據(jù)進行推斷。一部分數(shù)據(jù)在邊緣位置收集，并共享回集中的數(shù)據(jù)中心或云，以便用于重新培訓應(yīng)用程序。

由于這種對數(shù)據(jù)的依賴可以改進應(yīng)用程序，因此，強大的數(shù)據(jù)策略至關(guān)重要。

從邊緣向數(shù)據(jù)中心或云傳輸數(shù)據(jù)的成本受數(shù)據(jù)大小、網(wǎng)絡(luò)帶寬以及應(yīng)用程序需要更新的頻率的影響。以下是人們在邊緣 AI 應(yīng)用程序中采用的一些不同的數(shù)據(jù)策略：

收集錯誤推論

收集所有數(shù)據(jù)

收集有趣的數(shù)據(jù)

收集錯誤推論

至少，一個組織應(yīng)該收集所有錯誤的推論。當人工智能做出錯誤推斷時，需要識別、重新標記數(shù)據(jù)，并用于重新培訓，以提高模型精度。

然而，如果只使用錯誤的推斷進行再培訓，模型可能會經(jīng)歷一種稱為模型漂移的現(xiàn)象。

收集所有數(shù)據(jù)

選擇將其所有數(shù)據(jù)發(fā)送到中央存儲庫的組織通常會遇到帶寬和延遲不是限制因素的情況。這些組織使用這些數(shù)據(jù)重新培訓或調(diào)整并構(gòu)建新模型。或者，他們也可以將其用于批量數(shù)據(jù)處理，以收集不同的見解。

收集所有數(shù)據(jù)的好處是可以利用巨大的數(shù)據(jù)池。缺點是它的成本非常高。通常，移動那么多數(shù)據(jù)甚至都不可行。

收集有趣的數(shù)據(jù)

這是數(shù)據(jù)收集的最佳點，因為它平衡了對有價值數(shù)據(jù)的需求與傳輸和存儲數(shù)據(jù)的成本。

有趣的數(shù)據(jù)可以包含組織預(yù)期對其當前或未來模型或數(shù)據(jù)分析項目有價值的任何數(shù)據(jù)。例如，對于自動駕駛汽車，從天氣相似的相同街道收集的大多數(shù)數(shù)據(jù)不會顯著改變模型的訓練。然而，如果正在下雪，這些數(shù)據(jù)將有助于發(fā)送回中央存儲庫，因為它可以改進極端天氣下駕駛的模型。

更新

傳統(tǒng) edge 軟件的功能內(nèi)容是通過代碼傳遞的。開發(fā)人員編寫并編譯在邊緣設(shè)備上執(zhí)行的指令序列。任何管理和編排平臺都必須適應(yīng)軟件的更新，以修復(fù)缺陷、添加功能和修復(fù)漏洞。

開發(fā)團隊通常每月、每季度或每年發(fā)布新代碼，但并不是每個新版本都會立即推送到邊緣系統(tǒng)。相反， IT 團隊傾向于等待大量更新，只有在必要時才進行更實質(zhì)性的更新。

相反， Edge AI 應(yīng)用程序遵循不同的軟件生命周期，該生命周期以 AI 模型的培訓和再培訓為中心。每次模型更新都有可能提高準確性和精度，或增加或調(diào)整功能。模型更新的頻率越高，它就變得越準確，從而為組織提供額外的價值。

例如，如果一個檢驗 AI 應(yīng)用程序的準確率從 75% 提高到 80% ，那么該組織會發(fā)現(xiàn)遺漏的缺陷更少，從而提高產(chǎn)品質(zhì)量。此外，更少的誤報導(dǎo)致更少的產(chǎn)品浪費。

?

圖 1 ：。典型邊緣 AI 解決方案的生命周期

在圖 1 中，步驟 5 和 6 詳細說明了再培訓過程，這對于更新模型至關(guān)重要。

部署邊緣人工智能解決方案的組織應(yīng)該經(jīng)常更新模型。通過從一開始就通過容器等云本地部署實踐構(gòu)建再培訓流程，并實施強大的數(shù)據(jù)戰(zhàn)略，組織可以開發(fā)可持續(xù)的 edge AI 解決方案。

安全

對于許多 IT 團隊來說，邊緣計算代表著安全范式的巨大轉(zhuǎn)變。在 castle and moat 網(wǎng)絡(luò)安全模型中，網(wǎng)絡(luò)外部沒有人能夠訪問內(nèi)部數(shù)據(jù)，但網(wǎng)絡(luò)內(nèi)部的每個人都可以訪問。相反，邊緣環(huán)境本質(zhì)上是不安全的，因為幾乎每個人都有物理訪問權(quán)限。

邊緣人工智能應(yīng)用程序加劇了這一問題，因為它們是使用價值極高的企業(yè)知識產(chǎn)權(quán)構(gòu)建的，而企業(yè)知識產(chǎn)權(quán)是企業(yè)的生命線。它代表了允許企業(yè)差異化的競爭優(yōu)勢，是其功能的核心。

雖然安全性對所有應(yīng)用程序都很重要，但在使用 AI 應(yīng)用程序時，提高邊緣的安全性也很重要。有關(guān)更多信息，請參閱 邊緣計算：安全架構(gòu)師的考慮事項 。

人身安全

數(shù)據(jù)隱私

企業(yè)知識產(chǎn)權(quán)

訪問控制

人身安全

由于邊緣設(shè)備位于物理數(shù)據(jù)中心之外，因此邊緣計算站點的設(shè)計必須假定惡意參與者可以物理訪問計算機。為了應(yīng)對這種情況，可以采用物理篡改檢測和安全引導(dǎo)等技術(shù)，作為額外的安全檢查。

數(shù)據(jù)隱私

Edge AI 應(yīng)用程序通常存儲真實世界的數(shù)據(jù)，如語音和圖像，這些數(shù)據(jù)傳達了有關(guān)人們生活和身份的高度隱私信息。 Edge AI 開發(fā)人員肩負著保護此類私人數(shù)據(jù)寶庫的責任，以維護其用戶的信任并遵守法規(guī)。

企業(yè)知識產(chǎn)權(quán)

推理引擎結(jié)合了對大量專有數(shù)據(jù)的學習以及機器學習團隊的專業(yè)知識和工作。將這些推理機的控制權(quán)交給競爭對手可能會極大地削弱公司在市場上的競爭力。

訪問控制

由于這些環(huán)境的分布式特性，幾乎可以保證有人需要遠程訪問它們。實時（ JIT ）訪問是一種策略，用于確保向人員授予在有限時間內(nèi)完成任務(wù)所需的最低權(quán)限。

設(shè)計邊緣 AI 環(huán)境

隨著企業(yè)從部署傳統(tǒng)企業(yè)應(yīng)用程序轉(zhuǎn)向邊緣 AI 應(yīng)用程序，維護支持傳統(tǒng)應(yīng)用程序的相同基礎(chǔ)架構(gòu)并不是一個可擴展的解決方案。

對于成功的 edge AI 應(yīng)用程序，更新組織的部署方法、數(shù)據(jù)策略、更新節(jié)奏和安全策略非常重要。

NVIDIA 提供的軟件可幫助企業(yè)在任何地方開發(fā)、部署和管理其 AI 應(yīng)用程序。

例如，幫助組織跨我們創(chuàng)建的分布式位置管理和部署多個 AI 工作負載 NVIDIA Fleet Command ，一個用于容器編排的托管平臺，可優(yōu)化邊緣系統(tǒng)和 AI 應(yīng)用程序的供應(yīng)和部署。

為了幫助企業(yè)快速起步，我們創(chuàng)建了 NVIDIA LaunchPad ，這是一個免費的程序，提供對必要硬件和軟件堆棧的即時、短期訪問，以體驗端到端解決方案工作流，例如構(gòu)建和部署 AI 應(yīng)用程序。

關(guān)于作者

Tiffany Yeung 是 NVIDIA Edge 和企業(yè)計算解決方案的產(chǎn)品營銷經(jīng)理。 Tiffany 專注于利用 NVIDIA 邊緣解決方案使醫(yī)院、商店、倉庫、工廠等實現(xiàn)創(chuàng)新。在 NVIDIA 之前， Tiffany 的背景是創(chuàng)業(yè)，她曾為許多財富 500 強公司提供咨詢。

審核編輯：郭婷