推理因其靈活性而成為邊緣計算的殺手級應(yīng)用。今天，邊緣推理（也稱為邊緣 AI）解決了各個行業(yè)的問題：防止盜竊、發(fā)現(xiàn)疾病和減少農(nóng)田中除草劑的使用。但對許多人來說，管理分布式邊緣服務(wù)器的復(fù)雜性可能會侵蝕業(yè)務(wù)價值。

邊緣人工智能數(shù)據(jù)中心在一個位置上沒有 10000 臺服務(wù)器。它在 10000 個位置有一個或多個服務(wù)器，通常位于沒有物理安全或訓(xùn)練有素的 It 人員的位置。因此，邊緣人工智能服務(wù)器必須安全、有彈性，并且易于大規(guī)模管理。

圖 1 。使用 edge AI 的數(shù)據(jù)中心到云工作流

這就是為什么組織正在轉(zhuǎn)向云本地技術(shù)來管理其邊緣 AI 數(shù)據(jù)中心。

什么是云本機？

定義 Cloud Native 就像一個關(guān)于蒙著眼睛描述大象的笑話。你是在摸象牙、鼻子還是尾巴？

對于 IT 管理員來說，云本機意味著以代碼形式管理基礎(chǔ)設(shè)施。

軟件開發(fā)人員使用云本地工具和技術(shù)來編寫可移植應(yīng)用程序。

IT 主管們擁抱云文化以降低成本并提高效率。

結(jié)合這些觀點， Cloud Native 是一種現(xiàn)代的軟件開發(fā)方法，它使用抽象和自動化來支持可擴展性、可移植性和快速交付。

容器化微服務(wù)是云本地應(yīng)用程序的有效標準。Kubernetes是容器編排的市場領(lǐng)先平臺。它使用 de Clara 動態(tài) API 支持大規(guī)模自動化。

Cloud native 誕生于公共云，但它正在企業(yè)中迅速傳播。 Gartner 預(yù)測，容器編排市場將增長到到 2024 年為 9 。 44 億美元。

云計算基礎(chǔ)（ CNCF ）為生態(tài)系統(tǒng)提供供應(yīng)商中立的治理。 CNCF 策劃并支持開源、云本地軟件項目。 Containerd 、 Prometheus 和 Kubernetes 是 CNCF 維護的熱門項目。

為什么邊緣 AI 使用云計算？

云本機與邊緣計算有何關(guān)聯(lián)？為大規(guī)模公共云構(gòu)建的工具能否使具有一個或兩個節(jié)點的邊緣位置受益？

簡而言之，答案是肯定的。云本機架構(gòu)提供的不僅僅是巨大的可擴展性。它還提供性能、恢復(fù)力和易管理性，這些都是 edge AI 的關(guān)鍵功能。

性能

在過去 15 年中，企業(yè)傾向于使用虛擬機（ VM ）將應(yīng)用程序整合到更少的服務(wù)器上。但是虛擬化開銷會降低應(yīng)用程序性能。

邊緣 AI 偏愛容器。在邊緣，性能是王者。自動駕駛汽車必須在“看到”行人時猛踩剎車。容器以***金屬性能運行。而且許多容器可以共享同一臺服務(wù)器，從而整合應(yīng)用程序，而無需虛擬化帶來的性能開銷。

Kubernetes 還可以通過優(yōu)化工作負載布局來提高邊緣 AI 性能。 CPU 管理策略為特定工作負載隔離 CPU。這減少了上下文切換和緩存未命中。設(shè)備插件框架將加速器（如 GPU 或 FPGA ）暴露在吊艙中。拓撲管理器將 CPU 、內(nèi)存和加速器資源沿 NUMA 域?qū)R，從而減少昂貴的跨 NUMA 流量。

業(yè)務(wù)和管理

邊緣人工智能數(shù)據(jù)中心 MIG ht 跨越數(shù)百個位置。云原生工具支持公共云的大規(guī)?？蓴U展性，管理員可以使用相同的工具來管理邊緣 AI 數(shù)據(jù)中心。

圖 2 。邊緣人工智能數(shù)據(jù)中心的高級體系結(jié)構(gòu)

第一天的操作包括初始部署和測試。 Kubernetes 具有足夠的靈活性，能夠在第一天就支持不同的體系結(jié)構(gòu)。

在一個極端，整個 edge 數(shù)據(jù)中心是一個 Kubernetes 集群。此體系結(jié)構(gòu)需要在集中式 API 端點和遠程工作者之間進行可靠通信。 API 端點通常是基于云的。

在另一個極端，每個邊緣節(jié)點都是一個獨立的集群，并維護自己的控制平面和應(yīng)用程序。這種體系結(jié)構(gòu)適用于間歇性或不可靠的集中式通信。

Kubernetes 還支持集群聯(lián)合。聯(lián)邦集群共享單一的應(yīng)用程序配置源，但在其他方面是獨立的。聯(lián)合適用于松散耦合的邊緣站點。例如，醫(yī)院系統(tǒng)可以聯(lián)合起來共享患者數(shù)據(jù)。

部署第一天之后，邊緣數(shù)據(jù)中心管理將轉(zhuǎn)移到第二天操作。更新、升級和監(jiān)視是第二天的操作。自動化和遠程第二天操作對于缺乏本地支持人員的邊緣位置的穩(wěn)定性和安全性至關(guān)重要。

云本機生態(tài)系統(tǒng)包括許多用于集中觀察的流行工具。Prometheus是一個開源的監(jiān)視和警報工具包。Grafana是一個開源的可觀察性工具，可以在圖形儀表板中顯示數(shù)據(jù)。

軟件生命周期管理也是第二天操作的一個重要方面。修補 VM 映像需要長時間的測試。容器與其依賴項捆綁在一起，并通過穩(wěn)定的接口與內(nèi)核交互。這使 CI / CD 和其他支持邊緣快速變化的云本機實踐成為可能。

應(yīng)用彈性

彈性是指應(yīng)用程序克服問題的能力。這是 cloud native 讓 edge AI 受益的另一個領(lǐng)域。

云本地應(yīng)用程序通常通過擴展提供恢復(fù)能力。同一應(yīng)用程序的多個克隆在負載平衡器后面運行，當克隆失敗時，服務(wù)將繼續(xù)。

這種方法在應(yīng)用程序跨越兩個或多個節(jié)點的邊緣 AI 部署中效果良好。但許多邊緣人工智能數(shù)據(jù)中心每個位置只有一個節(jié)點。

Kubernetes 還支持單節(jié)點上的應(yīng)用程序恢復(fù)能力。容器重啟策略自動重新啟動故障吊艙， Kubelet 可以使用活性探針檢測需要重新啟動的非故障條件。

edge AI 基礎(chǔ)設(shè)施軟件也應(yīng)該具有彈性。Kubernetes 算子模式將基礎(chǔ)設(shè)施管理置于自動駕駛狀態(tài)，自動執(zhí)行人工通常執(zhí)行的任務(wù)。例如，在邊緣節(jié)點上檢測到內(nèi)核升級的 Kubernetes 操作符將自動將節(jié)點的驅(qū)動程序重新編譯為新的內(nèi)核版本。

挑戰(zhàn)

Cloud native 提供了彈性和性能，同時簡化了操作。這些是邊緣 AI 的關(guān)鍵考慮因素。然而，仍有一些領(lǐng)域必須繼續(xù)發(fā)展云計算。

超低延遲邊緣應(yīng)用程序需要更好地了解底層硬件。例如，確定 CPU 中哪個內(nèi)核的延遲最低。容器編排平臺還希望改進多租戶的工作負載隔離。云原生邊緣 AI 的好處和挑戰(zhàn)只是我們在即將到來的虛擬 GTC 人工智能會議十一月會議上探討的邊緣計算主題之一。