這項邊緣計算基礎(chǔ)設(shè)施計劃高調(diào)起步，目前已在其基于 NVIDIA EGX 的系統(tǒng)上實現(xiàn)數(shù)十種 AI 用途，這些系統(tǒng)由 Triton 推理服務(wù)器管理。

2019 年，美國郵政總局 （USPS） 每天需要識別和跟蹤超過 1 億封郵件。

USPS 的 AI 架構(gòu)師 Ryan Simpson 提出了一個想法。他希望將郵政團(tuán)隊正在開發(fā)的一個圖像分析系統(tǒng)擴(kuò)展到更廣泛的領(lǐng)域，以解決這個大海撈針的問題。

他認(rèn)為如果將邊緣 AI 服務(wù)器戰(zhàn)略性地部署在其處理中心，USPS 便能夠分析每個中心生成的數(shù)十億張圖像。分析結(jié)果（以幾個關(guān)鍵數(shù)據(jù)點表示）可以通過網(wǎng)絡(luò)快速分享。

這位數(shù)據(jù)科學(xué)家和來自 NVIDIA 的六位架構(gòu)師以及其他人設(shè)計了在為期三周的開發(fā)周期中所需的深度學(xué)習(xí)模型，這個開發(fā)周期就像是一場漫長的黑客馬拉松。這項工作是邊緣計算基礎(chǔ)設(shè)施計劃 （ECIP） 的開端，該計劃是一個分布式邊緣 AI 系統(tǒng)，目前正在 USPS 的 NVIDIA EGX 平臺運行。

邊緣AI平臺

事實證明，邊緣 AI 能夠?qū)崿F(xiàn)不錯的性能。ECIP 已在運行另一款類似自動眼睛的應(yīng)用程序，用于跟蹤各種業(yè)務(wù)需求的物品。

負(fù)責(zé)監(jiān)管各個系統(tǒng)（包括 ECIP）的經(jīng)理 Todd Schimmel 表示：“過去需要八到十個人花上幾天才能找到包裹，現(xiàn)在只需一兩個人幾個小時就能分揀好?！盓CIP 使用的是慧與（HPE）的 NVIDIA 認(rèn)證邊緣服務(wù)器。

另一項分析更能說明問題。該分析表明，在擁有 800 個 CPU 的服務(wù)器網(wǎng)絡(luò)上需要兩周時間完成的一項計算機(jī)視覺任務(wù)，而基于一臺 HPE Apollo 6500 服務(wù)器上的 4 個 NVIDIA V100 Tensor Core GPU，只需 20 分鐘就能完成。

如今，每個邊緣服務(wù)器每天可以處理來自 1000 多臺郵件處理機(jī)器的 20 TB 圖像。NVIDIA 開源軟件 Triton 推理服務(wù)器充當(dāng)數(shù)字郵遞員，可以根據(jù) 195 個系統(tǒng)的需求和適合方式，分別提供 AI 模型。

適用于邊緣的新一代應(yīng)用程序

USPS 提出了適用于 ECIP 的新一代應(yīng)用程序的需求，該應(yīng)用程序使用光學(xué)字符識別 （OCR） 來簡化其成像工作流程。

“過去，我們會購買新的硬件、軟件，即 OCR 的整個基礎(chǔ)設(shè)施；或者使用公共云服務(wù)，我們必須將圖像傳輸至云端，這需要大量的帶寬，而且上傳大約 10 億張圖像會花費大量成本?！盨chimmel 說。

現(xiàn)如今，新的 OCR 用例將在由 Kubernetes 管理、Triton 提供服務(wù)的 ECIP 容器內(nèi)作為深度學(xué)習(xí)模型運行。

借助這個系統(tǒng)軟件，ECIP 在疫情最初幾周順利完成了初始部署。運營商準(zhǔn)備好容器，讓首批系統(tǒng)開始運行，同時交付其他系統(tǒng)，并在安裝各個節(jié)點的完整網(wǎng)絡(luò)時更新這些系統(tǒng)。

Schimmel 表示：“部署非常順利?！彪S后又補充道：“我們在 2019 年 9 月簽訂合同，2020 年 2 月開始部署系統(tǒng)，到 8 月完成了大部分硬件部署，USPS 對此很滿意?！?/p>

Triton加快模型交付

作為 ECIP 計劃中軟件的一部分，Triton 可以自動將不同的 AI 模型交付到不同系統(tǒng)，這些系統(tǒng)可能擁有不同版本的 GPU 和 CPU，支持不同的深度學(xué)習(xí)框架。這為邊緣 AI 系統(tǒng)節(jié)省了大量時間，例如擁有近 200 臺分布式服務(wù)器的 ECIP 網(wǎng)絡(luò)。

一個檢查郵件的應(yīng)用程序需要 6 個以上的深度學(xué)習(xí)模型支持，每個模型負(fù)責(zé)檢查特定功能。此外，運營商還期望借助更多的模型來增強(qiáng)應(yīng)用程序，從而在未來實現(xiàn)更多功能。

Schimmel 表示：“我們目前部署的模型有助于管理郵件和郵政服務(wù)，這有助于我們維護(hù)使命?！?/p>

一批邊緣AI應(yīng)用程序

目前為止，從企業(yè)分析到金融和營銷，USPS 的各個部門已經(jīng)提出了 30 個 ECIP 應(yīng)用程序的想法。Schimmel 希望今年能啟動并實現(xiàn)其中幾個應(yīng)用。

一個系統(tǒng)能自動檢查包裹的郵費是否符合其大小、重量和目的地。另一個系統(tǒng)則能自動破譯損壞的條形碼，該系統(tǒng)最快能在今年夏天上線。

他說道：“這對我們和客戶都大有益處。我們可以知道一個特定包裹位于何處。AI 解決方案雖然不是萬能的，但它可以填補空白、提升我們的表現(xiàn)?！?/p>

這項工作屬于 USPS 更宏偉的目標(biāo)，他們希望能探索數(shù)字足跡，以造福客戶的方式解鎖數(shù)據(jù)的價值。

他表示：“我們處于邊緣 AI 之旅的起步階段。我們的員工每天都在思考將機(jī)器學(xué)習(xí)應(yīng)用于機(jī)器人、數(shù)據(jù)處理和圖像處理的新方法。”

編輯：jq