一個(gè)極具前景的物聯(lián)網(wǎng)人工智能 (AI) 視覺(jué)技術(shù)應(yīng)用——通過(guò)采集店內(nèi)消費(fèi)者的數(shù)據(jù)，幫助零售商利用這些視頻數(shù)據(jù)，更快速、更高效地優(yōu)化產(chǎn)品陳列、布局動(dòng)線和客戶體驗(yàn)。

但同時(shí)也面臨著兩個(gè)主要挑戰(zhàn)：成本和復(fù)雜性。假設(shè)一家大型超市想要采集客流量、消費(fèi)者購(gòu)買記錄及其它數(shù)據(jù)，則需要在店內(nèi)安裝大約 15,000 個(gè)攝像頭。對(duì)于每秒 30 幀的 4K 視頻，15,000 個(gè)攝像頭每秒將產(chǎn)生 225 GB 的數(shù)據(jù)。

相較于其它形式的數(shù)據(jù)，視頻的數(shù)據(jù)量十分龐大，處理流程也相當(dāng)復(fù)雜，包括圖像識(shí)別、物體檢測(cè)和場(chǎng)景分析。這些 AI 視覺(jué)任務(wù)需要先進(jìn)的算法和模型支持，這讓計(jì)算變得更為復(fù)雜。此外，這類大數(shù)據(jù)需要傳送回云端進(jìn)行高效計(jì)算，再發(fā)送回來(lái)，以便進(jìn)行決策判斷。顯然，每秒 225 GB 的數(shù)據(jù)并不具有經(jīng)濟(jì)性。

但現(xiàn)在早已不是 2018 年了。在過(guò)去五年中，上述的場(chǎng)景發(fā)生了巨大的變化。現(xiàn)在，結(jié)合 AI 與機(jī)器學(xué)習(xí) (ML)[1]，經(jīng)過(guò)不斷提升后的邊緣處理能力可實(shí)現(xiàn)更高的效率，意味著許多極具前景的視覺(jué)應(yīng)用在以往所面臨的巨大經(jīng)濟(jì)性障礙正在被逐步掃除。

釋放邊緣 AI 視覺(jué)的創(chuàng)新力

此前，很多關(guān)鍵性技術(shù)都各自為政，幾乎很難或根本不可能與其它重要組件相互集成，以實(shí)現(xiàn)一個(gè)無(wú)縫創(chuàng)新的生態(tài)系統(tǒng)。在同質(zhì)處理的環(huán)境中，人們用一個(gè)解決方案來(lái)滿足所有的需求，但這對(duì)于不同的視覺(jué)工作負(fù)載提供定制化解決方案的實(shí)現(xiàn)，是極其困難的。那現(xiàn)如今有什么不同呢？

工程師和開(kāi)發(fā)者們已攻克了成本、復(fù)雜性及其它一些難題。以復(fù)雜性這一挑戰(zhàn)為例。降低視覺(jué)解決方案的成本和復(fù)雜性的途徑之一是，為開(kāi)發(fā)者在邊緣解決方案（異構(gòu)計(jì)算）的實(shí)施過(guò)程中提供更高的靈活性。

芯片設(shè)計(jì)公司正在生產(chǎn)性能更加強(qiáng)大的處理器，帶來(lái)了更高計(jì)算性能的同時(shí)維持高能效表現(xiàn)。這些處理器包括 CPU、GPU、ISP 和加速器，能夠在一些資源受限的環(huán)境下處理 AI 和 ML 等復(fù)雜任務(wù)。此外，通過(guò) AI 加速器，無(wú)論是作為 SoC 內(nèi)核，還是作為獨(dú)立的 SoC，均能夠在邊緣高效地執(zhí)行 AI 算法。

解決復(fù)雜性

談到復(fù)雜性方面的問(wèn)題。2022 年，Arm 推出了 ArmMali-C55，這是 Arm 迄今推出的最小芯片面積下，可實(shí)現(xiàn)高性能表現(xiàn)的圖像信號(hào)處理器 (ISP)。該處理器集高圖像質(zhì)量、高吞吐量、高能效和芯片面積優(yōu)勢(shì)于一體，適合端點(diǎn) AI、智能家居攝像頭、AR/VR 和智能顯示屏等應(yīng)用。該處理器的吞吐量高達(dá) 1.2Gpix/sec (每秒 12 億像素)，可帶來(lái)更高的性能表現(xiàn)，是嚴(yán)苛的視覺(jué)處理任務(wù)的理想之選。在向異構(gòu)計(jì)算推進(jìn)過(guò)程中，Mali-C55 的設(shè)計(jì)用途之一便是搭配 Cortex-A 或 Cortex-M CPU，無(wú)縫集成到 SoC 設(shè)計(jì)中。

這一點(diǎn)非常關(guān)鍵，因?yàn)樵?SoC 中，ISP 的輸出通常被直接發(fā)送至 ML 加速器中，以便通過(guò)神經(jīng)網(wǎng)絡(luò)或類似算法做進(jìn)一步的處理。這涉及到為 ML 模型提供縮放圖像，以處理諸如物體檢測(cè)和姿態(tài)估計(jì)等任務(wù)。

這種協(xié)同作用反過(guò)來(lái)又催生了具備 ML 功能的攝像頭和“軟件定義攝像頭”的概念，使 OEM 廠商和服務(wù)提供商能夠在全球范圍內(nèi)部署攝像頭，并提供具備動(dòng)態(tài)功能增強(qiáng)的迭代功能和商業(yè)模式。

舉個(gè)例子，假設(shè)在一個(gè)停車場(chǎng)，每個(gè)車位上方都安裝了攝像頭，用于判斷該車位是否泊車。在 2018 年，這是種不錯(cuò)的解決方案，駛?cè)胪＼噲?chǎng)的駕駛員能夠一眼看到哪里有空余車位。但在 2023 年，這種解決方案已不具經(jīng)濟(jì)性。利用邊緣 AI 的概念，僅在每一層的出入口放置一到兩個(gè)攝像頭，利用 AI 算法算出剩余空車位，這樣的方案才符合 2023 年的思維模式。

再次回到大型超市的場(chǎng)景：15,000 個(gè)攝像頭每秒產(chǎn)生 225 GB 的數(shù)據(jù)?，F(xiàn)在你應(yīng)該知道如何提供解決方案了吧？

亞馬遜早已意識(shí)到這一問(wèn)題，在其最新版本的 “Just Walk Out” 商店技術(shù)中，攝像頭模塊的計(jì)算能力已得到提升。將 AI 部署在邊緣側(cè)，以實(shí)現(xiàn)更高效、更快速的計(jì)算。

借助這樣強(qiáng)大且經(jīng)濟(jì)高效的視覺(jué)技術(shù)，超市零售商或許可以通過(guò)分析店內(nèi)攝像頭記錄下的視頻數(shù)據(jù)，進(jìn)行分析、得到結(jié)論，舉例來(lái)說(shuō)，大多數(shù)顧客會(huì)在上午 9 點(diǎn)至 11 點(diǎn)之間購(gòu)買橙子，繼而確定在每天中午前后需要補(bǔ)充貨架上的橙子。通過(guò)進(jìn)一步分析，零售商發(fā)現(xiàn)很多顧客（出于隱私原因而在視頻數(shù)據(jù)中匿名）在同一次購(gòu)物期間還會(huì)購(gòu)買花生。由此，可以根據(jù)這些反饋對(duì)商品的陳列進(jìn)行調(diào)整。

適當(dāng)?shù)奈恢?，?zhǔn)確的計(jì)算

將適當(dāng)?shù)倪吘?AI 計(jì)算[2]部署在更靠近傳感器的位置，能減少延遲性，提高安全性并降低成本，還可以催生新的業(yè)務(wù)模式。

視頻監(jiān)控即服務(wù) (VSaaS)[3] 便是由此誕生的一種業(yè)務(wù)模式。VSaaS 包含視頻錄制、存儲(chǔ)、遠(yuǎn)程管理及網(wǎng)絡(luò)安全的配置，將本地?cái)z像頭與云端的視頻管理系統(tǒng)相結(jié)合。根據(jù) Transparency Market Research[4] 預(yù)測(cè)，截至 2027 年，VSaaS 市場(chǎng)規(guī)模將達(dá)到 1,320 億美元。

然而，從更廣泛的角度來(lái)看，許多蘊(yùn)含巨大機(jī)遇仍尚未爆發(fā)。受限于經(jīng)濟(jì)、處理能力的限制或純粹的復(fù)雜性等因素，許多強(qiáng)大的潛在應(yīng)用仍在等待迎風(fēng)而上。比如：

智慧城市：在智慧城市領(lǐng)域，通過(guò)視頻分析實(shí)現(xiàn)交通管理、人流分析和停車空間優(yōu)化，由此產(chǎn)生海量數(shù)據(jù)。

工業(yè)自動(dòng)化：質(zhì)量控制、缺陷檢測(cè)和流程優(yōu)化。

自動(dòng)駕駛汽車：自動(dòng)駕駛汽車（比如自動(dòng)駕駛汽車和無(wú)人機(jī)）上的傳感器和攝像頭，為導(dǎo)航和安全系統(tǒng)采集數(shù)據(jù)，實(shí)時(shí)感知周圍情況。

虛擬現(xiàn)實(shí) (VR) 和增強(qiáng)現(xiàn)實(shí) (AR)：沉浸式 VR 和 AR 體驗(yàn)需要實(shí)時(shí)渲染和處理高分辨率視覺(jué)內(nèi)容，因此會(huì)生成大量數(shù)據(jù)。

走在前沿的實(shí)踐者不會(huì)作壁上觀。在韓國(guó)平澤市，該市的政府計(jì)劃利用 AI 和自動(dòng)駕駛等智慧城市技術(shù)構(gòu)建試點(diǎn)平臺(tái)，并將于 2025 年完成，之后計(jì)劃逐步在全市進(jìn)行普及。

這座擁有五十萬(wàn)人口的城市正努力應(yīng)對(duì)交通擁堵和交通事故導(dǎo)致的行人意外死亡問(wèn)題。作為全市“智慧城市”改革的一部分，專家們?cè)谝曈X(jué)設(shè)備中部署了 Arm 合作伙伴 Nota.ai 的 Nespresso 平臺(tái)[5]，這是一種 AI 模型自動(dòng)壓縮解決方案，有助于打造智能交通系統(tǒng)。

在設(shè)備方面，諸多巧妙的設(shè)計(jì)正在助力客戶實(shí)現(xiàn)視覺(jué)愿景。例如奇景光電 (Himax) 的 WiseEye-II，這是一款智能影像感測(cè)方案，可部署在一系列由電池驅(qū)動(dòng)的消費(fèi)類和家庭安防應(yīng)用中，包括筆記本電腦、門(mén)鈴、門(mén)鎖、攝像頭和智能辦公室。該解決方案與 Arm 微控制器和神經(jīng)處理器內(nèi)核相結(jié)合，使機(jī)器視覺(jué) AI 更深入地融合到消費(fèi)類和智能家居設(shè)備中。

得益于邊緣 AI 技術(shù)取得的驚人進(jìn)步，當(dāng)下正在開(kāi)發(fā)的示例和為未來(lái)創(chuàng)新所做的設(shè)計(jì)正逐步成為現(xiàn)實(shí)。而在視覺(jué)領(lǐng)域，這些技術(shù)正在基于 Arm 架構(gòu)而構(gòu)建。

除了硬件，Arm 還通過(guò)軟件庫(kù)、互聯(lián)標(biāo)準(zhǔn)、安全框架和 Arm 虛擬硬件等開(kāi)發(fā)工具，幫助開(kāi)發(fā)者更快速、更高效地開(kāi)發(fā)圖像解決方案，開(kāi)發(fā)者無(wú)需等待硬件就緒，便可在目標(biāo)架構(gòu)上對(duì)其應(yīng)用進(jìn)行虛擬化運(yùn)行。

過(guò)去，人們?cè)Ｍ靡曈X(jué)技術(shù)改變世界，挖掘未曾被開(kāi)發(fā)的大量數(shù)據(jù)，但由于成本和復(fù)雜性，這一夢(mèng)想被認(rèn)為遙不可及。但現(xiàn)在，它們已成為現(xiàn)實(shí)。