Arm物聯(lián)網(wǎng)兼嵌入式事業(yè)部副總裁 Mohamed Awad

　　Arm物聯(lián)網(wǎng)兼嵌入式事業(yè)部業(yè)務(wù)拓展副總裁 馬健

　　中國有句古話，眼觀六路，耳聽八方，敏銳的觀察和感知能力是人類智慧的基礎(chǔ)。傳統(tǒng)的攝像頭只有感知功能，并不能理解圖像所描述的人和事物。計算機視覺利用人工智能（AI）讓智能攝像頭等設(shè)備變得聰明，可以解釋和理解圖像中發(fā)生的事情。通過科技重新打造一個與人眼一樣強大的傳感器，為計算機執(zhí)行以往需要人類視覺才能進(jìn)行的任務(wù)，開啟了廣泛而多樣的用例，因此計算機視覺正迅速成為物聯(lián)網(wǎng)獲取真實世界數(shù)據(jù)并處理數(shù)據(jù)的最重要方式之一。

　　從計算停車場的汽車數(shù)量，到監(jiān)控零售商店的客流量，或是找出生產(chǎn)線上的瑕疵品，智能攝像頭的計算機視覺功能正被應(yīng)用于廣泛的商業(yè)與工業(yè)場景中。在家中，智能攝像頭可以告訴我們包裹何時己送達(dá)、小狗是否從后院溜了出去，或是嬰兒何時醒來等待呵護(hù)。

　　智能攝像頭技術(shù)在商用與消費市場的應(yīng)用正呈現(xiàn)指數(shù)級增長。根據(jù)市場調(diào)研與戰(zhàn)略咨詢公司Yole Développement在2020年發(fā)布的《用于監(jiān)控與安全用途的攝像頭與計算》報告，全球僅用于監(jiān)控的攝像頭約有10億臺，預(yù)計到2024年，這一數(shù)字有望翻倍增長。

　　這項技術(shù)在安全性、異構(gòu)計算、圖像處理與云服務(wù)等方面有了長足的進(jìn)展，讓未來的計算機視覺產(chǎn)品能具備更勝以往的能力。

　　智能攝像頭的安全性是計算機視覺的首要考量

　　物聯(lián)網(wǎng)的安全性是科技行業(yè)的重中之重但又極具挑戰(zhàn)。確保所有物聯(lián)網(wǎng)設(shè)備不被惡意人士所利用至關(guān)重要，特別是當(dāng)這些設(shè)備已經(jīng)獲取并存儲了與人、地點及高價值資產(chǎn)有關(guān)的圖像數(shù)據(jù)。

　　未經(jīng)授權(quán)訪問負(fù)責(zé)監(jiān)控工廠、醫(yī)院、學(xué)?；蚣彝サ闹悄軘z像頭的數(shù)據(jù)，不但嚴(yán)重侵犯了隱私權(quán)，也可能導(dǎo)致密謀犯罪、機密數(shù)據(jù)外泄等難以估量的傷害。智能攝像頭遭到破解的同時也會提供一個破口，讓惡意人士可以訪問網(wǎng)絡(luò)內(nèi)諸如門禁、暖氣與照明控制等其它設(shè)備，甚至控制整個智能工廠。

　　我們需要能夠信任智能攝像頭來維護(hù)所有人的安全，而不是為隱私侵犯另辟新徑。Arm堅信物聯(lián)網(wǎng)安全的重要性，多年來在此領(lǐng)域持續(xù)開發(fā)和創(chuàng)新，通過包括適用于Cortex?-A與Cortex?-M的Arm TrustZone等產(chǎn)品組合令最終客戶可以放心部署從云到端的物聯(lián)網(wǎng)應(yīng)用。

　　在未來，基于Armv9架構(gòu)的智能攝像頭芯片，將通過Arm機密計算架構(gòu)（Confidential Compute Architecture， CCA）進(jìn)一步強化計算機視覺產(chǎn)品的安全性。

　　除此之外，Arm也持續(xù)推動安全性最佳實踐的共同標(biāo)準(zhǔn)，如PSA Certified與PARSEC等。這些標(biāo)準(zhǔn)旨在確保未來所有智能攝像頭都能具有內(nèi)置安全性：從圖像傳感器首次進(jìn)行場景錄像到存儲數(shù)據(jù)，無論數(shù)據(jù)是存儲在本機上或是利用先進(jìn)的安全與數(shù)據(jù)加密技術(shù)存儲在云端。

　　終端AI驅(qū)動智能攝像頭的計算機視覺

　　圖像傳感器技術(shù)與邊緣AI的結(jié)合能讓智能攝像頭通過大量獲取計算機視覺的數(shù)據(jù)，進(jìn)行日益復(fù)雜的推理。智能攝像頭內(nèi)的新機器學(xué)習(xí)能力可以滿足多樣化的用例，例如探測人或動物、辨識特定物件，以及讀取車牌號碼。這些計算機視覺的應(yīng)用都需要在終端設(shè)備運行機器學(xué)習(xí)（ML）算法，而不是把數(shù)據(jù)送到云端進(jìn)行推論處理。分布式算力是數(shù)據(jù)時代的大趨勢，將計算能力移至距離數(shù)據(jù)更近的地方可以提高決策速度，降低帶寬成本并更好地維護(hù)數(shù)據(jù)安全。

　　例如，在繁忙的十字路口部署一臺智能攝像頭，通過計算機視覺可以確認(rèn)一天中各時段等待紅燈的汽車數(shù)量與類型，再利用設(shè)備本身的ML功能來處理數(shù)據(jù)并進(jìn)行推論，在不需要人為干預(yù)的情況下，智能攝像頭便可以自動調(diào)整它的時序，從而自動減少交通擁堵并限制排放的增加。

　　Arm針對AIoT和邊緣智能的投資體現(xiàn)在我們?nèi)找鎵汛蟮腁I合作生態(tài)系統(tǒng)，Arm架構(gòu)對矢量計算的支持，各種AI框架模型在Arm處理器上的優(yōu)化，以及Ethos機器學(xué)習(xí)加速器產(chǎn)品線的普及。Arm Ethos產(chǎn)品系列是具備高度可擴展性與高效的NPU，它通過多核心技術(shù)，可支持每秒從0.1到10 TOP。同時，Arm也積極尋求與第三方加速器的整合，使AI、多媒體處理更簡易高效地運行在Arm架構(gòu)的芯片產(chǎn)品上。軟件在ML領(lǐng)域扮演極其重要的角色，通過Arm NN SDK與TensorFlow Lite for Microcontrollers（TFLM）開源框架，Arm持續(xù)不斷地支持開源社區(qū)和與其他生態(tài)伙伴的合作。

　　這些機器學(xué)習(xí)工作負(fù)載框架是基于現(xiàn)有的神經(jīng)網(wǎng)絡(luò)以及高效的Arm Cortex-A CPU、Mali? GPU、Ethos NPU與Arm Compute庫以及CMSIS-NN。

　　通過第二代可伸縮矢量擴展（SVE2），Armv9架構(gòu)能提供簡單易用的向量計算（可以平行計算的個別數(shù)據(jù)組），支持強化的AI功能。如此一來，開發(fā)者不用重寫或重新編譯代碼，就能直接擴充硬件向量長度。在未來，矩陣乘法的擴展（強化ML的要素之一）將進(jìn)一步推動AI的發(fā)展。

　　與云互連的智能攝像頭

　　云與邊緣計算也有助于加速智能攝像頭的采用。傳統(tǒng)的CCTV架構(gòu)通過網(wǎng)絡(luò)錄像機（NVR）或數(shù)字錄像機（DVR）將攝像頭的數(shù)據(jù)存儲于本機。這種模式有許多的限制，包括需要龐大的存儲空間以及每臺NVR上有限的實體連接端口數(shù)量。

　　遷移到云原生的模式可大幅簡化智能攝像頭的部署：任何數(shù)量級的攝像頭都可以通過下載到設(shè)備的配置文檔進(jìn)行配置與管理。這也是一種良性循環(huán)：來自智能攝像頭的數(shù)據(jù)可以針對特定的用例來訓(xùn)練存儲在云上的模型，從而使攝像頭更加智能，當(dāng)攝像頭變得更智能，它們需要上傳的數(shù)據(jù)量就會越小。

　　云計算的使用也能結(jié)合來自多臺智能攝像頭的計算機視覺數(shù)據(jù)，通過AI傳感器融合實現(xiàn)流程自動化。以我們剛剛提到的部署在十字路口的智能攝像頭為例，云AI算法可以對來自多臺智能攝像頭的數(shù)據(jù)進(jìn)行綜合分析，不斷地調(diào)整整個城市里的交通信號燈時序，進(jìn)而保持交通暢通。

　　Arm支持從云到終端所需的連續(xù)處理能力：Cortex-M微控制器與Cortex-A處理器驅(qū)動智能攝像頭，Cortex-A處理器驅(qū)動邊緣網(wǎng)關(guān)，云與邊緣服務(wù)器則利用了Neoverse平臺的能力。

　　智能攝像頭的全新軟硬件需求

　　計算機視覺設(shè)備的計算需求每年持續(xù)增長，超高分辨率的視頻獲?。?K 60fps）與64位（Armv8-A）的處理能力是目前高端智能攝像頭產(chǎn)品的標(biāo)準(zhǔn)。

　　因此，下一代智能攝像頭的SoC必須采用異構(gòu)架構(gòu)，結(jié)合CPU、GPU、NPU與專屬的硬件，實現(xiàn)計算機視覺、圖像處理、視頻編解碼等功能。

　　存儲也是另一個關(guān)鍵的技術(shù)難點：盡管終端AI可以在攝像頭本地處理圖像，以降低存儲的需求，但許多用例仍需要將數(shù)據(jù)保存在某個地方（無論是設(shè)備本機上，或是邊緣服務(wù)器或云上）以確保安全。

　　為了確保能妥善存儲高分辨率的計算機視覺數(shù)據(jù)，H.265和AV1等新的視頻編解碼標(biāo)準(zhǔn)正在成為業(yè)界公認(rèn)的標(biāo)準(zhǔn)。 H.265與AV1等

　　新的應(yīng)用場景驅(qū)動持續(xù)創(chuàng)新

　　總而言之，來自新應(yīng)用場景的需求正在推動對于計算與圖像技術(shù)全面持續(xù)改善的需求。新一代的CCTV攝像頭等圖像獲取設(shè)備已是今非昔比，它們所產(chǎn)生的已不再是一張張難以辨識面容的粗糙圖像。計算機視覺的進(jìn)步——效率更高、功能更強大的計算結(jié)合AI與ML的智能——讓智能攝像頭不僅只是圖像傳感器，而是可以像人類的眼睛一樣理解圖像，通過所見所聞了解認(rèn)識世界。連接模擬與數(shù)字世界的橋梁正開啟我們過去曾覺得難以置信的全新應(yīng)用場景。