Arm物聯(lián)網(wǎng)兼嵌入式事業(yè)部副總裁 Mohamed Awad

　　Arm物聯(lián)網(wǎng)兼嵌入式事業(yè)部業(yè)務(wù)拓展副總裁 馬健

　　中國(guó)有句古話，眼觀六路，耳聽(tīng)八方，敏銳的觀察和感知能力是人類(lèi)智慧的基礎(chǔ)。傳統(tǒng)的攝像頭只有感知功能，并不能理解圖像所描述的人和事物。計(jì)算機(jī)視覺(jué)利用人工智能（AI）讓智能攝像頭等設(shè)備變得聰明，可以解釋和理解圖像中發(fā)生的事情。通過(guò)科技重新打造一個(gè)與人眼一樣強(qiáng)大的傳感器，為計(jì)算機(jī)執(zhí)行以往需要人類(lèi)視覺(jué)才能進(jìn)行的任務(wù)，開(kāi)啟了廣泛而多樣的用例，因此計(jì)算機(jī)視覺(jué)正迅速成為物聯(lián)網(wǎng)獲取真實(shí)世界數(shù)據(jù)并處理數(shù)據(jù)的最重要方式之一。

　　從計(jì)算停車(chē)場(chǎng)的汽車(chē)數(shù)量，到監(jiān)控零售商店的客流量，或是找出生產(chǎn)線上的瑕疵品，智能攝像頭的計(jì)算機(jī)視覺(jué)功能正被應(yīng)用于廣泛的商業(yè)與工業(yè)場(chǎng)景中。在家中，智能攝像頭可以告訴我們包裹何時(shí)己送達(dá)、小狗是否從后院溜了出去，或是嬰兒何時(shí)醒來(lái)等待呵護(hù)。

　　智能攝像頭技術(shù)在商用與消費(fèi)市場(chǎng)的應(yīng)用正呈現(xiàn)指數(shù)級(jí)增長(zhǎng)。根據(jù)市場(chǎng)調(diào)研與戰(zhàn)略咨詢(xún)公司Yole Développement在2020年發(fā)布的《用于監(jiān)控與安全用途的攝像頭與計(jì)算》報(bào)告，全球僅用于監(jiān)控的攝像頭約有10億臺(tái)，預(yù)計(jì)到2024年，這一數(shù)字有望翻倍增長(zhǎng)。

　　這項(xiàng)技術(shù)在安全性、異構(gòu)計(jì)算、圖像處理與云服務(wù)等方面有了長(zhǎng)足的進(jìn)展，讓未來(lái)的計(jì)算機(jī)視覺(jué)產(chǎn)品能具備更勝以往的能力。

　　智能攝像頭的安全性是計(jì)算機(jī)視覺(jué)的首要考量

　　物聯(lián)網(wǎng)的安全性是科技行業(yè)的重中之重但又極具挑戰(zhàn)。確保所有物聯(lián)網(wǎng)設(shè)備不被惡意人士所利用至關(guān)重要，特別是當(dāng)這些設(shè)備已經(jīng)獲取并存儲(chǔ)了與人、地點(diǎn)及高價(jià)值資產(chǎn)有關(guān)的圖像數(shù)據(jù)。

　　未經(jīng)授權(quán)訪問(wèn)負(fù)責(zé)監(jiān)控工廠、醫(yī)院、學(xué)?；蚣彝サ闹悄軘z像頭的數(shù)據(jù)，不但嚴(yán)重侵犯了隱私權(quán)，也可能導(dǎo)致密謀犯罪、機(jī)密數(shù)據(jù)外泄等難以估量的傷害。智能攝像頭遭到破解的同時(shí)也會(huì)提供一個(gè)破口，讓惡意人士可以訪問(wèn)網(wǎng)絡(luò)內(nèi)諸如門(mén)禁、暖氣與照明控制等其它設(shè)備，甚至控制整個(gè)智能工廠。

　　我們需要能夠信任智能攝像頭來(lái)維護(hù)所有人的安全，而不是為隱私侵犯另辟新徑。Arm堅(jiān)信物聯(lián)網(wǎng)安全的重要性，多年來(lái)在此領(lǐng)域持續(xù)開(kāi)發(fā)和創(chuàng)新，通過(guò)包括適用于Cortex?-A與Cortex?-M的Arm TrustZone等產(chǎn)品組合令最終客戶(hù)可以放心部署從云到端的物聯(lián)網(wǎng)應(yīng)用。

　　在未來(lái)，基于Armv9架構(gòu)的智能攝像頭芯片，將通過(guò)Arm機(jī)密計(jì)算架構(gòu)（Confidential Compute Architecture， CCA）進(jìn)一步強(qiáng)化計(jì)算機(jī)視覺(jué)產(chǎn)品的安全性。

　　除此之外，Arm也持續(xù)推動(dòng)安全性最佳實(shí)踐的共同標(biāo)準(zhǔn)，如PSA Certified與PARSEC等。這些標(biāo)準(zhǔn)旨在確保未來(lái)所有智能攝像頭都能具有內(nèi)置安全性：從圖像傳感器首次進(jìn)行場(chǎng)景錄像到存儲(chǔ)數(shù)據(jù)，無(wú)論數(shù)據(jù)是存儲(chǔ)在本機(jī)上或是利用先進(jìn)的安全與數(shù)據(jù)加密技術(shù)存儲(chǔ)在云端。

　　終端AI驅(qū)動(dòng)智能攝像頭的計(jì)算機(jī)視覺(jué)

　　圖像傳感器技術(shù)與邊緣AI的結(jié)合能讓智能攝像頭通過(guò)大量獲取計(jì)算機(jī)視覺(jué)的數(shù)據(jù)，進(jìn)行日益復(fù)雜的推理。智能攝像頭內(nèi)的新機(jī)器學(xué)習(xí)能力可以滿(mǎn)足多樣化的用例，例如探測(cè)人或動(dòng)物、辨識(shí)特定物件，以及讀取車(chē)牌號(hào)碼。這些計(jì)算機(jī)視覺(jué)的應(yīng)用都需要在終端設(shè)備運(yùn)行機(jī)器學(xué)習(xí)（ML）算法，而不是把數(shù)據(jù)送到云端進(jìn)行推論處理。分布式算力是數(shù)據(jù)時(shí)代的大趨勢(shì)，將計(jì)算能力移至距離數(shù)據(jù)更近的地方可以提高決策速度，降低帶寬成本并更好地維護(hù)數(shù)據(jù)安全。

　　例如，在繁忙的十字路口部署一臺(tái)智能攝像頭，通過(guò)計(jì)算機(jī)視覺(jué)可以確認(rèn)一天中各時(shí)段等待紅燈的汽車(chē)數(shù)量與類(lèi)型，再利用設(shè)備本身的ML功能來(lái)處理數(shù)據(jù)并進(jìn)行推論，在不需要人為干預(yù)的情況下，智能攝像頭便可以自動(dòng)調(diào)整它的時(shí)序，從而自動(dòng)減少交通擁堵并限制排放的增加。

　　Arm針對(duì)AIoT和邊緣智能的投資體現(xiàn)在我們?nèi)找鎵汛蟮腁I合作生態(tài)系統(tǒng)，Arm架構(gòu)對(duì)矢量計(jì)算的支持，各種AI框架模型在Arm處理器上的優(yōu)化，以及Ethos機(jī)器學(xué)習(xí)加速器產(chǎn)品線的普及。Arm Ethos產(chǎn)品系列是具備高度可擴(kuò)展性與高效的NPU，它通過(guò)多核心技術(shù)，可支持每秒從0.1到10 TOP。同時(shí)，Arm也積極尋求與第三方加速器的整合，使AI、多媒體處理更簡(jiǎn)易高效地運(yùn)行在Arm架構(gòu)的芯片產(chǎn)品上。軟件在ML領(lǐng)域扮演極其重要的角色，通過(guò)Arm NN SDK與TensorFlow Lite for Microcontrollers（TFLM）開(kāi)源框架，Arm持續(xù)不斷地支持開(kāi)源社區(qū)和與其他生態(tài)伙伴的合作。

　　這些機(jī)器學(xué)習(xí)工作負(fù)載框架是基于現(xiàn)有的神經(jīng)網(wǎng)絡(luò)以及高效的Arm Cortex-A CPU、Mali? GPU、Ethos NPU與Arm Compute庫(kù)以及CMSIS-NN。

　　通過(guò)第二代可伸縮矢量擴(kuò)展（SVE2），Armv9架構(gòu)能提供簡(jiǎn)單易用的向量計(jì)算（可以平行計(jì)算的個(gè)別數(shù)據(jù)組），支持強(qiáng)化的AI功能。如此一來(lái)，開(kāi)發(fā)者不用重寫(xiě)或重新編譯代碼，就能直接擴(kuò)充硬件向量長(zhǎng)度。在未來(lái)，矩陣乘法的擴(kuò)展（強(qiáng)化ML的要素之一）將進(jìn)一步推動(dòng)AI的發(fā)展。

　　與云互連的智能攝像頭

　　云與邊緣計(jì)算也有助于加速智能攝像頭的采用。傳統(tǒng)的CCTV架構(gòu)通過(guò)網(wǎng)絡(luò)錄像機(jī)（NVR）或數(shù)字錄像機(jī)（DVR）將攝像頭的數(shù)據(jù)存儲(chǔ)于本機(jī)。這種模式有許多的限制，包括需要龐大的存儲(chǔ)空間以及每臺(tái)NVR上有限的實(shí)體連接端口數(shù)量。

　　遷移到云原生的模式可大幅簡(jiǎn)化智能攝像頭的部署：任何數(shù)量級(jí)的攝像頭都可以通過(guò)下載到設(shè)備的配置文檔進(jìn)行配置與管理。這也是一種良性循環(huán)：來(lái)自智能攝像頭的數(shù)據(jù)可以針對(duì)特定的用例來(lái)訓(xùn)練存儲(chǔ)在云上的模型，從而使攝像頭更加智能，當(dāng)攝像頭變得更智能，它們需要上傳的數(shù)據(jù)量就會(huì)越小。

　　云計(jì)算的使用也能結(jié)合來(lái)自多臺(tái)智能攝像頭的計(jì)算機(jī)視覺(jué)數(shù)據(jù)，通過(guò)AI傳感器融合實(shí)現(xiàn)流程自動(dòng)化。以我們剛剛提到的部署在十字路口的智能攝像頭為例，云AI算法可以對(duì)來(lái)自多臺(tái)智能攝像頭的數(shù)據(jù)進(jìn)行綜合分析，不斷地調(diào)整整個(gè)城市里的交通信號(hào)燈時(shí)序，進(jìn)而保持交通暢通。

　　Arm支持從云到終端所需的連續(xù)處理能力：Cortex-M微控制器與Cortex-A處理器驅(qū)動(dòng)智能攝像頭，Cortex-A處理器驅(qū)動(dòng)邊緣網(wǎng)關(guān)，云與邊緣服務(wù)器則利用了Neoverse平臺(tái)的能力。

　　智能攝像頭的全新軟硬件需求

　　計(jì)算機(jī)視覺(jué)設(shè)備的計(jì)算需求每年持續(xù)增長(zhǎng)，超高分辨率的視頻獲?。?K 60fps）與64位（Armv8-A）的處理能力是目前高端智能攝像頭產(chǎn)品的標(biāo)準(zhǔn)。

　　因此，下一代智能攝像頭的SoC必須采用異構(gòu)架構(gòu)，結(jié)合CPU、GPU、NPU與專(zhuān)屬的硬件，實(shí)現(xiàn)計(jì)算機(jī)視覺(jué)、圖像處理、視頻編解碼等功能。

　　存儲(chǔ)也是另一個(gè)關(guān)鍵的技術(shù)難點(diǎn)：盡管終端AI可以在攝像頭本地處理圖像，以降低存儲(chǔ)的需求，但許多用例仍需要將數(shù)據(jù)保存在某個(gè)地方（無(wú)論是設(shè)備本機(jī)上，或是邊緣服務(wù)器或云上）以確保安全。

　　為了確保能妥善存儲(chǔ)高分辨率的計(jì)算機(jī)視覺(jué)數(shù)據(jù)，H.265和AV1等新的視頻編解碼標(biāo)準(zhǔn)正在成為業(yè)界公認(rèn)的標(biāo)準(zhǔn)。 H.265與AV1等

　　新的應(yīng)用場(chǎng)景驅(qū)動(dòng)持續(xù)創(chuàng)新

　　總而言之，來(lái)自新應(yīng)用場(chǎng)景的需求正在推動(dòng)對(duì)于計(jì)算與圖像技術(shù)全面持續(xù)改善的需求。新一代的CCTV攝像頭等圖像獲取設(shè)備已是今非昔比，它們所產(chǎn)生的已不再是一張張難以辨識(shí)面容的粗糙圖像。計(jì)算機(jī)視覺(jué)的進(jìn)步——效率更高、功能更強(qiáng)大的計(jì)算結(jié)合AI與ML的智能——讓智能攝像頭不僅只是圖像傳感器，而是可以像人類(lèi)的眼睛一樣理解圖像，通過(guò)所見(jiàn)所聞了解認(rèn)識(shí)世界。連接模擬與數(shù)字世界的橋梁正開(kāi)啟我們過(guò)去曾覺(jué)得難以置信的全新應(yīng)用場(chǎng)景。