中國在智能物聯(lián)網(wǎng)、機器學習方面的快速發(fā)展有目共睹，其視覺應用和創(chuàng)新水平處于世界領先地位。然而當前中國許多IPC視覺系統(tǒng)已經(jīng)進入紅海市場，如何幫助合作伙伴進行差異化設計，免去重復的基礎IP整合工作和基礎軟件開發(fā)工作呢，ARM基于這樣的觀察和思考，近期與安謀科技攜手合作推出全新Arm 智能視覺參考設計，可謂十分契合中國市場的特點。

Arm 智能視覺參考設計的組成

Arm Corstone-1000：整合 Cortex-A、Cortex-M 處理器與內(nèi)建安全性，為不同應用在受限的功耗范圍內(nèi)提供效率及高性能。

Arm Corstone-300：為機器學習工作負載提供“永遠在線”的低功耗子系統(tǒng)。

Arm Mali-C55 圖像信號處理器 (ISP)：在極小的芯片面積條件下，提供可配置、高能效、高性能的圖像質(zhì)量。

來自安謀科技的第三方 IP 在視頻和機器學習能力方面提供更多選項：

包括：“玲瓏”V5視頻處理器：支持緊湊的、多格式 (例如H.264, H.265) 且高效能的視頻編解碼處理。

“周易” NPU：為廣泛的機器學習用例提供高達 4TOPS 的性能表現(xiàn)，并且支持業(yè)界主流的 AI 規(guī)?？蚣埽?Tensorflow、Caffe、ONNX、Pytorch 等。



Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務拓展副總裁馬健Chloe Ma解析，Arm智能視覺參考設計采用成熟的 Arm CPU IP 作為基礎，要知道Arm CPU 在智能攝像頭領域有九成以上的份額，已經(jīng)用于諸多智能視覺品牌設備。

Corstone 是一套預先經(jīng)過集成并驗證的子系統(tǒng)，即是Arm 物聯(lián)網(wǎng)解決方案的根基。旨在加速芯片產(chǎn)品流片和量產(chǎn)。其中，Corstone-1000 是首款為 Cortex-A 設計的子系統(tǒng)，該方案基本配置是經(jīng)過量產(chǎn)考驗的 Cortex-A35 或 Cortex-A53，并取得了Arm SystemReady IR 認證，確保 Linux 等操作系統(tǒng)的開機即用，并簡化軟件開發(fā)。

Corstone-300 在智能視覺參考設計中，作為低功耗待機子系統(tǒng)，降低邊緣設備的功耗，提高系統(tǒng)效率。



參考設計中的 ISP 選用的是 Arm 去年六月發(fā)布的 Mali-C55，也是 Arm 迄今為止面積最小、功耗最低、且可配置性最高的 ISP 產(chǎn)品。Mali-C55 提供升級的圖像質(zhì)量功能，可以在各種不同的照片和天氣條件下工作。像其他 Arm 產(chǎn)品一樣，Mali-C55 擁有全方位的軟件工具支持，包括軟件驅(qū)動實現(xiàn)自動曝光、自動白平衡、自動對焦的 3A 庫以及全套調(diào)校和校準工具，并有 Arm 批準的 ISP 調(diào)優(yōu)合作伙伴助力客戶達到最優(yōu)畫質(zhì)。



同時，安謀科技為此設計貢獻的玲瓏 VPU 提供了緊湊、多格式和高效的視頻編解碼器，以及周易 NPU 的高達 4 個 TOPS 的 ML 加速，使該參考設計可以支持機器視覺的用例。



安謀科技智能物聯(lián)及汽車業(yè)務線負責人趙永超在介紹此次安謀科技自研 IP與 ArmCPU、ISP合作時表示， Arm 智能視覺參考設計通過集成安謀科技“玲瓏”VPU 和“周易” NPU，并由安謀科技將 Arm IP 與安謀科技自研 IP 進行集成和驗證，可進一步滿足國內(nèi)客戶在不同場景下的差異化視頻處理需求，提高機器學習與視頻處理工作時的負載表現(xiàn)，從而加速視覺應用產(chǎn)品的創(chuàng)新落地。

合作伙伴生態(tài)

在發(fā)布參考設計的同時，Arm啟動智能視覺合作伙伴計劃，攜手 AI 視覺、芯片設計、軟件、算法、系統(tǒng)集成等伙伴共同打造基于 Arm 架構智能視覺應用的強大生態(tài)。生態(tài)合作伙伴的加持將進一步加速視覺硬件、軟件和系統(tǒng)的開發(fā)。



馬健表示，智能視覺參考設計的目標受眾通常是邊緣 AI 領域公司的初創(chuàng)公司、跨界創(chuàng)新公司或者是希望進行垂直整合的系統(tǒng)公司。但由于種種原因，這些公司并不擁有涵蓋所有芯片架構前端、后端設計師的龐大團隊，那么就需要芯片設計服務公司、軟件開發(fā)者、系統(tǒng)集成伙伴共同助力。

例如，Arm 智能視覺參考設計包含了云原生的開源視覺軟件堆棧，但是該軟件棧距離面向不同視覺市場的量產(chǎn)軟件還存在著差距，這就需要智能視覺軟件開發(fā)經(jīng)驗的合作伙伴來幫助客戶適配不同的應用場景，為不同的 OEM 定制軟件，并進行整合、測試和調(diào)優(yōu)，達到量產(chǎn)水平。系統(tǒng)集成伙伴通常具有芯片設計、固件軟件開發(fā)、創(chuàng)建 FPGA 甚至開發(fā)板的綜合能力，可以提供一站式服務。

生態(tài)伙伴可借由 Arm 虛擬硬件 (Arm Virtual Hardware, AVH) 的形式獲取 Arm 智能視覺參考設計的虛擬模型，助力軟件開發(fā)者在芯片完備前先著手開發(fā)并優(yōu)化代碼。該參考設計具備可信任的底層 IP 技術，在增強安全、可移植性與兼容性方面，已取得 Arm SystemReady IR 與 PSA Certified Level 2 等重要的業(yè)界標準認證。

在Arm 智能視覺合作伙伴計劃之下，百度飛槳已經(jīng)實現(xiàn)了基于飛槳的視覺模型庫和 Arm 虛擬硬件的整合適配。誠邁科技作為軟件設計合作伙伴，在日前成為中國第一個 Arm 批準的 ISP 調(diào)優(yōu)伙伴。另外廈門星宸科技在月初通過了 PSA 安全認證，展示了智能視覺界領軍者對安全和隱私保護重視程度的提高。

智能視覺支持AI小模型部署

盡管我們已經(jīng)來到了AI的大模型時代，不過，AI應用并不都在云端，大量邊緣端將更加注重運行AI 小模型，智能視覺在支持AI應用上將發(fā)揮重要作用。

馬健認為，視覺作為感官對于以后的行動無處不在的避障、安全都是至關重要的。如果是有高情商的機器，比如聊天機器人也需要視覺才能觀察到人類的反應和情感，更好的和人類交流。接著就是對模型優(yōu)化方面智能視覺也是可以有幫助的。

在整個視覺堆棧和AI 堆棧從云端延伸到邊緣側(cè)和端側(cè)時，首先要求模型設計的合作伙伴，在模型方面做到稀疏化，將云端設計的大模型做到邊緣側(cè)有效的部署。同時，邊緣側(cè)設備，整個芯片架構從同構的CPU架構到異構CPU加上加速器架構，能夠更好的支持小模型，讓它們能在邊緣側(cè)甚至端側(cè)進行部署。同時，在軟件方面，Arm持續(xù)為一些傳統(tǒng)嵌入式和邊緣軟件開發(fā)者，提供非常堅實的軟件工具，無論是視覺軟件庫或是AI 軟件庫，甚至一些AI 的model zoo模型集合，都能助力他們達到視覺系統(tǒng)的開發(fā)和量產(chǎn)。

小結：

Arm認為未來的智能視覺解決方案將全部基于異構計算，預計異構計算解決方案的所有要件，如CPU、ISP、機器學習，都需要更高的性能和效率，以滿足不斷涌現(xiàn)的新用例需求。

Arm也在打通硬件平臺碎片化壁壘，促進AIOT 生態(tài)成熟。馬健表示，Arm作為智能物聯(lián)和IoT 的基石，能夠提供例如SystemReady 標準和物聯(lián)網(wǎng)安全認證體系。Arm 堅信標準對于逐漸削弱碎片化會起到非常重要的作用，在標準化方面Arm有多個計劃，將和產(chǎn)業(yè)伙伴共同推動整個生態(tài)系統(tǒng)的建設。