在 AI 視覺(jué)項(xiàng)目落地的過(guò)程中，“算法跑在相機(jī)端還是服務(wù)器端？”始終是開(kāi)發(fā)者繞不開(kāi)的問(wèn)題。傳統(tǒng)思路里這是道二選一的選擇題，端側(cè)低延遲但算力有限，云端算力強(qiáng)卻依賴網(wǎng)絡(luò)、成本高。而瑞芯微RV1126B AI相機(jī)給出了更優(yōu)解——端云協(xié)同，讓計(jì)算在最合適的位置發(fā)生，也成為了從 IPC 網(wǎng)絡(luò)攝像機(jī)到車載場(chǎng)景的通用視覺(jué)解決方案。

當(dāng)下邊緣計(jì)算市場(chǎng)爆發(fā)式增長(zhǎng)，到 2025 年全球邊緣計(jì)算市場(chǎng)規(guī)模將突破300億美元，年復(fù)合增長(zhǎng)率達(dá)35%，理解端云協(xié)同架構(gòu)，不僅是AI視覺(jué)項(xiàng)目的技術(shù)選型關(guān)鍵，更是產(chǎn)品定義的基礎(chǔ)。

1. 端云協(xié)同的四大核心優(yōu)勢(shì)

相比純端側(cè)或純?cè)贫说挠?jì)算模式，端云協(xié)同將兩者的優(yōu)勢(shì)結(jié)合，精準(zhǔn)解決了延遲、帶寬、可靠性、隱私四大核心問(wèn)題，這也是其成為 AI 視覺(jué)主流方案的關(guān)鍵：

• 低延遲，適配實(shí)時(shí)場(chǎng)景：傳統(tǒng)云計(jì)算數(shù)據(jù)往返延遲超 100ms，無(wú)法滿足人臉閘機(jī)等實(shí)時(shí)需求；端云協(xié)同將實(shí)時(shí)任務(wù)留在端側(cè)，RV1126B的3TOPS算力可本地完成人臉/活體檢測(cè)，端到端延遲控制在50ms以內(nèi)。
• 省帶寬，降低傳輸成本：?jiǎn)温?1080p 攝像頭單日產(chǎn)生約80GB原始視頻，全量上傳成本極高；端云協(xié)同采用「前端結(jié)構(gòu)化+后端分析」模式，僅上傳結(jié)構(gòu)化信息，工業(yè)場(chǎng)景實(shí)測(cè)帶寬消耗降低90%以上。
• 高可靠，斷網(wǎng)仍能工作：設(shè)備內(nèi)置存儲(chǔ)和算力，脫離云端網(wǎng)絡(luò)時(shí)可獨(dú)立運(yùn)行，避免因網(wǎng)絡(luò)故障導(dǎo)致系統(tǒng)癱瘓。
• 保隱私，滿足合規(guī)要求：醫(yī)療影像、生產(chǎn)數(shù)據(jù)等敏感信息受法規(guī)限制不得出境，端側(cè)本地處理可天然滿足合規(guī)，僅上傳脫敏后的分析結(jié)果。

1. 端云協(xié)同的三種核心模式介紹

端云協(xié)同并非單一架構(gòu)，而是根據(jù)業(yè)務(wù)場(chǎng)景分為三種模式，從基礎(chǔ)的任務(wù)分工到深度的模型迭代，覆蓋不同層級(jí)的應(yīng)用需求：

1. 任務(wù)級(jí)協(xié)同（最常用）：端側(cè)負(fù)責(zé)實(shí)時(shí)推理，云側(cè)負(fù)責(zé)非實(shí)時(shí)分析。例如智慧園區(qū)中，RV1126B 相機(jī)實(shí)時(shí)檢測(cè)人臉和異常事件，本地觸發(fā)報(bào)警的同時(shí)上傳結(jié)構(gòu)化數(shù)據(jù)，云服務(wù)器匯聚數(shù)據(jù)完成跨鏡軌跡分析。
2. 模型級(jí)協(xié)同（新趨勢(shì)）：端側(cè)運(yùn)行輕量化模型做基礎(chǔ)識(shí)別，云側(cè)運(yùn)行大模型做深度分析。復(fù)雜場(chǎng)景下將端側(cè)數(shù)據(jù)上傳云端，由大模型完成二次分析，兼顧實(shí)時(shí)性和分析深度。
3. 訓(xùn)練 - 推理協(xié)同（形成數(shù)據(jù)閉環(huán)）：端側(cè)完成推理并產(chǎn)生數(shù)據(jù)，數(shù)據(jù)回傳云端用于新模型訓(xùn)練，再通過(guò) OTA 將新模型下發(fā)至端側(cè)，讓模型迭代周期從月級(jí)縮短到周級(jí)。
4. RV1126B芯片核心能力

RV1126B 是瑞芯微面向邊緣視覺(jué)計(jì)算的主力芯片，其異構(gòu)計(jì)算架構(gòu)讓端側(cè)高效完成實(shí)時(shí)計(jì)算成為可能，各模塊各司其職、互不干擾，同時(shí)硬件規(guī)格兼顧算力、功耗、編碼能力，適配邊緣場(chǎng)景需求。

核心異構(gòu)計(jì)算架構(gòu)

• CPU：負(fù)責(zé)控制邏輯，四核主頻1.5GHz
• NPU：專攻AI推理，集成3.0 TOPS算力
• ISP：處理圖像質(zhì)量，12+8M ISP 2.0支持3幀HDR
• VPU：搞定視頻編碼，兼顧高分辨率和高幀率

關(guān)鍵硬件規(guī)格

• 編碼能力：4K H.264/H.265@45fps + 1080p 子碼流
• 功耗表現(xiàn)：典型功耗 3-5W，待機(jī)最低1mW
• 算力水平：3TOPS 綜合算力，滿足端側(cè)輕量級(jí)AI推理需求

1. 端云清晰分工

端云協(xié)同的核心是「分工」，RV1126B方案對(duì)端側(cè)和云側(cè)的職責(zé)做了明確劃分，避免算力浪費(fèi)和資源冗余，實(shí)現(xiàn)效率最大化。

端側(cè)核心職責(zé)

• 實(shí)時(shí)視頻處理：4 路1080P@45fps并行硬件編碼，不占用CPU資源
• 輕量級(jí) AI 推理：人臉檢測(cè)約23ms、活體檢測(cè)約15ms，YOLOv3在NPU上達(dá)25 FPS
• 結(jié)構(gòu)化數(shù)據(jù)輸出：僅上傳事件、特征等結(jié)構(gòu)化信息，帶寬成本降低 70% 以上

云側(cè)核心職責(zé)

• 跨攝像頭軌跡追蹤：匯聚多端檢測(cè)結(jié)果，關(guān)聯(lián)還原目標(biāo)完整運(yùn)動(dòng)軌跡
• 大模型深度分析：場(chǎng)景理解、復(fù)雜行為判斷等任務(wù)由云側(cè) GPU 集群完成
• 數(shù)據(jù)沉淀與挖掘：基于全量數(shù)據(jù)生成客流熱力圖、行為模式分析等價(jià)值結(jié)果

1. 靈活部署模式

RV1126B 端云協(xié)同方案提供三種靈活的部署模式，兼顧全新搭建和利舊改造，大幅降低AI視覺(jué)項(xiàng)目的落地成本：

• 單節(jié)點(diǎn) AI 相機(jī)：適用于 IPC、人臉閘機(jī)、車載DVR等單設(shè)備場(chǎng)景，獨(dú)立完成采集、分析、上報(bào)，3T算力可應(yīng)對(duì)大部分基礎(chǔ)AI視覺(jué)需求。
• 集群服務(wù)器：適用于園區(qū)、商場(chǎng)等多路并發(fā)場(chǎng)景，可搭載最多 72 片RV1126B核心板，同時(shí)處理288路1080p視頻流；普通攝像頭接入后即可升級(jí)為AI攝像頭，升級(jí)成本降低40%-60%。
• 邊緣計(jì)算盒子：專為利舊改造設(shè)計(jì)，接入傳統(tǒng)攝像頭即可將原有系統(tǒng)升級(jí)為智能分析系統(tǒng)，改造成本降低 70%。

1. 多案例實(shí)測(cè)效果

RV1126B 端云協(xié)同方案憑借算力、功耗、適配性的均衡表現(xiàn)，已在IPC 網(wǎng)絡(luò)攝像機(jī)、人臉識(shí)別閘機(jī)、車載相機(jī)三大場(chǎng)景實(shí)現(xiàn)成熟落地，各場(chǎng)景針對(duì)性做了技術(shù)優(yōu)化：

IPC 網(wǎng)絡(luò)攝像機(jī)（基礎(chǔ)方案）

• 接入方式：以太網(wǎng)接入，RTSP 推流上云，輸出4K主碼流+ 1080p子碼流
• 核心優(yōu)勢(shì)：YOLOv3 達(dá)25 FPS，動(dòng)態(tài)碼率優(yōu)化節(jié)省50%碼流；可直接替換普通IPC主控，原有攝像頭模組兼容，調(diào)用RKMedia框架可快速搭建視頻流水線

人臉識(shí)別閘機(jī)（最成熟場(chǎng)景）

• 核心方案：雙目方案（RGB 采集彩色圖像+ IR采集紅外圖像），配合活體檢測(cè)防攻擊
• 實(shí)測(cè)數(shù)據(jù)：人臉檢測(cè) 23ms + 雙目活體15ms +特征提取25ms，支持10萬(wàn)人臉底庫(kù)，識(shí)別準(zhǔn)確率＞99.7%
• 硬件建議：雙目 200W 像素，4.3mm鏡頭（視場(chǎng)角70度），識(shí)別距離0.8米左右

車載相機(jī) / 行車記錄儀

• 關(guān)鍵特性：6-DOF 數(shù)字防抖（消除行車抖動(dòng)）、多光源融合（可見(jiàn)光+紅外熱成像）、硬件級(jí)國(guó)密SM2/SM3/SM4安全支持
• 工業(yè)級(jí)適配：常規(guī)工作溫度 - 20℃~60℃，工業(yè)級(jí)可選- 40℃~85℃，適配車載復(fù)雜環(huán)境

1. 開(kāi)發(fā)者支持

硬件方面思林杰NeoCAM AI提供可定制的一套AI相機(jī)硬件開(kāi)發(fā)平臺(tái)，硬件采用Rockchip RV1126B處理器解決方案，可選擇搭配Sony IMX系列傳感器，POE供電與數(shù)據(jù)傳輸,采用38板標(biāo)準(zhǔn)結(jié)構(gòu)設(shè)計(jì)，快速按需定制外殼，支撐從開(kāi)發(fā)到驗(yàn)證到批量生產(chǎn)全過(guò)程，硬件功能強(qiáng)大：

• 基于 Rockchip RV1126 的AI相機(jī)模組
• 四核 ARM cortex A7 處理器
• 3.0 Tops AI 運(yùn)算能力

軟件方面，思林杰NeoCAM AI 相機(jī)配備完整的SDK，包含系統(tǒng)、驅(qū)動(dòng)、圖像處理和AI應(yīng)用接口等，為開(kāi)發(fā)者提供豐富工具和資源。平臺(tái)支持Python、C和C++等多種編程語(yǔ)言進(jìn)行廣泛開(kāi)發(fā)和預(yù)研，大幅降低開(kāi)發(fā)難度，加速?gòu)腁I算法開(kāi)發(fā)到硬件部署的實(shí)施周期，方便客戶根據(jù)實(shí)際需求進(jìn)行二次開(kāi)發(fā)，植入自有算法，實(shí)現(xiàn)個(gè)性化功能。NeoCAM SDK?旨在簡(jiǎn)化 AI 開(kāi)發(fā)流程，通過(guò)分層架構(gòu)將硬件驅(qū)動(dòng)、圖像處理、媒體服務(wù)等底層功能封裝為標(biāo)準(zhǔn)化API，開(kāi)發(fā)者可聚焦AI模型開(kāi)發(fā)與業(yè)務(wù)邏輯實(shí)現(xiàn)，無(wú)需深入理解復(fù)雜的底層技術(shù)細(xì)節(jié)：

• 基礎(chǔ)的 Camera 平臺(tái)，用戶無(wú)需關(guān)注系統(tǒng)，驅(qū)動(dòng)，圖像等
• AI 應(yīng)用接口，快速與易用的AI模型部署驗(yàn)證
• 支持 Python/C/C++ 多種開(kāi)發(fā)語(yǔ)言

結(jié)語(yǔ)

RV1126B 端云協(xié)同的核心，是計(jì)算的精準(zhǔn)分配：把實(shí)時(shí)任務(wù)留在端側(cè)，把高耗計(jì)算留給云端；帶寬敏感數(shù)據(jù)本地留存，高價(jià)值數(shù)據(jù)結(jié)構(gòu)化上傳。這一方案打破了 “端/云二選一”的僵局，以算力、功耗、生態(tài)的均衡優(yōu)勢(shì)，成為從IPC到車載的通用AI視覺(jué)解決方案，在安防、工業(yè)、商業(yè)、餐飲等多場(chǎng)景落地見(jiàn)效。

未來(lái)的智能相機(jī)，不再只是攝像頭，而是能感知、理解、做決策的邊緣節(jié)點(diǎn)。對(duì) AI 視覺(jué)開(kāi)發(fā)者來(lái)說(shuō)，選型核心也將從“算法跑在哪”，升級(jí)為“哪些任務(wù)在端、哪些在云、怎樣協(xié)同更高效”。而端云協(xié)同，正是這一升級(jí)的關(guān)鍵。