用國(guó)產(chǎn)AI算力打造下一代沉浸式體驗(yàn)！

2026集創(chuàng)賽“華強(qiáng)x昇騰”企業(yè)命題火熱報(bào)名中！本賽題由華強(qiáng)半導(dǎo)體發(fā)起、昇騰賦能，聚焦智慧文旅場(chǎng)景。參賽者需基于華為昇騰310B/310B+FPGA異構(gòu)算力平臺(tái)，結(jié)合《熊出沒(méi)》等經(jīng)典IP，開發(fā)兼具沉浸交互與園區(qū)管控能力的具身智能體。

昇騰+FPGA的異構(gòu)組合代表了國(guó)產(chǎn)算力自主可控的關(guān)鍵方向，實(shí)現(xiàn)了高性能與高靈活性的最優(yōu)平衡。加入我們，將助您掌握從算法設(shè)計(jì)到硬件部署的全流程技能，積累高含金量項(xiàng)目經(jīng)驗(yàn)。優(yōu)秀方案將有機(jī)會(huì)在方特樂(lè)園真實(shí)落地，實(shí)現(xiàn)從“代碼”到“產(chǎn)業(yè)產(chǎn)品”的跨越。

這不僅是一場(chǎng)競(jìng)技，更是用國(guó)產(chǎn)技術(shù)重塑文化體驗(yàn)的契機(jī)。讓您的代碼驅(qū)動(dòng)卡通熊智能互動(dòng)，為千萬(wàn)游客創(chuàng)造歡樂(lè)！誠(chéng)邀各高校師生踴躍報(bào)名，共筑AI+文化創(chuàng)新未來(lái)！

【華強(qiáng)x昇騰杯賽題發(fā)布】用國(guó)產(chǎn)AI算力打造下一代沉浸式體驗(yàn)！2026集創(chuàng)賽昇騰攜手華強(qiáng)共筑AI+文化融合創(chuàng)新平臺(tái)！

01

賽題背景與核心目標(biāo)解析

賽題要求參賽隊(duì)伍基于華為昇騰310B/310P芯片，或“310B+FPGA”的異構(gòu)硬件平臺(tái)，完成視頻圖像的采集與處理。

系統(tǒng)的最終交付目標(biāo)是一套具備高魯棒性的智能視覺(jué)交互終端。該終端需具備動(dòng)作識(shí)別與表情捕捉能力，并能與游客實(shí)現(xiàn)《熊出沒(méi)》IP的沉浸式演藝聯(lián)動(dòng)（如觸發(fā)虛擬形象互動(dòng)、劇情分支切換等）。這不僅是對(duì)深度學(xué)習(xí)算法的考驗(yàn)，更是對(duì)邊緣設(shè)備算力調(diào)度、軟硬協(xié)同設(shè)計(jì)以及工程落地能力的綜合檢驗(yàn)。

1. 平臺(tái)適配:要求基于指定的310B/310P或310B+FPGA的板卡或算力盒子，完成視頻圖像的采集與處理確保智能體的算力適配性與運(yùn)行穩(wěn)定性;

2. IP互動(dòng)功能:具備動(dòng)作識(shí)別、表情捕捉能力，可與游客實(shí)現(xiàn)《熊出沒(méi)》IP沉浸式演藝聯(lián)動(dòng)(如觸發(fā)熊大/熊二虛擬形象互動(dòng)、劇情分支切換等);

3. 場(chǎng)景適配:需適配方特園區(qū)開放環(huán)境(如光照變化、人群密集、動(dòng)態(tài)障礙物等)，保證復(fù)雜場(chǎng)景下的功能有效性。

注：選擇FPGA+310B的隊(duì)伍，F(xiàn)PGA可以應(yīng)用于圖像的前端預(yù)處理，或者多路視頻的融合輸入等功能，以提升識(shí)別性能、擴(kuò)展端口輸入等。

4. IP互動(dòng)類指標(biāo)

(1)動(dòng)作識(shí)別準(zhǔn)確率:針對(duì)揮手、歡呼、比心等常見互動(dòng)動(dòng)作;(2)表情捕捉響應(yīng)延遲:從捕捉游客表情(如微笑、驚訝、開心等)到觸發(fā)《熊出沒(méi)》IP互動(dòng)反饋(如虛擬形象回應(yīng)、燈光變化等);

(3)IP聯(lián)動(dòng)適配性:可穩(wěn)定聯(lián)動(dòng)至少3種《熊出沒(méi)》主題演藝形式(如虛擬角色對(duì)話、動(dòng)作互動(dòng)、劇情分支切換、AR合影特效)，無(wú)聯(lián)動(dòng)失敗或卡頓現(xiàn)象。

02

系統(tǒng)頂層架構(gòu)設(shè)計(jì)（System Architecture）

為滿足低延遲與高吞吐量的要求，系統(tǒng)需摒棄傳統(tǒng)的“CPU 大包大攬”模式，構(gòu)建高度流水線化的異構(gòu)數(shù)據(jù)通路。

根據(jù)賽題要求，音視頻輸入可通過(guò) HDMI/CMOS 接入，輸出則通過(guò) HDMI 或千兆以太網(wǎng)呈現(xiàn)。整體架構(gòu)可劃分為以下四個(gè)層級(jí)：

1. 感知輸入層：推薦選用高幀率工業(yè) CMOS 相機(jī)或 MIPI 接口模組，從物理源頭切斷 USB 總線帶來(lái)的不可控延遲。

2. 圖像預(yù)處理層：作為數(shù)據(jù)的“清洗站”與“整形器”，負(fù)責(zé)處理前端高頻并發(fā)的像素流。

3. 核心推理層 (310B NPU)：作為系統(tǒng)的“大腦”，接管標(biāo)準(zhǔn)化后的純凈視頻流，利用硬件解碼器與 NPU 完成復(fù)雜的張量計(jì)算與業(yè)務(wù)邏輯判斷。

4. 沉浸表現(xiàn)層：接收處理結(jié)果，驅(qū)動(dòng)外部大屏或虛幻引擎完成終端視覺(jué)渲染與物理聯(lián)動(dòng)輸出（支持 HDMI/以太網(wǎng)輸出）。

03

硬件協(xié)同與底層加速策略

軟硬解耦，算力卸載。我們將傳統(tǒng)的CPU圖像預(yù)處理任務(wù)，拆分給DVPP和AIPP兩個(gè)底層硬件模塊進(jìn)行“接力”：

1、DVPP負(fù)責(zé)“物理整形”（動(dòng)態(tài)調(diào)用）

思路：摒棄傳統(tǒng)的OpenCV軟解思路，直接調(diào)用310B獨(dú)立的DVPP硬件單元。

作用：接收從FPGA傳入的高清視頻流后，純靠硬件完成圖像的縮放（Resize）、裁剪（Crop）或基礎(chǔ)格式解碼。這一步快速將大圖處理成模型需要的物理尺寸（如640x640），將CPU從最耗時(shí)的像素搬運(yùn)中徹底解放出來(lái)。

2、AIPP負(fù)責(zé)“數(shù)學(xué)轉(zhuǎn)換”（靜態(tài)固化）

思路：利用310B NPU特有的AIPP機(jī)制，將像素級(jí)的數(shù)學(xué)運(yùn)算提前“編譯”進(jìn)AI模型中。

作用：原本需要用代碼遍歷像素去做的色域轉(zhuǎn)換（如YUV轉(zhuǎn)RGB）、減均值、歸一化（/255）等操作，現(xiàn)在變成了NPU推理前自動(dòng)執(zhí)行的底層指令。由于和模型推理深度融合，這部分預(yù)處理的時(shí)間損耗幾乎可以忽略不計(jì)。

04

核心算法棧與優(yōu)化策略

賽題對(duì)動(dòng)作識(shí)別和表情捕捉的準(zhǔn)確率及延遲提出了明確要求。需摒棄臃腫的大模型，構(gòu)建目標(biāo)驅(qū)動(dòng)的輕量化級(jí)聯(lián)網(wǎng)絡(luò)。

1、動(dòng)作識(shí)別：目標(biāo)追蹤與姿態(tài)估計(jì)

（1）考核指標(biāo)：針對(duì)揮手、歡呼、比心等常見互動(dòng)動(dòng)作的識(shí)別準(zhǔn)確率。

（2）技術(shù)路徑：避免使用易受背景干擾的全局圖像分類法。建議采用“輕量級(jí)目標(biāo)檢測(cè) (如 YOLOv8) + 骨骼關(guān)鍵點(diǎn)提取 (Pose Estimation)”的二維路線。以“比心”為例，系統(tǒng)提取左右手腕與手肘的坐標(biāo)，當(dāng)多點(diǎn)在胸腔中心區(qū)域形成特定夾角與拓?fù)潢P(guān)系時(shí)，狀態(tài)機(jī)即判定動(dòng)作生效。

2、表情捕捉：極限提速的兩段式級(jí)聯(lián)

（1）考核指標(biāo)：從捕捉游客表情（如微笑、驚訝、開心等）到觸發(fā)《熊出沒(méi)》IP 互動(dòng)反饋（如虛擬形象回應(yīng)、燈光變化等）的響應(yīng)延遲。

（2）技術(shù)路徑：全局運(yùn)行超輕量級(jí)人臉檢測(cè)算法獲取目標(biāo)邊界框；隨后利用 DVPP 摳出人臉 ROI 區(qū)域；最終將低分辨率切圖送入基于 MobileNet/ShuffleNet 骨干的表情分類網(wǎng)絡(luò)。該方案可將單幀推理耗時(shí)壓縮至毫秒級(jí)，實(shí)現(xiàn)極低延遲。

05

沉浸式互動(dòng)呈現(xiàn)與集成交付

系統(tǒng)需穩(wěn)定聯(lián)動(dòng)至少3種《熊出沒(méi)》主題演藝形式，無(wú)聯(lián)動(dòng)失敗或卡頓現(xiàn)象。

1.交互表現(xiàn)形式建議

（1）虛擬角色對(duì)話：根據(jù)游客特定動(dòng)作，觸發(fā)不同的語(yǔ)音播報(bào)與口型同步動(dòng)畫。

（2）劇情分支切換/動(dòng)作互動(dòng)：游客的歡呼聲量或揮手頻率作為交互輸入，推動(dòng)大屏內(nèi)不同劇情線的演進(jìn)。

（3）AR合影特效：提取游客骨骼與人臉坐標(biāo)，實(shí)現(xiàn)虛擬道具（如熊大頭飾、氣球）與真實(shí)游客畫面的精準(zhǔn)三維貼合。

2.交互表現(xiàn)架構(gòu)設(shè)計(jì)

負(fù)責(zé)將AI推理結(jié)果與交互特效具象化呈現(xiàn)。根據(jù)團(tuán)隊(duì)的技術(shù)棧深度與實(shí)際應(yīng)用場(chǎng)景要求，建議將其分為兩個(gè)梯度的實(shí)現(xiàn)方向：

方向一：端側(cè)本地直顯（基礎(chǔ)交付路線）

（1）實(shí)現(xiàn)邏輯：利用邊緣計(jì)算盒子自帶的硬件顯示接口，直接將疊加了AI識(shí)別框、骨骼關(guān)鍵點(diǎn)連線或基礎(chǔ)2D互動(dòng)UI的處理結(jié)果，通過(guò)HDMI輸出至本地顯示設(shè)備。

（2）核心優(yōu)勢(shì)：架構(gòu)精簡(jiǎn)，數(shù)據(jù)傳輸鏈路極短，能夠?qū)崿F(xiàn)極致的低延遲顯示，非常適合在項(xiàng)目早期快速完成系統(tǒng)閉環(huán)與基礎(chǔ)功能驗(yàn)收。

方向二：前后端解耦的網(wǎng)絡(luò)化實(shí)時(shí)渲染（高階進(jìn)階路線）

（1）實(shí)現(xiàn)邏輯：設(shè)計(jì)一套完整的前后端分離軟件架構(gòu)。邊緣端的AI進(jìn)程僅作為純粹的數(shù)據(jù)源，通過(guò)10/100/1000Eth網(wǎng)絡(luò)接口 將結(jié)構(gòu)化的判定結(jié)果（如動(dòng)作標(biāo)簽、觸發(fā)指令）推送至獨(dú)立的后端業(yè)務(wù)分發(fā)服務(wù)。由后端統(tǒng)一下發(fā)控制指令，在前端大屏實(shí)時(shí)渲染《熊出沒(méi)》的3D資產(chǎn)，并觸發(fā)場(chǎng)景內(nèi)的聲光電聯(lián)動(dòng)反饋。

（2）核心優(yōu)勢(shì)：極大地豐富了沉浸式表現(xiàn)力，且將繁重的UI渲染任務(wù)從邊緣AI推理芯片中徹底剝離；支持跨設(shè)備、多屏幕的分布式聯(lián)動(dòng)，完美契合真實(shí)主題樂(lè)園的高端演藝環(huán)境需求。