隨著智能 IPC 設(shè)備（如安防攝像頭、寵物陪伴機(jī)器人、嬰兒監(jiān)視器等）日益普及，越來越多的生活場景被實(shí)時記錄。然而在實(shí)際使用中，由于設(shè)備安裝位置不當(dāng)、廣角鏡頭視野過大等原因，經(jīng)常會出現(xiàn)拍攝主體占比過小的問題，導(dǎo)致"全景清晰而主體模糊"，嚴(yán)重影響用戶的觀看體驗(yàn)。

一、涂鴉AI 推理模型自動突出主體

因此，涂鴉重磅推出 On-App AI 視頻主體突出解決方案，利用涂鴉賦能 App 的AI 能力對畫面進(jìn)行實(shí)時目標(biāo)檢測，自動定位、識別主體后，再利用圖像算法對其進(jìn)行智能自適應(yīng)放大，使主體更突出、畫面更聚焦。最后，對處理完成的視頻進(jìn)行編碼與封裝，即可輸出經(jīng)過優(yōu)化的視頻內(nèi)容。

該方案適合拓展應(yīng)用至生活各個場景中，如：

在室內(nèi)監(jiān)護(hù)中，可用于嬰兒看護(hù)、寵物監(jiān)測、寵物機(jī)器人等設(shè)備；

在醫(yī)療影像或科研中，可結(jié)合內(nèi)鏡或其他醫(yī)療設(shè)備突出術(shù)野關(guān)鍵區(qū)域；

在戶外記錄時，可用于智能喂鳥器、狩獵攝像機(jī)、自然景觀攝像機(jī)等設(shè)備；

在安防與工業(yè)檢測中，可用于巡檢、維修等需要檢查局部細(xì)節(jié)的設(shè)備。

a.例如針對家庭場景里的小貓，攝像頭會自動識別主體并進(jìn)行畫面放大：

（沒有主體突出功能的視頻畫面）

（有主體突出功能的視頻畫面）

b.在戶外復(fù)雜場景下，涂鴉 On-App AI 視頻主體方案依然能夠精準(zhǔn)識別目標(biāo)對象，并進(jìn)行動作追蹤和畫面放大。戳視頻，直觀體驗(yàn)生成效果：

二、詳解涂鴉AI 視頻主體突出技術(shù)

1、整體技術(shù)架構(gòu)介紹

在涂鴉所有的 AI 產(chǎn)品/硬件解決方案中, 我們打通了端到端的 AI 能力：即設(shè)備端、云端、App 端三端協(xié)同。通過將先進(jìn)的 AI 推理模型部署到涂鴉賦能 App 上，能夠助力品牌商與開發(fā)者將先進(jìn)的AI技術(shù)無縫集成到移動設(shè)備中，打造更靈活的 AI 架構(gòu)、更優(yōu)的用戶體驗(yàn)、更安全的計(jì)算能力。

在移動端模型的部署中，涂鴉采用了輕量化技術(shù)架構(gòu)（ TensorFlow Lite 等），這種技術(shù)架構(gòu)的優(yōu)勢就在于具備高效推理、低延遲、低功耗等特點(diǎn)，并且支持本地模型實(shí)現(xiàn)離線運(yùn)行、系統(tǒng)更新、部署等按需加載的機(jī)制，助力提高運(yùn)行效率，打造更靈活的 AI 架構(gòu)。

圖像處理技術(shù)涂鴉采用了 OpenGL ES，可實(shí)現(xiàn)更高效的渲染與優(yōu)化，充分利用 GPU 對圖像處理過程進(jìn)行加速；

視頻編解碼技術(shù)采用涂鴉平臺提供的硬件解碼，能夠提升視頻處理性能、降低 CPU 負(fù)載，確保視頻流暢播放與低功耗運(yùn)行。

（涂鴉AI 視頻主體突出技術(shù)架構(gòu)圖）

2、技術(shù)亮點(diǎn)

2.1 擁有更靈活的 AI 架構(gòu)：輕量化和動態(tài)化

（輕量化與動態(tài)化運(yùn)行流程示意圖）

2.1.1 輕量級檢測模型

涂鴉采用專門優(yōu)化移動端的輕量級對象檢測模型 EfficientDet-D0，該模型參數(shù)少、計(jì)算量小、推理速度快，可以精準(zhǔn)檢測視頻中指定主體（如寵物、人物）的位置與類別。同時，基于智能分析能力可快速篩除無主體片段，有效降低計(jì)算負(fù)擔(dān)，提升處理效率。

?

2.1.2 模型動態(tài)化

采用按需加載的動態(tài)模型管理機(jī)制，支持模型在線下載、更新與部署，確保視頻應(yīng)用始終使用最優(yōu)模型版本，同時減少初始安裝包體積，提高運(yùn)行效率。

?

2.2 更優(yōu)的用戶體驗(yàn)：實(shí)時性和高效率

（AI實(shí)時數(shù)據(jù)處理流程示意圖）?

2.2.1實(shí)時交互處理

該方案支持實(shí)時響應(yīng)用戶的交互需求。依托本地計(jì)算的高效運(yùn)行，可確保流暢無延遲的用戶體驗(yàn)，無需依賴網(wǎng)絡(luò)，即可實(shí)現(xiàn)快速響應(yīng)與實(shí)時處理。

?

2.2.2 新增防抖圖像算法

在檢測視頻主體位置的過程中，檢測框可能會發(fā)生抖動偏移，從而導(dǎo)致主體放大的畫面也會產(chǎn)生抖動；針對這一問題，涂鴉增加抖動閾值，確保視頻處理畫面時的平滑流暢。

?

2.2.3 微調(diào)模型以提高準(zhǔn)確度

涂鴉積累了海量不同場景下的主體圖片，覆蓋不同光照條件下白天黑夜等多個場景，數(shù)據(jù)脫敏之后，涂鴉對這些模型進(jìn)行精心的訓(xùn)練微調(diào)，確保模型推理過程中的泛化能力。

?

2.3 更安全的計(jì)算能力：低成本和隱私保護(hù)

（涂鴉 AI 端側(cè)算力結(jié)構(gòu)圖）?

2.3.1降低處理成本

涂鴉支持開發(fā)者動態(tài)調(diào)整視頻幀的推理策略。在沒有檢測到視頻主體的時候，系統(tǒng)會間隔多幀識別一幀；當(dāng)檢測到主體時，就會自動調(diào)整為間隔 3 幀檢測一幀。這樣就能充分利用移動端的硬件加速，顯著提升視頻編解碼速度，降低 CPU 負(fù)載，提高整體性能。

而且，本地化處理相比云端處理的成本更低、更能節(jié)約云端負(fù)荷，算力消耗每萬次減少 25 TFLOPs，節(jié)省成本約 10% 左右。

?

2.3.2 保護(hù)隱私安全

該方案的所有數(shù)據(jù)處理均在本地完成，顯著降低時延、提高響應(yīng)速度，同時避免數(shù)據(jù)外傳，增強(qiáng)用戶隱私保護(hù)，為應(yīng)用提供更安全高效的計(jì)算環(huán)境。