10月8日至10日，“CV界”盛宴VALSE 2021（視覺與學(xué)習(xí)青年學(xué)者研討會(huì)）在杭州國際博覽中心舉行。大會(huì)金牌贊助商奧比中光攜3D智能摳圖算法、開發(fā)者套件等全新技術(shù)方案與產(chǎn)品，以“感知·3D全視界”為主題參展，吸引現(xiàn)場(chǎng)青年學(xué)者與專業(yè)觀眾駐足交流。9日上午，奧比中光研究院算法團(tuán)隊(duì)負(fù)責(zé)人錢貝貝博士在大會(huì)上發(fā)表了《3D視覺 更懂世界——從感知到認(rèn)知》的演講，分享了奧比中光3D視覺感知技術(shù)從深度信息獲取到三維重建、落地應(yīng)用過程的研發(fā)突破。

精細(xì)到頭發(fā)絲，奧比中光3D智能摳圖算法來了

在演講中，錢貝貝博士圍繞3D感知、3D重建、3D識(shí)別等話題，分享了奧比中光3D視覺感知技術(shù)的基本原理與公司最新算法研發(fā)突破?；谟布?jí)的高精度3D信息與前沿深度估計(jì)算法，奧比中光可實(shí)現(xiàn)基于紋理增強(qiáng)的三維人臉重建、人體重建，并通過3D識(shí)別算法開發(fā)出各類3D智能應(yīng)用。

今年3月，奧比中光研究院徐玉華博士在CVPR發(fā)表論文 “Bilateral Grid Learning for Stereo Matching Networks”，提出了一種能夠以高分辨率回歸視差圖的方法，可在雙目深度估計(jì)過程中同時(shí)保持高效率與高精度，顯著改善了傳統(tǒng)方法在弱紋理、邊緣情況下深度估計(jì)不準(zhǔn)、信息缺失等情況，使得深度圖更加完整。

奧比中光研究院算法團(tuán)隊(duì)負(fù)責(zé)人錢貝貝博士在VALSE 2021發(fā)表演講。

現(xiàn)場(chǎng)，錢貝貝博士展示了團(tuán)隊(duì)最新研發(fā)的3D智能摳圖算法全新技術(shù)方案。該方案實(shí)現(xiàn)了基于背景建模的輕量化前景摳圖，能夠同時(shí)摳取清晰的3D人像及物品，可廣泛用于直播帶貨、視頻會(huì)議、游戲渲染、場(chǎng)景理解、自動(dòng)駕駛、目標(biāo)跟蹤、混合顯示、電影制作等場(chǎng)景。

錢貝貝博士介紹，主播在直播帶貨場(chǎng)景中同時(shí)要售賣許多款商品，在摳圖時(shí)，如果用傳統(tǒng)2D摳圖常用的語義分割、顯著性檢測(cè)等方式，容易受物品類別及顯著性等限制，難以準(zhǔn)確從雜亂的背景中摳取主播與商品。奧比中光通過背景+人圖軟分割的方法，設(shè)計(jì)了輕量化的Stage Block網(wǎng)絡(luò)框架，并基于大量數(shù)據(jù)訓(xùn)練，實(shí)現(xiàn)了人、物與背景的精確分割，并可根據(jù)不同需求平衡摳圖的精度與速度。

在真實(shí)數(shù)據(jù)集的測(cè)試表現(xiàn)中，相比于其它方式，基于背景建模的輕量化前景摳圖的各方面數(shù)據(jù)都有了顯著提升，其FLOPs降低89.9%，Param降低 87.7%。

圖注：基于背景建模的輕量化前景摳圖與其它方式效果對(duì)比。

除了能同時(shí)摳取人像與物品，摳取自定義距離背景也是奧比中光3D智能摳圖的一大亮點(diǎn)。3D摳圖支持用戶自定義摳圖距離，可過濾掉背景中不相關(guān)的人物，起到保護(hù)隱私的作用。如用戶在家中參加視頻會(huì)議時(shí)，可以調(diào)整3D摳圖距離，不讓其他參會(huì)者看到自己的家庭成員。

圖注：現(xiàn)有在線視頻會(huì)議軟件中的2D摳圖和奧比中光3D摳圖效果對(duì)比。

此外，錢貝貝博士介紹，3D智能摳圖對(duì)于細(xì)節(jié)的還原也更為精確，可以更好地?fù)溉☆^發(fā)、手指等細(xì)節(jié)。“這是由于3D相機(jī)采集的深度信息為算法提供了先驗(yàn)信息，有利于算法將細(xì)節(jié)處摳取得更為完整。相比之下，2D摳圖算法容易導(dǎo)致細(xì)節(jié)丟失，需要配合更高的分辨率才能夠摳取細(xì)節(jié)，但更高的分辨率會(huì)導(dǎo)致算法速度變慢，體驗(yàn)變差?！?/p>

圖注：觀眾在奧比中光展位上觀看3D智能摳圖算法演示。

iToF應(yīng)用開發(fā)DIY，奧比中光開發(fā)者套件也來了

在VALSE 2021展位現(xiàn)場(chǎng)，奧比中光還帶來了iToF開發(fā)者套件及3D視覺機(jī)器人開發(fā)套件等產(chǎn)品，獲得不少開發(fā)者駐足和青睞。

今年9月，奧比中光發(fā)布iToF智能視覺平臺(tái)，提供從芯片、模組、智能算法到整機(jī)的全棧式方案，滿足了AIoT多元化的iToF方案需求。在VALSE 2021上展出的iToF開發(fā)者套件包含奧比中光基于iToF智能視覺平臺(tái)開發(fā)的相機(jī)Femto，搭載高品質(zhì)iToF感光芯片，適用于0.2m-5m距離內(nèi)3D對(duì)象掃描及深度數(shù)據(jù)測(cè)量，可用于開發(fā)視頻安防監(jiān)控、掃地機(jī)器人、3D掃描、物流包裹檢測(cè)等產(chǎn)品應(yīng)用。

圖注：觀眾在奧比中光展位上觀看Femto、開發(fā)者套件等產(chǎn)品演示。

另一款ORBBEC MR100則是以3D視覺硬件及軟件算法為基礎(chǔ)的移動(dòng)機(jī)器人開發(fā)平臺(tái)。ORBBEC MR100搭載了奧比中光Astra Pro深度相機(jī)、單線激光雷達(dá)、英偉達(dá)Jetson nano高性能處理器、串聯(lián)機(jī)械臂、柔性機(jī)械爪等部件，內(nèi)置ROS melodic系統(tǒng)，支持3D人體骨骼識(shí)別、3D視覺目標(biāo)跟隨、物體識(shí)別、三維空間重建與導(dǎo)航等，還可以運(yùn)行深度學(xué)習(xí)，支持拓展語音交互等功能。

圖注：現(xiàn)場(chǎng)觀眾了解奧比中光3D視覺機(jī)器人開發(fā)套件小車。

在VALSE 2021展位上，奧比中光現(xiàn)場(chǎng)開啟了3D視覺開發(fā)者社區(qū)與人才招聘直達(dá)入口，為眾多有志于3D視覺行業(yè)的青年人才提供了專業(yè)渠道。

西安電子科技大學(xué)研一學(xué)生董天成表示，“對(duì)奧比中光的3D視覺技術(shù)很感興趣，未來會(huì)繼續(xù)關(guān)注3D視覺開發(fā)者社區(qū)，希望畢業(yè)后有機(jī)會(huì)去奧比中光西安研究院工作。”
fqj