你有沒有想過讓C羅、梅西或者內(nèi)馬爾在你家桌子上踢一場(chǎng)比賽會(huì)是什么樣子？華盛頓大學(xué)、Facebook和Google的研究人員開發(fā)了第一個(gè)端到端的深度學(xué)習(xí)系統(tǒng)，可以將足球比賽的YouTube視頻轉(zhuǎn)換為運(yùn)動(dòng)的3D全息圖，使用AR設(shè)備就可以觀看到3D全息投影的足球比賽。這項(xiàng)研究將在 CVPR 2018 會(huì)議上首次亮相。

世界杯來了！央視名嘴白巖松調(diào)侃“俄羅斯世界杯，中國(guó)除了足球隊(duì)沒去，其他的都去了”，這屆世界杯，中國(guó)球迷購(gòu)買球票的數(shù)量在所有國(guó)家中排名第9，可見球迷對(duì)世界杯的熱情。那么，除了準(zhǔn)備好小龍蝦在電視機(jī)前觀看世界杯比賽，你有沒有想過讓C羅、梅西或者內(nèi)馬爾在你家桌子上踢一場(chǎng)比賽會(huì)是什么樣子？

華盛頓大學(xué)、Facebook和Google的研究人員開發(fā)了第一個(gè)端到端的深度學(xué)習(xí)系統(tǒng)，該系統(tǒng)可以將足球比賽的YouTube視頻轉(zhuǎn)換為運(yùn)動(dòng)的3D全息圖。

用CNN重建一場(chǎng)足球比賽

“對(duì)一場(chǎng)足球比賽進(jìn)行單目重建有很多挑戰(zhàn)。我們必須估計(jì)相對(duì)于場(chǎng)地的攝像機(jī)姿態(tài)，檢測(cè)并跟蹤每個(gè)球員，重新構(gòu)建他們的身體形狀和姿勢(shì)，并對(duì)聯(lián)合重建進(jìn)行渲染，”研究人員在他們的研究論文中寫道。

圖1：以足球比賽的YouTube視頻為輸入，系統(tǒng)輸出比賽的動(dòng)態(tài)3D重建，可以使用增強(qiáng)現(xiàn)實(shí)設(shè)備在桌面上以交互式的方式觀看。

這種方法的關(guān)鍵是卷積神經(jīng)網(wǎng)絡(luò)（CNN），研究人員通過訓(xùn)練CNN來估計(jì)每個(gè)球員與拍攝比賽的攝像機(jī)之間的距離。該網(wǎng)絡(luò)分析了從足球視頻游戲《FIFA》中提取的12000張2D球員圖像，以及從游戲引擎提取的相應(yīng)3D數(shù)據(jù)，以了解兩者之間的相關(guān)性。

這樣，網(wǎng)絡(luò)就能從沒見過的2D圖像中預(yù)估球員的深度圖（depth maps）。當(dāng)被展示沒見過的視頻時(shí)，系統(tǒng)能準(zhǔn)確地預(yù)測(cè)每個(gè)球員的深度圖，并將其與顏色素材結(jié)合，以3D的方式重建每個(gè)球員。

圖2：重建方法的概覽

以YouTube視頻的幀作為輸入，我們使用field lines來恢復(fù)攝像機(jī)參數(shù)。然后，提取邊界框、姿勢(shì)和軌跡（跨多個(gè)幀）來分割球員。通過在視頻游戲數(shù)據(jù)上訓(xùn)練好的深度網(wǎng)絡(luò)，我們?cè)谟螒颦h(huán)境中重建了每個(gè)球員的深度圖，這樣就可以在3D查看器或AR設(shè)備上呈現(xiàn)出來。

然后，球員們被放在一個(gè)虛擬的足球場(chǎng)上。其結(jié)果令人驚嘆，并且可以通過3D查看器或AR設(shè)備從任何角度觀看比賽。

圖3：訓(xùn)練數(shù)據(jù)：從《FIFA》游戲中提取圖像和對(duì)應(yīng)的深度，這里展示了幾個(gè)可視化為深度圖和網(wǎng)格的例子。

該團(tuán)隊(duì)使用NVIDIA GeForce GTX 1080 GPU和NVIDIA TITAN Xp GPU，以及cuDNN加速的PyTorch深度學(xué)習(xí)框架，在從世界杯比賽視頻中提取的數(shù)小時(shí)的3D球員數(shù)據(jù)上對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

基于這些比賽視頻數(shù)據(jù)，神經(jīng)網(wǎng)絡(luò)能夠重構(gòu)球場(chǎng)上的每個(gè)球員的深度圖，這些圖可以在3D查看器或AR設(shè)備上呈現(xiàn)。

“事實(shí)證明，在玩EA的《FIFA》游戲并截取游戲引擎和GPU間的調(diào)用時(shí)，可以從視頻游戲中提取深度圖。具體來說，我們使用RenderDoc來截取游戲引擎和GPU之間的調(diào)用。”研究團(tuán)隊(duì)表示：“FIFA與大多數(shù)游戲類似，在游戲過程中使用延遲渲染。通過訪問GPU調(diào)用，可以捕獲每幀的深度和顏色緩沖區(qū)。一旦特定的幀被捕獲了深度和顏色，就可以提取出球員?！?/p>

圖4：合成數(shù)據(jù)集的結(jié)果以及與當(dāng)前最優(yōu)技術(shù)和ground truth的比較，可視化為depth maps和3D網(wǎng)格。我們的方法更準(zhǔn)確，實(shí)現(xiàn)了更好的網(wǎng)格重構(gòu)。

為了驗(yàn)證這個(gè)系統(tǒng)，研究團(tuán)隊(duì)用YouTube上找到的10個(gè)高分辨率的職業(yè)足球比賽視頻測(cè)試他們的方法。值得注意的是，該系統(tǒng)只在合成視頻素材上進(jìn)行訓(xùn)練。但是，在真實(shí)的場(chǎng)景中，系統(tǒng)也有非常好的結(jié)果。

來自YouTube視頻的實(shí)際圖像的結(jié)果

從Youtube框架開始（頂行），我們網(wǎng)絡(luò)重建的深度圖可以添加到虛擬3D球場(chǎng)環(huán)境中，這里顯示為僅網(wǎng)格和紋理渲染（第2-4行）。

研究人員用微軟的HoloLensAR眼鏡進(jìn)行測(cè)試。HoloLens可以將3D重建疊加到真實(shí)的桌面上。最終的產(chǎn)品雖然不完美，它無法重建球，不能實(shí)時(shí)地工作，并且只允許從視頻錄制的球場(chǎng)側(cè)面觀看。但是，這項(xiàng)技術(shù)可能比當(dāng)前3D重建運(yùn)動(dòng)的最先進(jìn)方法更具可擴(kuò)展性，因?yàn)楫?dāng)前的方法需要在每一個(gè)角度布置相機(jī)。研究人員稱，這種方法也適用于預(yù)定義的其他事件，例如音樂會(huì)或劇場(chǎng)。

桌面實(shí)際的場(chǎng)景

用HoloLens看到的場(chǎng)景

研究人員承認(rèn)他們的系統(tǒng)并不完美。他們的下一個(gè)項(xiàng)目將專注于訓(xùn)練系統(tǒng)以更好地檢測(cè)球，并開發(fā)可從任何角度觀察的系統(tǒng)。

這項(xiàng)研究將于6月18日至22日在猶他州鹽湖城舉行的年度計(jì)算機(jī)視覺和模式識(shí)別（CVPR）會(huì)議上首次亮相。