盡管深度攝像頭正在逐漸出現(xiàn)在許多手機(jī)手機(jī)品牌的高端機(jī)型上，但是單目、RGB攝像頭仍然是占據(jù)絕大多數(shù)設(shè)備的主流。這也就導(dǎo)致了現(xiàn)有的AR技術(shù)仍然是基于平面，很難去獲取環(huán)境的縱深。另外設(shè)備也很難捕捉并理解人體以及動作，無法表現(xiàn)更好的增強(qiáng)現(xiàn)實(shí)效果。

普及具備深度獲取能力的攝像頭仍需時(shí)日，而人們對于更好的AR體驗(yàn)的追求已經(jīng)等不及了，如何在不添加傳感器的條件下，讓單目視覺設(shè)備具備對場景縱深的理解能力，對人物動作的追蹤能力，成為增強(qiáng)現(xiàn)實(shí)視頻公司Octi攻克的重點(diǎn)。

在iOS端，Octi推出了一款名為“Octi”的APP，已經(jīng)可以在App Store下載體驗(yàn)

這款應(yīng)用展示了他們的動態(tài)摳圖技術(shù)

識別動態(tài)的尬舞人體，選擇特效，例如變成透明人

將從別處摳下來的動態(tài)跳舞妹子放進(jìn)同一個(gè)場景中

點(diǎn)擊邊框調(diào)出視頻工具條

和時(shí)下流行的短視頻結(jié)合起來似乎會有奇妙的效果。

在Octi的官網(wǎng)上能看到技術(shù)的簡要說明。

首先是移動實(shí)例分割。

所謂實(shí)例分割，就是機(jī)器自動從圖像中用目標(biāo)檢測方法框出不同實(shí)例，再用語義分割方法在不同實(shí)例區(qū)域內(nèi)進(jìn)行逐像素標(biāo)記。換言之，就是當(dāng)場景中出現(xiàn)很多人的情況下，實(shí)例分割能夠區(qū)分出那些像素屬于第一個(gè)人，哪些屬于第二個(gè)人。

而Octi專有的人員實(shí)例分割方法能夠?qū)崿F(xiàn)在移動設(shè)備（手機(jī)）上以高幀率運(yùn)行。

為了讓機(jī)器具備理解人體及其運(yùn)動的能力，Octi建立了成熟的機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺技術(shù)。

首先，它掃描人體，檢測關(guān)鍵點(diǎn)比如眼睛、鼻子、臀部肘部等。

然后利用這些點(diǎn)來構(gòu)建骨骼模型

Octi獨(dú)特的3D重建技術(shù)結(jié)合使用神經(jīng)網(wǎng)絡(luò)和運(yùn)動學(xué)模型，比同類方法具有更高的精度。

使用人的姿勢、分割和一系列專有運(yùn)動模型的先驗(yàn)組合，Octi在移動端實(shí)現(xiàn)了人體的體積重建。

看來Octi采用的便是被丸子醬點(diǎn)名批評過的，通過在模擬出的骨骼模型上套上一個(gè)粗糙的人體外殼完成的人體3D模型重建（Facebook最新開源，普通RGB相機(jī)即可實(shí)時(shí)映射3D模型）考慮到在手機(jī)端各方條件都受限制，不能強(qiáng)求更多，實(shí)用就好。

為了讓單目RGB相機(jī)識別環(huán)境中的相對深度

Octi利用深度估計(jì)估計(jì)模型來區(qū)分圖像的前景和背景（即物體的遠(yuǎn)近），這種能力加強(qiáng)了設(shè)備對于場景的語義理解，并且允許我們在不考慮背景噪聲的情況下提取人的詳細(xì)動作。

Octi日前確定了同NFL球員協(xié)會（美國國家橄欖球聯(lián)盟）確定了投資戰(zhàn)略和合作關(guān)系，球迷粉絲們可以通過Octi提供的技術(shù)同超過2000名橄欖球運(yùn)動員進(jìn)行視頻形象互動，就像我們在文章開頭看到的那樣。

動作捕捉似乎是個(gè)和我們普羅大眾相距甚遠(yuǎn)的技術(shù)條目，Octi此舉卻告訴了我們，我們可以利用這項(xiàng)技術(shù)做很多有趣的事情，而且僅需要一個(gè)配備單目攝像頭的智能手機(jī)，就可以從場景中提取清晰人體動作，這將給AR技術(shù)的普及推廣進(jìn)一步推波助瀾。

Octi不久前宣布獲得750萬美元投資，有了更多資金，Octi將繼續(xù)完善其計(jì)算機(jī)視覺科學(xué)家、機(jī)器學(xué)習(xí)工程師的研究人員團(tuán)隊(duì)，或許能在技術(shù)上更進(jìn)一步。