前幾日發(fā)布的Oculus Go主打經(jīng)濟(jì)實(shí)惠性價(jià)比，低配版僅千把出頭的售價(jià)也讓他成為了名副其實(shí)的“千元機(jī)”。但是Oculus Go僅支持手部三維自由度，帶上Oculus Go的我們也只能在原地“站樁輸出”，無法展示自己靈活的手法，沉浸感是大打折扣。

和大部分VR顯示器一樣，Oculus Go不具備6Dof追蹤的原因是出于成本考量，倘若Oculus Go實(shí)惠的售價(jià)再配上6Dof不菲的成本，恐怕廠商是要血虧一波。

截至目前位置6Dof仍然是是高端頭顯的特有功能，然而最近谷歌研究的低成本內(nèi)向外6Dof VR控制器追蹤系統(tǒng)可能會(huì)令6Dof頭顯搭配6Dof控制器以更實(shí)惠的價(jià)格走入尋常百姓家。

正如谷歌所說，許多頭顯缺乏6Dof控制跟蹤器的原因就在于硬件成本、計(jì)算成本以及遮擋問題。倘若解決如上三個(gè)問題，便能夠降低成本，普及技術(shù)。

為了解決其中的遮擋問題，谷歌采用了利用一對立體單色魚眼相機(jī)跟蹤用戶的手臂的辦法，確定控制器在圖像中的位置，簡化系統(tǒng)。

“用戶的雙手和手臂為控制器在圖像中的位置提供了很好的參考，”Google研究人員寫道，

“即使控制器被手遮擋住，也可以通過對手部輪廓圖像的分析得到控制器的位置。而且除了基于標(biāo)準(zhǔn)IMU的控制器之外，并不需要額外的硬件設(shè)備?！?/p>

簡單來說，就是通過VR頭顯攝像頭捕捉手部和手臂各式各樣的姿勢，然后用“經(jīng)驗(yàn)豐富”的軟件對這些手勢進(jìn)行識(shí)別。

為了提高識(shí)別精度，識(shí)別軟件必須訓(xùn)練有素。研究人員為了這項(xiàng)工作以無標(biāo)記6-DoF注釋控制器姿態(tài)收集了超過54萬對立體魚眼圖像的頭顯控制器數(shù)據(jù)集。 這些6-DoF注釋都是是使用Vicon動(dòng)作捕捉系統(tǒng)自動(dòng)收集的，具有亞毫米級的高精度。以此來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，檢測圖像，并且推斷控制器的位置。

在從數(shù)據(jù)集中學(xué)習(xí)之后，該算法可以通過實(shí)時(shí)反饋的圖像”猜測“控制器的位置，來自控制器的IMU數(shù)據(jù)與算法的位置確定也將提高它猜測的準(zhǔn)確性。

這個(gè)數(shù)據(jù)集涵蓋了多種用戶群和具有挑戰(zhàn)性的環(huán)境，就目前來看，應(yīng)該是同類型中最大的數(shù)據(jù)集。研究人員已經(jīng)證明，他們的的SSD-AF-Stereo3D模型在數(shù)據(jù)集的3D關(guān)鍵點(diǎn)追蹤中實(shí)現(xiàn)了33.5mm的低位置誤差。它可以以每秒30幀的速度在單個(gè)移動(dòng)CPU內(nèi)核上運(yùn)行?？梢哉f兼具了準(zhǔn)確性和流暢性。

隨著這個(gè)方法的進(jìn)一步改善，未來更多配備IMU控制器的頭顯將會(huì)具備這一功能，并且研究方有信心在未來將能夠支持無手動(dòng)控制器的手動(dòng)追蹤，徹底解放雙手。

實(shí)際上跟蹤控制器位置的方法在Oculus的Santa Cruz上也有用到。

Santa Cruz使用攝像頭尋找隱藏在控制器內(nèi)部的IR LED標(biāo)志，然后將標(biāo)記的形狀與已知形狀進(jìn)行比較以獲得控制器的位置。

Google拿出的方案區(qū)別在于直接追蹤用戶手臂，而不是發(fā)光標(biāo)記。以此來推斷控制器位置。

Google的該團(tuán)隊(duì)表示目前方案還有進(jìn)步空間，當(dāng)前的模式是在逐幀的基礎(chǔ)上預(yù)測位置，而不是在幀與幀之間共享信息，所以他們計(jì)劃把幀之間的插值作為下一步方向，從而顯著加快追蹤速度。