1. 從二維blob到三維姿態(tài)

攝影測(cè)量中存在一個(gè)經(jīng)典問(wèn)題：Perspective-n-Point（PnP），亦即在給定圖像及其里面的已知3D點(diǎn)的情況下識(shí)別camera姿態(tài)。我們要解決的問(wèn)題是確保控制器追蹤工作正常進(jìn)行，而與PnP問(wèn)題相反的是，我們已經(jīng)能夠很好地估算出頭顯camera姿態(tài)，但我們希望找到具有已知3D點(diǎn)（LED）的控制器姿態(tài)。

一旦檢測(cè)到攝像頭成像中的每個(gè)紅外LED，我們需要解決的困難是確定從每個(gè)blob到控制器特定LED的映射。我們利用LED位置及其到blob的映射來(lái)確定控制器的位置和方向。由于我們僅使用頭顯數(shù)據(jù)來(lái)執(zhí)行跟蹤，所以我們必須高效地執(zhí)行這一過(guò)程的每個(gè)部分。

計(jì)算機(jī)視覺(jué)中的Blob是指圖像中的一塊連通區(qū)域，Blob分析就是對(duì)前景/背景分離后的二值圖像，進(jìn)行連通域提取和標(biāo)記。標(biāo)記完成的每一個(gè)Blob都代表一個(gè)前景目標(biāo)，然后就可以計(jì)算Blob的一些相關(guān)特征，如：面積、質(zhì)心、外接矩形等幾何特征。同時(shí)可以計(jì)算Blob的顏色、紋理特征，而它們都可以作為追蹤的依據(jù)?；贐lob的追蹤屬于基于區(qū)域的追蹤。

在將blob與LED匹配的過(guò)程中，我們圍繞可能正確的潛在匹配生成一組假設(shè)。為了計(jì)算出準(zhǔn)確的姿態(tài)，我們需要最少的匹配項(xiàng)。我們的算法能夠根據(jù)我們處理的各種變量來(lái)從概率方面確定最可能的正確匹配。不正確的映射會(huì)納入直接導(dǎo)致姿態(tài)估計(jì)不準(zhǔn)確的錯(cuò)誤，所以我們需要在每幀中獲得足夠的準(zhǔn)確匹配。

2. 用多視圖來(lái)優(yōu)化匹配

為了解決LED匹配問(wèn)題，我們實(shí)現(xiàn)了在每幀上運(yùn)行的多種方法。但廣義上講，它們分為兩個(gè)主要類別。第一是窮舉方法，亦即強(qiáng)制應(yīng)用解決方案，而我們通俗地將其稱為“暴力匹配”。當(dāng)沒(méi)有關(guān)于控制器位置和方向的先驗(yàn)信息時(shí)，我們就會(huì)使用這些方法。當(dāng)從前一個(gè)攝像頭圖像中獲得控制器的姿態(tài)時(shí)，我們就可以在更小的窗口內(nèi)進(jìn)行搜索，而我們將其稱為“接近匹配”。

在一開(kāi)始，管道一次搜索一個(gè)camera中的blob。這要求假設(shè)生成blob和驗(yàn)證blob都在同一個(gè)camera中，亦即意味著一個(gè)camera中至少要檢測(cè)到4個(gè)blob才能成功匹配。另外，它非常有可能導(dǎo)致多個(gè)camera之間產(chǎn)生矛盾匹配結(jié)果。為了解決這個(gè)問(wèn)題，我們開(kāi)發(fā)了全新的匹配管道：在評(píng)估不同camera中的LED-blob對(duì)應(yīng)關(guān)系時(shí)，它將利用立體攝像頭校準(zhǔn)數(shù)據(jù)。這使我們能夠依靠每個(gè)攝像頭之間的關(guān)系來(lái)幫助解決不確定性。

這個(gè)方法改善了單個(gè)camera缺乏足夠匹配，但當(dāng)所有camera圖像組合在一起時(shí)就具有足夠匹配的場(chǎng)景。最嚴(yán)重的情況是控制器靠近視場(chǎng)邊緣，太遠(yuǎn)、太近或存在遮擋。

由于匹配結(jié)果是整體評(píng)估，而非根據(jù)單個(gè)camera評(píng)估，所以這同時(shí)排除了匹配結(jié)果不一致的可能性。這有助于擴(kuò)大控制器的追蹤量，并減少因?yàn)檫^(guò)于靠近頭顯或視場(chǎng)邊緣而造成的追蹤損耗，從而實(shí)現(xiàn)了更為流暢的追蹤體驗(yàn)。

3. 用更少的數(shù)據(jù)進(jìn)行計(jì)算

從理論上講，僅給定一個(gè)camera圖像，你至少需要看到三個(gè)LED才能解析控制器的姿態(tài)。但是，僅利用三個(gè)點(diǎn)會(huì)產(chǎn)生多種可能的解決方案，所以我們需要至少四個(gè)正確的匹配才能穩(wěn)健地解析姿態(tài)。

攝像頭一次只能看到3個(gè)，2個(gè)，或者甚至1個(gè)LED是相當(dāng)普遍的情況，所以我們?cè)O(shè)計(jì)了一個(gè)可以使用其他信息并支持較少LED的求解器。反過(guò)來(lái)，它包括以下的全新求解器，并使得我們能夠追蹤那些特別具有挑戰(zhàn)性的方向：

P2P pose solver

使用2個(gè)匹配項(xiàng)和先前的姿態(tài)方向信息來(lái)解析姿態(tài)的位置component。

將最小匹配要求減少到3個(gè)（2個(gè)假設(shè)生成匹配和1個(gè)驗(yàn)證匹配）。

P1P pose solver

使用預(yù)測(cè)姿態(tài)直接驗(yàn)證匹配，而非通過(guò)統(tǒng)計(jì)或最接近預(yù)測(cè)進(jìn)行驗(yàn)證。

將最小匹配要求減少到2個(gè)（為了立體姿態(tài)優(yōu)化，確保適當(dāng)?shù)叵拗破揭坪涂s放）

在少于4個(gè)LED的情況下，使用僅位置的立體姿態(tài)優(yōu)化。

經(jīng)過(guò)大量的實(shí)驗(yàn)，我們發(fā)現(xiàn)P2P求解器和P1P求解器都需要非常準(zhǔn)確的先驗(yàn)信息（良好的追蹤狀態(tài)和準(zhǔn)確的預(yù)測(cè)），因?yàn)樗鼈円蕾囉陬A(yù)測(cè)姿態(tài)來(lái)作為解決問(wèn)題的嚴(yán)格約束。

但在“粗暴匹配”中，先驗(yàn)信息不太可靠，所以我們注意到諸如錯(cuò)配控制器或錯(cuò)配光管之類的問(wèn)題。這促使我們開(kāi)發(fā)了穩(wěn)健的狀態(tài)機(jī)，它允許我們能夠在各種求解器之間進(jìn)行轉(zhuǎn)換，從而確保我們使用正確的方法來(lái)處理Quest和RiftS每天遇到的各種困難動(dòng)作。

盡管這些改進(jìn)極大地幫助了我們，但我們?cè)诟纳普w體驗(yàn)方面還有更多的提升空間。