1. 從二維blob到三維姿態(tài)

攝影測量中存在一個經(jīng)典問題：Perspective-n-Point（PnP），亦即在給定圖像及其里面的已知3D點的情況下識別camera姿態(tài)。我們要解決的問題是確保控制器追蹤工作正常進行，而與PnP問題相反的是，我們已經(jīng)能夠很好地估算出頭顯camera姿態(tài)，但我們希望找到具有已知3D點（LED）的控制器姿態(tài)。

一旦檢測到攝像頭成像中的每個紅外LED，我們需要解決的困難是確定從每個blob到控制器特定LED的映射。我們利用LED位置及其到blob的映射來確定控制器的位置和方向。由于我們僅使用頭顯數(shù)據(jù)來執(zhí)行跟蹤，所以我們必須高效地執(zhí)行這一過程的每個部分。

計算機視覺中的Blob是指圖像中的一塊連通區(qū)域，Blob分析就是對前景/背景分離后的二值圖像，進行連通域提取和標(biāo)記。標(biāo)記完成的每一個Blob都代表一個前景目標(biāo)，然后就可以計算Blob的一些相關(guān)特征，如：面積、質(zhì)心、外接矩形等幾何特征。同時可以計算Blob的顏色、紋理特征，而它們都可以作為追蹤的依據(jù)?；贐lob的追蹤屬于基于區(qū)域的追蹤。

在將blob與LED匹配的過程中，我們圍繞可能正確的潛在匹配生成一組假設(shè)。為了計算出準(zhǔn)確的姿態(tài)，我們需要最少的匹配項。我們的算法能夠根據(jù)我們處理的各種變量來從概率方面確定最可能的正確匹配。不正確的映射會納入直接導(dǎo)致姿態(tài)估計不準(zhǔn)確的錯誤，所以我們需要在每幀中獲得足夠的準(zhǔn)確匹配。

2. 用多視圖來優(yōu)化匹配

為了解決LED匹配問題，我們實現(xiàn)了在每幀上運行的多種方法。但廣義上講，它們分為兩個主要類別。第一是窮舉方法，亦即強制應(yīng)用解決方案，而我們通俗地將其稱為“暴力匹配”。當(dāng)沒有關(guān)于控制器位置和方向的先驗信息時，我們就會使用這些方法。當(dāng)從前一個攝像頭圖像中獲得控制器的姿態(tài)時，我們就可以在更小的窗口內(nèi)進行搜索，而我們將其稱為“接近匹配”。

在一開始，管道一次搜索一個camera中的blob。這要求假設(shè)生成blob和驗證blob都在同一個camera中，亦即意味著一個camera中至少要檢測到4個blob才能成功匹配。另外，它非常有可能導(dǎo)致多個camera之間產(chǎn)生矛盾匹配結(jié)果。為了解決這個問題，我們開發(fā)了全新的匹配管道：在評估不同camera中的LED-blob對應(yīng)關(guān)系時，它將利用立體攝像頭校準(zhǔn)數(shù)據(jù)。這使我們能夠依靠每個攝像頭之間的關(guān)系來幫助解決不確定性。

這個方法改善了單個camera缺乏足夠匹配，但當(dāng)所有camera圖像組合在一起時就具有足夠匹配的場景。最嚴(yán)重的情況是控制器靠近視場邊緣，太遠、太近或存在遮擋。

由于匹配結(jié)果是整體評估，而非根據(jù)單個camera評估，所以這同時排除了匹配結(jié)果不一致的可能性。這有助于擴大控制器的追蹤量，并減少因為過于靠近頭顯或視場邊緣而造成的追蹤損耗，從而實現(xiàn)了更為流暢的追蹤體驗。

3. 用更少的數(shù)據(jù)進行計算

從理論上講，僅給定一個camera圖像，你至少需要看到三個LED才能解析控制器的姿態(tài)。但是，僅利用三個點會產(chǎn)生多種可能的解決方案，所以我們需要至少四個正確的匹配才能穩(wěn)健地解析姿態(tài)。

攝像頭一次只能看到3個，2個，或者甚至1個LED是相當(dāng)普遍的情況，所以我們設(shè)計了一個可以使用其他信息并支持較少LED的求解器。反過來，它包括以下的全新求解器，并使得我們能夠追蹤那些特別具有挑戰(zhàn)性的方向：

P2P pose solver

使用2個匹配項和先前的姿態(tài)方向信息來解析姿態(tài)的位置component。

將最小匹配要求減少到3個（2個假設(shè)生成匹配和1個驗證匹配）。

P1P pose solver

使用預(yù)測姿態(tài)直接驗證匹配，而非通過統(tǒng)計或最接近預(yù)測進行驗證。

將最小匹配要求減少到2個（為了立體姿態(tài)優(yōu)化，確保適當(dāng)?shù)叵拗破揭坪涂s放）

在少于4個LED的情況下，使用僅位置的立體姿態(tài)優(yōu)化。

經(jīng)過大量的實驗，我們發(fā)現(xiàn)P2P求解器和P1P求解器都需要非常準(zhǔn)確的先驗信息（良好的追蹤狀態(tài)和準(zhǔn)確的預(yù)測），因為它們依賴于預(yù)測姿態(tài)來作為解決問題的嚴(yán)格約束。

但在“粗暴匹配”中，先驗信息不太可靠，所以我們注意到諸如錯配控制器或錯配光管之類的問題。這促使我們開發(fā)了穩(wěn)健的狀態(tài)機，它允許我們能夠在各種求解器之間進行轉(zhuǎn)換，從而確保我們使用正確的方法來處理Quest和RiftS每天遇到的各種困難動作。

盡管這些改進極大地幫助了我們，但我們在改善整體體驗方面還有更多的提升空間。