本次內(nèi)容包括三個(gè)部分，分別是三維幾何學(xué)的基礎(chǔ)和特征點(diǎn)法和直接法的對(duì)比，直接法的代表工作以及對(duì)于未來發(fā)展的展望。

三維幾何學(xué)基礎(chǔ)知識(shí)

關(guān)于基礎(chǔ)知識(shí)，首先要了解的是剛體運(yùn)動(dòng)的基本屬性。三維空間的剛體運(yùn)動(dòng)通常包括六個(gè)自由度，對(duì)應(yīng)的轉(zhuǎn)換矩陣的表達(dá)方式在不同的文獻(xiàn)中有不同的方式，而在學(xué)術(shù)寫作的時(shí)候，不管用哪一種，重要的是一定要保持格式的統(tǒng)一和連貫。此外，轉(zhuǎn)換矩陣所描述的不是某種運(yùn)動(dòng)，而是點(diǎn)在不同坐標(biāo)系的轉(zhuǎn)換。第二個(gè)比較重要的基礎(chǔ)知識(shí)是本質(zhì)矩陣和對(duì)極幾何。

考慮下列場(chǎng)景：我們用兩個(gè)攝像頭可以同時(shí)觀測(cè)到一個(gè)特征點(diǎn)，利用匹配的特征點(diǎn)，我們將可以建立對(duì)極約束，當(dāng)匹配的特征點(diǎn)足夠多時(shí)，我們將可以求解本質(zhì)矩陣，比如使用常用的八點(diǎn)法，當(dāng)求解完成后，我們就可以從本質(zhì)矩陣中分解得到兩個(gè)相機(jī)位置相對(duì)的位移和旋轉(zhuǎn)。值得注意的是本質(zhì)矩陣的自由度是5，因?yàn)樵谖灰粕?，我們丟失了一個(gè)自由度的尺度信息。

圖1：多視覺幾何基礎(chǔ)

而關(guān)于SLAM，它是英文“同時(shí)定位與建圖”的縮寫。而有時(shí)候，我們還會(huì)聽到VO，SfM等概念，而因此容易混淆。對(duì)于這些概念，我的理解是，sfm用于基于圖像的三維重建，過程可以是在線或者離線，圖像的順序可以是連續(xù)的，也可以是亂序的；視覺slam一般處理的圖像是連續(xù)的，并且過程也是在線的；視覺里程計(jì)中有局部地圖生成的模式其實(shí)就是slam，而沒有地圖的模式就是單獨(dú)的里程計(jì)。雖然我們接觸到的大部分視覺里程計(jì)都是有對(duì)應(yīng)的地圖，但是，也有些情況，比如現(xiàn)在的一些深度網(wǎng)絡(luò)可以通過兩張圖片直接訓(xùn)練輸出相對(duì)位姿，這就是單獨(dú)的里程計(jì)信息。

圖2：SLAM相關(guān)概念的關(guān)系圖

接下來我們來看看特征點(diǎn)法和直接法直接的對(duì)比。關(guān)于特征點(diǎn)法，通常我們?cè)趦蓮垐D片上找到特征點(diǎn)以及對(duì)應(yīng)的匹配特征點(diǎn)，從而求兩幀圖像之間的相對(duì)位姿以及特征點(diǎn)的三維位置。當(dāng)有一個(gè)初始的相對(duì)位姿估計(jì)時(shí)，我們可以計(jì)算特征投影到另一幀圖像的位置，從而可以建立重投影誤差。

相比于使用兩張圖片，當(dāng)使用多張圖片時(shí)，重投影誤差則包括所有特征點(diǎn)在所有可被觀測(cè)到的幀上的誤差。而針對(duì)直接法，我們所關(guān)注的誤差稱為光度誤差。如果說特征點(diǎn)法關(guān)注的是像素的位置差，那么，直接法關(guān)注的則是像素的顏色差。

總結(jié)一下，特征點(diǎn)法通常會(huì)把圖像抽象成特征點(diǎn)的集合，然后去縮小特征點(diǎn)之間的重投影誤差；而直接法則通過warp function直接計(jì)算像素點(diǎn)在另一張圖像上的顏色差，這樣就省去了特征提取的步驟。

圖3：直接法和特征點(diǎn)法流程對(duì)比

直接法的應(yīng)用

關(guān)于直接法的應(yīng)用，主要介紹的是DSO和大范圍DSO。首先關(guān)于直接圖像對(duì)齊（direct image alignment），針對(duì)每一個(gè)圖像的每一個(gè)點(diǎn)，我們需要計(jì)算像素點(diǎn)顏色的變化，對(duì)應(yīng)點(diǎn)的尋找需要利用warp function，就是將一個(gè)點(diǎn)通過相機(jī)的內(nèi)外參數(shù)轉(zhuǎn)換到另一個(gè)相機(jī)的坐標(biāo)系中，更周全的考慮還需要將兩張圖的亮度進(jìn)行一致化處理。然而單目相機(jī)還是需要面對(duì)一個(gè)很棘手的問題，那就是無法恢復(fù)尺度信息，并且往往會(huì)出現(xiàn)尺度漂移的現(xiàn)象。

為了解決這個(gè)問題，一種方式是采用雙目攝像頭，對(duì)此我們需要使用新的能量函數(shù)，添加的優(yōu)化量就是雙目相機(jī)另一個(gè)攝像頭投影到它上面的誤差，值得注意的是，雙目攝像頭的相對(duì)位置需要已知，并且，通過雙目項(xiàng)的添加，會(huì)自然的得到尺度的約束。

而實(shí)際上，隨著雙目相機(jī)和對(duì)尺度約束的引入，相比于ORB-SLAM2和深度LSD，大范圍DSO在KITTI等室外場(chǎng)景具備了更好的里程計(jì)效果，而經(jīng)過反思，我們認(rèn)為通過將雙目相機(jī)用“聰明”的方式加以利用，我們確實(shí)可以得到正確的尺度信息。除了支持里程計(jì)信息的獲取，雙目DSO還能很好的支持三維重建。

圖4：雙目DSO三維重建效果

在實(shí)現(xiàn)了比較好的三維重建后，接下來值得繼續(xù)研究的方向之一就是語義重建。基于視覺SLAM的語義重建的流程包括實(shí)現(xiàn)定位和地圖后，通過點(diǎn)云信息來進(jìn)行語義分割，基于分割好的點(diǎn)云，我們將進(jìn)一步參數(shù)化，抽象化。

總之，我們希望實(shí)現(xiàn)對(duì)于點(diǎn)云比較簡潔的參數(shù)化描述。

我們接下來的一個(gè)工作是試圖從輸入的圖像直接得到想要的語義信息。對(duì)應(yīng)的輸入包括雙目相機(jī)獲取的左右圖像，初始的位姿和形狀估計(jì)，以及物體的語義分割結(jié)果。而誤差的計(jì)算則包括兩張圖片光度投影的誤差，和將物體估計(jì)的形狀投影到圖像上的誤差，以及關(guān)于車的形狀和位置的先驗(yàn)知識(shí)。利用構(gòu)建的誤差，我們可以通過高斯牛頓法進(jìn)行優(yōu)化。

而這里，涉及到的問題包括構(gòu)建車輛的模型來進(jìn)行參數(shù)化表達(dá)，一種方式是利用有效距離場(chǎng)對(duì)于形狀以高維度向量的形式進(jìn)行描述，然后采用PCA模型進(jìn)行降維壓縮。而在利用能量函數(shù)建立優(yōu)化問題后，我們需要計(jì)算雅可比進(jìn)行二階優(yōu)化，由于待優(yōu)化的變量較多，所以雅可比推導(dǎo)很復(fù)雜，不過在我們的論文 DirectShape: Direct Photometric Alignment of Shape Priors for Visual Vehicle Pose and Shape Estimation中，對(duì)于所有優(yōu)化變量的雅可比的求解都進(jìn)行了推導(dǎo)，從而提供了優(yōu)化問題的閉環(huán)解，感興趣的同學(xué)可以自行閱讀。而實(shí)驗(yàn)效果也實(shí)現(xiàn)了很好的場(chǎng)景描述效果，包括在物體被部分遮擋的情況下。

圖5：語義重建的輸入信息

接下來一個(gè)主題是關(guān)于特征點(diǎn)法和直接法的結(jié)合，第一個(gè)工作是結(jié)合特征點(diǎn)實(shí)現(xiàn)的相機(jī)的在線光度標(biāo)定。要理解光度標(biāo)定，就要理解數(shù)碼攝像機(jī)的成像過程，首先光源發(fā)射到物體上的光會(huì)反射到鏡片上，經(jīng)過鏡頭后，光亮?xí)l(fā)生變化，然后打到傳感器上，一定時(shí)間內(nèi)形成能量積累，經(jīng)過響應(yīng)函數(shù)的處理從而得到對(duì)應(yīng)的光照強(qiáng)度。

從物體表面反射的光通常稱為輻射亮度（radiance），而發(fā)射到傳感器上的光通常稱為輻射照度（irradiance）。這一過程涉及到三個(gè)參數(shù)，包括是鏡頭的暗角V，曝光時(shí)間E，鏡頭的響應(yīng)函數(shù)f。

圖6：數(shù)碼相機(jī)的成像過程

而相機(jī)的光度標(biāo)定的目標(biāo)就是求得相機(jī)的三個(gè)參數(shù)，并利用這三個(gè)參數(shù)對(duì)于圖像進(jìn)行矯正，從而確保輸出圖像的光度一致性。

為什么我們要進(jìn)行光度標(biāo)定呢？因?yàn)橹苯臃⊿LAM的假設(shè)就是光度的一致性，即對(duì)應(yīng)的點(diǎn)在不同的圖像中顏色要一致。已有的方法在進(jìn)行光度標(biāo)定時(shí)，我們需要至少10分鐘的時(shí)間完成全部的復(fù)雜操作。而當(dāng)相機(jī)安裝在無人機(jī)上，或者曝光時(shí)間無法控制時(shí)，操作將更加復(fù)雜。我們所提出的在線光度標(biāo)定的方法是基于特征點(diǎn)在不同圖片中對(duì)應(yīng)的觀察，能量函數(shù)是所有的點(diǎn)在所有圖像中的實(shí)際顏色與模型估計(jì)出的顏色的誤差和。在定義了能量函數(shù)后，我們需要怎樣進(jìn)行建模呢？

首先對(duì)于響應(yīng)函數(shù)的建模還是利用主成分分析，我們收集一百個(gè)相機(jī)的響應(yīng)函數(shù)進(jìn)行PCA，任意一個(gè)相機(jī)的響應(yīng)函數(shù)都可以用四個(gè)主成分的線性組合來進(jìn)行描述。對(duì)于暗角的建模是基于暗角是完全對(duì)稱的假設(shè)，并用四階多項(xiàng)式來描述。在對(duì)能量函數(shù)進(jìn)行參數(shù)化后，我們就可以進(jìn)行優(yōu)化求解。而實(shí)際的效果也證明優(yōu)化參數(shù)可以很快收斂成真值。在進(jìn)行光度標(biāo)定后，DSO在Euroc等數(shù)據(jù)集上也實(shí)現(xiàn)了更好的定位和建圖效果。

圖7：光度標(biāo)定后的成像效果

最后一個(gè)分享的課題是：如何在采用直接法的同時(shí)進(jìn)行回環(huán)檢測(cè)？直接法中因?yàn)闆]有描述子，所以很難利用進(jìn)行數(shù)據(jù)關(guān)聯(lián)和回環(huán)檢測(cè)，一種思路就是對(duì)部分采樣的點(diǎn)添加描述子，在高翔博士的工作LDSO:Direct sparse odmetry with loop closure中，我們把采樣的點(diǎn)一部分換成角點(diǎn)，對(duì)于角點(diǎn)我們會(huì)建立描述子，從而得到整個(gè)圖像的描述子，然后就可以檢測(cè)回環(huán)，進(jìn)行全局的位姿圖優(yōu)化。

而實(shí)際效果說明，特征的替換并不會(huì)影響DSO的效果，并且還增加了新的回環(huán)檢測(cè)的功能。此外，還有一種思路是通過直接法得到的點(diǎn)云進(jìn)行三維特征點(diǎn)的檢測(cè)，并且抽取局部特征點(diǎn)的描述子，從而合并成全局特征點(diǎn)的描述子。

未來的工作方向

而關(guān)于直接法的局限性，我認(rèn)為直接法做全局的優(yōu)化是很有挑戰(zhàn)性的，因?yàn)闆]有描述子，做回環(huán)檢測(cè)和地圖的重定位不是很直觀。而且在極端的光照條件下，它的魯棒性沒有保證，還有一點(diǎn)就是目前的直接法采樣點(diǎn)都是隨機(jī)采樣，這就意味著采樣沒有決定性，這就會(huì)為之后的重定位引入誤差。

此外，直接法得到的點(diǎn)云如何得到更具備實(shí)際意義的表述形式？因?yàn)槟壳暗玫降狞c(diǎn)云還是無法直接使用的。直接法需不需要存儲(chǔ)歷史圖像？特征點(diǎn)法只需要保留特征點(diǎn)和描述子，而直接法如果需要全局優(yōu)化，那么就需要存儲(chǔ)圖像與歷史信息進(jìn)行對(duì)照，而一旦存儲(chǔ)圖像，就會(huì)導(dǎo)致存儲(chǔ)數(shù)據(jù)的增加，那么這個(gè)問題該如何解決？

關(guān)于直接法未來的研究方向，一個(gè)可行的工作是增加點(diǎn)的描述性，如果能將之前不具備描述性的圖像的顏色信息，換成具備描述性的描述子信息，那么將可以開展很多新工作。有了這些東西，我們就可以進(jìn)行跨季節(jié)，跨時(shí)間，跨天氣的回環(huán)檢測(cè)。

此外，直接法獲取的點(diǎn)云質(zhì)量通常較高，但現(xiàn)在依舊沒有充分挖掘這些點(diǎn)云信息的潛力，所以未來如果能夠提取這些點(diǎn)云的描述子，并且和圖像的描述子結(jié)合，那么就可以對(duì)場(chǎng)景實(shí)現(xiàn)更好的描述性，點(diǎn)云還有可能的潛在用途就是提供簡潔的場(chǎng)景描述。此外，目前點(diǎn)的采樣具有隨機(jī)性，而未來，是否可以實(shí)現(xiàn)具有確定性的點(diǎn)的采樣？從而實(shí)現(xiàn)更準(zhǔn)確的重定位？還有就是直接法的全局地圖該如何更新和維護(hù)，現(xiàn)在還沒有解決。

審核編輯：劉清