3D視覺的核心問題是恢復(fù)場景結(jié)構(gòu)、相機(jī)位姿、和相機(jī)參數(shù)，而解決方式有兩種，一種是off-line的sfm(structure from motion)，一種on-line的slam(simultaneous localization and mapping)。Slam 與sfm的區(qū)別在于，大多數(shù)slam系統(tǒng)是需要提前標(biāo)定相機(jī)，而sfm 則不需要提前標(biāo)定(通常所說的三維重建和slam的區(qū)別，嚴(yán)格意義上應(yīng)該是sfm 和slam的區(qū)別)。



Sfm 可以分為以下幾類：Global SfM、Incremental SfM、Hybrid SfM、Distributed SfM，這里主要講解Global SfM和ncremental SfM(主要集中在global sfm)。

一、Global SfM workflow:



Global sfm 的內(nèi)容包括rotation averaging 和anslation averaging。

Rotation averaging

觀測值：一組相機(jī)pose的相對rotation

目標(biāo)：計(jì)算相機(jī)的絕對旋轉(zhuǎn)

優(yōu)化：L2范數(shù)，采用L2范數(shù)的原因有兩個：1）估計(jì)一個好的旋轉(zhuǎn)初始值 2）收斂快

理論基礎(chǔ)：



translation averaging

觀測值:同rotation averaging 一樣，觀測值是兩一組pose之間的相對translation

目標(biāo)：計(jì)算相機(jī)的絕對旋轉(zhuǎn)

優(yōu)化：L1范數(shù)，原因是L1 范數(shù)對噪聲魯邦

理論基礎(chǔ)：



Translation averaging 在global sfm 中計(jì)算困難，原因如下：

1、 兩視圖之間的運(yùn)動不能恢復(fù)尺度(tvec 是從本質(zhì)矩陣中恢復(fù)出來的，但是本質(zhì)矩陣的秩是5，不包含尺度，所以global sfm 是屬于三焦張量問題，即是至少tack 3幀才能進(jìn)行運(yùn)算。同時(shí)，global sfm 容易出現(xiàn)退化現(xiàn)象，當(dāng)相機(jī)都處于同一條線上時(shí)候，對于無人機(jī)圖像來說，這個時(shí)候軌跡就會出現(xiàn)bending map。

解決bending map 的手段有三點(diǎn)：

（1）提前對相機(jī)標(biāo)定

（2）以無人機(jī)為例，飛行航線不要在恒定高度上飛行

（3）融合其他傳感器，如gps 位置約束等 退化的case 如下：

? ? ?

以上分別為側(cè)面圖和俯視圖 以上結(jié)果是fusion low-cost gps的效果，但是依舊可以看出有彎曲的現(xiàn)象(不融合的效果特別差) 飛行方式改變，fusion low-cost gps，退化現(xiàn)象消失，如下：



從側(cè)面圖和俯視圖可以看出，當(dāng)飛行方式發(fā)生改變，global sfm 退化現(xiàn)象消失。

2、 global sfm translation averaging第二個的痛點(diǎn)是對噪聲敏感，其不像Incremental sfm，不斷的ransac 和local ba 來減少bad EGs的影響。 如何去改善global sfm 的魯棒性：

1）如果rotation 是已知的（不夠精確)，提供global rotation初始值給global sfm pipeline ，利用這些初始值在BA中增加relative rotation constraint

2）如果位置已知，sfm 增加位置約束，即最小化先驗(yàn)位置和估計(jì)的位置之間的gap，位置約束可以替代slam回環(huán)(如果是low cost gps ,位置約束不能保證精度，但可以起到一個control strcture 的作用(AR 常用)—參考vins-fusion思想 ，這個openmvg 中已經(jīng)實(shí)現(xiàn)位置約束。

二、Incremental SfM workflow:



增量sfm這里不準(zhǔn)備太多的敘述，需要注意的是初始化選擇像對的基準(zhǔn)：

enough matching

big baseline

三、global sfm和incremental sfm 優(yōu)缺點(diǎn)和應(yīng)用場景



應(yīng)用場景：

1.當(dāng)考慮速度不考慮精度的時(shí)候，并且當(dāng)圖像overlap 比較大的時(shí)候，用global sfm 可以達(dá)到理想效果，因?yàn)橛懈嗟臄?shù)據(jù)去average（Feature track based translation averaging）

2.如果考慮精度，選擇Incremental sfm ，但是在大場景下，incremental sfm會隨著圖像的增多，速度越來越慢，同時(shí)由于誤差的累計(jì)，會出現(xiàn)drfit ，這種情況下可以采用Distributed SfM。







審核編輯：劉清