主要內(nèi)容：

提出了一種高效的線云重建方法，稱為ELSR，其利用了城市場景中常見的場景平面和稀疏的3D點(diǎn)，對于兩視圖，ELSR可以找到局部場景平面來引導(dǎo)線匹配，并利用稀疏的3D點(diǎn)來加速和約束匹配。

為了重建具有多個視圖的3D線段，ELSR利用了一種抽象方法，其基于有代表性的3D線的空間一致性來選擇它們。 實(shí)驗(yàn)表明，其方法可以有效地重建包含數(shù)千張大尺寸圖像的大型復(fù)雜場景的3D線條。

總的來說，本文是一篇利用場景中的結(jié)構(gòu)化線條來構(gòu)建線云的算法。 其方法構(gòu)建的線云如下圖所示：



Contributions：

1、提出了一種從多個圖像中匹配線條和重建3D線條的有效方法，該方法易于使用，只需要SfM的結(jié)果作為先驗(yàn)

2、利用二維線和稀疏三維點(diǎn)之間的幾何關(guān)系來找到局部單應(yīng)性。這也是第一個利用這種簡單而有效的幾何形狀進(jìn)行線段匹配的工作。

3、在大型圖像數(shù)據(jù)集上進(jìn)行評估時，ELSR在兩視圖匹配方面比現(xiàn)有算法快1000多倍；在多視圖重建中，ELSR比現(xiàn)有方法快4倍，3D線的數(shù)量增加了360%

Pipeline：

給定圖像序列，首先用SfM算法獲取相機(jī)姿態(tài)和稀疏的3D點(diǎn)；然后匹配兩視圖的線；最后從圖像序列中的所有匹配中提取代表性的3D線。 其包含三個組成部分：

1、單應(yīng)估計(jì)：使用具有兩條鄰域線的場景平面幾何來驗(yàn)證單應(yīng)，在此期間，粗糙點(diǎn)深度用于加速

2、引導(dǎo)匹配：將單條線與潛在的單應(yīng)性進(jìn)行匹配，并使用粗略的點(diǎn)深度來約束匹配。

3、線抽象：對于多個視圖，首先找到圖像對之間的線匹配的連接，并對空間一致性進(jìn)行評分；然后選擇具有代表性的匹配作為最終的3D線



兩視圖線匹配： 主要利用場景平面和點(diǎn)去引導(dǎo)兩視圖下的線段匹配。

成對線的單應(yīng)性：

當(dāng)Sang(H)小于給定的閾值時場景平面是正確的，并且H是有效的。

點(diǎn)引導(dǎo)的搜索單應(yīng)：

算法1是通過點(diǎn)引導(dǎo)尋找單應(yīng)的方法。 搜索單應(yīng)以找到滿足給定閾值的的成對線匹配，如下圖所示，共面的成對線在一個確定點(diǎn)上相交。因此沿著對極線搜索第二視圖中的交叉點(diǎn)。



將第一個相機(jī)矩陣表示為P，這是一個3×4的矩陣，設(shè)M和c4分別為左邊的3×3的子矩陣和P的最后一列，如果x的深度可得，則可以直接計(jì)算x在目標(biāo)空間的位置：

單應(yīng)引導(dǎo)的匹配：

算法2說明了單應(yīng)引導(dǎo)的匹配策略，即尋找線li的第k個鄰域的單應(yīng)Hk，這可以通過建立KDtree來得到，用Hk表示線li的映射為：

如圖5所示：

之后可以使用深度約束來控制錯誤的匹配，設(shè)l的端點(diǎn)為x，讓3D點(diǎn)鄰域的深度范圍為dmin和dmax，深度范圍可以用來約束x，但是其需要擴(kuò)展，因?yàn)閤可能超出深度范圍，特別是當(dāng)局部場景不連續(xù)時，但是，不知道目標(biāo)空間的單位，這可以通過利用像素和物體距離之間的聯(lián)系來確定擴(kuò)展，如下圖所示，將主點(diǎn)水平移動tpix個像素以獲得β，然后計(jì)算與像素偏移對應(yīng)的深度偏移，最后將dmin和dmax分別縮小并擴(kuò)展以獲得深度范圍：

由此，線端點(diǎn)的深度為：

同一條線可能有多個單應(yīng)，其中一些是不正確的，因此利用鄰域的單應(yīng)去引導(dǎo)線，通過位置相似性為匹配打分：

從多個視圖中提取線：

兩個視圖中的每個匹配都將重建一個3D線段；因此需要將與同一條線相關(guān)的3D線段合并為簇。然而這很容易失敗，原因有三：

1）固定的閾值很容易產(chǎn)生不正確的簇；

2）錯誤的匹配將導(dǎo)致糟糕的重建；

3）目前沒有魯棒的RANSAC方法來確認(rèn)線簇的inliers。

因此，ELSR從聚類中提取代表性的行，而不是合并它們，這可能更穩(wěn)健和高效。

提取包含兩個步驟：

1）計(jì)算3D線之間的空間相似性；

2）基于其與其他線的空間相似度，在所有視圖中抽象出具有代表性的3D線

實(shí)驗(yàn)： 在五個數(shù)據(jù)集上與四種現(xiàn)有方法比較評估了其ELSR。

表1是用到的數(shù)據(jù)集：



這是通過VisualSFM獲得的相機(jī)位姿和稀疏點(diǎn)云：



在兩視圖線匹配上，與LPI、LJL、GLM進(jìn)行了比較：



在線云重建上，與Line3D++進(jìn)行了比較：

審核編輯：劉清