国产69无码精品,榴莲直播间

0.筆者個人體會：這個工作來自于華中科技大學，發(fā)表于ICCV 2021。這個工作聚焦于點云的點特征表示學習，但是，與一般的點特征學習方法并不一樣。我們知道，基于深度學習的三維點云處理已經(jīng)在近年來得到了廣發(fā)關(guān)注，從先驅(qū)性的工作例如PointNet到近期的Point Transformer等。這些工作都能有效的學習點特征表示。但是，這些方法學習點特征都是基于輸入的某一個點云而言的，所有的操作也都集中在一個點云上，并且追求特征的描述性，力求能準確表示三維點云的局部幾何結(jié)構(gòu)。但是，這篇論文針對點云配準工作提出了另一種點云設(shè)計方式。我們知道配準的目的是求解輸入的點云對之間的相對變換以使它們最好的對齊，在這個過程中，聚焦于用學到的點特征表示構(gòu)造可靠的匹配對。為此，對于點特征的魯棒性需求也很重要。為了實現(xiàn)這個目的，本工作提出從輸入的兩個點云出發(fā)，利用這兩個點云之間的交互進一步調(diào)整點特征學習，使得到的點特征表示源于同時感知到當前點云和另一個需要配對的點云，從而追求正確的匹配點的可匹配性的提升。也就是說這是一個針對特定任務(wù)而設(shè)計的點特征學習方法，或許此方法學到的點特征難以應(yīng)用到其他任務(wù)，例如分類、分割等，但對于匹配、配準而言應(yīng)該更加適用。1、論文相關(guān)內(nèi)容介紹：論文標題：? ?Feature Interac tive Representation for Point Cloud Registration作者列表：? ? ?Bingli Wu, Jie Ma, Gaojie Chen, Pei An摘要：點云配準是使用兩個點云中的共同結(jié)構(gòu)將它們拼接在一起。為了找出這些共同的結(jié)構(gòu)并使這些結(jié)構(gòu)更準確地匹配，源點云和目標點云的交互信息是必不可少的。然而，當前對顯式建模這種特征交互的關(guān)注有限。為此，我們提出了一個特征交互表示學習網(wǎng)絡(luò)，它可以從不同層次探索源點云和目標點云之間的特征交互。具體來說，我們首先介紹了一種基于點云內(nèi)特征交互的組合特征編碼器（CFE）。CFE提取每個點云內(nèi)的交互特征并將它們組合起來以增強網(wǎng)絡(luò)描述局部幾何結(jié)構(gòu)的能力。然后，我們提出了一種點云間的特征交互機制，它包括一個局部交互單元（LIU）和一個全局交互單元（GIU）。前者用于跨兩個點云的點對之間的信息交互，從而使一個點云中的點特征與另一個點云中的相似點特征能夠相互感知。后者用于根據(jù)兩個點云的全局交互信息調(diào)整每個點特征，因此一個點云具有對另一個點云的全局感知。對部分重疊點云配準的大量實驗表明，我們的方法實現(xiàn)了最先進的性能。主要貢獻：1）我們提出了一種組合特征編碼器來提取局部區(qū)域的交互特征，其通過結(jié)合不同層的特征，增強網(wǎng)絡(luò)提取局部幾何和語義信息的能力。2）我們設(shè)計了一種新穎的點云間特征交互機制，使每個點云都具有另一個點云的上下文感知，從而為后續(xù)模塊提供更具辨別力的特征3）我們的端到端 FIRE-Net在多種實驗設(shè)置下于 ModelNet40 基準數(shù)據(jù)集上實現(xiàn)了最先進的性能，從而證明了其有效性和泛化能力。方法介紹：給定輸入點云

，

，我們的目標是求解旋轉(zhuǎn)矩陣

和平移向量

以實現(xiàn)輸入點云最好的對齊。Fig1展示了我們的FIRE-Net的整體流程。簡要地說，我們的網(wǎng)絡(luò)的輸入包括源和目標原始點云。組合特征編碼器（CFE）首先提取源和目標的初始特征，將所有點編碼到一個公共特征空間中。然后，設(shè)計了一個局部交互單元（LIU）和一個全局交互單元（GIU）來建模點云間的特征交互。最終的交互特征被送到關(guān)鍵點層以選擇兩個點云中的公共結(jié)構(gòu)。最后，我們使用剛性變換計算模塊以迭代的方式來獲得可靠的對應(yīng)關(guān)系和計算剛性變換。每個模塊的詳細信息將在以下部分進行說明。

Fig1：(a)FIRE-Net的整體框架，(b)局部特征交互單元，(c)全局特征交互單元。一、組合特征編碼：CFE的主要目標是描述源點云和目標點云的局部結(jié)構(gòu)。同時，作為我們特征交互模型的第一級，CFE 實現(xiàn)了點云內(nèi)的特征交互。我們的 CFE 是一個基于 GNN 的網(wǎng)絡(luò)，可以通過在3D坐標空間中構(gòu)建固定圖并應(yīng)用串聯(lián)連接多層來分層的輸出來提取點的多級交互特征，其過程如圖2所示。

Fig2.組合特征編碼坐標空間中的局部圖：為了表示給定點云的局部幾何結(jié)構(gòu)，我們將每個點作為一個中心節(jié)點，分別構(gòu)造一個kNN圖。

其中

是用于中心點及其近鄰點的相對特征的共享MLP。A是最大池化。σ是線性層。初始特征：為了增強模塊捕獲幾何和語義信息的能力，我們通過串接每個傳播層的輸出向量來合并低階和高階交互特征。最后，我們在串接的向量上應(yīng)用共享 MLP以獲得初始特征

和

。這個過程可以表述為：

其中

是一個共享的 MLP。

表示

層中的特征,L表示傳播層數(shù)。二、點云間的特征交互該模塊旨在對點云交互進行建模，它由兩個串行單元組成：LIU學習局部交互函數(shù)以獲得局部交互特征

。然后，GIU學習一個全局交互函數(shù)

得到全局特征交互

。請注意，我們將

和作為殘差項，為可學習尺度參數(shù)和β和原始特征提供附加變化，即，

其中

和

是 LIU之后更新的特征、

和

是GIU之后更新的特征。1.局部特征交互單元：在CFE編碼了輸入點云到一個共同的特征空間的前提下，點云間的局部交互可以通過在特征空間上應(yīng)用GNN 來實現(xiàn)。特征空間的局部圖：在公共特征空間中，我們有M個源點云特征和N個目標點云特征。我們首先構(gòu)造一個混合特征集

，然后將其中的每個特征

作為中心節(jié)點并應(yīng)用KNN 構(gòu)造局部圖

，從而得到混合圖

。構(gòu)建局部圖

有兩種策略：(1) 如圖 3左側(cè)所示，無論鄰居特征屬于

還是

，我們都連接中心節(jié)點與其鄰居節(jié)點之間的所有邊。(2) 如圖3右側(cè)所示，邊只在屬于不同點云的節(jié)點之間構(gòu)建。在局部圖中，我們將邊視為兩個節(jié)點間的關(guān)系，例如表示從

到

的關(guān)系。因此在圖3中，類型 1 對特征空間中的關(guān)系進行了更全面的建模，而類型 2 比類型 1 更清楚地將消息從另一個點云傳遞到中心節(jié)點。

Fig3.特征空間的局部圖結(jié)構(gòu)節(jié)點關(guān)系挖掘：通過上面定義的局部圖，可以通過節(jié)點特征及其鄰居點特征的邊來挖掘節(jié)點關(guān)系，例如，使用

獲得關(guān)系向量

。為了找到更有效的關(guān)系函數(shù)，我們研究了三種不同形式的關(guān)系函數(shù)。

其中

表示中心點特征，

是其相鄰特征之一。

是線性層。我們通過聚合關(guān)聯(lián)向量來更新中心的特征，即：

其中A是聚合函數(shù)，例如最大池化。

Fig4.局部特征交互單元的流程細節(jié)局部交互特征：更一般地，我們重復上述操作幾次，得到一個高級關(guān)聯(lián)表示

及其相應(yīng)的聚合輸出特征

。請注意，局部圖將隨著節(jié)點特征更新而動態(tài)重新計算，如圖4所示。這是與在固定輸入圖上工作的CFE的重要區(qū)別。最后，我們在聚合輸出特征上應(yīng)用非線性層來得到調(diào)整后的特征

，即局部交互特征。這個過程可以描述為：

通過LIU，每個點的特征具有局部鄰域的特點。在LIU之后，源和目標的特征更新為

和

，然后后面緊接GIU。2.全局特征交互單元：為了共享全局信息并全面學習源和目標之間的交互，我們設(shè)計了一個 GIU。所提出的GIU獲得源和目標全局特征的交叉矩陣，然后通過將交叉矩陣投影到它們的潛在表示空間來更新點特征。全局信息聚合：我們首先聚合

和

以獲得全局特征。此聚合操作串聯(lián)池化后的特征，然后使用共享的 MLP對其進行進一步調(diào)整，其過程可以表示如下：

其中

是共享的MLP操作。全局信息交叉：對于源點云全局特征

和目標點云全局特征

,我們構(gòu)建

成對交互：

其中

是交叉特征矩陣，d是特征的維數(shù)。通過交叉操作，每個可能的特征交互在交叉特征矩陣中明確建模。全局交互特征：為了將交叉矩陣中包含的信息投影到每個點特征中，我們將源點云特征乘以交叉矩陣

，同時目標點云特征乘以轉(zhuǎn)置交叉矩陣

。這個過程由下式表示，最終得到了源點云全局交互特征

和目標點云全局交互特征

。

通過 GIU，源點云和目標點云可以交互全局上下文信息。即源點云的特征不僅集成了源點云全局信息，還集成了目標點云全局信息，反之亦然。GIU之后，特征被更新為

和

。三、關(guān)鍵點層給定最終的交互特征

，我們通過一個簡單高效的關(guān)鍵點層來選擇源點云和目標點云公共的興趣點。我們的關(guān)鍵點層可以表示如下：

其中是共享的MLP，

輸出每個點的顯著性分數(shù)。這里，

提取給定輸入的K個最大元素的索引。

是從原始點云中選擇的關(guān)鍵點集。

和

表示相應(yīng)的關(guān)鍵點特征集。四、剛性變換計算給定點對的坐標和特征，剛性變換計算模塊采用IDAM中的相似矩陣卷積 (SMC) 來回歸每個點對的相似性得分。不同之處在于IDAM將點對的特征串聯(lián)起來作為 SMC輸入的一部分，而我們的模型使用點對的特征差異。最后，SMC獲得的對應(yīng)關(guān)系被傳遞到SVD層以計算剛性變換。

審核編輯：李倩

聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。舉報投訴