圖像匹配

應(yīng)用：

目標(biāo)識別、目標(biāo)跟蹤、超分辨率影像重建、視覺導(dǎo)航、圖像拼接、三維重建、視覺定位、場景深度計(jì)算

方法：

基于深度學(xué)習(xí)的特征點(diǎn)匹配算法、實(shí)時(shí)匹配算法、3維點(diǎn)云匹配算法、共面線點(diǎn)不變量匹配算法，以及基于深度學(xué)習(xí)的圖像區(qū)域匹配等。

分類：

局部不變特征點(diǎn)匹配、直線匹配、區(qū)域匹配

Part1：局部不變特征點(diǎn)匹配-2D

1. 什么是圖像特征點(diǎn)？- 關(guān)鍵點(diǎn)+描述子

關(guān)鍵點(diǎn)：指特征點(diǎn)在圖像中的位置，具有方向、 尺度等信息;

描述子：描述子通常是一個(gè)向量，描述關(guān)鍵點(diǎn)鄰域的像素信息。

2. 如何進(jìn)行特征點(diǎn)匹配 ？- 人工設(shè)計(jì)檢測器

在向量空間對兩個(gè)描述子進(jìn)行比較，距離相近則判定為同一個(gè)特征點(diǎn)

角點(diǎn)、邊緣點(diǎn)等都可以作為潛在特征點(diǎn)

角點(diǎn)檢測算法- 最常用：基于圖像灰度的方法

Harris【1】：通過兩個(gè)正交方向上 強(qiáng)度的變化率對角點(diǎn)進(jìn)行定義，其本身存在尺度固 定、像素定位精度低、偽角點(diǎn)較多和計(jì)算量大等問題。

Harris改進(jìn)算法【6】：將多分辨率思想引入 Harris 角點(diǎn)，解決了 Harris 算法不具有尺度變化的問題。

Harris改進(jìn)算法【7】：在 Harris 算法中兩次篩選候選點(diǎn)集，利用最小二乘加 權(quán)距離法實(shí)現(xiàn)角點(diǎn)亞像素定位，大幅度提高角點(diǎn)檢測效率和精度。

Harris改進(jìn)算法【8】：將灰度差分及模板與 Harris 算法相結(jié)合，解決了 Harris 算法中存在較多偽角 點(diǎn)和計(jì)算量大等問題。

鄰域像素檢測

Fast【2】：通過鄰域像素對比進(jìn)行特征點(diǎn)檢測并引入機(jī)器學(xué)習(xí)加速這一過程，可應(yīng)用在對實(shí)時(shí)性要求較高的場合，如視頻監(jiān)控中的目標(biāo)識別。由于FAST 僅處理單一尺度圖像，且檢測的不僅僅是“角點(diǎn)”這一特征，還可以檢測到其他 符合要求的特征點(diǎn)，如孤立的噪點(diǎn)等。當(dāng)圖像中噪 點(diǎn)較多時(shí)會產(chǎn)生較多外點(diǎn)，導(dǎo)致魯棒性下降。

SIFT【3】：不再局限于對角點(diǎn)檢測

SIFT總結(jié)【5】：許允喜等，對局部圖像描述符進(jìn)行分析描述，對這類方法的計(jì)算復(fù)雜度、評價(jià)方法和應(yīng)用領(lǐng)域 予以總結(jié)。

SIFT總結(jié)【4】：劉立等，對 SIFT 算法的演變以及在 不同領(lǐng)域的典型應(yīng)用進(jìn)行了較為全面的論述，并比 較了各類算法的優(yōu)缺點(diǎn)。

SIFT算法改進(jìn)【9】【10】【11】：針對算法時(shí)間復(fù)雜度高，PCA-SIFT, SURF, SSIF

SIFT算法改進(jìn)【12】：對彩色圖 像進(jìn)行處理的 CSIFT( colored SIFT)

SIFT算法改進(jìn)【13】：使用對數(shù)極坐標(biāo)分級結(jié)構(gòu)的 GLOH( gradient location and orientation histogram)

SIFT算法改進(jìn)【14】：具有仿射不變性的ASFIT( affine SIFT)

3. 如何進(jìn)行特征點(diǎn)匹配 ？

3.1 深度學(xué)習(xí)特征檢測器 - 局部特征點(diǎn)的重復(fù)檢測

FAST-ER算法【15】：把特征點(diǎn)檢測器定義為一種檢測高重復(fù)點(diǎn)的三元決策樹，并采用模擬退火算法對決策樹進(jìn)行優(yōu)化，從而提高檢測重復(fù)率。由于在每次 迭代過程中，都需要對重新應(yīng)用的新決策樹進(jìn)行檢 測，且其性能受到初始關(guān)鍵點(diǎn)檢測器的限制，降低了 該算法的魯棒性。

時(shí)間不變特征檢測器( TILDE) 【16】：Verdie 等人提出，能夠較好地對由天氣、季節(jié)、時(shí) 間等因素引起的劇烈光照變化情況下的可重復(fù)關(guān)鍵 點(diǎn)進(jìn)行檢測。參與訓(xùn)練的候選特征點(diǎn)是由多幅訓(xùn)練 圖像中采用 SIFT 算法提取的可重復(fù)關(guān)鍵點(diǎn)組成，如 圖a ; 正樣本是以這些點(diǎn)為中心的區(qū)域，負(fù)樣本 是遠(yuǎn)離這些點(diǎn)的區(qū)域。

在進(jìn)行回歸訓(xùn)練時(shí)，正樣本 在特征點(diǎn)位置返回最大值，遠(yuǎn)離特征點(diǎn)位置返回較 小值，如圖 b ; 回歸測試時(shí)，將測試圖像分成固定 大小的圖像塊，其回歸響應(yīng)如圖c ，然后根據(jù)非 極大值抑制提取特征點(diǎn)，如圖d 。該方法適用于處理訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)為同一場景的圖像。（TILDE 采用手動(dòng)標(biāo)記的數(shù)據(jù)作為區(qū)分性特征訓(xùn)練，使用DOG-difference of Gaussian收集訓(xùn)練集，對于跨模態(tài)任務(wù)如RGB/深度模態(tài)對不再適用）

基于學(xué)習(xí)的協(xié)變特征檢測器【17】：綜合考慮兩個(gè)局部特征檢測器特性（檢測可區(qū)分的特征；協(xié)變約束-在不同的變換下重復(fù)檢測一致特征），Zhang 等人提出。該方法將 TILDE 的輸出作為候選標(biāo)準(zhǔn)圖像塊，通過變換預(yù)測 器的訓(xùn)練建立學(xué)習(xí)框架，將局部特征檢測器的協(xié)變 約束轉(zhuǎn)化為變換預(yù)測器的協(xié)變約束，以便利用回歸 ( 如深度神經(jīng)網(wǎng)絡(luò)) 進(jìn)行變換預(yù)測。

預(yù)測的變換有 兩個(gè)重要性質(zhì): 1) 變換的逆矩陣能將觀察到的圖像 塊映射到“標(biāo)準(zhǔn)塊”，“標(biāo)準(zhǔn)塊”定義了具有可區(qū)分性 的圖像塊以及塊內(nèi)“典型特征”( 如單位圓) 的位置 和形狀; 2) 將變換應(yīng)用到“典型特征”可以預(yù)測圖像 塊內(nèi)變換特征的位置和形狀。

Quadnetworks【18】：采用無監(jiān)督學(xué)習(xí)方式進(jìn)行特征點(diǎn)檢測。Savinov 等人 提出，該方法將關(guān)鍵點(diǎn)檢測問題轉(zhuǎn)化為圖像變換上的關(guān)鍵點(diǎn) 一致性排序問題，優(yōu)化后的排序在不同的變換下具 有重復(fù)性，其中關(guān)鍵點(diǎn)來自響應(yīng)函數(shù)的頂/底部分位 數(shù)。

Quad-networks 的訓(xùn)練過程如圖所示，在兩幅 圖像中提取隨機(jī)旋轉(zhuǎn)像塊對( 1，3) 和( 2，4) ; 每個(gè)塊 經(jīng)過神經(jīng)網(wǎng)絡(luò)輸出一個(gè)實(shí)值響應(yīng) H( p w) ，其中 p 表示點(diǎn)，w 表示參數(shù)向量; 通過四元組的排序一致 函數(shù)計(jì)算鉸鏈損失，并通過梯度下降法優(yōu)化。Quadnetworks 在 RGB/RGB模式和RGB/深度模式的重復(fù)檢測性能均優(yōu)于 DOG，可以和基于學(xué)習(xí)的描述符 相結(jié)合進(jìn)行圖像匹配，還可用于視頻中的興趣幀檢測。

3.2 深度學(xué)習(xí)特征描述符學(xué)習(xí)

用于特征點(diǎn)描述符判別學(xué)習(xí)的 DeepDesc【19】：Simo-Serra 等人提出，該方法采用 Siamese 網(wǎng)絡(luò)側(cè)重訓(xùn)練難以區(qū)分 類別的樣本，輸入圖像塊對，將 CNN 輸出的非線性 映射作為描述符，采用歐氏距離計(jì)算相似性并最小 化其鉸鏈損失。該方法適用于不同的數(shù)據(jù)集和應(yīng) 用，包括寬基線圖像匹配、非剛性變形和極端光照變 化的情況，但該方法需要大量的訓(xùn)練數(shù)據(jù)來保證其魯棒性。

3.3 深度學(xué)習(xí)各階段統(tǒng)一

Yi 等人提出【20】：基于學(xué)習(xí)的不變特征變換( LIFT)結(jié)合空間變換網(wǎng)絡(luò)【21】和 Softargmax 函數(shù)，將基于深度學(xué)習(xí)的特征點(diǎn)檢測【16】、基于深度學(xué)習(xí)的方向估計(jì)【22】和基于深度 學(xué)習(xí)的描述符【19】連接成一個(gè)統(tǒng)一網(wǎng)絡(luò)，從而實(shí)現(xiàn)完 整特征點(diǎn)匹配處理流水線。

其中圖像塊的裁剪和旋 轉(zhuǎn)通過空間變換網(wǎng)絡(luò)實(shí)現(xiàn)，訓(xùn)練階段采用四分支 Siamese 網(wǎng)絡(luò)，輸入特征點(diǎn)所在圖像塊， 其位置和方向均來自 SFM 算法的輸出，其中 P1 和 P2 為同一3D 點(diǎn)在不同視角下的圖像，P3 為不同3D 點(diǎn)的投影的圖像塊，P4 為不包含任何特征點(diǎn)的圖像 快，S 為得分圖，x 代表特征點(diǎn)位置。采用從后至前 的訓(xùn)練策略，即先訓(xùn)練描述子，再訓(xùn)練方向估計(jì)，最 后訓(xùn)練特征點(diǎn)檢測。測試階段，將特征點(diǎn)檢測與方 向估計(jì)及描述子分開，使優(yōu)化問題易于處理。LIFT 方法的輸入為多尺度圖像，以滑窗形式進(jìn)行特征點(diǎn) 檢測，提取局部塊逐個(gè)分配方向，再計(jì)算描述子。與 SIFT 相比，LIFT 能夠提取出更為稠密的特征點(diǎn)，且 對光照和季節(jié)變化具有很高的魯棒性。

3.4 不同對象或場景的匹配方法研究( 圖像語義匹配)：

與考慮在時(shí)間( 光流) 或空間( 立體) 相鄰的圖像特 征對應(yīng)不同，語義對應(yīng)的特征是圖像具有相似的高 層結(jié)構(gòu)，而其精確的外觀和幾何形狀可能不同。

3.4.1 相同對象類的像對匹配

經(jīng) 典 SIFT 流方法【23】：提出不同場景的稠密對應(yīng)概念， 通過平滑約束和小位移先驗(yàn)計(jì)算不同場景間的稠密 對應(yīng)關(guān)系。

Bristow 等人【24】：將語義對應(yīng)問題轉(zhuǎn)化為 約束檢測問題，并提出 Examplar-LDA( Examplar linear discriminant analysis) 分類器。首先對匹配圖像 中的每個(gè)像素學(xué)習(xí)一個(gè) Examplar-LDA 分類器，然后 以滑動(dòng)窗口形式將其應(yīng)用到目標(biāo)圖像，并將所有分 類器上的匹配響應(yīng)與附加的平滑先驗(yàn)結(jié)合，從而獲 得稠密的對應(yīng)估計(jì)。該方法改善了語義流的性能，在背景雜亂的場景下具有較強(qiáng)魯棒性。

3.4.2 不同對象類的像對匹配

Novotny 等人【25】：提出基于幾何敏感特征的弱監(jiān)督學(xué)習(xí)方法 AnchorNet。在只有圖像級標(biāo)簽的監(jiān)督下，AnchorNet 依賴一組從殘差超列 HC( hypercolumns) 中提取具 有正交響應(yīng)的多樣過濾器，該過濾器在同一類別的 不同實(shí)例或兩個(gè)相似類別之間具有幾何一致性。AnchorNet 通 過 在 ILSVＲC12 ( imagenet large scale visual recognition competition 2012) 上預(yù)先訓(xùn)練的深 度殘差網(wǎng)絡(luò)( ＲesNet50) 模型初始化網(wǎng)絡(luò)參數(shù)，并采 用兩階段優(yōu)化與加速訓(xùn)練完成匹配。

3.4.3 多圖像語義匹配

可以找到多個(gè)圖像間的一致對應(yīng)關(guān)系，從而在應(yīng)用中發(fā)揮更為重要的作用

對象類模型重建【26】

自動(dòng)地標(biāo)注釋【27】

Wang 等人【28】：將多圖像間的語義匹 配問題轉(zhuǎn)化為特征選擇與標(biāo)注問題，即從每幅圖像 的初始候選集中選擇一組稀疏特征點(diǎn)，通過分配標(biāo) 簽建立它們在圖像間的對應(yīng)關(guān)系。該方法可以為滿 足循環(huán)一致性和幾何一致性的圖像集合建立可靠的 特征對應(yīng)關(guān)系，其中循環(huán)一致性可以對圖像集合中 的可重復(fù)特征進(jìn)行選擇和匹配。低秩約束用于確保 特征對應(yīng)的幾何一致性，并可同時(shí)對循環(huán)一致性和 幾何一致性進(jìn)行優(yōu)化。該方法具有高度可擴(kuò)展性， 可以對數(shù)千幅圖像進(jìn)行匹配，適用于在不使用任何 注釋的情況下重構(gòu)對象類模型。

3.5 圖像匹配應(yīng)用于臨床的精確診療

通過精確比對器官的幾何形狀，來判斷臟器是否存在病變; 通過分析腫瘤的幾何特征，來判斷腫瘤是否為惡性。

Yu 等人［29］提 出 A-NSIFT( accelerated multi-dimensional scale invariant feature transform) 與 PO-GMMＲEG( parallel optimization based on gaussian mixture model registration) 相結(jié)合的方法，改進(jìn)了特征提取和匹配過程。ANSIFT 為加速版 NSIFT，采用 CUDA 編程加速 NSIFT 的前兩個(gè)步驟，用于提取匹配圖像和待匹配圖像中 的特征點(diǎn)( 僅保留位置信息) 。PO-GMMＲEG 是基 于并行優(yōu)化的高斯混合模型( GMM) 匹配算法，并行 優(yōu)化使得匹配圖像和待匹配圖像可以任意旋轉(zhuǎn)角度 對齊。該方法可以減少時(shí)間消耗，提高大姿態(tài)差異 下的匹配精度。

TV-L1 ( total variation-L1 ) 光流模型［30］能有效地保 持圖像邊緣等特征信息，但對于保持具有弱導(dǎo)數(shù)性 質(zhì)的紋理細(xì)節(jié)信息仍不夠理想。

張桂梅等人［31］將 G-L ( Grünwald-Letnikov ) 分 數(shù) 階 微 分 理 論 引 入 TV-L1 光流模型，代替其中的一階微分，提出分?jǐn)?shù)階 TV-L1 光流場模型 FTV-L1 ( fractional TV-L1 ) 。同 時(shí)給出匹配精度和 G-L 分?jǐn)?shù)階模板參數(shù)之間關(guān)系， 為最佳模板選取提供依據(jù)。FTV-L1 模型通過全變分 能量方程的對偶形式進(jìn)行極小化以獲得位移場，可 以解決圖像灰度均勻，弱紋理區(qū)域匹配結(jié)果中的信 息模糊問題。該方法能有效提高圖像匹配精度，適合于包含較多弱紋理和弱邊緣信息的醫(yī)學(xué)圖像匹配。

為了解決待匹配圖像對中目標(biāo)的大形變和灰度 分布呈各向異性問題，陸雪松等人［32］將兩幅圖像的 聯(lián)合 Ｒenyi α -entropy 引入多維特征度量并結(jié)合全 局和局部特征，從而實(shí)現(xiàn)非剛性匹配。首先，采用最 小距離樹構(gòu)造聯(lián)合 Ｒenyi α -entropy 度量準(zhǔn)則; 其 次，根據(jù)該度量相對形變模型 FFD( free-form deformation) 的梯度解析表達(dá)式，采用隨機(jī)梯度下降法進(jìn) 行優(yōu)化; 最后，將圖像的 Canny 特征和梯度方向特征 融入度量中，實(shí)現(xiàn)全局和局部特征的結(jié)合。該方法 的匹配精度與傳統(tǒng)互信息法和互相關(guān)系數(shù)法相比有 明顯提高，且新度量方法能克服因圖像局部灰度分 布不一致造成的影響，能夠在一定程度上減少誤 匹配。

Yang 等人［33］ 提出的 FMLND( feature matching with learned nonlinear descriptors) 采用基于學(xué)習(xí)的局 部非線性描述符 LND 進(jìn)行特征匹配，對來自 T1w 和 T2w 兩種不同成像參數(shù)的磁共振成像( MＲI) 數(shù)據(jù)的 CT( computed tomography) 圖像進(jìn)行預(yù)測。該過程分 為兩個(gè)階段: 學(xué)習(xí)非線性描述符和預(yù)測 pCT( pseudo CT) 圖像。

第 1 階段，首先采用稠密 SIFT 提取 MＲ 圖像的特征; 其次通過顯式特征映射將其投影到高 維空間并與原始塊強(qiáng)度結(jié)合，作為初始非線性描述 符; 最后在基于改進(jìn)的描述符學(xué)習(xí)( SDL) 框架中學(xué) 習(xí)包含監(jiān)督的 CT 信息的局部描述符。第 2 階段， 在訓(xùn)練 MＲ 圖像的約束空間內(nèi)搜索輸入 MＲ 圖像 的局部描述符的 K 最近鄰域，和對應(yīng)原始 CT 塊進(jìn) 行映射，對重疊的 CT 塊進(jìn)行加權(quán)平均處理得到最 終的 pCT 塊。與僅使用成像參數(shù) T1w 或 T2w 的 MＲ 圖像方法相比，F(xiàn)MLND 方法提高了預(yù)測的準(zhǔn) 確率。

對骨盆CT和MRI匹配可以促進(jìn)前列腺癌放射治療兩種方式的有效融合。由于骨盆器官的模態(tài)外 觀間隙較大，形狀/外觀變化程度高，導(dǎo)致匹配困難?；诖?，Cao 等人【34】提出基于雙向圖像合成的區(qū)域 自適應(yīng)變形匹配方法，用于多模態(tài)骨盆圖像的匹配， 雙向圖 像 合 成，即 從MRI合 成CT并 從CT合 成MRI。

多目標(biāo)回歸森林 MT-ＲF 采用CT模式和MRI模式對方向圖像合成進(jìn)行聯(lián)合監(jiān)督學(xué)習(xí)，消除模態(tài) 之間的外觀差異，同時(shí)保留豐富的解剖細(xì)節(jié)，其匹配 流程為: 首先，通過 MT-ＲF 合成雙向圖像，獲得實(shí)際CT和合成CT( S-CT) 的CT像對以及實(shí)際MRI和合成 MＲI( S-MRI) 的 MＲI 像對; 其次，對CT像對的骨骼區(qū)域和 MRI像對的軟組織區(qū)域進(jìn)行檢測，以結(jié)合 兩種模式中的解剖細(xì)節(jié); 最后，利用從兩種模式中選 擇的特征點(diǎn)進(jìn)行對稱匹配。在匹配過程中，特征點(diǎn) 數(shù)量逐漸增加，對形變場的對稱估計(jì)起到較好的分 級指導(dǎo)作用。該方法能夠較好地解決骨盆圖像匹配 問題，具有較高的準(zhǔn)確性和魯棒性。

3.6 圖像匹配應(yīng)用于遙感圖像處理-高分辨率

何夢夢等人【35】對細(xì)節(jié)紋理信息豐富的高分辨率光學(xué)及 SAR( synthetic aperture radar) 遙感圖像進(jìn)行分析，提出一種特征 級高分辨率遙感圖像快速自動(dòng)匹配方法。該方法首 先對匹配圖像和待匹配圖像進(jìn)行 Harr 小波變換，將 其變換到低頻近似圖像再進(jìn)行后續(xù)處理，以提高圖 像匹配速度; 接著對光學(xué)圖像和 SAＲ 圖像分別采用 Canny 算子和 ＲOA( ratio of averages) 算子進(jìn)行邊緣 特征提取，并將邊緣線特征轉(zhuǎn)換成點(diǎn)特征。

而后通過 匹配圖像和待匹配圖像中每對特征點(diǎn)之間的最小和 次小角度之比確定初始匹配點(diǎn)對，并通過對隨機(jī)抽 樣一致性算法( ＲANSAC) 添加約束條件來濾除錯(cuò)誤 匹配點(diǎn)對; 最后采用分塊均勻提取匹配點(diǎn)對的方法， 進(jìn)一步提高匹配精度。該方法能快速實(shí)現(xiàn)并具有較 高的配準(zhǔn)精度和較好的魯棒性。

3.7 剔除誤差匹配

3.7.1 幾何約束為參數(shù)的情況，如要求相應(yīng)點(diǎn)位于極線上

Fischler 等 人［36］提出 RANSAC 方法，采用迭代方式從包含離群 數(shù)據(jù)的數(shù)據(jù)集中估算出數(shù)學(xué)模型。進(jìn)行匹配點(diǎn)對的 提純步驟為: 1) 從已匹配的特征點(diǎn)對數(shù)據(jù)集中隨機(jī) 抽取四對不共線的點(diǎn)，計(jì)算單應(yīng)性矩陣 H，記作模型 M; 2) 設(shè)定一個(gè)閾值 t，若數(shù)據(jù)集中特征點(diǎn)與 M 之間 的投影誤差小于 t，就把該點(diǎn)加入內(nèi)點(diǎn)集，重復(fù)以上 步驟，迭代結(jié)束后對應(yīng)內(nèi)點(diǎn)數(shù)量最多的情況即為最 優(yōu)匹配。ＲANSAC 對誤匹配點(diǎn)的剔除依賴單應(yīng)性矩 陣的計(jì)算，存在計(jì)算量大、效率低等問題。

文獻(xiàn)［37］通過引入針對內(nèi)點(diǎn)和外點(diǎn)的混合概 率模 型 實(shí) 現(xiàn) 了 參 數(shù) 模 型 的最大似然估計(jì)。

文獻(xiàn)［38］使用支持向量回歸學(xué)習(xí)的對應(yīng)函數(shù)，該函 數(shù)將一幅圖像中的點(diǎn)映射到另一幅圖像中的對應(yīng)點(diǎn)， 再通過檢驗(yàn)它們是否與對應(yīng)函數(shù)一致來剔除異常值。

將點(diǎn)對應(yīng)關(guān)系通過圖匹配進(jìn)行描述［39-40］

為了在不依賴 ＲANSAC 情況下恢復(fù)大量內(nèi)點(diǎn)，Lin 等人【41】提出 BF( bilateral functions) 方法，從含 有噪聲的匹配中計(jì)算全局匹配的一致函數(shù)，進(jìn)而分 離內(nèi)點(diǎn)與外點(diǎn)。BF 從一組初始匹配結(jié)果開始，利用 每個(gè)匹配定義的局部仿射變換矩陣計(jì)算兩幅圖像之 間的仿射運(yùn)動(dòng)場。在給定運(yùn)動(dòng)場的情況下，BF 為每 個(gè)特征在描述符空間尋找最近鄰匹配以恢復(fù)更多對 應(yīng)關(guān)系。與 ＲANSAC 相比，雙邊運(yùn)動(dòng)模型具備更高 的查全率和查準(zhǔn)率。

受 BF 啟發(fā)，Bian 等人【42】將運(yùn)動(dòng)平滑度作為統(tǒng)計(jì)量，提出基于網(wǎng)格的運(yùn)動(dòng)統(tǒng)計(jì)( GMS)方法，根據(jù) 最近鄰匹配數(shù)量區(qū)分正確匹配和錯(cuò)誤匹配點(diǎn)對。GMS 算法的核心為運(yùn)動(dòng)統(tǒng)計(jì)模型，如圖 4 所示。其 中，si 和 sj 分別表示正確匹配 xi 和錯(cuò)誤匹配 xj 的運(yùn) 動(dòng)統(tǒng)計(jì)，為了加速這一過程，可將整幅圖像劃分成 G = 20 × 20 的網(wǎng)格，并在網(wǎng)格中進(jìn)行操作。由于 GMS 算法在進(jìn)行網(wǎng)格劃分時(shí)，并未考慮圖像大小， 對于長寬比例不一致的圖像，會生成矩形狀的網(wǎng)格， 導(dǎo)致網(wǎng)格中特征分布不均。基于此，文獻(xiàn)［43］通過 計(jì)算五宮格特征分?jǐn)?shù)剔除外點(diǎn)，并將圖像大小作為 約束對圖像進(jìn)行方形網(wǎng)格劃分，能夠在提高運(yùn)算速 度的同時(shí)獲得與 GMS 算法相同的匹配精度。

3.7.2 幾何約束為非參數(shù)

Ma 等人［44］提出 VFC( vector field consensus) 方法，利用向量場的光滑先驗(yàn)，從帶有外點(diǎn)的樣本中尋找向量場的魯棒估計(jì)。向量場的光滑 性由再生核希爾伯特空間( RKHS) 【45】范數(shù)表征，VFC 算法基于這一先驗(yàn)理論，使用貝葉斯模型的最 大后驗(yàn)( MAP) 計(jì)算匹配是否正確，最后使用 EM 算法將后驗(yàn)概率最大化。VFC 算法的適用范圍: 1) 誤匹配比例高的時(shí)候( 遙感圖像、紅外圖像和異質(zhì)圖像) ; 2) 無法提供變換模型的時(shí)候( 如非剛性變形、 相機(jī)參數(shù)未知) ; 3) 需要一個(gè)快速匹配算法且不需要求解變換參數(shù)的時(shí)候。

Part2：局部不變特征點(diǎn)匹配-3D

3維圖像常用的表現(xiàn)形式包括: 深度圖( 以灰 度表達(dá)物體與相機(jī)的距離) 、幾何模型( 由 CAD 軟 件建立) 、點(diǎn)云模型( 所有逆向工程設(shè)備都將物體采 樣成點(diǎn)云) ，3 維點(diǎn)匹配算法中常見的是基于點(diǎn)云模 型的和基于深度模型的。點(diǎn)云模型中的每個(gè)點(diǎn)對應(yīng) 一個(gè)測量點(diǎn)，包含了最大的信息量。

1.特征檢測

PointNet【46】可以直接將 3D 點(diǎn)云作為輸入，其改進(jìn)版 PointNet++【47】能更好地提取局部信息。3 維局部描述符在 3 維視 覺中發(fā)揮重要作用，是解決對應(yīng)估計(jì)、匹配、目標(biāo)檢 測和形狀檢索等的前提，廣泛應(yīng)用在機(jī)器人技術(shù)、導(dǎo) 航( SVM) 和場景重建中。點(diǎn)云匹配中的 3 維幾何 描述符一直是該領(lǐng)域的研究熱點(diǎn)，這種描述符主要 依賴 3 維局部幾何信息。

Deng 等人［48］提出具有全局感知的局部特征提取網(wǎng)絡(luò) PPFNet( point pair feature network) 。PPFNet 結(jié)構(gòu)如圖 5 所示。塊描述 Fr 由點(diǎn)對特征( PPF) 集合、局部鄰域內(nèi)的點(diǎn)及法線 構(gòu)成，首先采用 PointNet 處理每個(gè)區(qū)域塊，得到局部 特征; 其次通過最大池化層將各個(gè)塊的局部特征聚 合為全局特征，將截然不同的局部信息匯總到整個(gè) 片段的全局背景中。

最后將該全局特征連接到每個(gè) 局部特征，使用一組多層感知機(jī)( MLP) 進(jìn)一步將全 局和局部特征融合到最終全局背景感知的局部描述 符中。PPFNet 在幾何空間上學(xué)習(xí)局部描述符，具有 排列不變性，且能充分利用原始點(diǎn)云的稀疏性，提高 了召回率，對點(diǎn)云的密度變化有更好的魯棒性。但 其內(nèi)存使用空間與塊數(shù)的 2 次方成正比，限制了塊 的數(shù)量，目前只能設(shè)置為 2 K。

在基于深度模型的匹配算法中，Zhou 等人【49】基于多視圖融合技術(shù) Fuseption-ＲesNet(FRN)，提出 多視圖描述符 MVDesc。FＲN 能將多視圖特征映射 集成到單視圖上表示，如圖 6 所示。其中，視圖池化 ( view pooling) 用于快捷連接，F(xiàn)useption 分支負(fù)責(zé)學(xué) 習(xí)殘差映射，兩個(gè)分支在精度和收斂率方面互相加強(qiáng)。采用 3 × 3、1 × 3 和 3 × 1 3 種不同內(nèi)核尺寸的 輕量級空間濾波器提取不同類型的特征，并采用上 述級聯(lián)特征映射的 1 × 1 卷積負(fù)責(zé)跨通道統(tǒng)計(jì)量的合并與降維。將 FＲN 置于多個(gè)并行特征網(wǎng)絡(luò)之上， 并建立 MVDesc 的學(xué)習(xí)網(wǎng)絡(luò)，其中卷積 6 的通道數(shù) 與特征網(wǎng)絡(luò)輸出的特征映射通道數(shù)相同。

與依 賴多視圖圖像或需要提取固有形狀特征的卷積神經(jīng)網(wǎng)絡(luò)不同，Wang 等人［50］提出一種可以根據(jù) 3 維曲面形狀生成局部描述符的網(wǎng)絡(luò)框架。該方法將關(guān)鍵點(diǎn)的鄰域進(jìn)行多尺度量化并參數(shù)化為 2 維網(wǎng)格，并 將其稱之為幾何圖像，描述符的訓(xùn)練過程如下: 首先 提取曲面上關(guān)鍵點(diǎn)鄰域的多尺度局部塊，根據(jù)這些塊構(gòu)造一組幾何圖像; 其次將這些塊輸入 Triplet 網(wǎng) 絡(luò)，每個(gè)網(wǎng)絡(luò)分支采用 ConvNet ( convolutional networks) 訓(xùn)練; 最后輸出 128 維描述符，并采用 MinCV Triplet 損失函數(shù)最小化錨樣本和正樣本距離的變異系數(shù)( CV) 之比。相對于其他局部描述符學(xué)習(xí)方法，該方法具有更好的可區(qū)分性、魯棒性及泛化 能力。

Georgakis 等人［51］提出用于特征點(diǎn)檢測和描述符學(xué)習(xí)的端到端框架。該框架基于 Siamese 體系結(jié) 構(gòu)，每個(gè)分支都是一個(gè)改進(jìn)的 Faster Ｒ-CNN［52］。如 圖 7 所示，采用 VGG-16 的卷積層 cov5_3 提取深度圖I的深度卷積特征，一方面經(jīng)過ＲPN( region propose network) 處理，產(chǎn)生特征點(diǎn)的候選區(qū)域( 橙色區(qū)域) 及分?jǐn)?shù) S 。

另一方面輸入到 ＲoI( region of interest) 池化層，經(jīng)過全連接層將特征點(diǎn)候選區(qū)域映射 到對應(yīng)卷積特征 f 上; 采樣層以候選區(qū)域的質(zhì)心 x、 卷積特征 f 、深度圖像值 D、相機(jī)姿態(tài)信息 g 和相機(jī) 內(nèi)在參數(shù)作為輸入，動(dòng)態(tài)生成局部塊對應(yīng)標(biāo)簽( 正 或負(fù)) ，并采用對比損失函數(shù) Lcontr 最小化正樣本對間的特征距離，最大化負(fù)樣本對間的距離，該方法對視角變化具有一定的魯棒性。

2. 誤差剔除

采用基于圖模型的3維誤匹配點(diǎn)剔除方法RMBP( robust matching using belief propagation) 。該模型可以描述匹配對之間的相 鄰關(guān)系，并通過置信傳播對每個(gè)匹配對進(jìn)行推斷驗(yàn) 證，從而提高 3 維點(diǎn)匹配的準(zhǔn)確性和魯棒性。

Part3：直線匹配

研究直線匹配首先要克服線特征本身存在的一 些問題，如端點(diǎn)位置不準(zhǔn)確、圖像邊緣特征不明顯、 線段碎片問題等，與點(diǎn)特征相比，線特征包含更多場 景和對象的結(jié)構(gòu)信息。線特征匹配方法可以大致分 為 3 種: 基于單線段匹配方法、基于線段組方法和基于共面線—點(diǎn)不變量( LP) 方法。

1.基于單線段匹配

Wang 等人［53］提出 的 MSLD( mean standard deviation line descriptor) 方 法通過統(tǒng)計(jì)像素支持區(qū)域內(nèi)每個(gè)子區(qū)域 4 個(gè)方向的 梯度向量構(gòu)建描述子矩陣，進(jìn)而提高描述符的魯棒 性。MSLD 對具有適當(dāng)變化的紋理圖像有較好的匹 配效果，可以應(yīng)用在 3 維重建和目標(biāo)識別等領(lǐng)域。為了解決 MSLD 對尺度變化敏感問題，文獻(xiàn)［54］將 區(qū)域仿射變換和 MSLD 相結(jié)合，利用核線約束確定 匹配圖像對應(yīng)的同名支持域，并對該支持域進(jìn)行仿 射變換以統(tǒng)一該區(qū)域大小，實(shí)現(xiàn)不同尺度圖像上直 線的可靠匹配。

與 MSLD 相似，Zhang 等人［55］提出 線帶描述符( LBD)，在線支持區(qū)域( LSＲ) 中計(jì)算描 述符，同時(shí)利用直線的局部外觀和幾何特性，通過成 對幾何一致評估提高對低紋理圖像直線匹配的精確 度。該方法可在不同尺度空間中檢測線段，能夠克 服線段碎片問題，提高抗大尺度變化的魯棒性。

2.基于線段組方法

當(dāng)像對間旋轉(zhuǎn)角度過大時(shí)，單線段匹配方法的匹配準(zhǔn)確率不高，可以采用線段組匹配方法通過更多的幾何信息解決這一問題。Wang 等人［56］基于線段局部聚類的方式提出半局部特征 LS( line signature)，用于寬基線像對匹配，并采用多尺度方案提 高尺度變化下的魯棒性。

為了提高在光照不受控制 情況下對低紋理圖像的匹配準(zhǔn)確度，López 等人［57］ 將直線的幾何特性、局部外觀及線鄰域結(jié)構(gòu)上下文 相結(jié)合，提出雙視圖( two-view) 直線匹配算法 CA。首先對線特征進(jìn)行檢測: 1) 在高斯尺度空間利用基 于相位的邊緣檢測器提取特征; 2) 根據(jù)連續(xù)性準(zhǔn)則 將邊緣特征局部區(qū)域近似為線段; 3) 在尺度空間進(jìn) 行線段融合。其次，該方法中的相位一致性對于圖 像亮度和對比度具有較高不變性，線段融合可以減 少重疊線段以及線段碎片出現(xiàn)。最后，線特征匹配 采用迭代方式進(jìn)行，通過不同直線鄰域的局部結(jié)構(gòu) 信息來增強(qiáng)每次迭代的匹配線集，該方法適用于低 紋理圖像中線特征的檢測與匹配。

基于線段組匹配方法對線段端點(diǎn)有高度依賴性，圖像變換及部分遮擋可能導(dǎo)致端點(diǎn)位置不準(zhǔn)確， 進(jìn)而影響匹配效果。

3.基于共面線—點(diǎn)不變量( LP) 方法

Fan 等人［58-59］利用線及其鄰域點(diǎn)的局部幾何信息構(gòu)造共面線—點(diǎn)不變量( LP) 用 于線匹配。LP 包括: “一線 + 兩點(diǎn)”構(gòu)成的仿射不 變量和“一線 + 四點(diǎn)”構(gòu)成的投影不變量。該投影 不變量和“兩線 + 兩點(diǎn)”構(gòu)成的投影不變量［60］ 相 比，可以直接用于線匹配而無需復(fù)雜的組合優(yōu)化。根據(jù)直線的梯度方向，將線鄰域分為左鄰域和右鄰 域( 線梯度方向) ，以獲得左右鄰域內(nèi)與線共面的匹 配點(diǎn)，進(jìn)行線相似性度量時(shí)，取左右鄰域相似性的最大值。

該方法對誤匹配點(diǎn)和圖像變換具有魯棒性， 但高度依賴匹配關(guān)鍵點(diǎn)的準(zhǔn)確性。為此，Jia 等 人［61］基于特征數(shù) CN［62］提出一種新的共面線—點(diǎn) 投影不變量。CN 對交叉比進(jìn)行擴(kuò)展，采用線上點(diǎn) 和線外點(diǎn)描述基礎(chǔ)幾何結(jié)構(gòu)。通過“五 點(diǎn)”構(gòu) 造 線—點(diǎn)不變量，其中兩點(diǎn)位于直線上，另外三點(diǎn)位于 直線同一側(cè)但不共線，如圖 8 所示。點(diǎn) KP1 l ，KP2 l ， P1 ，P2 ，P3 用于構(gòu)造該不變量，通過兩點(diǎn)連線可以 獲得其他特征點(diǎn)。

計(jì)算直線鄰域相似性時(shí)，把線鄰 域按照線梯度方向分為左鄰域和右鄰域( 梯度方 向) ，根據(jù)線點(diǎn)不變量分別計(jì)算左、右鄰域的相似 性。這種相似性度量方法受匹配特征點(diǎn)的影響較 小。該方法對于低紋理和寬基線圖像的線匹配效果 要優(yōu)于其他線匹配算法，對于很多圖像失真也有較 好魯棒性。由于該線—點(diǎn)不變量是共面的，對于非平面場景圖像的處理具有局限性。

對航空影像進(jìn)行線匹配時(shí)，線特征通常會出現(xiàn)遮擋、變形及斷裂等情況，使得基于形態(tài)的全局描述 符不再適用?；诖耍瑲W陽歡等人［63］聯(lián)合點(diǎn)特征匹 配優(yōu)勢，通過對線特征進(jìn)行離散化描述并結(jié)合同名 點(diǎn)約束實(shí)現(xiàn)航空影像線特征匹配。線特征離散化， 即將線看做離散點(diǎn)，通過統(tǒng)計(jì)線上同名點(diǎn)的分布情 況來確定線特征的初匹配結(jié)果，最后利用點(diǎn)線之間 距離關(guān)系對匹配結(jié)果進(jìn)行核驗(yàn)。同名點(diǎn)約束包括單 應(yīng)性約束和核線約束，單應(yīng)性約束實(shí)現(xiàn)線特征之間 的位置約束，核線約束將匹配搜索空間從 2 維降至 1 維。

線上離散點(diǎn)的匹配約束如圖 9 所示，IL 為目 標(biāo)影像，l1 為目標(biāo)線特征，p 為其上一點(diǎn); IＲ 為待匹 配影像，線 E 代表 p 所對應(yīng)核線，p' 為 p 由單應(yīng)性矩 陣映射得到的對應(yīng)點(diǎn)，虛線圓為單應(yīng)性矩陣的約束 范圍，l'1 、l'2 、l'3 是由約束確定的候選線特征，點(diǎn) p1、p2 、p3 為 p 的候選同名點(diǎn)。該算法匹配正確率 高，匹配速度相對較快，可實(shí)現(xiàn)斷裂線特征的多對多匹配，但匹配可靠性仍受到點(diǎn)特征匹配的影響，對于 難以獲得初始同名點(diǎn)的區(qū)域，其適用性不高。

Part4：區(qū)域匹配

1.區(qū)域特征提取與匹配方法

區(qū)域特征具有較高的不變性與穩(wěn)定性，在多數(shù)圖像中可以重復(fù)檢測，與其他檢測器具有一定互補(bǔ)性，被廣泛應(yīng)用于圖像識別、圖像檢索、圖像拼接、3 維重建、機(jī)器人導(dǎo)航等領(lǐng)域。

Matas 等人［64］于 2002 年提 出最大穩(wěn)定極值區(qū)域( MSEＲ) 采用分水嶺方法，通 過對灰度圖像取不同閾值分割得到一組二值圖，再 分析相鄰二值圖像的連通區(qū)域獲得穩(wěn)定區(qū)域特征。經(jīng)典 MSEＲ 算法具有較高的時(shí)間復(fù)雜度。

Nistér 等 人［65］基于改進(jìn)的分水嶺技術(shù)提出一種線性計(jì)算 MSEＲ 的算法，該算法基于像素的不同計(jì)算順序，獲 得與圖像中存在灰度級數(shù)量相同的像素分量信息， 并通過組件樹表示對應(yīng)灰度級。MSEＲ 這類方法可 用于圖像斑點(diǎn)區(qū)域檢測及文本定位，也可與其他檢 測器結(jié)合使用，如文獻(xiàn)［66］將 SUＲF 和 MSEＲ 及顏 色特征相結(jié)合用于圖像檢索，文獻(xiàn)［67］將 MSEＲ 與 SIFT 結(jié)合用于特征檢測。

區(qū)域特征檢測還可利用計(jì)算機(jī)技術(shù)中的樹理論 進(jìn)行穩(wěn)定特征提取，Xu 等人［68］提出一種基于該理 論的拓?fù)浞椒?TBMＲ( tree-based Morse regions)。該 方法以 Morse 理論為基礎(chǔ)定義臨界點(diǎn): 最大值點(diǎn)、最小值點(diǎn)和鞍點(diǎn)，分別對應(yīng)最大樹葉子節(jié)點(diǎn)、最小樹葉 子節(jié)點(diǎn)和分叉節(jié)點(diǎn)。TBMＲ 區(qū)域?qū)?yīng)樹中具有唯一 子節(jié)點(diǎn)和至少具有一個(gè)兄弟節(jié)點(diǎn)的節(jié)點(diǎn)。

如圖 10 所示，節(jié)點(diǎn) A 和 C 代表最小值區(qū)域; 節(jié)點(diǎn) H 和 E 代 表最大值區(qū)域; 節(jié)點(diǎn) A ∪ B ∪ C ∪ D ∪ G 和 E ∪ F ∪ G ∪ H 表示鞍點(diǎn)區(qū)域; 節(jié)點(diǎn) A ∪ B 、C ∪ D 、E ∪ F 為所求 TBMＲ 區(qū)域。該方法僅依賴拓?fù)湫畔?，完全繼承形狀空間不變性，對視角變化具有魯棒性，計(jì)算 速度快，與 MSEＲ 具有相同復(fù)雜度，常用于圖像配準(zhǔn) 和 3 維重建。

2. 模板匹配：

模板匹配是指給定一個(gè)模板( 通常是一塊小圖像區(qū)域) ，在目標(biāo)圖像中尋找與模板對應(yīng)區(qū)域的方法，被廣泛應(yīng)用于目標(biāo)跟蹤、目標(biāo)檢測及圖像拼接等領(lǐng)域。

模板和目標(biāo)圖像子窗口間的相似性度量是模板 匹配的主要部分，常采用逐像素比較的計(jì)算方式，如 上述方法采用的 SAD、CSAD 和 SV-NCC，此外還有 差值平方和 SSD 等，這些方法在圖像背景雜亂或發(fā) 生復(fù)雜形變的情況下不再適用。

Korman 等人［69］提出可以處理任意仿射變換的模板匹配算法 FAST-Match( fast affine template matching) ，該方法首先將彩色圖像灰度化，再構(gòu)建 仿射變換集合，并遍歷所有可能的仿射變換，最后計(jì) 算模板與變換后區(qū)域之間絕對差值的和 SAD，求取 最小值作為最佳匹配位置。該方法能夠找到全局最 優(yōu)匹配位置，但對彩色圖像匹配時(shí)，需預(yù)先轉(zhuǎn)換成灰 度圖像，而這一過程損失了彩色空間信息，降低了圖像匹配的準(zhǔn)確率。

Jia 等人［70］將灰度空間的 SAD 拓 展到 ＲGB 空間形成 CSAD( colour SAD) ，提出適合 彩色 圖 像 的 模 板 匹 配 算 法CFAST-Match( colour FAST match) 。該方法通過矢量密度聚類算法計(jì)算 每個(gè)像素點(diǎn)所屬類別，并統(tǒng)計(jì)同類像素個(gè)數(shù)及 ＲGB 各通道的累計(jì)值，以此求解每個(gè)分類的矢量中心，將 矢量中心作為 CSAD 的判定條件，同類像素個(gè)數(shù)的 倒數(shù)作為分值系數(shù)，以此建立新的相似性度量機(jī)制。

上方法對存在明顯色差的區(qū)域具有較高匹配精度， 但部分參數(shù)依據(jù)經(jīng)驗(yàn)設(shè)置，且不適合處理大尺寸圖 像。為了解決這一問題，文獻(xiàn)［71］提出一種基于分值圖的模板匹配算法。該方法依據(jù)彩色圖像的多通道特征，采用抽樣矢量歸一化互相關(guān)方法 ( SVNCC) 度量兩幅圖像間的區(qū)域一致性，以降低光照和噪聲影響。

Dekel 等人［72-73］基 于模板與目標(biāo)圖像間的最近鄰( NN) 匹配屬性提出 一種新的 BBS( best-buddies similarity) 度量方法，采 用不同圖像特征( 如顏色、深度) 通過滑動(dòng)窗口方式 統(tǒng)計(jì)模板點(diǎn)與目標(biāo)點(diǎn)互為 NN 的匹配數(shù)量，并將匹 配數(shù)量最多的窗口視為最終匹配位置。但該算法在 發(fā)生劇烈非剛性形變或處于大面積遮擋及非均勻光 照等環(huán)境下匹配魯棒性差。文獻(xiàn)［74］利用曼哈頓 距離代替 BBS 算法中的歐氏距離，并對生成的置信 圖進(jìn)行閾值篩選和濾波，能夠較好地解決光照不均 勻、模板中外點(diǎn)較多與旋轉(zhuǎn)變形等多種復(fù)雜條件下 的匹配問題。

采用雙向 NN 匹配導(dǎo)致 BBS 的計(jì)算時(shí)間較長，Talmi 等人［75］提出基于單向 NN 匹配的 DDIS( deformable diversity similarity) 方法。首先計(jì)算目標(biāo)圖 像窗口點(diǎn)在模板中的 NN 匹配點(diǎn)，并統(tǒng)計(jì)對應(yīng)同一 匹配點(diǎn)的數(shù)量，計(jì)算像素點(diǎn)的置信度。其次采用歐 氏距離計(jì)算目標(biāo)點(diǎn)和對應(yīng) NN 匹配點(diǎn)間距離，最后 結(jié)合度量模板和目標(biāo)圖像窗口間的相似性獲得匹配 結(jié)果。盡管 DDIS 降低了算法復(fù)雜度并提高了檢測 精度，但當(dāng)形變程度較大時(shí)依然會影響匹配效果。

由于 DDIS 對每個(gè)滑動(dòng)窗口單獨(dú)計(jì)算 NN 匹配且滑 動(dòng)窗口的計(jì)算效率較低，導(dǎo)致模板在與較大尺寸的 目標(biāo)圖像進(jìn)行匹配時(shí)，處理時(shí)間較長。為此，Talker 等人［76］基于單向 NN 匹配提出 DIWU( deformable image weighted unpopularity) 方法。與 DDIS 基于目 標(biāo)圖像窗口點(diǎn)不同，DIWU 計(jì)算整幅目標(biāo)圖像點(diǎn)在 模板中的最近鄰匹配點(diǎn)，若多個(gè)像素的 NN 匹配點(diǎn) 相同，則像素的置信分?jǐn)?shù)就低，匹配的正確性就低。DIWU 以第 1 個(gè)圖像窗口的分?jǐn)?shù)為基礎(chǔ)，逐步計(jì)算 之后的每個(gè)窗口分?jǐn)?shù)，該方法在保證匹配準(zhǔn)確性的同時(shí)，提高了運(yùn)算速度，使得基于 NN 的模板匹配適合實(shí)際應(yīng)用。

BBS 和 DDIS 均采用計(jì)算矩形塊間的相似性度量解決幾何形變和部分遮擋問題，但滑動(dòng)窗口的使 用限制了遮擋程度。Korman 等人［77］基于一致集最 大化( CSM) 提出適用于存在高度遮擋情況下的模 板匹配算法 OATM( occlusion aware template matching) 。OATM 通過約簡方法，將單個(gè)向量和 N 個(gè)目 標(biāo)向量間的匹配問題轉(zhuǎn)化為兩組 槡N 向量間的匹配 問題，并基于隨機(jī)網(wǎng)格哈希算法進(jìn)行匹配搜索。匹 配搜索的過程為尋找 CSM 的過程，即使用閾值內(nèi)的 殘差映射進(jìn)行變換搜索。OATM 提高了算法的處理 速度，較好地解決了遮擋問題。

與基于歐氏距離的像素間的相似性不同，共現(xiàn) 統(tǒng)計(jì)( cooccurrence statistics) 是從數(shù)據(jù)中學(xué)習(xí)像素間 的相似性。Kat 等人［78］通過統(tǒng)計(jì)模板點(diǎn)和目標(biāo)點(diǎn)在 目標(biāo)圖像窗口共同出現(xiàn)的概率提出 CoTM( cooccurrence based template matching) 。CoTM 在處理彩色 圖時(shí)，采用 k-means 聚類算法將圖像量化為 k 個(gè)類 簇，根據(jù)共現(xiàn)矩陣統(tǒng)計(jì)模板和目標(biāo)圖像中的類簇對 在目標(biāo)圖像中共同出現(xiàn)的次數(shù)，再基于每個(gè)類簇的 先驗(yàn)概率進(jìn)行歸一化，構(gòu)造點(diǎn)互信息( PMI) 矩陣，值 越大表明共現(xiàn)概率越高，誤匹配率越低。最后根據(jù) PMI 計(jì)算模板類簇中的像素和目標(biāo)圖像窗口中包含 的類簇中的像素之間的相關(guān)性，選出最佳匹配位置。CoTM 也適用于顏色特征之外的其他特征，如深度 特征，可將共現(xiàn)統(tǒng)計(jì)( 捕獲全局統(tǒng)計(jì)) 與深度特征 ( 捕獲局部統(tǒng)計(jì)數(shù)據(jù)) 相結(jié)合，在基于標(biāo)準(zhǔn)數(shù)據(jù)集的 模板匹配中提升匹配效果。

3. 深度學(xué)習(xí)方法-塊匹配：

近年來，基于深度學(xué)習(xí)的圖像區(qū)域匹配成為研 究熱點(diǎn)，卷積神經(jīng)網(wǎng)絡(luò)( CNN) 在局部圖像區(qū)域匹配的應(yīng)用中，根據(jù)是否存在度量層可以分為兩類:

第一 類為具有度量層的方法，這類網(wǎng)絡(luò)通常把圖像塊對 匹配問題視為二分類問題。

Han 等 人［79］ 提出 的 MatchNet通過 CNN 進(jìn)行圖像區(qū)域特征提取和相似 性度量，過程如圖 11 所示。對于每個(gè)輸入圖像塊， 特征網(wǎng)絡(luò)輸出一個(gè)固定維度特征，預(yù)處理層的輸入 為灰度圖像塊，起到歸一化作用。卷積層激活函數(shù) 為 ＲeLU，瓶頸( bottlebeck) 層為全連接層，能夠降低 特征維度并防止網(wǎng)絡(luò)過擬合。采用 3 個(gè)全連接層組 成的度量網(wǎng)絡(luò)計(jì)算特征對的匹配分?jǐn)?shù)，雙塔結(jié)構(gòu)在 監(jiān)督環(huán)境下聯(lián)合訓(xùn)練特征網(wǎng)絡(luò)和度量網(wǎng)絡(luò)。

Zagoruyko 等人［80］ 提出 DeepCompare 方法，通 過 CNN 比較灰度圖像塊對的相似性。該方法對基 礎(chǔ)網(wǎng)絡(luò)框架 Siamese、pseudo-Siamese 和 2 通道( 2ch) 進(jìn)行描述，并在此基礎(chǔ)上采用深度網(wǎng)絡(luò)、中心環(huán)繞雙 流網(wǎng)絡(luò)( central-surround two-stream，2stream) 和空間 金字塔池化( SPP) 網(wǎng)絡(luò)提升基礎(chǔ)框架性能。

為了提高衛(wèi)星影像的配準(zhǔn)率，范大昭等人［81］提 出基于空間尺度雙通道深度卷積神經(jīng)網(wǎng)絡(luò)方法 ( BBS-2chDCNN)。BBS-2chDCNN 是在雙通道深度 卷積神經(jīng)網(wǎng)絡(luò)( 2chDCNN) 前端加入空間尺度卷積 層，以加強(qiáng)整體網(wǎng)絡(luò)的抗尺度特性。2chDCNN 將待 匹配點(diǎn)對局部合成的兩通道影像作為輸入數(shù)據(jù)，依 次進(jìn)行 4 次卷積、ＲeLU 操作、最大池化操作，3 次卷 積和 ＲeLU 操作，最后進(jìn)行扁平化和兩次全連接操 作輸出一維標(biāo)量結(jié)果。該方法適用于處理異源、多 時(shí)相、多分辨率的衛(wèi)星影像，較傳統(tǒng)匹配方法能提取 到更為豐富的同名點(diǎn)。

第二類方法不存在度量層，這類網(wǎng)絡(luò)的輸出即為特征描述符，在某些應(yīng)用中可以直接代替?zhèn)鹘y(tǒng)描述符。

Balntas 等人［82］提出的 PN-Net 采用 Triplet 網(wǎng) 絡(luò)訓(xùn)練，訓(xùn)練過程如圖 14 所示。圖像塊三元組 T = { p1，p2，n} ，包 括 正 樣 本 對 ( p1，p2 ) 和 負(fù) 樣 本 對 ( p1，n) 、( p2，n) ，采用 SoftPN 損失函數(shù)計(jì)算網(wǎng)絡(luò)輸 出描述子間相似性，以確保最小負(fù)樣本對距離大于 正樣本對距離。表 2 給出所采用的 CNN 體系結(jié)構(gòu) 的參數(shù)，采用 32 × 32 像素的圖像塊作為輸入，括號 內(nèi)的數(shù)字表示卷積核大小，箭頭后面的數(shù)字表示輸 出通道數(shù)，Tanh 為激活函數(shù)。與其他特征描述符相 比，PN-Net 具有更高效的描述符提取及匹配性能， 能顯著減少訓(xùn)練和執(zhí)行時(shí)間。

Yang 等人［83］提出用于圖像塊表示的一對互補(bǔ) 描述符學(xué)習(xí)框架 DeepCD。該方法采用 Triplet 網(wǎng)絡(luò) 進(jìn)行訓(xùn)練，輸出主描述符( 實(shí)值描述符) 和輔描述符 ( 二值描述符) ，如圖 15 所示，輸入圖像區(qū)域包括正 樣本對 ( a，p) ，負(fù)樣本對 ( a，n) 和 ( p，n) ，L 代表 主描述符，C 代表輔描述符，Δ 代表主描述符距離， Δ 珚代表輔描述符距離。數(shù)據(jù)相關(guān)調(diào)制層( DDM) 通過學(xué)習(xí)率的動(dòng)態(tài)調(diào)整實(shí)現(xiàn)輔助描述符對主導(dǎo)描述符 的輔助作用。該方法能夠有效地提高圖像塊描述符 在各種應(yīng)用和變換中的性能。

以上這些方法都是對圖像塊對或三元組進(jìn)行的 處理，Tian 等人［84］提出的 L2-Net通過 CNN 在歐氏 空間將一批圖像塊轉(zhuǎn)換成一批描述符，將批處理中 的最近鄰作為正確匹配描述符。如圖 16 所示，每個(gè) 卷積層左邊數(shù)字代表卷積核大小，右邊數(shù)字表示輸 出通道數(shù)，2 表示下采樣層的步長; 3 × 3 Conv 由卷 積、批歸一化( BN) 和 ＲeLU( rectified linear unit) 組 成; 8 × 8 Conv 由卷積和批歸一化( BN) 組成; 局部響應(yīng)歸一化層( LＲN) 作為單元描述符的輸出層，獲 得 128 維描述符。

CS L2-Net 由兩個(gè)獨(dú)立 L2-Net 級 聯(lián)成雙塔結(jié)構(gòu)，左側(cè)塔輸入和 L2-Net 相同，右側(cè)塔 輸入是中心裁剪后的圖像塊。采用漸進(jìn)式采樣策 略，在參與訓(xùn)練的批樣本中，從每對匹配樣本中隨機(jī) 抽取一個(gè)組成若干不匹配樣本，增加負(fù)樣本數(shù)量。與成對樣本和三元組樣本相比，能夠利用更多負(fù)樣 本信息。

比較

2維點(diǎn)匹配

TILDE

https://cvlab.epfl.ch/research/tilde

協(xié)變特征檢測[17]

http://dvmmweb.cs.columbia.edu/files/3129.pdf

https://github.com/ColumbiaDVMM/Transform_Covariant_Detector

DeepDesc

http://icwww.epfl.ch/~trulls/pdf/iccv-2015-deepdesc.pdf

https://github.com/etrulls/deepdesc-release

LIFT

https://arxiv.org/pdf/1603.09114.pdf

https://github.com/cvlab-epfl/LIFT

Quad-networks

https://arxiv.org/pdf/1611.07571.pdfGMShttp://jwbian.net/gmsVFC

http://www.escience.cn/people/jiayima/cxdm.html

3維點(diǎn)匹配

http://tbirdal.me/downloads/tolga-birdal-cvpr-2018-ppfnet.pdf http://cn.arxiv.org/pdf/1802.07869 http://cn.arxiv.org/pdf/1807.05653 http://openaccess.thecvf.com/content_ECCV_2018/papers/Hanyu_Wang_Learning_3D_Keypoint_ECCV_2018_paper.pdf

PPFNet

文獻(xiàn)[51]

文獻(xiàn)[49]

文獻(xiàn)[50]

語義匹配

樣本LDA分類器

http://ci2cv.net/media/papers/2015_ICCV_Hilton.pdf

https://github.com/hbristow/epic

AnchorNet

http://openaccess.thecvf.com/content_cvpr_2017/papers/Novotny_AnchorNet_A_Weakly_CVPR_2017_paper.pdf

文獻(xiàn)[28]

http://cn.arxiv.org/pdf/1711.07641

線匹配

LBD

http://www.docin.com/p-1395717977.html

https://github.com/mtamburrano/LBD_Descriptor

新線點(diǎn)投影不變量[61]

https://github.com/dlut-dimt/LineMatching

模板匹配

FAST-Match

http://www.eng.tau.ac.il/~simonk/FastMatch/

CFAST-Match

https://wenku.baidu.com/view/3d96bf9127fff705cc1755270722192e453658a5.html

DDIS

https://arxiv.org/abs/1612.02190

https://github.com/roimehrez/DDIS

DIWU

http://liortalker.wixsite.com/liortalker/code

CoTM

http://openaccess.thecvf.com/content_cvpr_2018/CameraReady/2450.pdf

OATM

http://cn.arxiv.org/pdf/1804.02638

塊匹配

MatchNet

http://www.cs.unc.edu/~xufeng/cs/papers/cvpr15-matchnet.pdf

https://github.com/hanxf/matchnet

DeepCompare

http://imagine.enpc.fr/~zagoruys/publication/deepcompare/

PN-Net

https://arxiv.org/abs/1601.05030

https://github.com/vbalnt/pnnet

L2-Net

http://www.nlpr.ia.ac.cn/fanbin/pub/L2-Net_CVPR17.pdf

https://github.com/yuruntian/L2-Net

DeepCD

https://www.csie.ntu.edu.tw/~cyy/publications/papers/Yang2017DLD.pdf

https://github.com/shamangary/DeepCD

責(zé)任編輯：xj

原文標(biāo)題：圖像匹配論文與方法超全整理

文章出處：【微信公眾號：新機(jī)器視覺】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。