【導(dǎo)讀】圖像配準(zhǔn)與相關(guān)[1]是圖像處理研究領(lǐng)域中的一個典型問題和技術(shù)難點，其目的在于比較或融合針對同一對象在不同條件下獲取的圖像，例如圖像會來自不同的采集設(shè)備，取自不同的時間，不同的拍攝視角等等，有時也需要用到針對不同對象的圖像配準(zhǔn)問題。

具體地說，對于一組圖像數(shù)據(jù)集中的兩幅圖像，通過尋找一種空間變換把一幅圖像（浮動圖像，moving image）映射到另一幅圖像（參考圖像，fixed image）上，使得兩圖中對應(yīng)于空間同一位置的點一一對應(yīng)起來，從而達到信息融合的目的。

圖像配準(zhǔn)常為圖像融合的一個預(yù)處理步驟。經(jīng)過精確圖像配準(zhǔn)的圖像對，通常可獲得更好的融合效果。

一、定義

圖像配準(zhǔn)是使用某種算法，基于某種評估標(biāo)準(zhǔn)，將一副或多副圖片（局部）最優(yōu)映射到目標(biāo)圖片上的方法。

根據(jù)不同配準(zhǔn)方法，不同評判標(biāo)準(zhǔn)和不同圖片類型，有不同類型的圖像配準(zhǔn)方法。

（詳見“問題分類”部分）

二、問題背景和應(yīng)用

圖像配準(zhǔn)在計算機視覺、醫(yī)學(xué)圖像處理、材料力學(xué)、遙感等領(lǐng)域有廣泛應(yīng)用。

由于可應(yīng)用圖像配準(zhǔn)的圖像類型眾多，暫時無法開發(fā)出可滿足所有用途的通用優(yōu)化方法。

圖像配準(zhǔn)在醫(yī)學(xué)圖像處理與分析中有眾多具有實用價值的應(yīng)用。隨著醫(yī)學(xué)成像設(shè)備的進步，對于同一患者，可以采集含有準(zhǔn)確解剖信息的圖像諸如CT，MRI；同時，也可以采集到含有功能信息的圖像諸如SPECT。然而，通過觀察不同的圖像進行診斷需要憑著空間想象和醫(yī)生的主觀經(jīng)驗。采用正確的圖像配準(zhǔn)方法則可以將多種多樣的信息準(zhǔn)確地融合到同一圖像中，使醫(yī)生更方便更精確地從各個角度觀察病灶和結(jié)構(gòu)。同時，通過對不同時刻采集的動態(tài)圖像的配準(zhǔn)，可以定量分析病灶和器官的變化情況，使得醫(yī)療診斷、制定手術(shù)計劃、放射治療計劃更準(zhǔn)確可靠。

在計算機視覺領(lǐng)域里，配準(zhǔn)方法可被用來進行視頻分析、模式識別，自動跟蹤對象的運動變化。

在材料力學(xué)方面，配準(zhǔn)通常用來研究力學(xué)性質(zhì)，稱為數(shù)字圖像相關(guān)。通過對不同相機不同傳感器采集到的信息（形狀，溫度等）進行融合比較，可以計算得到例如應(yīng)變場、溫度場等數(shù)值。通過帶入理論模型可以進行參數(shù)反向優(yōu)化等。

三、相關(guān)關(guān)鍵詞

相近詞：

image registration (mapping matching, co-registration alignment, fusion)

注：mapping 側(cè)重于空間映射，fusion為圖像融合，不僅包括配準(zhǔn)還包括數(shù)據(jù)集成后的圖像顯示。

相近領(lǐng)域：

圖像融合，圖像拼接，圖像分割，超分辨率，圖配準(zhǔn)，點云配準(zhǔn)，SLAM

使用方法：

相似性測度，配準(zhǔn)精度，配準(zhǔn)算法，小波變換，互信息，仿射變換，特征提取，特征點匹配，相位相關(guān)，角點檢測，邊緣檢測，旋轉(zhuǎn)角度，相位相關(guān)，遺傳算法，深度學(xué)習(xí)

應(yīng)用領(lǐng)域：

醫(yī)學(xué)圖像，遙感圖像，天氣預(yù)測，地理信息系統(tǒng)，超分辨率，運動追蹤，自動控制

四、問題分類

圖像配準(zhǔn)分類標(biāo)準(zhǔn)不唯一，下面兩圖是某位研究者[2]的分類結(jié)果（2014年）。

?

本人的分類結(jié)果見下圖

基于問題特點的分類

1.Registration Quality: 配準(zhǔn)性質(zhì)

根據(jù)數(shù)據(jù)或特征確定的配準(zhǔn)類型。

如自然圖像配準(zhǔn)，醫(yī)學(xué)圖像配準(zhǔn)，遙感圖像配準(zhǔn)等。

2.圖像采集方式

①Multi-view Analysis: 多視圖配準(zhǔn)

同一物體在同一場景不同視角下的圖像配準(zhǔn)。

從多個視角捕獲相似對象或場景的圖像，以便獲得掃描對象或場景的更好表示。如使用圖像拼接，從2D圖像重建3D模型等。

②Multi-temporal Analysis: 多時相配準(zhǔn)

同一物體在同一場景同視角不同時間的圖像配準(zhǔn)。如運動追蹤，腫瘤生長情況跟蹤等。

③Multi-modal Analysis: 多模態(tài)配準(zhǔn)

多模配準(zhǔn)常見于醫(yī)學(xué)圖像領(lǐng)域，故以多模醫(yī)學(xué)圖像配準(zhǔn)為例。

由于醫(yī)學(xué)成像設(shè)備可以提供關(guān)于患者不同信息不同形式的圖像（計算機斷層掃描CT，核磁共振MRI，正電子發(fā)射斷層成像PET，功能核磁共振fMRI等）。

基于單種或多種模態(tài)圖像的配準(zhǔn)，可劃分為單模態(tài)（Single-modality）和多模態(tài)（Multi-modality）。

Figure 1 MEG-MRI多模態(tài)配準(zhǔn)

3. Interaction: 配準(zhǔn)流程互動性

手動，半自動或自動

4. Dimensionality: 圖像空間維數(shù)

若僅考慮空間維數(shù)，可以劃分為2D/2D, 2D/3D, 3D/3D等。若考慮時間序列因素，還存在對在不同時刻提取的兩幅圖像進行配準(zhǔn)的問題。

5. Domain of transformation: 圖像轉(zhuǎn)換區(qū)域（全局/局部配準(zhǔn)）

6. Nature of Registration basis: 配準(zhǔn)基準(zhǔn)的性質(zhì)

根據(jù)算法所基于的特征及相似性測度。

①基于內(nèi)部特征的配準(zhǔn)。

內(nèi)部特征指的是從圖像內(nèi)部本身提取的信息。

基于特征（feature-based）：在幾何上有特別意義的可以定位的特征點集（比如不連續(xù)點，圖形的轉(zhuǎn)折點，線交叉點等），或者用分割的方法提取出感興趣的部分的輪廓（曲線或曲面），以作為用來比較的特征空間。在醫(yī)學(xué)圖像上可以是具有解剖意義的點。

基于像素值（intensity-based）：利用整幅圖像的像素或體素來構(gòu)成特征空間。根據(jù)像素值的統(tǒng)計信息來計算相似性測度又可劃分為最小二乘法，傅里葉法，互相關(guān)法，互信息法等等。

②基于外部特征的配準(zhǔn)。

在醫(yī)學(xué)圖像中，通過在患者身上固定標(biāo)記物或向體內(nèi)注入顯影物質(zhì)以獲得在圖像上的確定的標(biāo)記點，稱為外部特征點。

③基于不同裝置成像坐標(biāo)的配準(zhǔn)

7. Subject of Registration: 配準(zhǔn)主體

以醫(yī)學(xué)圖像配準(zhǔn)為例，可分為 Intra-subject （圖像來自于同一病人），Inter-subjective （來自不同的病人）和 Atlas （病人數(shù)據(jù)和圖譜的配準(zhǔn)）三種。

Object of Registration: 配準(zhǔn)物體（頭、乳腺、胸、眼、腹、膝蓋 等…）

8. Type of transformation: 變換性質(zhì)

根據(jù)用于將浮動圖像空間與參考圖像空間相關(guān)聯(lián)的變換模型對圖像配準(zhǔn)算法進行分類。對圖像進行空間變換可以分為剛體變換（rigid）和非剛體變換（non- rigid, deformable）。

第一類變換模型是線性變換，包括旋轉(zhuǎn)，縮放，平移和其他仿射變換。線性變換本質(zhì)上是全局的，因此，它們無法模擬圖像之間的局部幾何差異。

第二類變換模型允許“彈性”或“非剛性”變換。這些變換能夠局部地扭曲浮動圖像使其與參考圖像對準(zhǔn)。非剛性變換包括徑向基函數(shù)（薄板或曲面樣條函數(shù)，多重二次曲面函數(shù)和緊支撐變換），物理連續(xù)模型（粘性流體）和大變形模型（微分同胚）。

變換模型通常是參數(shù)化的例如，可以通過單個參數(shù)（變換向量）來描述整個圖像的變換。這些模型稱為參數(shù)模型。另一方面，非參數(shù)模型不遵循任何參數(shù)化，允許每個圖像元素任意移位。

9. Parameters of Registration: 算法參數(shù)

當(dāng)比較特征采用特征點集的形式時，可以通過聯(lián)立方程組來找到變換的解。

但一般情況下，配準(zhǔn)問題都會轉(zhuǎn)化為求解相似性測度最優(yōu)值的問題，在計算方法中通常需要采用合適的迭代優(yōu)化算法，諸如梯度下降法、牛頓法、Powell法、遺傳算法等。

根據(jù)算法本質(zhì)的分類

圖像配準(zhǔn)最本質(zhì)的分類是：

1.基于灰度的圖像配準(zhǔn)；2.基于特征的圖像配準(zhǔn)。

具體的圖像配準(zhǔn)算法是基于這兩點的混合或者變體的算法。

五、圖像配準(zhǔn)通用流程

通常，圖像配準(zhǔn)技術(shù)包括四個方面：變換模型、特征空間、相似性測度、搜索空間和搜索策略。依據(jù)這四個特性，圖像配準(zhǔn)的步驟一般可分為以下五個步驟：

根據(jù)實際應(yīng)用場合選取適當(dāng)?shù)淖儞Q模型；

選取合適的特征空間，基于灰度或基于特征；

根據(jù)變換模型的參數(shù)配置以及所選用的特征，確定參數(shù)可能變化的范圍，并選用最優(yōu)的搜索策略；

應(yīng)用相似性測度在搜索空間中按照優(yōu)化準(zhǔn)則進行搜索，尋找最大相關(guān)點，從而求解出變換模型中的未知參數(shù)；

將待配準(zhǔn)圖像按照變換模型對應(yīng)到參考圖像中，實現(xiàn)圖像間的匹配。

其中，如何選取合適的特征進行匹配是配準(zhǔn)的關(guān)鍵所在。
? 以基于特征的圖像配準(zhǔn)通用流程為例：

基于特征的圖像配準(zhǔn)通用流程[3] ?

? 1.Feature detection: 特征檢測
圖像配準(zhǔn)過程的一項重要任務(wù)。根據(jù)問題的復(fù)雜性，通常分為手動或自動檢測，但通常優(yōu)先選擇自動特征檢測。 ? 封閉邊界，邊緣，輪廓，線交點，角點，以及它們的代表點如重心或線末端（統(tǒng)稱為控制點）可以作為特征。由特殊對象組成的這些特征必須易于檢測，即特征將是物理上可解釋和可識別的。 ? 參考圖像必須與浮動圖像共享足夠多的共同特征集合，而不受到任何未知遮擋或意外改變的影響。用于檢測的算法應(yīng)該足夠穩(wěn)健，以便能夠在場景的所有投影中檢測相同的特征而不受任何特定圖像變形或退化的影響。

2.Feature matching: 特征匹配 該步驟基本建立在對待配準(zhǔn)圖像與在參考圖像中檢測到的特征之間的對應(yīng)關(guān)系上。 ? 除了特征之間的空間關(guān)系之外，還采用不同的特征描述符（ feature descriptor）和相似性度量來確定配準(zhǔn)的準(zhǔn)確性。 ? 必須合理地配置特征描述符，使得它們在任何退化時仍保持不變，與此同時， 它們需要不受噪聲影響且能適當(dāng)區(qū)分不同的特征。

3.Transform model estimation: 圖像變換模型的評估 為配準(zhǔn)浮動圖像與參考圖像，需要估計映射函數(shù)的參數(shù)。使用從前一步驟獲得的對應(yīng)特征來計算這些參數(shù)。 ? 映射函數(shù)的選擇，取決于圖像采集過程和預(yù)期圖像變形的先驗知識。在沒有任何先驗信息的情況下，必須確保模型的靈活性。

4.Image transformation/re-sampling: 圖像變換

對浮動圖像使用映射進行圖像變換來配準(zhǔn)。 ?

六、圖像配準(zhǔn)質(zhì)量評估標(biāo)準(zhǔn)(performance measures)[3][4]

必須有某種方法來評估圖像配準(zhǔn)的準(zhǔn)確度和質(zhì)量。 ? 與此同時，針對不同類型的圖像需要使用不同評估標(biāo)準(zhǔn)。 ? 目前沒有一個絕對的金標(biāo)準(zhǔn)（gold standard）可以評估圖像配準(zhǔn)的質(zhì)量。

下面僅以醫(yī)學(xué)圖像為例，列舉兩種最經(jīng)典的評估方法： ? 單模圖像配準(zhǔn)常使用?相關(guān)性（Correlation Coefficient, CC）來衡量效果， 而多模圖像配準(zhǔn)常使用?互信息（Mutual Information, MI）衡量。

①相關(guān)性 Correlation Coefficient (CC)

相關(guān)性本質(zhì)上是一種相似性度量，它可以了解浮動圖像和參考圖像的相似程度。如果兩個圖像完全相同，則相關(guān)性等于1；而如果兩個圖像完全不相關(guān)，則相關(guān)性值等于0；若相關(guān)性值等于-1，表示圖像完全反相關(guān)，這意味著一個圖像是另一個的負(fù)面。通過使用相關(guān)性作為評價標(biāo)準(zhǔn)，單模態(tài)配準(zhǔn)可獲得滿意的結(jié)果。 ? 對于同一物體由于圖像獲取條件的差異或物體自身發(fā)生的小的改變而產(chǎn)生的圖像序列，采用使圖像間相似性最大化的原理實現(xiàn)圖像間的配準(zhǔn)，即通過優(yōu)化兩幅圖像間相似性準(zhǔn)則來估計變換參數(shù),主要是剛體的平移和旋轉(zhuǎn)。相關(guān)性主要限于單模圖像配準(zhǔn)，特別是對一系列圖像進行比較,從中發(fā)現(xiàn)由疾病引起的微小改變。 ? 它表示為： ?

x_i , y_i 分別為浮動圖像和參考圖像第 i 個像素的強度； x_m , y_m 為 浮動圖像和參考圖像的平均強度。

②互信息 Mutual Information (MI) ? 互信息是確定兩個圖像中相應(yīng)體素的圖像強度之間相似度的另一個度量。當(dāng)兩個圖像準(zhǔn)確對齊時，互信息最大化?；バ畔⒌闹凳欠秦?fù)且對稱。其范圍從零開始，可以變化到高值。高互信息值表示不確定性的大幅降低，而零互信息值清楚地表明這兩個變量是獨立的。 ? 由于該方法不需要對兩種成像模式中圖像強度間關(guān)系的性質(zhì)作任何假設(shè)，也不需要對圖像作分割或任何預(yù)處理，所以被廣泛地用于CT/MR、PET/MR等多種配準(zhǔn)工作。最大互信息法幾乎可以用在任何不同模式圖像的配準(zhǔn)，特別是當(dāng)其中一個圖像的數(shù)據(jù)部分缺損時也能得到很好的配準(zhǔn)效果。

p(x, y) 為 聯(lián)合分布函數(shù)；p_1(x) , p_2(y) 為邊際分布函數(shù)。 也常使用圖像分割領(lǐng)域的DICE loss[5]，熵相關(guān)系數(shù)（Entropy Corrleation Coefficient，ECC）等指標(biāo)進行評估。

七、前人工作

1.經(jīng)典方法

《圖像配準(zhǔn)技術(shù)及其MATLAB編程實現(xiàn)》

Image registration methods：A survey

Image Registration Techniques：A Survey

Deformable Medical Image Registration: A Survey

2.最新熱點

基于神經(jīng)網(wǎng)絡(luò)：
稀疏跨域?qū)ο笥成?SIGGRAPH 2018：Neural Best-Buddies: Sparse Cross-Domain（https://kfiraberman.github.io/neural_best_buddies/） ?

? 醫(yī)學(xué)圖像配準(zhǔn)[6][7]（參考：Going Deep in Medical Image Analysis : Concepts, Methods, Challenges and Future Directions） ?

?編輯：黃飛